CN113116386A - 超声成像引导方法、超声设备及存储介质 - Google Patents

超声成像引导方法、超声设备及存储介质 Download PDF

Info

Publication number
CN113116386A
CN113116386A CN201911421238.0A CN201911421238A CN113116386A CN 113116386 A CN113116386 A CN 113116386A CN 201911421238 A CN201911421238 A CN 201911421238A CN 113116386 A CN113116386 A CN 113116386A
Authority
CN
China
Prior art keywords
ultrasonic
information
ultrasonic probe
ultrasound
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911421238.0A
Other languages
English (en)
Other versions
CN113116386B (zh
Inventor
赵明昌
莫若理
陆振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN201911421238.0A priority Critical patent/CN113116386B/zh
Publication of CN113116386A publication Critical patent/CN113116386A/zh
Application granted granted Critical
Publication of CN113116386B publication Critical patent/CN113116386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/587—Calibration phantoms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及超声导航技术领域，具体涉及一种超声成像引导方法、超声设备及存储介质，本发明包括：加载检测对象待扫查目标器官对应的三维超声模型，三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；获取所述超声探头扫查的当前超声图像；获取设置在所述超声探头中的惯性测量单元采集的IMU信息；将当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息；根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。本发明提高了超声探头查找标准扫查切面的速度和准确度，提高了操作人员的扫查效率。

Description

超声成像引导方法、超声设备及存储介质
技术领域
本发明涉及超声导航技术领域，尤其涉及一种超声成像引导方法、超声设备及存储介质。
背景技术
超声诊断仪在临床医学中有着广泛应用，能够从头到脚对身体各个部位进行超声影像检查与诊断应用。超声扫查获取的超声影像质量决定后期的诊断。在实际情况中，医师操作超声探头运动至目标器官处进行扫查，而不同医师的经验积累和操作熟练程度不同，有的医师经验积累较少，操作经验差的医师并不能快速准确地操作超声探头获取到标准切面的超声图像。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种能够引导超声探头运动至标准扫查切面的超声成像引导方法、超声设备及存储介质。
作为本发明的第一个方面，提供了一种超声成像引导方法，包括：
加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；
获取所述超声探头扫查的当前超声图像；
获取设置在所述超声探头中的惯性测量单元采集的IMU信息；
将所述当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息；
根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
进一步地，所述将所述当前超声图像、IMU信息以及三位超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：
通过CNN深度卷积神经网络提取所述当前超声图像中的第一特征向量；
通过CNN深度卷积神经网络提取所述三维超声模型中的第二特征向量；
通过CNN深度卷积神经网络提取所述IMU信息中的第三特征向量；
将所述第一特征向量、第二特征向量以及第三特征向量进行拼接，得到第一拼接特征向量；
将所述第一拼接特征向量输入全连接层进行特征向量融合，得到所述当前超声图像的位置信息和角度信息。
进一步地，所述通过CNN深度卷积神经网络提取所述IMU信息中的第三特征向量，具体为：
通过CNN深度卷积神经网络中的嵌入向量层提取所述第三特征向量。
进一步地，所述获取设置在所述超声探头中的惯性测量单元采集的IMU信息，包括：
通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；
通过惯性测量单元获取所述超声探头当前时刻前预设时间段内的IMU信息；
将超声探头当前时刻的IMU信息以及当前时刻前预设时间段内的IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度。
进一步地，所述惯性测量单元至少包括加速度计和陀螺仪。
进一步地，所述根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，包括：
根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；
获取所述超声探头的实时位置；
根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；
实时显示所述引导路径、标准扫查切面以及所述超声探头。
进一步地，所述实时显示所述引导路径、标准扫查切面以及所述超声探头，包括：
获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像；
在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。
进一步地，本发明还包括：
在所述标准扫查切面对应的检测对象体表位置显示目标虚拟探头，以引导所述超声探头。
进一步地，本发明还包括：在引导所述超声探头运动至所述标准扫查切面处的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。
作为本发明的第二个方面，本发明还提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项的超声成像引导方法的步骤。
作为本发明的第三个方面，本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的超声成像引导方法的步骤。
作为本发明的第四个方面，提供了一种超声成像引导装置，包括：
驱动超声探头运动至所述标准扫查切面处的驱动装置；以及上述的超声设备。
优选地，所述驱动装置为机械臂。
优选地，所述驱动装置集成在超声探头上，以驱动超声探头在检测对象体表运动，所述驱动装置包括电机以及带有吸附力的滚轮。
本发明的超声成像引导方法通过CNN深度卷积神经网络模型以及加载的三维超声模型并结合设置在超声探头中惯性测量单元采集的IMU信息，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息。本发明还根据当前超声图像与标准扫查切面的位置关系，引导超声探头运动至标准扫查切面处。本发明提高了超声探头查找标准扫查切面的速度和准确度。
进一步地，本发明的超声成像引导方法能够生成直观地引导路径，并且实时显示所述引导路径、标准扫查切面以及所述超声探头，提高了扫查的准确度。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明的超声成像引导方法的工作流程图。
图2为本发明另一实施例的超声成像引导方法的流程图。
图3为本发明的CNN深度卷积神经网络模型处理的工作流程图。
图4为本发明的通过CNN深度卷积神经网络模型确定当前超声图像位置信息和角度信息的结构示意图。
图5为本发明一实施例采集IMU信息的工作流程图。
图6为本发明一实施例循环神经网络模型的结构示意图。
图7为本发明的在显示器上的成像引导示意图。
图8为本发明的在检测对象表面进行成像引导的示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
针对在实际情况中，医师操作超声探头运动至目标器官处进行扫查，而不同医师的经验积累和操作熟练程度不同，有的医师经验积累较少，操作经验差的医师并不能快速准确地操作超声探头获取到标准切面的超声图像。因此需要能够提示医生如何操作超声探头才能够快速准确地获取符合超声诊断的标准扫查切面的方法。
图1为本发明的超声成像引导方法的工作流程图。如图1所示，本发明的第一个方面，提高了一种超声成像引导方法，包括：
步骤S100，加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；
具体地，在加载检测对象待扫查目标器官对应的三维超声模型需要获取检测对象待扫查的目标器官信息，目标器官信息可以是输入的目标器官名称或者超声设备上目标器官的指示图标。可以通过超声设备上的输入单元输入目标器官信息，使得超声设备能够获取检测对象的待扫查的目标器官；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，也可以通过机器视觉或者训练好的识别网络模型识别超声探头准备扫查的目标器官。
三维超声模型是预先存储在存储介质，根据需要扫查的目标器官加载对应器官的三维超声模型。需要理解的是，三维超声模型是预先对人体进行扫查重建而成。具体地，通过超声探头沿预设方向对待建模组织进行超声扫描，获取待建模组织的每个切面的超声图像；获取所述探头扫查不同切面的超声图像所对应的六自由度参数；将每个切面的超声图像以及对应的六自由度参数输入训练好的深度神经网络模型得到待建模组织的三维超声模型。
三维超声模型中的每个切面的超声图像都带有位置信息和角度信息。在超声探头扫查过程中通过磁场发生器生成包含所述探头以及待建模组织的世界坐标系；通过安装在探头上的磁定位器获取所述探头的六自由度参数，所述六自由度参数包括探头的位置参数和方向参数。在实际超声诊断过程中，往往需要观察器官不同的切面以辅助医师进行诊断，因此本发明的所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。
步骤S200，获取所述超声探头扫查的当前超声图像；
医师操作超声探头或者通过机械臂操作超声探头时，首先需要获取超声探头获取的当前超声图像，并且需要计算当前超声图像的位置信息和角度信息。
步骤S300，获取设置在所述超声探头中的惯性测量单元采集的IMU信息；
本发明的惯性测量单元5000（Inertial measurement unit），惯性测量单元至少包括加速度计和陀螺仪，以多轴方式组合精密陀螺仪、加速度计，经过融合为稳定和导航应用提供可靠的位置和运动识别功能。即使在复杂的工作环境和动态或极端运动动力学条件下，精密MEMS IMU亦能提供所需的精度水平。获取IMU信息能够提高计算当前超声图像位置信息和角度信息的精度。一个惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。
为了提高惯性测量单元采集的IMU信息的准确度，如图5所示，在一实施例中，获取设置在所述超声探头中的惯性测量单元采集的IMU信息具体包括：
S310，通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；
S320，通过惯性测量单元获取所述超声探头当前时刻前预设时间段内的IMU信息；
S330，将超声探头当前时刻的IMU信息以及当前时刻前预设时间段内的IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度。
本发明的循环神经网络模型为级联循环神经网络模型，IMU信息至少包括多轴的角速度数据和加速度数据。如图6所示，X1(t0)表示t0时刻惯性测量单元中的陀螺仪采集的数据；X1(t1)表示t1时刻惯性测量单元中的陀螺仪采集的数据；X1(tn)表示当前时刻惯性测量单元中的陀螺仪采集的数据。需要理解的是，获取超声探头当前时刻前预设时间段内的IMU信息为预设时间段内不同时刻的IMU信息。X2(t0) 表示t0时刻惯性测量单元中的加速度计采集的数据；X2(t1) 表示t1时刻惯性测量单元中的加速度计采集的数据；X2(tn) 表示当前时刻惯性测量单元中的加速度计采集的数据。根据惯性测量单元中传感器类别设置循环神经网络结构（RNN）的级联数量。如图6所示，本发明的一个实施例中设置了两级RNN网络，用于分别提取陀螺仪采集数据的特征信息和加速度计采集数据的特征信息。循环神经网络结构输出的特征信息进行拼接后输入全连接网络进行特征融合，最后输出超声探头的第二IMU信息。需要理解的是，第二IMU信息为超声探头当前时刻准确度高的IMU信息。需要理解的是，陀螺仪和加速度计采集的原始数据可以直接作为输入，也可以通过嵌入向量层（embedding）再输入RNN进行处理。
步骤S400，将所述当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息；
如图4所示，可以理解的是，引导超声探头进行超声扫查首先需要获取当前超声图像的位置信息和角度信息为六自由度坐标（x, y, z, ax, ay, az），ax、ay、az为在xyz方向的角度。在一实施例中，CNN深度卷积神经网络模型通过如下步骤获取当前超声图像的位置信息和角度信息，如图3所示：
步骤S410，通过CNN深度卷积神经网络提取所述当前超声图像中的第一特征向量；
步骤S420，通过CNN深度卷积神经网络提取所述三维超声模型中的第二特征向量；
步骤S430，通过CNN深度卷积神经网络提取所述IMU信息中的第三特征向量；具体地，通过CNN深度卷积神经网络中的嵌入向量层提取所述第三特征向量
步骤S440，将所述第一特征向量、第二特征向量以及第三特征向量进行拼接，得到第一拼接特征向量；
步骤S450，将所述第一拼接特征向量输入全连接层进行特征向量融合，得到所述当前超声图像的位置信息和角度信息，全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。
在一实施例中本发明的CNN深度卷积神经网络包括二维卷积神经网络和三维卷积神经网络。本发明通过二维卷积神经提取所述当前超声图像中的第一特征向量，其中，二维卷积神经网络至少包含二维卷积、最大池化、平均池化、激活函数，所述第一特征向量为一维特征向量。通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；通过三维卷积神经网络至少包含三维卷积，卷积核可以为3×3×3，最大池化、平均池化、激活函数，输出是在通道上进行平均或相加，从而得到一维的第二特征向量。
步骤S500，根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
所述当前超声图像与所述标准扫查切面的位置信息和角度信息，为当前超声图像的位置信息和角度信息和标准扫查前面的位置信息和角度信息。具体地，如图7所示，上一步骤以及确定了当前超声图像的位置信息和角度信息（x, y, z, ax, ay, az），三维超声图像中预设的标准扫查切面的位置信息和角度信息（X, Y, Z, AX, AY, AZ）。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，规划所述超声探头运动至所述标准扫查切面的引导路径，所述位置信息和角度信息为六自由度坐标。如图5所示，显示器上显示的扫查引导区1000至少包括第一引导区1600和第二引导区1700，其中第一引导区1600至少显示当前超声探头的位置信息和角度信息和角度信息、标准扫查切面的位置信息和角度信息和角度信息，以及操作提示信息。本发明的操作提示信息至少包括平移的距离以及选择的角度，也可以是超声探头下压的压力。第二引导区包括待检测对象1100、在检测对象1100上突出显示的目标器官1500、当前超声探头1200、引导路径1400，以及目标虚拟探头1300，需要理解的是，突出显示可以是高亮显示整个目标器官1500或目标器官1500的轮廓。当前超声探头1200根据其实时位置进行移动，目标虚拟探头1300为获得标准扫查切面对应的超声探头需要运动到的位置。根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息为根据所述当前超声图像的位置信息和角度信息与所述标准扫查切面的位置信息和角度信息。
为了提高引导超声探头扫查的准确度，本发明还实时显示所述引导路径、标准扫查切面以及所述超声探头。可以理解的是，医师可以操作超声探头沿着引导路径运动至标准扫查切面。需要理解的是所述引导路径、标准扫查切面以及所述超声探头可以显示在显示器上，也可以通过投影装置投影在检测对象对应的位置处。如图8所示，还包括投影装置3000，投影装置可以在标准扫查前面对应的超声探头位置处生成目标虚拟探头1300，以引导超声探头运动至所述标准扫查切面处，其中摄像机2000为至少包含检测对象以及超声探头的环境影像。需要理解的是，引导路径和操作提示信息也都可以显示在检测对象体表处。
针对超声探头在移动扫查过程中，医师操作失误使得超声探头偏离引导路径的情况，本发明根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，如图2所示，包括：
步骤S510，根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；
步骤S520，获取所述超声探头的实时位置；
在一实施例中，可以通过将超声探头实时采集的超声图像输入三维超模型中获取超声探头获取的当前超声图像的实时位置信息和角度信息。也可以同获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，具体包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位置。
需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。空间响应图包括所述第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相识度值。
步骤S530，根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；
在所述超声探头偏离所述引导路径预设距离范围内，发出偏离提示；所述偏离报警提示包括指示灯、语音提示以及振动提示中的一种或几种；发出偏离纠正提示，所述偏离纠正提示包括在显示器上提示所述超声探头移动的方向和距离，需要理解的是，由于超声探头偏离引导路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的引导路径上继续移动即可，本发明的显示器包括VR、AR等显示设备的显示器；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离，具体地，可以通过投影设备或者激光引导装置在检测对象体表处显示引导路径、以及超声探头的操作提示步骤。在所述超声探头偏离所述引导路径超出预设范围后，根据所述超声探头的实时位置重新规划引导路径。具体地，根据此时超声探头的实时位置与目标器官的位置从新选择最短的引导路径。所示在显示器上提示所述超声探头移动的方向和距离；和/或在所述检测对象的表面显示所述超声探头移动的方向和距离。
步骤S540，实时显示所述引导路径、标准扫查切面以及所述超声探头。
具体地，在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。其中，所述引导路径、标准扫查切面以及所述超声探头可以通过不同颜色或者明暗度等方式进行区别显示。
进一步地，为了进一步提示标准扫查切面的位置，在在所述标准扫查切面对应的检测对象体表位置显示目标虚拟探头，以引导所述超声探头。。需要理解的是，可以是在显示器中检测对象的对应的位置显示，也可以将三维的虚拟超声探头投影在实际检测对象对应的位置处。
为了进一步提高扫查的速度和准确度，本发明还包括：在引导所述超声探头运动至所述标准扫查切面处的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成虚拟指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。当超声探头运动到标准扫查切面时进行振动，以提示到达目标位置，或者在扫查过程中未到达标准扫查切面处时就发现病灶，也可以发出语音提示或者振动提示。
本发明的超声成像引导方法通过CNN深度卷积神经网络模型以及加载的三维超声模型，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息，根据当前超声图像与标准扫查切面的位置关系，引导超声探头运动至标准扫查切面处。本发明提高了超声探头查找标准扫查切面的速度和准确度。进一步地，本发明的超声成像引导方法能够生成直观地引导路径，并且实时显示所述引导路径、标准扫查切面以及所述超声探头，提高了扫查的准确度。
作为本发明的第二个方面，本发明还提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项的超声成像引导方法的步骤。
其中，存储器可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：RAM）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard diskdrive，缩写：HDD）或固态硬盘（英文：solid-state drive，缩写：SSD）；存储器还可以包括上述种类的存储器的组合。
其中，处理器可以是中央处理器（英文：central processing unit，缩写：CPU），网络处理器（英文：network processor，缩写：NP）或者CPU和NP的组合。其中，处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specificintegrated circuit，缩写：ASIC），可编程逻辑器件（英文：programmable logic device，缩写：PLD）或其组合。上述PLD可以是复杂可编程逻辑器件（英文：complex programmablelogic device，缩写：CPLD），现场可编程逻辑门阵列（英文：field-programmable gatearray，缩写：FPGA），通用阵列逻辑（英文：generic array logic, 缩写：GAL）或其任意组合。
本发明的超声设备通过CNN深度卷积神经网络模型以及加载的三维超声模型并结合设置在超声探头中惯性测量单元采集的IMU信息，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息。本发明还根据当前超声图像与标准扫查切面的位置关系，引导超声探头运动至标准扫查切面处。本发明提高了超声探头查找标准扫查切面的速度和准确度。
作为本发明的第三个方面，本发明还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的超声成像引导方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（FlashMemory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
作为本发明的第四个方面，提供了一种超声成像引导装置，包括：
驱动超声探头运动至所述标准扫查切面处的驱动装置；以及上述的超声设备。
优选地，所述驱动装置为机械臂。
优选地，所述驱动装置集成在超声探头上，以驱动超声探头在检测对象体表运动，所述驱动装置包括电机以及带有吸附力的滚轮。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种超声成像引导方法，其特征在于，包括：
加载检测对象待扫查目标器官对应的三维超声模型，所述三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面；
获取所述超声探头扫查的当前超声图像；
获取设置在所述超声探头中的惯性测量单元采集的IMU信息；
将所述当前超声图像、IMU信息以及三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息；
根据所述当前超声图像与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处。
2.根据权利要求1所述的超声成像引导方法，其特征在于，所述将所述当前超声图像、IMU信息以及三位超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定所述当前超声图像的位置信息和角度信息，包括：
通过CNN深度卷积神经网络提取所述当前超声图像中的第一特征向量；
通过CNN深度卷积神经网络提取所述三维超声模型中的第二特征向量；
通过CNN深度卷积神经网络提取所述IMU信息中的第三特征向量；
将所述第一特征向量、第二特征向量以及第三特征向量进行拼接，得到第一拼接特征向量；
将所述第一拼接特征向量输入全连接层进行特征向量融合，得到所述当前超声图像的位置信息和角度信息。
3.根据权利要求2所述的超声成像引导方法，其特征在于，所述通过CNN深度卷积神经网络提取所述IMU信息中的第三特征向量，具体为：
通过CNN深度卷积神经网络中的嵌入向量层提取所述第三特征向量。
4.根据权利要求1-3中任一项所述的超声成像引导方法，其特征在于，所述获取设置在所述超声探头中的惯性测量单元采集的IMU信息，包括：
通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；
通过惯性测量单元获取所述超声探头当前时刻前预设时间段内的IMU信息；
将超声探头当前时刻的IMU信息以及当前时刻前预设时间段内的IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度。
5.根据权利要求1-3中任一项所述的超声成像引导方法，其特征在于，所述惯性测量单元至少包括加速度计和陀螺仪。
6.根据权利要求1所述的超声成像引导方法，其特征在于，所述根据所述当前超声图像的位置与所述标准扫查切面的位置信息和角度信息，引导所述超声探头运动至所述标准扫查切面处，包括：
根据所述位置信息和角度信息规划所述超声探头运动至所述标准扫查切面的引导路径；
获取所述超声探头的实时位置；
根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径；
实时显示所述引导路径、标准扫查切面以及所述超声探头。
7.根据权利要求6所述的超声成像引导方法，其特征在于，所述实时显示所述引导路径、标准扫查切面以及所述超声探头，包括：
获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像；
在所述环境影像和/或检测对象体表突出显示所述引导路径、标准扫查切面以及所述超声探头。
8.根据权利要求1所述的超声成像引导方法，其特征在于，还包括：在引导所述超声探头运动至所述标准扫查切面处的过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。
9.一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，
所述处理器在执行所述存储器上的计算机程序时实现权利要求1至7中任一项所述的超声成像引导方法的步骤。
10.一种计算机存储介质，其特征在于，
所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1～7中任一项所述的超声成像引导方法的步骤。
CN201911421238.0A 2019-12-31 2019-12-31 超声成像引导方法、超声设备及存储介质 Active CN113116386B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911421238.0A CN113116386B (zh) 2019-12-31 2019-12-31 超声成像引导方法、超声设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911421238.0A CN113116386B (zh) 2019-12-31 2019-12-31 超声成像引导方法、超声设备及存储介质

Publications (2)

Publication Number Publication Date
CN113116386A true CN113116386A (zh) 2021-07-16
CN113116386B CN113116386B (zh) 2023-08-04

Family

ID=76769694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911421238.0A Active CN113116386B (zh) 2019-12-31 2019-12-31 超声成像引导方法、超声设备及存储介质

Country Status (1)

Country Link
CN (1) CN113116386B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456106A (zh) * 2021-08-03 2021-10-01 无锡祥生医疗科技股份有限公司 颈动脉扫查方法、装置和计算机可读存储介质
CN113768535A (zh) * 2021-08-23 2021-12-10 武汉库柏特科技有限公司 一种遥操作用超声仿型探头姿态自校准方法、系统及装置
CN113925529A (zh) * 2021-10-14 2022-01-14 武汉库柏特科技有限公司 超声扫描控制方法、装置、设备及存储介质
CN114176627A (zh) * 2021-11-05 2022-03-15 四川省妇幼保健院 超声波自动扫描系统及其扫描方法
CN116549020A (zh) * 2023-07-11 2023-08-08 深圳微创心算子医疗科技有限公司 超声检测方法、数字心切面网络模型的训练方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680481A (zh) * 2013-11-28 2015-06-03 深圳迈瑞生物医疗电子股份有限公司 一种超声辅助扫查方法和系统
TWM551477U (zh) * 2017-05-08 2017-11-11 李承諺 一種適用於人工智慧影像分析的超音波診斷裝置
CN107374674A (zh) * 2017-08-28 2017-11-24 深圳开立生物医疗科技股份有限公司 一种超声探头扫查控制方法及装置
JP2018134386A (ja) * 2016-12-07 2018-08-30 ベイラブス， インク．Ｂａｙ Ｌａｂｓ， Ｉｎｃ． 超音波探触子の誘導ナビゲーション
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN109106563A (zh) * 2018-06-28 2019-01-01 清华大学天津高端装备研究院 一种基于深度学习算法的自动化导盲装置
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
CN109549667A (zh) * 2018-12-29 2019-04-02 无锡祥生医疗科技股份有限公司 超声换能器扫描系统、方法及超声成像设备
CN109589141A (zh) * 2018-12-28 2019-04-09 深圳开立生物医疗科技股份有限公司 一种超声诊断辅助方法、系统和超声诊断设备
US20190354856A1 (en) * 2018-05-15 2019-11-21 New York University System and method for orientating capture of ultrasound images
CN110584714A (zh) * 2019-10-23 2019-12-20 无锡祥生医疗科技股份有限公司 超声融合成像方法、超声装置及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680481A (zh) * 2013-11-28 2015-06-03 深圳迈瑞生物医疗电子股份有限公司 一种超声辅助扫查方法和系统
CN109310396A (zh) * 2016-06-20 2019-02-05 蝴蝶网络有限公司 用于辅助用户操作超声装置的自动图像获取
JP2018134386A (ja) * 2016-12-07 2018-08-30 ベイラブス， インク．Ｂａｙ Ｌａｂｓ， Ｉｎｃ． 超音波探触子の誘導ナビゲーション
TWM551477U (zh) * 2017-05-08 2017-11-11 李承諺 一種適用於人工智慧影像分析的超音波診斷裝置
CN107374674A (zh) * 2017-08-28 2017-11-24 深圳开立生物医疗科技股份有限公司 一种超声探头扫查控制方法及装置
US20190354856A1 (en) * 2018-05-15 2019-11-21 New York University System and method for orientating capture of ultrasound images
CN109106563A (zh) * 2018-06-28 2019-01-01 清华大学天津高端装备研究院 一种基于深度学习算法的自动化导盲装置
CN109044400A (zh) * 2018-08-31 2018-12-21 上海联影医疗科技有限公司 超声图像标注方法、装置、处理器及可读存储介质
CN109589141A (zh) * 2018-12-28 2019-04-09 深圳开立生物医疗科技股份有限公司 一种超声诊断辅助方法、系统和超声诊断设备
CN109549667A (zh) * 2018-12-29 2019-04-02 无锡祥生医疗科技股份有限公司 超声换能器扫描系统、方法及超声成像设备
CN110584714A (zh) * 2019-10-23 2019-12-20 无锡祥生医疗科技股份有限公司 超声融合成像方法、超声装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456106A (zh) * 2021-08-03 2021-10-01 无锡祥生医疗科技股份有限公司 颈动脉扫查方法、装置和计算机可读存储介质
CN113456106B (zh) * 2021-08-03 2023-11-21 无锡祥生医疗科技股份有限公司 颈动脉扫查方法、装置和计算机可读存储介质
CN113768535A (zh) * 2021-08-23 2021-12-10 武汉库柏特科技有限公司 一种遥操作用超声仿型探头姿态自校准方法、系统及装置
CN113925529A (zh) * 2021-10-14 2022-01-14 武汉库柏特科技有限公司 超声扫描控制方法、装置、设备及存储介质
CN114176627A (zh) * 2021-11-05 2022-03-15 四川省妇幼保健院 超声波自动扫描系统及其扫描方法
CN116549020A (zh) * 2023-07-11 2023-08-08 深圳微创心算子医疗科技有限公司 超声检测方法、数字心切面网络模型的训练方法和装置
CN116549020B (zh) * 2023-07-11 2023-11-03 深圳微创心算子医疗科技有限公司 超声检测方法、数字心切面网络模型的训练方法和装置

Also Published As

Publication number Publication date
CN113116386B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
CN113116386B (zh) 超声成像引导方法、超声设备及存储介质
JP5127371B2 (ja) 超音波画像診断システム、及びその制御方法
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
CN110842901B (zh) 基于一种新型三维标定块的机器人手眼标定方法与装置
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
JP2017508151A (ja) 視覚プローブを使用して物体を検査する方法
CN111657997A (zh) 超声辅助引导方法、装置及存储介质
US20160379368A1 (en) Method for determining an imaging specification and image-assisted navigation as well as device for image-assisted navigation
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
US20240335183A1 (en) Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program
CN113116384A (zh) 超声扫查引导方法、超声设备及存储介质
JP5677399B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP6580243B2 (ja) 情報処理装置、超音波画像診断システム、情報処理方法及びプログラム
CN117257346A (zh) 基于影像识别的超声探头引导方法及装置
CN113384347B (zh) 一种机器人标定方法、装置、设备及存储介质
JP6355788B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
JP6338510B2 (ja) 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US11630436B2 (en) Measurement program selection assisting apparatus and measurement control apparatus
JP2005323905A (ja) 眼球運動測定装置、及び眼球運動測定プログラム
JP6463539B2 (ja) 情報処理装置、超音波画像診断システム、情報処理方法及びプログラム
JP2022091542A (ja) 制御装置、制御方法、プログラム
KR102030606B1 (ko) 적외선 카메라를 이용한 실시간 보행검사 장치 및 방법
JP6230923B2 (ja) 水中移動体の位置検知装置及び位置検知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant