CN117252853A - 基于动作捕捉的心脏超声标准切面自动指引方法及系统 - Google Patents
基于动作捕捉的心脏超声标准切面自动指引方法及系统 Download PDFInfo
- Publication number
- CN117252853A CN117252853A CN202311348667.6A CN202311348667A CN117252853A CN 117252853 A CN117252853 A CN 117252853A CN 202311348667 A CN202311348667 A CN 202311348667A CN 117252853 A CN117252853 A CN 117252853A
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- ultrasonic probe
- real
- heart
- motion capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000523 sample Substances 0.000 claims abstract description 72
- 238000002604 ultrasonography Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 10
- 230000000747 cardiac effect Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001562 sternum Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Social Psychology (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明属于图像处理领域，本发明提供了一种基于动作捕捉的心脏超声标准切面自动指引方法及系统，进行受试者的图像捕捉，通过获取的图像信息判断出人体姿态，并对超声探头进行动作捕捉，确定超声探头的运动轨迹和姿态；获取受试者在目标体位，超声探头的实时超声影像信息；根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；根据预测结果，可以实现心脏超声标准切面的自动获取于探头行动指引。
Description
技术领域
本发明属于超声图像处理技术领域，涉及一种基于动作捕捉的心脏超声标准切面自动指引方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
超声心动图由于其无创性、无放射性、便携性和实时动态性现已成为最常用的心脏检查成像方式。但是，心脏超声切面的获取与分析与医生的主观操作关联较大，且需要处于静息态的患者以及合适的超声检测装备共同完成，因而不可避免的存在检测误差。这对于心脏疾病和心脏功能的诊断带来了巨大的挑战，也对超声医生提出了更高的技术要求。
心脏的解剖结构存在较大的复杂性，虽然存在细致的心脏超声质量评估指南，但是对于经验不足的超声医生而言，获取全部的标准心脏超声切面仍是一项艰巨的任务。除此之外，基层高水平超声科医生严重短缺、城乡医疗水平分布不均衡和患者个体差异较大等客观问题，对于标准超声心动图的获取造成了严重阻碍，这大大增加了患者误诊率及病情延误的风险。因而，心脏超声标准切面的获取对于心脏疾病的诊疗具有重大的意义。
除此之外，高水平超声医生的培养与经验积累是一项长期且投入巨大的过程，单纯依靠专业医生进行切面采集会耗费大量的人力物力及时间成本。
发明内容
本发明为了解决上述问题，提出了一种基于动作捕捉的心脏超声标准切面自动指引方法及系统，本发明使用动作捕捉系统进行超声医生手部探头实时位置获取，将迁移学习和深度度量学习相结合，实现跨领域、任务和分布的知识复用，实现心脏超声标准切面的自动获取于探头行动指引。
根据一些实施例，本发明采用如下技术方案：
一种基于动作捕捉的心脏超声标准切面自动指引方法，包括以下步骤：
进行受试者的图像捕捉，通过获取的图像信息判断出人体姿态，并对超声探头进行动作捕捉，确定超声探头的运动轨迹和姿态；
获取受试者在目标体位，超声探头的实时超声影像信息；
根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；
根据预测结果，对超声探头进行路径指引。
作为可选择的实施方式，对受试者的图像进行采集，获取受试者的当前体位；
对超声探头上的标识物进行捕捉，根据捕捉结果，通过三维刚体变换准则获取超声探头的实时位置；
根据世界坐标系、超声探头坐标系及受试者位置坐标系的换算，得到超声探头实时位置及角度的信息。
作为可选择的实施方式，若受试者的当前体位不适合进行心脏切面采集，则指引受试者改变姿态，转为目标体位。
作为可选择的实施方式，标准切面特征提取和确认过程包括：
提取所获心脏超声影像与心脏超声质量评估公开数据集的共有深层特征；
将共有深层特征输入到编码器和解码器进行训练，编码后的数据经过类别预测后得到相应的标准参考图像，并利用标准结构特征对解码器进行训练，并输出质量预测结果；
标准视图的先验知识通过参数共享的Transformer解码器对编码特征进行训练，得到最终的超声视图位移量。
作为可选择的实施方式，根据实时超声影像信息进行知识学习与特征提取的具体过程包括对获取的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性；
再将排列好的影像数据输入由基于多头注意力机制的Transformer块组成的特征提取器中，提取到深层结构特征；
根据提取到的深层结构特征，对超声手法的位移量进行预测。
作为进一步的，根据提取到的深层结构特征，对超声手法的位移量进行预测的具体过程包括将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异；
将多输入映射为单一输出，并通过反向传播对网络进行训练；
对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，计算出实时切面与标准切面之间的距离信息。
一种基于动作捕捉的心脏超声标准切面自动指引系统，包括：
动作捕捉单元，用于获取受试者的图像，通过图像信息判断出人体姿态，并获取超声探头的图像，确定超声探头的运动轨迹和姿态；
数据采集模块，用于获取受试者在目标体位，超声探头的实时超声影像信息；
深度迁移度量模块，用于根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；
结果反馈模块，用于根据预测结果，对超声探头进行路径指引。
作为可选择的实施方式，所述动作捕捉单元包括动作捕捉装置、摄像设备和处理模块，其中，所述动作捕捉装置对超声探头延长杆的轨迹进行实时记录，摄像设备设置在数据采集模块前，用于获取受试者的图像信息，所述处理系统，用于根据动作捕捉装置、摄像设备获取的信息，确定超声探头的运动轨迹、实时位置和人体体位。
作为进一步的，所述超声探头连接有一延长杆，所述延长杆上设置有反光条，所述处理系统用于对反光条的反光信号进行捕捉，根据捕捉结果，通过三维刚体变换准则获取超声探头的实时位置；
根据世界坐标系、超声探头坐标系及受试者位置坐标系的换算，得到超声探头实时位置及角度的信息。
作为可选择的实施方式，还包括语音模块，用于在受试者的当前体位不适合进行心脏切面采集时，播报语音，指引受试者改变姿态，转为目标体位。
作为可选择的实施方式，所述深度迁移度量模块，包括：
分割模块，用于对获取的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性；
特征提取模块，用于将排列好的影像数据输入由基于多头注意力机制的Transformer块组成的特征提取器中，提取到深层结构特征；
预测模块，用于根据提取到的深层结构特征，对超声手法的位移量进行预测。
作为进一步的，所述预测模块，包括：
差异计算模块，用于将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异；
训练模块，用于将多输入映射为单一输出，并通过反向传播对网络进行训练；
距离计算模块，用于对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，计算出实时切面与标准切面之间的距离信息。
与现有技术相比，本发明的有益效果为：
本发明的外置摄像机结合动作捕捉装置不会影响受试者和超声探头的工作，不会对超声设备进行大量的设备结构改造，投入使用成本低，操作简单。
本发明能够保证受试者尽快转入最佳体位，并根据当前超声探头获取的检测切面和标准切面的差距，确定超声探头应该进行的轨迹运动和角度移动，指引超声探头的移动，以采集到标准切面或尽可能提高检测切面的准确度和精确度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本实施例的系统结构框图；
图2是本实施例的系统布设图；
图3是本实施例的超声切面采集六自由度示意图；
图4是本实施例的基于Transformer的特征提取器结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例利用外置摄像机结合动作捕捉装置对受试者的姿态进行跟踪及判断，通过图像信息判断出人体姿态，并通过语音提示指引至最佳体位，在最佳体位时，利用超声探头对受试者的心脏切面进行采集，在此过程中利用动作捕捉系统对超声探头延伸杆的轨迹进行实时记录及超声探头轨迹换算，与此同时超声探头采集到的实时视频信息输入到深度迁移度量网络中进行知识学习与特征提取；
利用深度迁移度量网络结合探头运动轨迹对当前检测切面、标准切面获取角度和探头移动距离进行预测，并将识别结果进行实时显示和语音播报，直至采集到心脏超声标准切面并输出检查结果。
下面结合附图进行详细方案的介绍。
如图1所示，基于动作捕捉的心脏超声标准切面自动指引系统包括动作捕捉模块1，超声心动图数据采集模块2、深度迁移度量模块3、超声识别模块4以及结果反馈模块5。
其中，动作捕捉模块1用来对受试者体位及超声探头运动轨迹进行监控。
数据采集模块2用来采集受试者的实时超声影像信息。
深度迁移度量模块3用来对采集切面进行深层特征提取并对关键特征进行跨领域迁移，通过于超声探头运动轨迹特征相结合，得到相应的切面质量评估结果及位置信息。
超声识别模块4用来对识别结果及位置信息进行数字化显示和语音播报。
结果反馈模块5用来对超声探头进行路径指引，辅助超声医师进行精准的标准超声切面选取及路径指引。
如图2所示，在本实施例中，动作捕捉模块1利用动作捕捉装置对超声探头延长杆的轨迹进行实时记录与特征提取，并利用外置摄像头捕捉患者体位，与动作捕捉装置进行结合，使患者保持最优检查体位。
本实施例中，动作捕捉装置由7个视觉采集摄像头构成，均匀分布于采集场地的屋顶四周。超声设备位于房间中央位置，其上下左右均无遮挡。除此之外，场地外围设置摄像装备以实现采集过程实时跟踪。
在本实施例中，超声探头延长杆通过反光条进行标定，动作捕捉装置自带的处理系统对反光信号进行捕捉，并通过三维刚体变换准则获取超声探头实时位置。通过外置摄像头接受患者体位信号，收到患者准备就绪的信号，通过所述检测区域内的各个视觉采集摄像头对患者全身影像、超声探头运动轨迹进行实时采集，根据世界坐标系、超声探头坐标系及患者位置坐标系的换算，得到超声探头实时位置及角度（共六个自由度）的信息。
所述数据采集模块2利用超声心动图采集设备（执行结构为超声探头）实时采集超声心动图影像，在此过程中，超声探头的六自由度变化受到动作捕捉系统的实时监控，如图3所示。
所述深度迁移度量模块3在基于注意力辅助引导的超声影像标准视图导航算法的基础上进行构建，主要由以下两个部分构成：基于注意力辅助引导的超声影像质量检查与手法预测算法及超声影像标准视图智能导航。
具体的，首先利用特征提取器提取所获心脏超声影像与心脏超声质量评估公开数据集的共有深层特征；其次，深层特征输入到编码器和解码器进行训练，编码后的数据经过类别预测后得到相应的标准参考图像，并利用标准结构特征（通过在训练过程中加入标准切面先验知识，提取标准结构特征，将相关先验知识应用于实时标准切面选取中得到）对解码器进行训练，并输出质量预测结果；最后，标准参考图像的先验知识通过参数共享的Transformer解码器对编码特征进行训练，得到最终的超声视图位移量并应用于心脏图像超声采集过程中。
上述提出的编码器、解码器及特征提取其拟采用两层Transformer块组成。Transformer架构由多头注意力机制和全连接前馈网络组成，每个子层都由残差链接并进行层归一化计算。注意力机制（Attention）允许对输入输出序列的依赖项进行建模并高效的进行并行化计算，而无需考虑它们在序列中的距离。这样，通过Transformer组成的网络结构，可以获得超声影像的深层特征。以特征提取器为例，基于Transformer的特征提取器架构，如图4所示。
超声影像输入后，首先将输入的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性。再将排列好的影像数据输入由基于多头注意力机制的Transformer块组成的特征提取器中，提取到深层结构特征并输入结构预测器中对超声手法的位移量进行预测。注意力机制可表示为：
（1）
其中，Q为查询矩阵，K为注意力关注内容，V是值矩阵。
之后，位移预测器由多个交互层的多头注意力和多层感知器（MultilayerPerceptron, MLP）块组成。多头注意力块和多层感知器是transformer网络原始架构的一部分。注意力机制可以利用人类视觉机制进行直观解释，通过允许模型动态的关注识别任务中对于预测有正向作用的结构特征，在此基础上，TIQA、IQA、CNN等质量评估方法，将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异，二阶统计量差异最小的特征为最优预测特征，集合有利于预测器更好地得到组织结构质量预测结果。
在本实施例中，质量评估结果将切面的标准程度分为了5级，优秀、良好、合格、基本合格、不合格。
MLP将多输入映射为单一输出，本实施例的多输入指的是多维特征。此部分将多维特征转换为单一的质量评分输出，并通过反向传播对上述整体架构进行训练。该结构最终使用Softmax函数对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，从而计算出实时切面与标准切面之间的距离信息。确定探头的移动方向、移动位移和姿态。
所述超声识别模块4可输出实时切面类别信息，切面质量评估结果，综合得出超声提示信息并进行数字化显示及语音播报。类别是指输出的切面名称，包括二腔心、三腔心、四腔心、五腔心、胸骨旁左室长轴等常用超声切面。
结果反馈模块5可输出当前切面转换标准切面的六自由度位移信息，实现超声装备与动作捕捉设备的实时反馈交互，从而进一步提高模型训练的准确程度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于动作捕捉的心脏超声标准切面自动指引方法，其特征是，包括以下步骤：
进行受试者的图像捕捉，通过获取的图像信息判断出人体姿态，并对超声探头进行动作捕捉，确定超声探头的运动轨迹和姿态；
获取受试者在目标体位，超声探头的实时超声影像信息；
根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；
根据预测结果，对超声探头进行路径指引。
2.如权利要求1所述的一种基于动作捕捉的心脏超声标准切面自动指引方法，其特征是，对受试者的图像进行采集，获取受试者的当前体位；
对超声探头上的标识物进行捕捉，根据捕捉结果，通过三维刚体变换准则获取超声探头的实时位置；
根据世界坐标系、超声探头坐标系及受试者位置坐标系的换算，得到超声探头实时位置及角度的信息。
3.如权利要求1所述的一种基于动作捕捉的心脏超声标准切面自动指引方法，其特征是，标准切面特征提取和确认过程包括：
提取所获心脏超声影像与心脏超声质量评估公开数据集的共有深层特征；
将共有深层特征输入到编码器和解码器进行训练，编码后的数据经过类别预测后得到相应的标准参考图像，并利用标准结构特征对解码器进行训练，并输出质量预测结果；
标准视图的先验知识通过参数共享的Transformer解码器对编码特征进行训练，得到最终的超声视图位移量。
4.如权利要求1所述的一种基于动作捕捉的心脏超声标准切面自动指引方法，其特征是，根据实时超声影像信息进行知识学习与特征提取的具体过程包括对获取的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性；
再将排列好的影像数据输入由基于多头注意力机制的Transformer块组成的特征提取器中，提取到深层结构特征；
根据提取到的深层结构特征，对超声手法的位移量进行预测。
5.如权利要求4所述的一种基于动作捕捉的心脏超声标准切面自动指引方法，其特征是，根据提取到的深层结构特征，对超声手法的位移量进行预测的具体过程包括将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异；
将多输入映射为单一输出，并通过反向传播对网络进行训练；
对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，计算出实时切面与标准切面之间的距离信息。
6.一种基于动作捕捉的心脏超声标准切面自动指引系统，其特征是，包括：
动作捕捉单元，用于获取受试者的图像，通过图像信息判断出人体姿态，并获取超声探头的图像，确定超声探头的运动轨迹和姿态；
数据采集模块，用于获取受试者在目标体位，超声探头的实时超声影像信息；
深度迁移度量模块，用于根据超声探头的运动轨迹，进行轨迹换算，根据实时超声影像信息进行知识学习与特征提取，基于提取结果和换算结果，确定当前检测切面和标准切面的差距，并对超声探头的移动角度和移动距离进行预测；
结果反馈模块，用于根据预测结果，对超声探头进行路径指引。
7.如权利要求6所述的一种基于动作捕捉的心脏超声标准切面自动指引系统，其特征是，所述动作捕捉单元包括动作捕捉装置、摄像设备和处理模块，其中，所述动作捕捉装置对超声探头延长杆的轨迹进行实时记录，摄像设备设置在数据采集模块前，用于获取受试者的图像信息，所述处理系统，用于根据动作捕捉装置、摄像设备获取的信息，确定超声探头的运动轨迹、实时位置和人体体位。
8.如权利要求7所述的一种基于动作捕捉的心脏超声标准切面自动指引系统，其特征是，所述超声探头连接有一延长杆，所述延长杆上设置有反光条，所述处理系统用于对反光条的反光信号进行捕捉，根据捕捉结果，通过三维刚体变换准则获取超声探头的实时位置；
根据世界坐标系、超声探头坐标系及受试者位置坐标系的换算，得到超声探头实时位置及角度的信息。
9.如权利要求6所述的一种基于动作捕捉的心脏超声标准切面自动指引系统，其特征是，还包括语音模块，用于在受试者的当前体位不适合进行心脏切面采集时，播报语音，指引受试者改变姿态，转为目标体位。
10.如权利要求6所述的一种基于动作捕捉的心脏超声标准切面自动指引系统，其特征是，所述深度迁移度量模块，包括：
分割模块，用于对获取的图像数据分割成图像块序列，并进行位置划分嵌入，在完整保留空间信息的同时依据像素分布距离获得不同组织结构的空间相关性；
特征提取模块，用于将排列好的影像数据输入由基于多头注意力机制的Transformer块组成的特征提取器中，提取到深层结构特征；
预测模块，用于根据提取到的深层结构特征，对超声手法的位移量进行预测；
所述预测模块，包括：
差异计算模块，用于将实时心脏超声检查切面与相应的心脏超声标准切面进行度量，计算出二者特征差异；
训练模块，用于将多输入映射为单一输出，并通过反向传播对网络进行训练；
距离计算模块，用于对权重进行归一化，将权重和相应的键值及逆行加权求和得到最终的六自由度位移预测量，计算出实时切面与标准切面之间的距离信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311348667.6A CN117252853A (zh) | 2023-10-18 | 2023-10-18 | 基于动作捕捉的心脏超声标准切面自动指引方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311348667.6A CN117252853A (zh) | 2023-10-18 | 2023-10-18 | 基于动作捕捉的心脏超声标准切面自动指引方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117252853A true CN117252853A (zh) | 2023-12-19 |
Family
ID=89126325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311348667.6A Pending CN117252853A (zh) | 2023-10-18 | 2023-10-18 | 基于动作捕捉的心脏超声标准切面自动指引方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117252853A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117898764A (zh) * | 2024-03-20 | 2024-04-19 | 北京智源人工智能研究院 | 一种超声探查装置 |
-
2023
- 2023-10-18 CN CN202311348667.6A patent/CN117252853A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117898764A (zh) * | 2024-03-20 | 2024-04-19 | 北京智源人工智能研究院 | 一种超声探查装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10515452B2 (en) | System for monitoring lesion size trends and methods of operation thereof | |
| JP7330207B2 (ja) | 適応的超音波スキャニング | |
| JP2019521745A (ja) | ユーザによる超音波装置の操作を援助するための自動画像取得 | |
| US10803612B2 (en) | Method and system for structure recognition in three-dimensional ultrasound data based on volume renderings | |
| CN117252853A (zh) | 基于动作捕捉的心脏超声标准切面自动指引方法及系统 | |
| CN111971688A (zh) | 具有用于检索复发患者的成像参数设置的人工神经网络的超声系统 | |
| JP2016515418A (ja) | 医療画像とその利用により脈管網の評価をコンピュータを用いて実行する方法 | |
| US20210177374A1 (en) | Biometric measurement and quality assessment | |
| CN112206006A (zh) | 自主评估甲状腺结节良恶性的智能辅助识别设备及方法 | |
| WO2022206025A1 (zh) | 生物力学建模方法、装置、电子设备及存储介质 | |
| CN114760929A (zh) | 用于获得医学超声图像的系统和方法 | |
| US20190076127A1 (en) | Method and system for automatically selecting ultrasound image loops from a continuously captured stress echocardiogram based on assigned image view types and image characteristic metrics | |
| EP3105741B1 (en) | Systems for monitoring lesion size trends and methods of operation thereof | |
| CN116580819A (zh) | 用于自动化地确定图像序列中的检查结果的方法和系统 | |
| CN115969414A (zh) | 用于在超声成像期间使用分析辅助的方法和系统 | |
| KR20240013183A (ko) | 초음파 이미지 시퀀스 획득을 위한 장치 및 관련 방법 | |
| WO2021209399A1 (en) | Aiding a user to perform a medical ultrasound examination | |
| CN112515705A (zh) | 用于投影轮廓启用的计算机辅助检测(cad)的方法和系统 | |
| US20240225589A1 (en) | Device for acquiring a sequence of ultrasonograms and associated method | |
| CN114098687B (zh) | 用于超声运动模式的自动心率测量的方法和系统 | |
| US20240180529A1 (en) | Method for use in ultrasound imaging | |
| US20220207719A1 (en) | System, method, apparatus, and computer program product for ultrasonic clinical decision support | |
| WO2023110680A1 (en) | A computer implemented method, a method and a system | |
| WO2024047143A1 (en) | Ultrasound exam tracking | |
| EP4358850A1 (en) | Generation of m-mode data for detecting fetal cardiac activity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |