CN117795612A - 呼吸模式提取 - Google Patents
呼吸模式提取 Download PDFInfo
- Publication number
- CN117795612A CN117795612A CN202280052884.8A CN202280052884A CN117795612A CN 117795612 A CN117795612 A CN 117795612A CN 202280052884 A CN202280052884 A CN 202280052884A CN 117795612 A CN117795612 A CN 117795612A
- Authority
- CN
- China
- Prior art keywords
- ultrasound
- video stream
- breathing pattern
- algorithm
- respiration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 79
- 238000000605 extraction Methods 0.000 title description 3
- 238000002604 ultrasonography Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 61
- 238000013473 artificial intelligence Methods 0.000 claims description 40
- 239000000523 sample Substances 0.000 claims description 29
- 230000000241 respiratory effect Effects 0.000 claims description 24
- 238000010191 image analysis Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 210000000056 organ Anatomy 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000116 mitigating effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 2
- 230000036387 respiratory rate Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 24
- 238000003384 imaging method Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000011049 filling Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000001640 Fibromyalgia Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
- A61B8/543—Control of the diagnostic device involving acquisition triggered by a physiological signal
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Abstract
公开了一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的系统、方法和计算机可读介质，包括根据基于音频的触发和基于图像的触发中的至少一项来来从超声视频流检测指示呼吸模式的触发事件。当前公开的技术还可以包括响应于检测到所述触发事件而识别所述超声视频流中的呼吸模式。当前公开的技术还可以包括提取至少一个呼吸相关参数，以及生成具有所述至少一个呼吸相关参数的记录。
Description
技术领域
当前公开的技术涉及临床患者管理的领域，并且更具体地涉及从超声结果中自动提取呼吸模式以便辅助下游临床患者管理。
背景技术
有效地执行诸如超声、MRI等的成像检查的能力通常取决于患者遵守进行检查的工作人员或技术人员的指示的能力。患者不能执行诸如一定持续时间内的屏住呼吸、深呼吸、保持静止、以某种方式定位身体等的任务不仅可以延长检查的持续时间，而且还可以在一些情况下限制其诊断价值。患者中预先存在的状况也可能影响他们遵守检查指令的能力。例如，如果患有帕金森病的患者进入外周血管扫描，则由于腿的重复运动，存在与扫描相关联的一定程度的难度。患有纤维肌痛的患者可能无法采取用于US检查的某些扫描位置。
发明内容
当前公开的技术利用初始上游超声成像检查来自动提取患者的参数(与呼吸模式相关的信息)。在可由成像技术人员编辑的报告被推送到可由后续下游成像(US/MR/其他)或对该患者的其他流程访问的中央数据库/服务器之前，所提取的参数用于自动填充该报告。
对患者的初始超声检查可以揭示与患者遵守检查要求的能力相关的许多属性，例如呼吸模式。成像人员通常向患者口头传达指令(例如，屏住呼吸)，其可以用作启动基于实时视频馈送中的解剖结构的运动的缺乏来识别屏住呼吸的开始和停止的超声视频处理算法的触发。超声探头上的惯性测量单元(IMU)或电磁(EM)传感器用于在算法中滤除探头运动。当前公开的技术还可以包括(一个或多个)人工智能(AI)模型以估计呼吸相关度量，诸如屏住呼吸持续时间、呼吸类型、速率和对器官运动的影响。
根据当前公开的技术的第一方面，提供了一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的系统。该系统包括检测设备，所述检测设备被配置为检测指示特定呼吸模式的特定点的触发事件。并且检测设备可以是麦克风，并且触发甚至可以是口头指示，诸如“深呼吸并屏气”。可以获得诸如超声图像流的超声视频流。可以从超声探头实时获得超声图像流，或者可以在检查之后查看超声视频流。图像分析模块启动响应于检测到触发事件而寻找对应特征(诸如对应于超声图像流中的呼吸模式中的特定点的特征)例如以识别与快速吸入相符的移动的视频处理算法。然后，图像分析模块从图像流中提取至少一个呼吸相关参数。填充算法利用所提取的(一个或多个)参数自动填充报告，其中，报告可由成像技术人员编辑。
根据一个实施例，一种视频处理算法包括被训练为估计特定于所讨论的扫描或探头操作的不同呼吸相关参数的人工智能(AI)算法。
根据一个实施例，人工智能算法是基于模型的回归算法。根据一个实施例，检测设备是麦克风，并且触发事件是由成像技术人员说出的指示患者执行特定呼吸模式的一个或多个单词。
根据一个实施例，检测设备是图像分析模块，并且触发事件是视频流中的特定运动。根据一个实施例，图像分析模块接收与视频流同步的超声探头的跟踪数据，并且图像分析模块从视频流中滤除探头运动。
根据一个实施例，跟踪数据由与超声探头集成的惯性测量单元(IMU)产生。替代地，跟踪数据可以由与超声探头集成的电磁跟踪线圈生成。
根据一个实施例，估计的呼吸参数包括屏住呼吸持续时间。根据一个实施例，所述系统还包括被训练为估计心跳相关参数的人工智能算法。
根据当前公开的技术的第二方面，提供了一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的方法。该方法包括以下步骤：检测指示特定呼吸模式的特定点的触发事件，获得超声视频流，响应于检测到触发事件而启动在超声视频流中寻找对应特征的视频处理算法，使用经训练的人工智能算法估计至少一个呼吸相关参数，并且利用至少一个呼吸相关参数来自动填充报告。
根据一个实施例，所述方法还包括将报告上传到电子医学记录(EMR)系统的步骤。根据当前公开的技术的第三方面，提供了一种计算机程序产品。该计算机程序产品包括其上编码有程序代码的机器可读介质，所述程序代码能够由处理器运行以执行以下步骤：检测指示特定呼吸模式的特定点的触发事件，获得超声视频流，响应于检测到触发事件而启动在超声视频流中寻找与呼吸模式的特定点相对应的至少一个特征的视频处理算法，使用经训练的人工智能算法估计至少一个呼吸相关参数，并且利用至少一个呼吸相关参数来自动填充报告。
根据一个实施例，程序代码可由处理器执行以执行将报告上传到电子医学记录(EMR)系统的另一步骤。当在本文中使用时，术语“处理器”应当意味着单个处理器或可以通过硬连线或无线连接互连或可以通过网络通信的多个处理器。处理器可以是单核或多核处理器。
当在本文中使用时，术语“存储器”应当意味着与处理器集成在一起的机器可读介质，诸如在工作站或通用计算机中或在处理器外部的机器可读介质，诸如外部硬盘驱动器、云存储设备或可移动存储器设备。介质可以是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)。计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前示例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。
当在本文中使用时，术语“显示器”应当意味着人类可视计算机接口，其用于呈现具有或不具有作为静止或运动图片的附加图像或数据的图像数据或流，所述人类可视计算机接口经由视频图形阵列(VGA)、数字视觉接口(DVI)、高清晰度多媒体接口(HDMI)、低电压差分信令(LVDS)或其他专有连接器和信号连接到处理器。当前使用的显示器的示例包括液晶显示器、发光二极管显示器、等离子显示器。
当在本文中使用时，术语“和/或”应当意味着仅第一种可能性、仅第二种可能性、仅第三种可能性等等、以及所列出的可能性的任何组合。例如，短语A、B和/或C可以是以下中的任何一个：仅A、仅B、仅C、A和B、A和C、B和C、或A、B和C。
当在本文中使用时，术语“图像解读”应当意味着视觉查看、图像处理、空间测量、时间测量和/或使用任何其他成像工具用于从图像数据中识别特征，以用于确定医学相关状况或进行诊断的目的。
当在本文中使用时，术语“人工智能算法”应当意味着可以(通常实时地)从多个源获取数据并基于数据和原理(诸如最小化误差)、基于自学习采取动作(诸如进行预测)的计算机代码。
当在本文中使用时，术语“参数”应当意味着形成定义系统或设置其操作条件的集合中的一个的数字或其他可测量因素。呼吸相关参数意味着指示特定患者的特定呼吸模式的可测量因素。
附图说明
当结合附图阅读时，根据优选实施例的以下详细描述，将更清楚地理解当前公开的技术的特征和优点。附图中包括以下附图：
图1是根据当前公开的技术的示例性实施例的用于从超声结果自动提取呼吸模式以便辅助下游临床患者管理的系统的框图。
图2是根据当前公开的技术的示例性实施例的用于从超声结果自动提取呼吸模式以便辅助下游临床患者管理的方法的流程图。
图3是根据当前公开的技术的示例性实施例的用于根据超声图像流来估计呼吸相关参数的人工智能算法的框图。
图4是根据当前公开的技术的示例性实施例的用于从超声图像流估计心跳相关参数的人工智能算法的框图。
图5是示出了根据当前公开的技术的示例性实施例的用于使用IMU跟踪数据来从超声图像流中过滤有意的超声换能器移动的方法的框图。
附图标记列表
10分析超声视频
20识别屏住呼吸开始和结束
30 估计屏住呼吸持续时间
40 自动填充报告
50 手动编辑
60推送到EMR
100 超声系统
110 处理器
120 存储器
122 图像处理模块
123 图像分析模块
124 跟踪模块
126人工智能(AI)算法(呼吸)
128人工智能(AI)算法(心跳)
129 填充算法
130 超声换能器
132惯性测量单元(IMU)
140显示器
150用户接口，输入
160麦克风
222超声扫描(图像)
223 特征运动数据
224 跟踪数据
260触发，音频
270 屏住呼吸持续时间
272 呼吸类型
274 呼吸率
276 对目标器官的呼吸影响
280 心率
290 真实情况数据
401 平均心率
402 最大心率
403 心率方差
410EKG
405真实情况，心跳
510从特征运动减去跟踪数据
520患者相关的运动
具体实施方式
当前公开的技术提供了一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的方法、系统和程序产品。
根据当前公开的技术的一个实施例，超声系统100被配置为提取呼吸模式数据(参数)并提供呼吸数据以用于下游临床患者管理。超声系统包括被配置为提供超声脉冲、接收超声回波并输出对应于超声回波的超声数据的超声换能器130。超声换能器操作性连接到处理器110，所述处理器110被配置为处理超声数据以提供被呈现在显示器140上的成像数据。
应当理解，虽然本文描述的示例性实施例使用实况图像流并且系统包括超声换能器，但是当前公开的技术也可以使用存储的图像流来实践，其中系统将不包括超声换能器。
处理器110还操作性连接到存储器120。存储器可以包括一个存储器介质，或者可以包括可以互连的多个不同的存储器介质。存储器上编码有可由处理器执行以执行将在下文中描述的功能的指令或程序代码的多个软件程序。
根据一个实施例，图像处理模块122被存储在存储器120上。图像处理模块从超声换能器130接收成像数据并生成超声扫描222。超声扫描222是被呈现在显示器140上的图像或图像流。
根据一个实施例，图像分析模块123被存储在存储器120上。图像分析模块123分析超声扫描222或图像流，并且确定与呼吸参数相关的成像参数，诸如快速移动和进入或离开超声扫描的标志。图像分析模块123提取指示超声图像中的特征的运动的特征运动数据223。
在一个实施例中，跟踪模块124被存储在存储器120上，其基于跟踪数据224计算超声换能器130的位置和取向。跟踪数据224可以由集成到超声换能器130的惯性测量单元(IMU)132或电磁(EM)跟踪系统或任何其他位置跟踪系统提供。可以根据跟踪数据来计算超声换能器130的位置、取向和运动。
如图5中所示，跟踪模块124从IMU 132获得跟踪数据224，并且从图像分析模块123获得超声特征运动。跟踪模块从超声特征运动中减去跟踪数据(步骤510)，并提供患者相关运动(步骤520)。
根据一个实施例，图像分析模块123包括用于估计呼吸相关参数的人工智能(AI)算法(呼吸)126，如图3所示。AI算法(呼吸)126是基于回归的强化学习(RL)算法。这意味着算法对目标输出与输入特征之间的依赖性和关系进行建模。AI算法(呼吸)126估计呼吸相关参数，诸如屏住呼吸持续时间270、呼吸类型(深或浅)272、呼吸率274以及来自输入(诸如触发260、超声扫描222和跟踪数据224)的对目标器官276的呼吸影响。下面将更详细地描述AI算法(呼吸)126。
在图4所示的一个实施例中，图像分析模块123还包括AI算法(心跳)128。AI算法(心跳)128是基于回归的人工智能算法，类似于AI算法(呼吸)126。AI算法(心跳)基于触发260、超声扫描222和心电图(EKG)410来估计超声扫描期间的心率。心率的真实情况405可以由基于EKG的用户输入来提供。所估计的心率测量可以包括：平均心率401、最大心率402和心率方差403。
填充算法129也被存储在存储器120上。填充算法从AI算法126、128接收输出270、272、274、276、401、402、403，并且可以生成诸如调查、问卷、患者图表修改、对电子医学记录的调整或类似的下游记录的记录文档和警报。记录可以由超声医师、技术人员或其他医学技术人员查看和编辑，并且可以在查看之前或响应于查看者的查看而被查看并上传到电子医学记录系统(EMR)180。EMR可以是可访问的，并且诸如通过硬连线或通过互联网操作性连接到处理器110。
根据一个实施例，麦克风160操作性连接到处理器110以提供可听触发来启动呼吸模式的图像评估。麦克风信号可以被输入到单词识别程序以检测信号短语，例如“深呼吸并屏气”。
麦克风160收听由执行上游超声检查的成像技术人员/超声医师发出的触发单词/句子(例如，通常口头给出对于屏住呼吸请求，诸如“深呼吸并屏气”)。稍后，成像技术人员的指示屏住呼吸请求结束的单词/话语(例如，“现在正常呼吸”)可以用作患者现在应当不再屏住呼吸的指示。这些时间点可以用作边界，在该边界内可以分析超声图像流的帧以估计真实的屏住呼吸持续时间。
深度学习算法可用于将特定音频记录与超声图像序列相关联。可以以频谱图的形式处理音频记录，以捕获包括时间和频率的声音的二维表示。深度学习算法还可以包括成像检查期间重复句子的周期性。类似地，也可以处理其他中间口头提示以向超声视频处理提供上下文。例如，指示所请求的任务的成功或失败的单词或句子(例如，“很好，屏住呼吸，仅仅几秒钟”或“没有问题，我们再试一次”等)。在示例中，本技术公开了一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的系统、方法或计算机可读介质。本技术可以涉及被配置为根据基于音频的触发和基于图像的触发中的至少一项来从超声视频流检测指示呼吸模式的触发事件的检测设备(160、123)。本技术还可以涉及响应于检测到所述触发事件而识别所述超声视频流中的呼吸模式的图像分析模块(123)，所述图像分析模块提取至少一个呼吸相关参数。此外，本技术还可以公开生成具有所述至少一个呼吸相关参数的患者记录的算法(129)。在示例中，所述检测设备是所述图像分析模块(123)，并且所述触发事件是所述超声视频流中的特定运动，其中，所述超声视频流中的所述特定运动包括以下中的至少一个：(i)所述视频流中的所识别的特征的移动的速率，以及(ii)标志移动进入超声图像帧和离开超声图像帧中的至少一项。本技术还可以包括所述图像分析模块接收针对与所述视频流(222)同步的超声探头(130)的跟踪数据(224)，并且所述图像分析模块至少基于针对所述超声探头的所述跟踪数据来从所述视频流中滤除探头运动。在该示例中，针对所述超声探头的所述跟踪数据是由与所述超声探头集成的惯性测量单元(IMU)(132)生成的。在示例中，本技术还可以包括将所述患者记录上传到电子医学记录(EMR)系统(60)，其中响应于针对受所述至少一个呼吸相关参数影响的流程上传所述患者记录而识别和记录缓解步骤。
图2图示了根据当前公开的技术的实施例的用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的方法。在第一步骤中，检测触发260。在一个实施例中，触发是基于音频的触发，诸如技术人员告诉患者深呼吸并屏气。如上所述，所述触发可以由麦克风160在单词识别软件的辅助下检测。
替代地，可以使用基于图像的触发。例如，可以针对与准备屏住呼吸的大的呼吸侵入一致的移动监测超声图像流的运动。替代的触发在图2中通过基于音频的触发和基于图像的触发之间的转折连词“或”来示出。
响应于检测到触发260，成像分析模块123针对与特定呼吸模式一致的运动来分析超声扫描222(视频馈送)。具体地，根据一个实施例，成像分析模块123分析实时超声视频以识别与屏住呼吸之前的长呼吸偏移相符的运动(步骤10)。图2示出了触发与超声探头130之间的连词“与”，指示除了基于音频的触发或基于图像的触发之外还提供超声视频馈送。应当注意，不需要实时提供视频流，因为替代实施例将是分析存储的视频流以估计呼吸相关参数，诸如屏住呼吸持续时间。成像分析模块123使用分析方法(诸如标志跟踪、图像相关或其他分析方法)来提取特征运动数据223。特征运动的提取可以由与超声探头130集成的IMU132辅助，如图2中所示。然后，成像分析模块123识别与屏住呼吸的开始和结束一致的特征运动的停止和重新开始(步骤20)。可以容易地获得屏住呼吸的开始和结束的时间戳。然后将屏住呼吸持续时间计算为屏住呼吸的开始和结束之间的差(步骤30)。
填充算法129自动填充记录，诸如调查、问卷、患者图表修改、对电子医学记录的调整或类似的下游记录文档和警报(步骤40)。填充算法可以使用自然语言处理来识别所请求的数据以促进记录的自动填充。记录可以由超声医师、技术人员或其他医学技术人员查看和编辑，并且可以被查看和编辑(步骤50)。
该报告可以上传到EMR系统180以供其中需要屏住呼吸来识别可能需要缓解步骤的未来流程参考。该报告还可以识别无法保持静止，使得可以使稳定工具可用。在另一示例中，可以识别对特殊考虑的需要，诸如更大的扫描室。缓解步骤可以涉及使用稳定或支撑工具，诸如腿支架或三角形海绵/泡沫垫，或例如在幽闭恐怖症患者的情况下选择更大的扫描室。
当在超声图像流的区域中没有除了由于呼吸引起的运动之外的运动并且标志可容易识别时，容易确定与在屏住呼吸之前的长的呼吸偏移相对应的运动、在屏住呼吸开始时停止运动、以及在屏住呼吸结束时重新开始运动。然而，在许多情况下，可能难以在探头运动和其他患者相关运动(诸如呼吸和/或不能保持静止)之间进行分析区分，特别是当两种运动交织且微妙时。这可能使得难以确定地估计患者是否成功地屏住呼吸。
为了将探头运动与患者相关的运动区分开，超声换能器130的跟踪数据224可以用于隔离有意的探头运动，然后可以将该有意的探头运动从观察到的运动中滤出，仅留下患者相关的运动。
为了进一步克服多个运动源的问题，AI算法(呼吸)126用于区分各种运动并估计呼吸相关参数。AI算法(呼吸)126是开发映射模型的基于回归的AI算法。也就是说，它对数据输入的映射进行建模：来自麦克风160的触发260(或基于图像的触发)、来自超声系统100的超声图像流222、以及来自IMU 132的跟踪数据224(或电磁跟踪数据)，其共同定义针对一个或多个估计的呼吸相关参数(诸如屏住呼吸持续时间270)的患者状态。所估计的呼吸参数还可以包括呼吸类型272、呼吸率274和对目标器官276的呼吸影响。
为了估计屏住呼吸持续时间，AI模型可以被训练为用于以下情况的回归模型：
·没有探头或患者(呼吸或其他)运动：在这种情况下，超声图像内容将或多或少地保持恒定，除了心脏运动(其在图像中可能可见或可能不可见，这取决于被扫描的解剖结构)。
·患者屏住呼吸但不能保持静止；没有有意的探头运动。
·患者很早释放屏住呼吸，没有有意的探头运动。
·患者不能保持静止，并且还很早释放屏住呼吸，没有有意的探头运动。
·呼吸运动和有意的探头运动。
·其他组合。
在训练阶段期间，AI算法126使用机器学习方法开发用于预测(一个或多个)呼吸相关参数的模型。该算法估计(一个或多个)参数并将估计的(一个或多个)参数与真实情况进行比较。在训练阶段之后，模型用于在没有真实情况的情况下估计(一个或多个)参数。
真实情况290被提供给AI算法(呼吸)126。真实情况包括呼吸参数的实际测量。在AI算法(呼吸)126的训练阶段期间使用的真实情况290、可以来自通过用户接口150输入的操作者输入和/或来自诸如呼吸系带、相机等的附加装置。操作者输入可以包括对特定超声图像帧的识别，所述特定超声图像帧对应于诸如屏住呼吸的丧失、突然的患者移动、探头运动的开始和停止等事件。注意，这样的设备将仅在训练阶段被需要，并且当训练的模型在操作中时将不被需要。此外，为了区分不同的呼吸模式，可以在学习深呼吸或浅呼吸之间的差异以及预测屏住呼吸持续时间方面训练AI算法(呼吸)126。
在训练阶段，AI算法(呼吸)126基于输入260、222、224和映射模型顺序地预测屏住呼吸持续时间(和其他呼吸参数)，并且基于真实情况290更新映射模型。AI算法(呼吸)126应用最小化估计参数与真实情况之间的差异的优化策略来调整映射模型，从而改进其随时间的预测。
在训练阶段之后，AI算法(呼吸)126继续为每个新患者或检查提供预测屏住呼吸持续时间估计。AI算法(呼吸)也可以被训练以提供其他呼吸相关参数，诸如：
呼吸类型(示例标签可以是浅/中/深)，
呼吸率(示例标签可以是慢/中/快)，以及
在器官运动方面对目标器官的呼吸影响(示例标签可以是高/中/低)，例如呼吸移动可以通常比呼吸可以影响脚的移动更多地影响肋骨或胸腔的评估。
AI算法、心跳128可以被训练以估计心率相关参数，诸如超声扫描期间的平均心率、最大心率和心率变化。AI算法(心跳)128使用与AI算法(呼吸)类似的回归算法。AI算法(心跳)的真实情况可以由EC输入提供给超声系统。
填充算法129利用可以用于填充报告的提取参数(屏住呼吸持续时间(整个成像扫描中的最大值和平均值)、呼吸类型、呼吸率或其他参数)自动填充报告。这样的报告也可由可以超控任何自动确定的值的成像技术人员编辑。报告可以在新的后续或下游成像检查之前呈现给患者，并且也可以在开始和规划下游成像序列或扫描协议之前由技术人员检查。报告将来可以成为患者EMR的一部分。
在成像技术人员确认后，报告可以被推送到可由对该患者执行后续下游成像(US/MR/其他)或其他程序的系统上的软件访问的中央数据库/服务器(60)。
可以突出显示报告中的任何“异常”发现(例如不能屏住呼吸>3秒，不能保持静止)。突出显示的发现可以显示给同一患者的下游检查的操作者，或可以在安排该患者的下游检查时显示在机构的调度系统中。
当前公开的技术可以采取完全硬件实施例、完全软件实施例或包含硬件和软件元件的实施例的形式。在示例性实施例中，当前公开的技术用软件实施，所述软件包括但不限于固件、驻留软件、微代码等。
此外，当前公开的技术可以采取可从计算机可用介质或计算机可读介质存取的计算机程序产品的形式，所述计算机程序产品提供用于由计算机或任何指令执行系统或设备使用的或与其结合使用的程序代码。出于本说明书的目的，计算机可用介质或计算机可读介质可以是能够包含、存储、通信或传输用于由指令执行系统、装置或设备使用的或与其结合使用的程序的任何装置。
前述方法可以通过包括机器可读介质的程序产品得以实现，所述机器可读介质具有机器可执行程序的指令，其在被机器(例如计算机)执行时，进行所述方法的步骤。该程序产品可以被存储在任意种类的机器可读介质上，包括但不限于光盘、软盘、USB存储设备，等等。此外，程序产品可以是机器可读传输的形式，诸如蓝光、HTML、XML等。
介质能够是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)、或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘、光盘。光盘的当前示例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。
前面的描述和附图旨在是说明性的而非限制当前公开的技术。当前公开的技术的范围旨在涵盖对权利要求书所有范围的等价变型和配置。
Claims (15)
1.一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的系统，包括：
检测设备(160、123)，其被配置为根据基于音频的触发和基于图像的触发中的至少一项来从超声视频流中检测指示呼吸模式的触发事件；
图像分析模块(123)，其响应于检测到所述触发事件而识别所述超声视频流中的呼吸模式，所述图像分析模块提取至少一个呼吸相关参数；以及
生成具有所述至少一个呼吸相关参数的记录的算法(129)。
2.根据权利要求1所述的系统，其中，所述图像分析模块包括被训练为估计所述至少一个呼吸相关参数的人工智能(AI)算法(126)。
3.根据权利要求2所述的系统，其中，所述人工智能算法是基于模型的回归算法。
4.根据权利要求1所述的系统，其中，所述检测设备是麦克风(160)，并且所述触发事件是说出的词语。
5.根据权利要求1所述的系统，其中，所述检测设备是所述图像分析模块(123)，并且所述触发事件是所述超声视频流中的特定运动，其中，所述超声视频流中的所述特定运动包括以下中的至少一项：(i)所述视频流中的所识别的特征的移动速率，以及(ii)被检测为移动的标志位置，使得它是进入超声图像帧和离开超声图像帧中的至少一项。
6.根据权利要求1所述的系统，其中，所述图像分析模块接收针对与所述视频流(222)同步的超声探头(130)的跟踪数据(224)，并且所述图像分析模块至少基于针对所述超声探头的所述跟踪数据来从所述视频流中滤除探头运动。
7.根据权利要求6所述的系统，其中，针对所述超声探头的所述跟踪数据是由与所述超声探头集成的惯性测量单元(IMU)(132)生成的。
8.根据权利要求1所述的系统，其中，所估计的呼吸参数包括屏住呼吸持续时间(270)。
9.根据权利要求1所述的系统，其中，所估计的呼吸参数包括呼吸类型(272)。
10.根据权利要求1所述的系统，其中，所估计的呼吸参数包括呼吸率(274)。
11.根据权利要求1所述的系统，其中，所估计的呼吸参数包括对目标器官(276)的呼吸影响。
12.根据权利要求1所述的系统，还包括被训练为估计心跳相关参数的人工智能算法(128)。
13.一种用于从超声图像中提取呼吸模式数据以便辅助下游临床患者管理的方法，包括以下步骤：
根据基于音频的触发和基于图像的触发中的至少一项来从超声视频流中检测指示呼吸模式的触发事件；
响应于检测到所述触发事件而识别所述超声视频流中的呼吸模式；
提取至少一个呼吸相关参数；以及
生成具有所述至少一个呼吸相关参数的记录。
14.根据权利要求13所述的方法，还包括以下步骤：
将所述记录上传到电子医学记录(EMR)系统(60)，其中，响应于针对受所述至少一个呼吸相关参数影响的流程上传所述记录而识别和记录缓解步骤。
15.一种包括机器可读介质的计算机程序产品，所述机器可读介质上编码有程序代码，所述程序代码能够由处理器执行以执行以下步骤：
根据基于音频的触发和基于图像的触发中的至少一项来从超声视频流中检测指示呼吸模式的触发事件；
响应于检测到所述触发事件而识别所述超声视频流中的呼吸模式；
提取至少一个呼吸相关参数；以及
生成具有所述至少一个呼吸相关参数的记录。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163216694P | 2021-06-30 | 2021-06-30 | |
| US63/216,694 | 2021-06-30 | ||
| PCT/EP2022/067935 WO2023275163A1 (en) | 2021-06-30 | 2022-06-29 | Breathing pattern extraction |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117795612A true CN117795612A (zh) | 2024-03-29 |
Family
ID=82494100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280052884.8A Pending CN117795612A (zh) | 2021-06-30 | 2022-06-29 | 呼吸模式提取 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117795612A (zh) |
| WO (1) | WO2023275163A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558428B (zh) * | 2024-01-12 | 2024-03-22 | 华中科技大学同济医学院附属同济医院 | 一种用于肝脏mri的成像优化方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5544654A (en) * | 1995-06-06 | 1996-08-13 | Acuson Corporation | Voice control of a medical ultrasound scanning machine |
| US8788020B2 (en) * | 1998-10-23 | 2014-07-22 | Varian Medical Systems, Inc. | Method and system for radiation application |
| AU2011100208A4 (en) * | 2010-03-05 | 2011-03-24 | Signostics Limited | Operator movement compensated scanning method and apparatus |
| US10921395B2 (en) * | 2018-01-12 | 2021-02-16 | GE Precision Healthcare LLC | Image-guided biopsy techniques |
| KR102108630B1 (ko) * | 2018-07-30 | 2020-05-07 | 주식회사 모두의연구소 | 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치 |
-
2022
- 2022-06-29 WO PCT/EP2022/067935 patent/WO2023275163A1/en active Application Filing
- 2022-06-29 CN CN202280052884.8A patent/CN117795612A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023275163A1 (en) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102022667B1 (ko) | 환자를 모니터링하는 방법 및 장치 | |
| JP7242514B2 (ja) | 医療撮像セッションで患者の状態を検出するためのシステムおよび方法 | |
| KR102025313B1 (ko) | 광학적 중심 정맥압 측정 | |
| EP3133515B1 (en) | Interactive remote patient monitoring and condition management intervention system | |
| EP2680746B1 (en) | Cognitive mapping using transcranial magnetic stimulation | |
| US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
| US10353461B2 (en) | Evaluating clinician | |
| US20190130565A1 (en) | Method of processing medical image, and medical image processing apparatus performing the method | |
| US20220044821A1 (en) | Systems and methods for diagnosing a stroke condition | |
| WO2016040673A2 (en) | Animation-based autism spectrum disorder assessment | |
| Drukker et al. | Transforming obstetric ultrasound into data science using eye tracking, voice recording, transducer motion and ultrasound video | |
| KR20070009478A (ko) | 온라인 모니터링용 생리적 신호들의 3ｄ 해부학적 가시화 | |
| KR102155309B1 (ko) | 인지 장애 예측 방법 및 이를 구현한 서버, 사용자 단말 및 어플리케이션 | |
| US10388405B2 (en) | Systems and methods for predicting adverse events and assessing level of sedation during medical procedures | |
| WO2014039337A1 (en) | Methods, apparatus, and systems for viewing multiple-slice medical images | |
| EP3366198A1 (en) | Methods and apparatuses for monitoring condition of object in medical imaging | |
| US20100070299A1 (en) | Time management in a healthcare facility | |
| CN117795612A (zh) | 呼吸模式提取 | |
| WO2021148301A1 (en) | Determining the likelihood of patient self-extubation | |
| US20220192561A1 (en) | Information processing system, information processing method, and information processing apparatus | |
| US20240008783A1 (en) | Method and system for sensor signals dependent dialog generation during a medical imaging process | |
| US20230309882A1 (en) | Multispectral reality detector system | |
| US20190200937A1 (en) | Device, system and method for detection of an asthma attack or asthma of a subject | |
| EP4311479A1 (en) | State of consciousness analysis apparatus, state of consciousness analysis program, and observation system | |
| CN116509419A (zh) | 一种脑电信息处理方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |