CN117836865A - 计算机辅助的成像用户引导 - Google Patents
计算机辅助的成像用户引导 Download PDFInfo
- Publication number
- CN117836865A CN117836865A CN202280055880.5A CN202280055880A CN117836865A CN 117836865 A CN117836865 A CN 117836865A CN 202280055880 A CN202280055880 A CN 202280055880A CN 117836865 A CN117836865 A CN 117836865A
- Authority
- CN
- China
- Prior art keywords
- patient
- medical
- sequence
- media
- protocol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title abstract description 51
- 230000009471 action Effects 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 95
- 238000004590 computer program Methods 0.000 claims description 16
- 238000002059 diagnostic imaging Methods 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000002560 therapeutic procedure Methods 0.000 claims 1
- 230000015654 memory Effects 0.000 description 40
- 230000000875 corresponding effect Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000002595 magnetic resonance imaging Methods 0.000 description 12
- 238000001959 radiotherapy Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000002028 premature Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 108091026890 Coding region Proteins 0.000 description 1
- 102100028065 Fibulin-5 Human genes 0.000 description 1
- 101710170766 Fibulin-5 Proteins 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 239000013028 medium composition Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012633 nuclear imaging Methods 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000003319 supportive effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种用户引导系统(SYS)和相关方法。所述系统包括用于接收针对给定患者的医学协议的规范的接口(IN),所述规范定义医学动作点的序列。所述系统的合成器(S)被配置为根据医学动作点的序列来合成媒体序列,以获得针对所述患者的合成媒体序列,所述媒体序列可配置为基于所述协议来在医学流程中引导所述患者。所述媒体序列可以用于支持成像协议以鼓励患者依从性,并且因此例如更好的成像。
Description
技术领域
本发明涉及用户引导系统、使用这种系统的装置、计算机实施的用户引导方法、以及相关的计算机程序单元和计算机可读介质。
背景技术
现代医学依赖于一系列昂贵且精密的设备和机器。例如,能够快速获得患者的内部组织/器官的高质量诊断影是医学行业的大多数分支的核心。为此使用成像系统,诸如X射线成像系统或MRI系统或其他系统。
安全且有效地操作这样的医学成像系统需要很高的技能。可能需要基于机器控制参数进行一系列复杂的设置或调整,以确保给定医学流程(诸如成像)的结果是有用且成功的。
最近,为了总体上提高患者吞吐量或效率,提出了至少部分自主化/机器人化的成像装备,其中几乎没有或没有医务人员的现场参与。
然而,成功/有用的医学流程的“机器侧”仅是一个方面。另一个同样重要的是患者依从性,并且特别是在自主环境中:在一些医学流程中,患者将需要在医学流程之前、期间和/或之后正确地并且以正确的顺序执行某些动作。这可能是具有挑战性且容易出错的,特别是在较长的此类流程期间。例如:要求患者在限定的时间点避免任何移动,或应当以限定的定时呼吸等。或者,可以要求患者在限定的成像序列进行交互,诸如在MRI中。
对于通常未经医学训练的患者,可能不容易理解(更不用说记住)必要的动作点,特别是在例如在不同患者姿势下采集多个图像的长成像序列期间。此外,与其他支持性患者动作组合的精确定时可能难以记住并且首次正确。在实际成像采集之前和之后还可以存在预期患者进行的动作点序列。
繁忙诊所中的高患者吞吐量、对良好图像的需要以及减少昂贵医学装备上的磨损的期望可能是同时协调的困难目标。在上述(至少部分地)自主化/机器人化成像设置中更是如此。培养患者依从性可以帮助实现所有三个目标。
发明内容
可能需要解决至少一些上述挑战。特别地,可能需要特别是与医学流程相关的改进的患者引导。
本发明的目的通过独立权利要求的主题来实现,其中在从属权利要求中并入了另外的实施例。应当注意,本发明的以下描述的方面同样适用于装置、计算机实施的方法、计算机程序单元和计算机可读介质。
根据本发明的第一方面,提供了一种用户引导系统,包括:
接口,其用于接收针对给定患者的医学协议的规范,所述规范定义医学动作点的序列;
合成器,其被配置为根据所述医学动作点的序列来合成媒体序列,以获得针对所述患者的合成媒体序列。所述媒体序列可以用于基于所述协议来在医学流程中引导所述患者。所述引导可以在医学流程期间和/或在医学流程开始之前。
所述媒体序列可以包括音频、视频、多媒体等。
所述医学流程可以是医学成像流程,诸如成像会话,可能包括(一个或多个)准备和/或后续阶段。另外,医学协议可以是针对具有特定成像模态(诸如MRI、X射线CT等)的成像会话的医学成像协议。除了成像之外或代替成像,所提出的系统可以支持其他类型的医学协议。已经发现使用所提出的系统在医学成像方面是有益的。利用所提出的患者引导系统可以避免/减少不必要的重拍、对患者和/或工作人员的辐射剂量、时间花费(特别是但不仅是MRI)以及医学成像装备的磨损。
在实施例中,所述媒体序列具有预先选择的类别。
类别可以包括电影的类型/流派、故事的类型(动作、犯罪等),或类别还可以包括“道路旅行、自行车旅行、…”、旅行日志、道路旅行电影等。电影的类型、故事的类型等可以是类别的一部分。
在实施例中,所述系统包括选择器,所述选择器被配置为基于i)通过用户接口接收的来自所述患者或用户的输入和/或ii)基于所述患者的特性来选择所述类别。
在实施例中,所述系统包括变换器控制器,所述变换器控制器被配置为基于所述合成媒体序列来控制变换器以产生针对所述患者的媒体输出。所述变换器可以包括扬声器系统和/或显示设备、触觉生成器、VR/AR头盔等。
在实施例中,所述合成媒体序列包括与所述动作点中的相应动作点相关联的媒体元素的序列。所述媒体元素可以表示不同的场景、或故事、电影、情节等的部分。
在实施例中,所述合成操作包括:i)改变现有媒体序列中的媒体元素的顺序,以及ii)根据动作点调制媒体元素。
调制可以包括在重放期间改变颜色情况,和/或改变音轨的节奏、模式或任何其他音乐特性。更快的节律可以激励患者更快地执行动作点。更慢的节律可能有助于激励患者更慢地执行动作点。可以诱导患者改变其呼吸频率等。调制可以包括选择动作或集成媒体序列中的附加的特殊动作场景。
在实施例中,所述系统包括延迟测量设备,所述延迟测量设备被配置为测量根据给定媒体元素控制所述变换器与所述患者执行相关联的动作点之间逝去的时间段。
在实施例中,所述系统包括调谐器模块,所述调谐器模块被配置为基于所测量的时间段来调谐所述医学协议的所述规范以产生所述医学协议的经调谐的规范。
在实施例中,所述系统包括控制接口,所述控制接口被配置为基于经调谐的规范来控制医学成像装置或治疗装置。
在实施例中,所述媒体序列是以下中的一种或多种:音频、图像和视频。
在实施例中,所述合成器基于生成类型的机器学习模型。
在另一个方面中,提供了一种装置,包括:医学成像或治疗设备,以及根据上述实施例中的任何一项所述的系统。
在另一个方面中,提供了一种计算机实施的方法,包括:
接收针对给定患者的医学协议的规范,所述规范定义医学动作点的序列;以及
根据医学动作点的序列来合成媒体序列,以获得针对所述患者的合成媒体序列,所述媒体序列可以被配置为基于所述医学协议来在医学流程中引导所述患者。
该方法还可以包括回放或重放合成媒体序列。作为显示设备和/或声变换器,或可以使用任何其他合适的播放器/变换器设备。
医学动作点可以包括针对以下项的指令:患者要采取特定姿势、以特定方式移动、在给定时间段内保持静止、以特定频率呼吸、屏住呼吸或患者在医学流程期间需要执行的任何其他动作的适当编码。例如,医学动作点可以包括用于以特定方式移动左臂/右臂、移动腿、将其头部从一个位置移动到另一个位置等的指令。医学动作点可以被配置为支持医学流程以便于其成功结束,诸如获得足够图像质量的结果(图像)等。
因为本文合成媒体序列是围绕患者对给定媒体类别的偏好定制的,所以患者可以更好地记住和执行所要求的医学动作点。本文中的合成媒体序列可以诱导高水平的患者依从性。高水平的依从性可以转化为医学流程的正确和及时的结束。例如,可以进行仍然导致例如诊断影像并且对患者和/或设备等施加更少的压力的更快成像会话。
媒体序列可以包括视频片段和/或音频序列。媒体序列可以表示以(一个或多个)优选的演员、(一个或多个)角色为特征、或是优选的流派、是优选的作者、导演等的故事、情节等。
媒体序列的媒体元素可以包括表示(一个或多个)相应场景的此类帧的组的帧。场景是期望动作点的表示。例如,媒体序列可以包括用于多个场景的多个这样的媒体元素。因此,媒体序列可以表示按照协议的动作点序列。一旦在播放器部件上回放或重放,合成媒体序列就表示例如根据预定义成像协议的必要的动作点序列。因此,动作点作为“标志”而被嵌入在患者优选的类别的媒体序列背景下。如此合成的“记忆映射”(即合成媒体序列)促进患者的高记忆保持,从而促进医学流程的高顺应性和更快且成功的结束。
本文设想的医学流程可以包括成像会话(诸如使用X射线、MRI或其他模态)。医学协议可以包括成像协议。替代地,医学流程可以是例如由直线加速器递送以对肿瘤进行处置的辐射治疗中的一种。因此,例如,医学协议可以涉及RT处置协议。
“用户”和“患者”在本文中总体可以互换地使用。患者/用户通常是参与医学流程的人。它是针对其运行程序的人。当在本文中提及“医学人员”(因此不是用户/患者)时,这涉及操作成像装置或监督成像流程的(一个或多个)人,或可以处理程序的结果的那些人。这样的人在本文中也可以被称为“医学用户”、“工作人员”、“人员”等。
附图说明
现在将参考以下附图来描述本发明的示例性实施例,附图未按比例绘制,其中:
图1示出了医学流程的示意性图示,该医学流程包括要由参与所述程序的患者执行的动作点;
图2示出了用于在医学流程期间和/或之前的用户引导的计算机实施的系统的示意性框图;并且
图3示出了用于在医学流程期间和/或之前的用户引导的计算机实施的方法的流程图。
具体实施方式
在解释所提出的系统和方法的操作之前,首先参考图1,以便说明可以实践所提出的系统和方法的背景。具体地,图1是预期患者PAT参与的医学流程MP的示意图。简言之,并且如将在下面(在图2、3处)更详细地扩展的,本文提出了一种计算机实施的引导系统以供患者使用以更好地实施关于患者PAT的医学流程。
例如,本文主要设想的医学流程是成像会话和/或放射治疗会话或其他会话。所提出的场景可以是用于诊断和/或治疗目的的场景。为了说明,本文将主要参考医学成像会话,但是这不排除其他类型的医学流程。
所提出的系统和方法在本文中被配置为支持优选自主环境中的这样的医学流程,例如诊所或其他医学设施中的自主成像环境。在这样的自主环境中,预期患者在没有或仅具有来自现场人类医学人员的有限引导的情况下参与医学流程。医学流程可以至少部分地(如果不是完全地)由至少部分(如果不是完全)自动化或机器人化的装备Ej来施用。可以要求患者访问这样的医学装备Ej的项目中的一个或多个项目,并且预期患者在医学装备Ej的所述相应项目处或与医学装备Ej的所述相应项目相关地执行相应的一个或多个医学动作(在本文中被称为医学动作点aj)。
例如,医学装备Ej可以包括一个或多个成像装置(简称“成像器”)IA2、IA3,诸如在插图1A、1B中被图示为装备E2、E3。(一个或多个)成像器的操作可以是至少部分自动化的。可以通过提供可以在成像协议P中规定的控制参数cj来控制成像器IA2、IA3的操作。
成像器IAI2可以是磁共振成像(“MRI”)装置。控制参数C2可以控制由成像装置的磁体和射频线圈生成的磁场和电场的相互作用。可以预期患者PAT躺在检查台ET上。其上具有患者的检查台ET被引入到由成像器IA2的开口(膛)形成的检查区域中。基于控制参数C2,线圈电路可操作以生成无线电RF脉冲,该无线电RF脉冲与患者的组织和特别地遍布于膛中的所生成的磁场相互作用。该相互作用引起由成像器IA2的相同和/或其他线圈电路探测的响应射频信号,以产生可以表示患者PAT的内部结构(组织、器官、解剖结构)的截面图像。
另一种或附加类型的医学装备E3可以包括X射线成像装置IA3。患者可以或可以不躺在X射线源XS和与其相对的X射线探测器D之间的检查区域中的检查台ET上。基于控制参数C3,成像器IA3可操作用于将患者PAT暴露于从X射线源XS发出的X射线辐射。X辐射与患者组织相互作用以产生经改变的辐射。由探测器D探测经改变的辐射。采集电路将探测到的辐射转换成X射线影像。X射线成像器IA3可以是射线照相类型以产生投影影像,或可以是断层摄影类型,其中X射线源围绕患者旋转以从不同方向采集投影图像,然后如果需要,可以将所述投影图像重建为一个或多个平面中的横截面图像以形成图像体积。
成像装备AI3和AI2可以是机器人化的。例如,通过通信地耦合到监视系统(未示出)的致动器(诸如通过收集诸如图像或视频的监视数据来监测患者的摄像机)来完成将台/患者引入到膛中或X射线源等的操作。基于在监测操作期间收集的数据,相应地调整致动器以实现将患者引入到膛中,和/或源XS的移动,或者医学成像装备IA2、IA3的部件的任何其他操作模式。
本文还设想了除X射线或MRI之外的成像器,诸如发射类型(核成像)、超声(“US”)或其他类型的成像器。然而,本文描述的原理不一定限于成像。在医学流程的不同阶段,代替(一种或多种)成像器或除了(一种或多种)成像器之外,可以使用(一种或多种)其他类型的医学装备Ej。例如,所述其他类型的装备El可以包括其他的、优选地机器人化/自动化系统,诸如被配置为测量患者的血压、心率、氧合或其他生命体征的机器人化/自动化系统。例如,一些类型的机器人装备Ej可操作为从患者采集血液样本,以施用药物和/或诸如造影剂等的其他物质。装备E1可以包括手术机器人以及其他机器人。例如,在辐射治疗背景下,装备Ej可以包括辐射治疗递送装置,诸如线性加速器(“linac”)。
如前面简要提到的,根据图1的具有患者参与的医学流程的表示是示意性且说明性的:例如,可以使用单个成像器而不是如图所示的两个或更多个成像器。实际上,在一些医学流程中根本不可以使用成像器。在一些医学流程中可以使用单个医学装备Ej。不同类型的医学装备的组合(不一定同时)可以在其他设备中使用。医学流程可以包括“循环”,其中在医学流程的不同阶段重复使用或重新访问同一装备,邀请相同、类似或不同的动作点。然而,这样的循环是可选的。相同的装备可以使用不止一次,在不同的时间邀请不同的动作点,或重复。患者PAT可能需要从一个装备Ej移动到另一个装备Ej+1,装备Ej、Ej+1的两个项目在空间上彼此远离。因此,患者可能需要通过医学设施,可能从一个房间到另一个房间。然而,在一些流程或设置中可能不需要这样的医疗巡视,并且所有动作点都在相同的物理位置(诸如在相同的检查室中)在流程的阶段使用装备的一个或多个项目来执行。如果需要这样的巡视,则动作点中的一个或多个动作点然后可以表示患者从一个装备到下一个装备的移动。替代地,从一个装备到另一个装备的移动不被认为是医学动作点。在给定时间可以使用医学装备的多于一个项目。在其他时间或流程处,对于至少一些情况,在给定时间使用单个装备。
在自主环境中的医学流程中,可能需要医学人员的非常少的现场参与(如果有的话)。如果有的话,人类用户可以通过远程电信参与,以例如从远程位置至少部分地控制程序的至少一些阶段。例如,这可以允许单个外科医生或成像技术人员在远程医学会话中远程地进行多个会话,从而提高患者吞吐量。在极端情况下,现场根本没有医学工作人员/人员。因此,可以用较少的医学训练人员进行医学流程以提高效率。可以处理更多数量的患者,从而增加患者吞吐量,从而满足世界部分地区老龄化人口的不断迫切的需求。然而,尽管是自主的,但是为了降低患者压力水平,仍然可以为患者提供一些远程通信装置,使得他们可以在紧急情况下(无论是真实的还是感知的)联系人类工作人员。
医学流程(例如成像会话)由协议P管理。例如,成像协议P可以规定在某些时间在相应的装备Ej处应用的可应用的控制参数C的序列,并且可以进一步调用当在相应的装备Ej处或与相应的装备Ej交互时可能需要从患者执行的医学动作点(ai,j)的列表。如所述,动作点可以包括从一个装备Ej移动到另一个装备Ej+1,和/或可以包括当在某个装备Ej处或与其交互时执行某些一个或多个动作ai,j。为了当前的目的,要由患者执行的动作点可以被认为是有序列表(ak)=(a1,1…aN,1;a1,2,…aM,2,…),无论是否需要从一个地方到另一个地方的地理移动。
因此,医学成像协议P可以被理解为患者相关联分量和机器相关联分量cj的列表。患者相关联分量规定在某些时间要由患者执行的动作序列(ak),而机器相关联分量(ck)包括可应用控制参数的列表以控制例如X射线管XS的电压/安培数。机器相关联分量(ck)可以指定要在MRI成像器中应用的无线电脉冲序列,或者可以描述相关联分量的控制设置,诸如台ET移动、管XS移动、准直器叶片调整等。患者相关联分量和/或机器相关联分量(ck)可以包括定时信息。
然后,更正式地,成像协议P可以被写为P=[(ck),(ak)],其中,当(一个或多个)相关联的控制参数ck关于当前医学装备Ej适用时,每组一个或多个控制参数(ck)与要由患者在序列位置k处执行的一个或多个动作点(ak)相关联。控制参数ck具有与医学动作点ak的定时关联k,并且可以在协议P的序列位置k处的相应动作点ak完成之前、同时或之后应用。应当理解,符号“ck”可以被理解为描述用于要用作相同时间/序列位置k的不同方面或不同类型的设备的多个设置参数的向量ck=(c1,k,c2,k,…,cL,k)。协议P可以被形式化、表示和存储为数据文件,优选地以结构化形式。例如,表示要用于当前医学流程的医学协议的文件可以用标记语言(诸如XML文件)编码,其中节点表示特定动作点和相关联的机器控制参数。还可以替代地或另外地使用其他数据结构,诸如关联数组、指针或其他数据结构。
如本文使用的患者相关联动作点(ak)的概念将被广义地解释为它可能需要患者是被动的而不是主动的。例如,动作点可能需要患者从某个时间点以某个姿势保持静止一段时间。在其他情况下,动作点可能需要患者主动执行某种运动、采取某种姿势(移动一个或多个肢体、左/右滚动、转动头部、张开嘴等),或可以要求患者通过致动器(按压按钮、拉动杠杆等)操作设备的某些部分,或以其他规定的方式与装备Ej物理地交互。另外地或替代地,医学动作点(ak)可以要求患者以特定频率(更快或更慢)呼吸,或实际上可以要求屏住呼吸特定时间段等。
以正确的顺序和正确地执行这样的医学动作点可能不容易,特别是在上述自主环境中。因此,患者记住要以正确的顺序和在正确的时间执行的所有医学动作点(ak)可能存在过度的负担。另一方面,如果医学动作点(ak)没有全部被正确地执行,则程序的结果(诸如所采集的图像)可能是非诊断性的/无用的。这样的结果可能是不期望的,因为这可能需要重新运行医学流程,增加了成本和其他患者的时间延迟等。由于不正确的协议而导致的相同成像会话的重复也可能对医学装备造成过度的负担,并且这可能导致过早的磨损。例如,X射线成像器中的阴极盘经受非常高的温度梯度,这可能导致裂纹。因此,阴极盘上的过早磨损可能需要更换和相关联的成像器停机时间。因此,正好第一次实施协议P可以促进设备的更长的正常运行时间,从而降低这种过早磨损和撕裂效应的风险,并且因此例如促进更好的成像吞吐量。
为了更好地帮助患者正确地实施医学协议P和/或减少医学装备Ej上的过早磨损,本文提出了计算机实施的用户引导系统UGS。如下面将更详细地解释的,用户引导系统UGS可以合成适合患者的偏好和要执行的医学协议P定制的媒体序列M。由用户引导系统合成媒体序列,诸如电影(视频)、音频特征(诸如重新讲述的故事等)、或静止图像序列、前述中的两个或更多个的组合。可以在医学流程期间和/或之前重放/回放合成媒体序列M。如将在本文中更详细地解释的,所生成的媒体序列(诸如视频片段)包括以正确的顺序对应于患者所需的动作点的嵌入标志。根据用户的媒体偏好选择标志以促进记忆保持。假设参与者在被嵌入到其相应的偏好和倾向的叙述向量中的情况下更可能记住指令。
如本文所提出的,如此生成的媒体序列的类别或类型基于用户偏好。媒体合成序列可以被概念化为包括所述标志以引导患者通过医学流程的记忆映射,无论它在同一个设备处和/或从一个设备移动到在那里执行不同动作点的另一个设备。如此合成媒体序列可以用于以“电影”的形式在显示设备上呈现镜头,该“电影”以如此选择、配置和嵌入的优选标志为特征以便以正确的顺序反映必要的动作点。例如,镜头可以以患者偏好的演员的场景为特征,该患者偏好的演员被示出为根据协议执行正确类型的动作,从而鼓励记忆保留和患者的加入和“一起玩”。以这种方式可以实现高水平的持续患者依从性。
当媒体序列由合适的变换器设备TR回放时,在准备或指令阶段中,媒体序列可以在医学流程开始之前由患者PAT消耗。另外地或替代地,媒体序列可以在医学流程期间通过媒体序列的回放来消耗,可能基于例如上述监视系统(诸如在医学流程期间监测患者移动、动作、姿势等的相机)适当地同步。在正在进行的医学流程期间使用合成媒体序列在本文中可以被称为实时实施例,而前者可以被称为非实时实施例。在任一实施例中,合成媒体序列M的重放可以例如通过使用移动终端设备(诸如智能手机或其他便携式数据处理设备)来实现。该设备可以包括显示设备DD,例如在该显示设备DD上显示媒体序列的重放,从而使用户做好准备,或提示他或她要做什么。替代显示设备DD或除了显示设备DD之外,便携式设备可以包括生成音频的扬声器。在回放操作期间生成媒体序列的视频、音频或多媒体表示。增强/虚拟现实系统(AR/VR)可以用于回放操作。在这样的AR/VR重放系统中,可以表示例如患者的优选的演员执行必要的医学动作点的合成镜头。按照演员的动作点与表示预期用户与之交互从而模仿动作点的设备的临床环境融合。
因此,用户引导系统UGS可以被理解为包括两个部件:合成适于协议和患者偏好的媒体序列的合成器部件、以及使用合成媒体序列来生成视频、音频或多媒体流的回放部件。回放部件和/或合成器部件可以被实施为应用(“app”),以在用户的设备(例如,他们的智能手机、平板计算机等)上运行。然而,本文还设想了被适当地布置和分布在医学设施上(诸如在成像或其他适用类型的装备Ej处)的具有合适变换器(诸如(一个或多个)显示器、扬声器、VR/AR头盔等)的固定安装的回放设备。用户引导系统UGS可以被实施在一个或多个计算设备PU上。现在将参考图2中的示意性框图更详细地解释系统UGS的操作。
用户引导系统UGS包括合成器部件S。在一些实施例中,合成器部件S的操作基于合成新媒体序列M(记忆映射)的先前媒体数据。具体地,合成器部件S(在本文中简称为“合成器S”)在一个或多个其输入接口IN处接收协议和患者偏好数据的至少一部分。在使用先前媒体的一些实施例中,选择器SL可操作为从媒体数据库MD中选择初始媒体序列M'。合成器S处理来自协议P的数据(特别是动作点序列(ak))和初始媒体序列,以将新媒的体序列合成为适合患者偏好数据的记忆映射。新合成的媒体序列M可以是将所需的患者动作点表示为对应场景的视频文件。替代地,媒体序列是表示故事元素序列的音频文件,故事元素序列进而根据协议P以正确的顺序表示必要的动作点。
记忆映射M可以被传递到被配置为向患者重放记忆映射的播放器PL部件上。播放器PL部件将基于视频或音频的记忆映射转换为患者PAT可以作用于其上的可感知信号流,从而促进患者成功参与医学流程。具体地,基于媒体序列M,变换器控制电路控制变换器TR以引起用户可感知的信号流。变换器TR可以包括视觉变换器(诸如显示设备)和/或音频变换器(诸如扬声器系统)。例如,如果媒体序列是音频文件,则可以生成用户将其感知为他或她的喜爱的故事被重新讲述的适当调制的声音流,其中音频场景适于反映相应的动作点。在视觉实施例中,可以在显示设备(作为视觉变换器)上显示视频馈送,以根据医学流程在视觉上引导患者通过必要的动作点,再次其中场景基于必要的动作点来适配,例如其中场景中的演员执行对应于动作点的动作。
可以基于合成器函数f从初始媒体序列M'的先前现有媒体元素mj来合成记忆映射。基于用户偏好数据(诸如用户最喜欢的电影)来选择初始媒体序列M'。给定的媒体元素mj可以表示单独的视频或音频帧、或一组这样的帧。通常,一些或每个媒体元素mj可以相对于表示不同的以前或后续动作点(aj)j>k或j<k的其他场景表示与预期患者在给定时间j以正确顺序执行的动作点(ak)j=k相对应的场景。因此,在简单的实施例中,合成器函数f,M=f((mj))可以是置换函数π(j)->j’,M=(mj’)。一旦被生成,记忆映射M就可以通过合适的通信链路传递到播放器PL,在其处如上所述的那样生成用户引导信号。
本文在实施例中设想了用户引导系统UGS的至少两种主要操作模式:在一种模式中,患者发起处理。患者可以仅提供他们的媒体偏好以开始处理。然后由系统UGS从协议数据库PDB自动获得协议,其中患者的预期协议与患者标识符相关联地存储。在另一模式中,处理是“系统侧的”,因此由医学设施(例如医院)发起。例如,临床用户可以将预期协议P馈送到用户引导系统中以发起处理。现在可以由系统UGS自动获得用户偏好数据。
通常,在输入接口IN处接收的输入数据包括患者偏好数据PD。该数据可以指示患者优选的初始媒体序列M'的期望类别。可以从存储患者偏好数据PD的存储器PPM查询该患者偏好数据。存储器PPM可以例如是终端用户设备(诸如患者的移动电话、智能手机或其他手持或桌面设备)的一部分。用户引导系统可以在用户同意之前通过界面请求偏好数据。替代地,可以使用社交工程来访问患者的社交媒体账户或网络(假设给出患者同意),以自动推断用户对媒体类别的偏好。系统UGS的访问可能限于发布的公共数据。
患者偏好数据OD可以特别地包括要从其合成记忆映射的媒体序列的所述类别。例如,类别可以指示电影类型/流派(间谍、喜剧、戏剧等)、最喜爱的演员、导演或描述患者偏好的优选媒体序列的其他数据。替代地,代替系统UGS从存储器PPM主动地获取(“拉取”)患者偏好数据,可以为患者提供用户接口UI(诸如触摸屏或其他)以进行操作,使得患者可以“推送”数据以供系统UGS处理。因此,患者可以主动地选择特定类别的媒体序列偏好,诸如优选的电影类型、主演、导演等。在其他实施例中,用户接口可以与电影或有声读物数据库接口,并且用户经由该接口选择所述特定电影或有声读物。替代地,用户通过接口将电影或有声读物文件的电子拷贝上传到系统UGS。
就音频文件而言,用户偏好可以指示文学流派,例如犯罪、小说、非小说、时期、作者等。音频书文件或优选音频书文件的指示可以包括在患者偏好数据PD中。
在接口IN处可接收的输入还可以至少部分地包括可以从协议数据库PDB获得的医学协议P。医学协议P编码为特别是作用点的序列(ak)。在这一点上,仅需要动作点序列,而不需要相关联的控制参数(例如在MRI成像会话中使用的无线电脉冲序列)或如上所述的用于辐射治疗装置的控制参数等。换句话说,在该阶段可以仅提供协议P的患者可执行动作点(ak)部分。
例如,可以使用解析器PR。解析器PR解析要在关于患者PAT的即将到来的医学流程中使用的协议文件P。解析器PR从协议文件中提取正确序列中的医学动作点(ak)的序列。动作点(ak)可以根据自然语言来定义,或者可以以约定的编码方案进行编码。
合成器S基于协议数据P来接收动作点序列(ak),并且可以接收由用户偏好数据PD指示的类别的初始媒体序列M'。合成器部件分析初始媒体序列M'以识别由形成该初始序列M'的媒体组成部分(mj)的序列表示的场景(Sj)的序列。然后在初始媒体序列M'中识别与患者动作点的序列(ak)相对应的场景(Sj)。因此,患者动作编码序列(ak)形成主数据,其中从数据是所识别的场景(Sj)。动作点(ak)形成锚点以在初始媒体序列M'中定位相应的对应场景(Sj),并且如此定位的场景可以根据动作点序列(ak)重新排序(置换)。
然后,通常,媒体元素适应于动作点的规定序列(ak)。例如,在一个实施例中,合成器包括自然语言处理流水线NLP。初始媒体序列M'可以例如被提供为表示由患者选择的故事的音频文件。例如,故事可以由患者重述并且被记录为所述音频文件。所提供的音频文件表示患者偏好数据PD。替代地,表示患者偏好故事的患者指定音频文件源自媒体数据库MD。例如,音频文件可以以音频书的形式提供。音频文件的类别可以包括故事标题、流派、作者等,并且如患者偏好数据中所指示的。如果仅指示了广泛的类别,诸如“犯罪故事”,则合成器可以通过合适的检索接口请求落入优选类别的随机故事。可以寻求患者对随机选择的同意,并且如果被拒绝,则选择另一个随机故事,以此类推,直到患者指示同意。可以针对视频文件(“电影”)实施针对广泛类别的类似随机选择。
音频文件可以由语音到文本模块转换为文本形式。自然语言处理器NLP然后分析文本以识别对应于动作点的文本部分。可以使用合适的文本类似性度量来为一些每个动作点识别对应的文本部分。根据动作点序列主数据对所识别的文本部分(从属数据)进行排序。然后可以将重新排序的文本部分变换回音频文件,以获得适应于协议动作点的新媒体序列/记忆映射M。可能不一定需要文本和音频之间的变换,并且可以使用语音识别对音频元素本身进行分析。可以使用诸如矢量量化(“VQ”)码本的合适的编码技术来定义合适的类似性度量。
可以例如通过识别初始电影文件M'中的合适场景来对视频序列进行基于图像识别的类似分析。
合成器S的自然语言处理流水线或图像识别部件可以通过例如适当训练的机器学习模型来实施。
在初始分析的媒体初始序列M'不包括可以与所需动作点ak相关联的适当场景的情况下,可以替代地引入某些库存或标准元素以补充记忆映射M。先前准备的库存元素可以保存在媒体数据库MD中的适当库中。
特别地,在系统UGS发起记忆映射M的合成的实施例中,如上所述的那样通过经由合适的API从用户的个人设备请求数据来自动确定用户偏好PD。基于如此自动建立的用户偏好,用户引导系统UGS访问媒体数据库MD并识别与自动确定的偏好数据PD相对应的初始媒体序列视频/音频。
形成记忆映射的相应场景(Sj)的各个中间元素(mj)的适配可以包括不仅仅是重新排序/置换。另外地或替代地,可以使用声音的合适调制和/或颜色平衡的改变来实施患者启动机制,优选地在重放期间。例如,当显示在屏幕上时,可以改变某些场景的色偏,以指示患者当前正在根据协议P的动作点(ak)进行动作。例如,可以实现逐渐或突然的色偏操作(诸如红移),以指示患者当前不符合协议进行动作,而绿移色偏可以指示患者正在做正确的事情。另外地或替代地,为了启动目的,可以影响重放的音频文件(故事)或重放的视频M的音轨的音频调制。这样的音频调制可以包括节奏、节奏的改变、旋律模式/模式的改变(不和谐对和谐)等。因此,可以鼓励患者执行符合协议的动作。
合成器S的上述实施例预先假设使用动作点(ak)作为主数据来合成记忆映射M的初始媒体序列M'。然而,本文还设想了从头开始的合成器实施例,其中可以不依赖于这种先前存在的初始媒体序列M'。这样的从头开始实施例可以优选地通过优选生成类型的机器学习(“ML”)模型来实施。例如,过去已经提出了允许生成目标分布的实例的生成对抗网络(“GAN”)。另外地或替代地,可以使用自动编码器(“AE”)类型的网络。GAN和AE是专门配置的神经网络(“NN”)类型ML模型或其系统。具体地,可以使用卷积NN(“CNN”)。优选地,NN具有不仅包括卷积算子而且包括解卷积算子的多尺度架构。在实施例中,可以使用U-net类型架构。CNN类型的NN在处理图像数据(诸如本文针对视频类型的合成媒体序列设想的视频片段)时是有用的。网络可以是前馈类型的,但是优选地是递归的,以更好地处理诸如视频的时间序列数据。
可以预先训练生成类型的这样的机器学习模型的存储库,一个(或多个)用于用户可能希望从中选择的不同类别的媒体序列中的每一个。例如,一个模型可以被训练用于某种类型的电影(间谍、动作、喜剧等),而其他一个或多个模型是基于以特定演员为特征和/或由特定导演导演的电影等来训练的。其他训练日期可以包括运动序列、舞蹈序列或旅行序列、旅行日志等。选择器部件SL然后从预先训练的生成器模型的存储库中选择与由患者偏好数据指示的类别匹配的模型。
生成式ML建模依赖于给定媒体类别的训练数据集。特别配置的目标函数(诸如代价函数或效用函数)引导优化程序,其中在一个或多个训练阶段中适配生成式ML模型的参数。一旦被训练并且优选地被测试,模型就可以在临床实践中被部署为合成器S的生成器M以基于用户偏好来产生记忆映射。仅类别需要由患者或系统提供以供选择器从存储库中选择经训练的模型G。经训练的生成器G以患者指定类别的样式并且基于动作点序列通过以优选类别样式产生场景的对应序列来生成记忆映射。所选择的生成器G处理相应的患者动作点(ak)。生成器G以与患者选择的类别相对应的风格为每个这样的动作点ak’∈(ak)生成相应的场景G(ak’)=S(k’)。以这种方式,对于给定的动作点(例如,“左臂向上移动”),可以生成以优选的演员(根据患者指定的类别)执行例如预期患者执行的动作(“左臂向上移动”)为特征的场景。使用生成模型的这种技术先前已经被描述为“深度伪造(Deepfake)”的推进者。本文提出了使用这种深度伪造ML技术来生成逼真的令人信服的用户指南媒体序列(记忆映射),其通过对应于患者选择的媒体类别的措辞中的场景来表示动作点的正确序列。
首先转向AE型网络,这种网络包括与解码器部分串联组合的编码器部分。编码器接收输入数据并将其转换为更简单的、通常更低维度的表示。编码器尝试在其输出处重建输入。目标函数测量两者的偏差,并且调整编码器和解码器的参数,直到解码器学习在可接受的误差容限内从输出重构输入。可以训练两个这样的AE网络。一个AE网络在指定类别的视频片段或图像上训练(例如,以优选的演员为特征)。该网络可以被称为“类别”网络,具有其编码器(Ec)和解码器(Dc)。另一个网络(动作点网络)在不同类别的更一般的镜头上训练,每个镜头由表示来自列表(ak)的给定动作点的场景组成,再次具有用于动作点网络的其自己的编码器(Ea)和解码器(Da)。然后可以通过将随机输入“种子”scene(r)馈送到动作网络的编码器中以获得相关联的潜在表示来从头开始合成记忆映射的期望场景,该潜在表示现在被馈送到类别网络的解码器中以获得期望的合成场景:Sj=Dc(Ea(r))。这可以针对(ak)中的一些或每个动作点重复,以获得构成记忆映射的所有场景Sj。因此,生成器的存储库可以具有包括针对每个动作点a和每个类别c的AE网络的矩阵结构,每个这样的网络Ga,c具有其自己的经训练的编码器和解码器。
现在转到基于GAN类型网络的合成器S的实施例,Ian Goodfellow等人先前在2014年6月10日公布的arXiv:1406.2661v1处的预印服务器上可获得的“GenerativeAdversarial Nets”中描述了这样的GAN网络。GAN包括两个NN模型,鉴别器网络(“D”)和生成器网络G。
鉴别器D可以被设置为NN分类器。鉴别器D可布置为深度全连接网络、深度全卷积网络或包含两种类型的一个或多个层的混合网络。
在训练期间的操作中,GAN设置如下工作。生成器G从施加到它的种子信号(r)(例如随机噪声)生成样本场景G(r)。鉴别器D尝试在生成器输出G(r)与保持在训练数据库中的真正的真实情况场景之间进行鉴别。真实情况包括表示动作点的患者规定类别的历史媒体序列。例如,历史媒体序列包括从电影数据库收集的表示患者喜爱的演员执行目标动作点的视频片段场景。
使用专门配置的代价函数,基于该代价函数调整生成器G和鉴别器D的参数。这样的代价函数由Goodfellow等人在第3页的等式(1)处描述。代价函数表示类似于零和博弈的两个相反的目标:关于鉴别器D的目标是使其正确标记的概率最大化,而关于生成器G的目标是产生输出,使得鉴别器D不能在统计上区分从训练数据库绘制的真实场景和由生成器生成的生成场景。
可以在单独的迭代运行中以交替方式在最小-最大程序中调整两个模型G、M的参数。迭代使模型G、D的参数收敛于纳什(Nash)均衡的类型,此时生成器能够生成例如以患者优选类别为特征的逼真的看起来“假场景”,诸如优选的演员执行目标动作点。此时,鉴别器D不再能够在虚假和真实情况之间进行鉴别,并且这样不再需要鉴别器D。因此,生成器G可以用于根据随机种子信号(r)生成按照患者规定的媒体类别c的相同样式的目标动作场景的实例。再次,不同的这种GAN模型可以针对不同的类别和动作点Ga,c进行训练,并且被存储在存储库中。如之前对于AE模型,选择器SL可以使用适当的索引(ak,c)来访问存储库中的正确GAN生成器Ga k ,c。合成器S然后可以使用所访问的模型Ga k ,c从头开始生成索引(ak,c)的相应场景。任何上述从头开始实施例可以与基于先前初始媒体的任何上述合成方案组合。
然而,应当理解,上述基于ML的实施例在本文中不是必需的,并且是可选的实施例。已经观察到,合成器S的更早、更简单、不一定基于ML的实施例已经产生已经被发现对患者依从性具有积极影响的合适的记忆映射。
如上所述的用户引导系统UGS的操作模式主要基于以下前提:适用的成像协议表示主数据,基于该主数据,合成器调整或生成从数据(即初始媒体序列)。然而,可以存在本文设想的反馈回路,其中协议数据(特别是控制参数(ck))可以基于患者关于医学流程的动作来适配。具体地,特别是适配控制参数(ck)的定时。控制参数定时涉及控制参数根据协议从ck改变为ck+1的时间点之间的时间段。在重放合成媒体序列/记忆映射M的同时,可以预期与患者的动作相关的延迟。延迟指示在当播放相应场景Sj时与当用户实际发起或完成与该场景Sj相关联的动作点aj时的时间点之间经过的相应时间段。该延迟是患者特异性的,并且可以在准备阶段或在医学流程本身期间实时测量。
为此目的,用户引导系统UGS可以包括延迟测量系统DMD。这可以被实施为如先前提到的监测患者动作的具有适当放置的相机、麦克风或其他合适的传感器的基于相机或声音的监视系统。可能基于机器学习的系统DMD的合适的图像识别部件可操作为分析捕获用户动作的记录的监视数据(例如,帧)。系统DMD监测捕获动作与所需动作点(ak)的对应性。
如果建立了这样的延迟,则调谐器部件TU调整现有的控制参数(ck)和/或它们的定时,以便确保与患者引起的延迟的同步。以这种方式,生成适合患者的延迟习惯的经调整的成像或辐射治疗协议P'。这些延迟习惯可能与患者的反应和理解时间相关。合适的控制接口CI可以用于基于经适配的协议P'来控制相应的成像装备或其他医学装备Ej。可选地,可以在延迟测量之后调整媒体序列M以实现原始成像协议定时。
如上面简要提到的,播放器PL部件可以嵌入在增强或虚拟现实系统中。例如,可以使用在其中为患者重放记忆映射视频的VR(虚拟现实)/AR(增强现实)头盔。
为了增强记忆保持,播放器系统PL可以与触觉递送系统通信,该触觉递送系统引起与重放的记忆映射相对应地递送给患者的某些触觉信号。例如,可以使MRI成像系统IA2的检查台TE或RF线圈支撑件振动。所引起的振动的定时、频率或强度可以与患者相对于必要动作点的顺应性程度相关,并且因此与患者遵循由记忆映射表示的指令的程度相关。
在任何上述实施例中,如果协议序列包括患者从一个检查室物理地移动到另一个检查室或从一个装备Ej移动到下一个装备Ej+1的动作点,则动作点的该部分可以被合成为单独的“地理”记忆映射,其中来自旅程视频的场景具有表示设备的不同项目的标志。因此,映射代表旅程,该旅程将至少部分地产生的医学表示为旅程、根据用户偏好映射成一个或多个国家的历史、文化标志的医学路线。然后可以如上所述的那样基于优选媒体类别来合成相应设备处的动作点。地理记忆映射可以与任何先前提到的记忆映射组合。
现在参考图3中的流程图,图3图示了基于如上所述的那样合成媒体序列的用于用户引导的计算机实施的方法的步骤。
在步骤S310处,接收用于医学流程(诸如用于成像流程或辐射治疗)的协议。协议指示要由患者执行以经历医学流程的医学动作点。
在步骤S320处,接收待合成的媒体序列的类别的指示。该指示可以经由用户接口通过患者输入。因此,类别指示可以由患者、患者的主动参与引起。替代地,不需要患者部分的这种主动参与。例如,可以通过访问患者的个人偏好数据来自动检索数据,所述患者的个人偏好数据诸如可以保持在患者的社交媒体账户上或患者的设备(诸如其智能手机、平板电脑或其他优选的便携式设备)的存储器中。为此目的,可以使用合适的API来建立蓝牙、NFC或其他无线连接。
在步骤S330处,合成包括诸如个体帧或此类帧的组的媒体元素的目标媒体序列M(在本文中被称为记忆映射)。媒体元素表示相应的个体场景。合成媒体序列中的每个媒体元素被合成为使得可通过重放媒体序列而引起的所表示的场景按照协议以正确的顺序对应于必要的动作点。
在步骤S340处,控制变换器(诸如重放设备的显示设备和/或扬声器系统)以基于合成的序列产生患者可感知的引导或指令/学费信号。该信号可以包括例如根据媒体序列在显示设备上显示的视频片段,和/或该信号可以包括发声出音频信号,诸如根据媒体序列重新讲述故事。
用于重放的媒体序列可以用于在根据协议执行正在进行的医学流程期间对用户的实时引导。另外地或替代地,可以在医学流程开始之前在准备或指令会话中将媒体序列呈现给用户。
因此,如此生成的记忆映射可以被理解为包括围绕患者的偏好定制并且根据成像协议以正确的顺序在功能上对应于必要的动作点的某些标志场景。
除了步骤S310-S340之外或代替步骤S310-S340,该方法可以可选地包括底层成像协议(特别是控制参数,诸如成像参数或辐射治疗递送参数及其定时)的适配。该适配可以基于在患者对重放的媒体序列做出反应时发生的某些延迟时段。
具体地,在步骤S410处,测量延迟时段。延迟时段包括向给定场景的患者呈现用户可感知信号与用户执行与场景相关联的动作点(ak)之间的时间段。场景由合成媒体序列的媒体元素表示。
在步骤S420处,可以基于延迟测量来适配成像协议,特别是其控制参数和/或其定时。
可以基于延迟信息来适配合成媒体以优化或至少改进定时并且因此优化或至少改进协议。例如,对于X射线/CT,可能存在延迟打开X射线源XS、适配病床移动/定位等的选项。在MRI中,脉冲成像序列的开始可能被延迟,或可以在这样的序列之间适配空闲时间等。
在步骤S430处,基于经适配的成像协议P'来控制医学装备,诸如成像装置或辐射治疗递送装置。
用户引导系统UGS的部件可以被实施为在一个或多个通用处理单元PU(诸如与成像器IA1、I2相关联的工作站)上或在与一组成像器或其他类型的医学装备相关联的服务器计算机上运行的一个或多个软件模块。
替代地,用户引导系统UGS的一些或所有部件可以布置在硬件中,诸如适当编程的微控制器或微处理器,诸如FPGA(现场可编程门阵列)或硬连线IC芯片、专用集成电路(ASIC)。在另一实施例中,用户引导系统UGS可以部分地以软件并且部分地以硬件两者来实施。
用户引导系统UGS的不同部件可以在单个数据处理单元PU上实施。替代地,一些或更多个部件在可能远程布置在分布式架构中并且可连接在合适的通信网络中(诸如在云环境或客户端-服务器设置等中)的不同处理单元PU上实施。
本文描述的一个或多个特征可以被配置或实施为或被配置或实施有在计算机可读介质内编码的电路和/或其组合。电路可以包括分立和/或集成电路、片上系统(SOC)及其组合、机器、计算机系统、处理器和存储器、计算机程序。
在本发明的另一示例性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于适于在适当系统上运行根据前述实施例中的一个所述的方法的方法步骤。
因此,计算机程序单元因此可以被存储在计算机单元上,所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行或诱导上述方法的步骤的执行。此外,其可以适于操作上面描述的装置的部件。计算单元能够适于自动操作和/或适于执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,数据处理器可以被设备为执行本发明的方法。
本发明的该示例性实施例涵盖从最开始使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
此外,计算机程序单元可以能够提供所有必要步骤,以履行如上面描述的方法的示例性实施例的流程。
根据本发明的又一示例性实施例,提出了一种计算机可读介质,诸如CD-ROM,其中,所述计算机可读介质具有被存储在其上的计算机程序单元,前述章节描述了所述计算机程序单元。
计算机程序可以被存储和/或分布在适当的介质(特别地,但不一定,非瞬态介质)上,诸如与其他硬件一起被提供或作为其他硬件的部分被提供的光学存储介质或固态介质,但是所述计算机程序也可以以其他形式分布,诸如经由互联网或其他有线或无线通信系统分布。
然而,计算机程序也可以被提供在如万维网的网络上并且能够从这样的网络下载到数据处理器的工作存储器中。根据本发明的又一示例性实施例,提供一种用于令计算机程序单元可用于下载的介质,所述计算机程序单元被布置为执行根据本发明的前面描述的实施例中的一个的方法。
必须注意,参考不同主题描述了本发明的实施例。尤其是,参考方法类型的权利要求描述了一些实施例,而参考设备类型的权利要求描述了其他实施例。然而,除非另有说明,本领域技术人员将从以上和以下描述中获悉,除属于一个类型的主题的特征的任何组合之外,涉及不同主题的特征之间的任何组合也被视为由本申请所公开。然而,能够组合所有特征,从而提供比特征的简单加和更多的协同效果。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示例性的,而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。
Claims (15)
1.一种用户引导系统(SYS),包括:
接口(IN),其用于接收针对给定患者的医学协议的规范,所述规范定义医学动作点的序列;
合成器(S),其被配置为根据所述医学动作点的序列来合成媒体序列,以获得针对所述患者的合成媒体序列,所述媒体序列适于基于所述医学协议来在医学流程中引导所述患者,其中,所述医学协议包括医学成像协议。
2.根据权利要求1所述的系统,其中,所述媒体序列具有预先选择的类别。
3.根据权利要求2所述的系统,包括选择器(SL),所述选择器被配置为基于i)通过用户接口(UI)接收的来自所述患者或用户的输入来选择所述类别和/或ii)基于所述患者的特性来选择所述类别。
4.根据前述权利要求中的任一项所述的系统,包括变换器控制器(TC),所述变换器控制器被配置为基于所述合成媒体序列来控制变换器(TR)以产生针对所述患者的媒体输出。
5.根据权利要求4所述的系统,其中,所述合成媒体序列包括与所述动作点中的相应动作点相关联的媒体元素的序列。
6.根据权利要求5所述的系统,其中,所述合成操作包括:i)改变现有媒体序列中的媒体元素的顺序,以及ii)根据动作点来调制媒体元素。
7.根据权利要求5或6所述的系统,包括延迟测量设备(DMD),所述延迟测量设备被配置为测量根据给定媒体元素控制所述变换器与所述患者执行相关联的动作点之间逝去的时间段。
8.根据权利要求7所述的系统,包括调谐器模块(TU),所述调谐器模块被配置为基于所测量的时间段来调谐所述医学协议的所述规范以产生所述医学协议的经调谐的规范。
9.根据权利要求8所述的系统,包括控制接口,所述控制接口被配置为基于所述经调谐的规范来控制医学成像装置或治疗装置。
10.根据前述权利要求中的任一项所述的系统,其中,所述媒体序列是以下中的一种或多种:音频、图像和视频。
11.根据前述权利要求中的任一项所述的系统,其中,所述合成器基于生成类型的机器学习模型。
12.一种装置,包括医学成像或治疗设备和根据前述权利要求中的任一项所述的系统。
13.一种计算机实施的方法,包括:
接收(S310)针对给定患者的医学协议的规范,所述规范定义医学动作点的序列;以及
根据所述医学动作点的序列来合成(S330)媒体序列,以获得针对所述患者的合成媒体序列,所述媒体序列能被配置为基于所述协议来在医学流程中引导所述患者,
其中,所述医学协议包括医学成像协议。
14.一种计算机程序单元,所述计算机程序单元在由至少一个处理单元运行时适于使所述处理单元执行根据权利要求13所述的方法。
15.至少一种其上存储有根据权利要求14所述的程序单元的计算机可读介质。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21191450.2 | 2021-08-16 | ||
EP21191450.2A EP4138086A1 (en) | 2021-08-16 | 2021-08-16 | Computer-assisted imaging user guidance |
PCT/EP2022/072342 WO2023020894A1 (en) | 2021-08-16 | 2022-08-09 | Computer-assisted imaging user guidance |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117836865A true CN117836865A (zh) | 2024-04-05 |
Family
ID=77358142
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280055880.5A Pending CN117836865A (zh) | 2021-08-16 | 2022-08-09 | 计算机辅助的成像用户引导 |
Country Status (3)
Country | Link |
---|---|
EP (2) | EP4138086A1 (zh) |
CN (1) | CN117836865A (zh) |
WO (1) | WO2023020894A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3742370B2 (ja) * | 2002-09-13 | 2006-02-01 | コナミスポーツライフ株式会社 | トレーニング装置 |
US20160006946A1 (en) * | 2013-01-24 | 2016-01-07 | Telesofia Medical Ltd. | System and method for flexible video construction |
WO2015134953A1 (en) * | 2014-03-06 | 2015-09-11 | Virtual Reality Medical Applications, Inc. | Virtual reality medical application system |
US10249218B2 (en) * | 2015-07-27 | 2019-04-02 | North American Rescue, Llc | Tourniquet with audio instructions |
US20180344286A1 (en) * | 2017-06-01 | 2018-12-06 | General Electric Company | System and methods for at-home ultrasound imaging |
DE102018216740B4 (de) * | 2018-09-28 | 2021-07-15 | Siemens Healthcare Gmbh | Verfahren zum Übermitteln von patientenspezifischen Daten an eine Untersuchungsprotokollanpassungseinheit und Patientendatenübermittlungseinheit |
-
2021
- 2021-08-16 EP EP21191450.2A patent/EP4138086A1/en not_active Withdrawn
-
2022
- 2022-08-09 CN CN202280055880.5A patent/CN117836865A/zh active Pending
- 2022-08-09 EP EP22761239.7A patent/EP4388542A1/en active Pending
- 2022-08-09 WO PCT/EP2022/072342 patent/WO2023020894A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP4388542A1 (en) | 2024-06-26 |
WO2023020894A1 (en) | 2023-02-23 |
EP4138086A1 (en) | 2023-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11139060B2 (en) | Method and system for creating an immersive enhanced reality-driven exercise experience for a user | |
KR102022667B1 (ko) | 환자를 모니터링하는 방법 및 장치 | |
JP6534441B2 (ja) | 呼吸誘導システム及びその方法 | |
EP3381353A1 (en) | Method for planning an imaging scan protocol | |
CN110012311B (zh) | 一种动作指导音视频播放方法、装置和系统 | |
WO2021216881A1 (en) | Method and system for using sensor data from rehabilitation or exercise equipment to treat patients via telemedicine | |
CN109069083A (zh) | 呈现与运动模型相关联的一系列图像 | |
US20120190962A1 (en) | Method for computer-assisted configuration of a medical imaging device | |
CN108882899A (zh) | 通过调整与模型图像相关联的参数来操纵呼吸模型 | |
US20180130373A1 (en) | Exercise mangement system with body sensor | |
CN106165414A (zh) | 用于再现医学图像的方法和设备以及计算机可读记录介质 | |
CN112204408A (zh) | 对象通信请求的光学检测 | |
EP4031891A1 (en) | Respiratory biofeedback for mri-guided radiotherapy | |
CN102574004B (zh) | 用于支持用户进行练习的系统 | |
US11200919B2 (en) | Providing a user interface for video annotation tools | |
CN117836865A (zh) | 计算机辅助的成像用户引导 | |
EP3575812A1 (en) | A method, computer program product and device for classifying sound in mri and for training a patient | |
EP4105940A1 (en) | An entertainment content provider for use during a medical procedure | |
US20210287433A1 (en) | Providing a 2-dimensional dataset from 2-dimensional and 3-dimensional computer vision techniques | |
AU2021260953A1 (en) | Method and system for using sensor data from rehabilitation or exercise equipment to treat patients via telemedicine | |
NL2028017B1 (en) | Entertainment content provider | |
KR101984738B1 (ko) | 의료기기용 콘텐츠 재생 시스템 및 콘텐츠 재생 방법 | |
EP4176796A1 (en) | Multi-session breathing guidance | |
US20230255590A1 (en) | One-dimensional position indicator | |
WO2022155260A1 (en) | Method and system for implementing dynamic treatment environments based on patient information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |