CN112204408A - 对象通信请求的光学检测 - Google Patents

对象通信请求的光学检测 Download PDF

Info

Publication number
CN112204408A
CN112204408A CN201980035454.3A CN201980035454A CN112204408A CN 112204408 A CN112204408 A CN 112204408A CN 201980035454 A CN201980035454 A CN 201980035454A CN 112204408 A CN112204408 A CN 112204408A
Authority
CN
China
Prior art keywords
magnetic resonance
resonance imaging
subject
voice activity
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980035454.3A
Other languages
English (en)
Inventor
S·魏斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112204408A publication Critical patent/CN112204408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/283Intercom or optical viewing arrangements, structurally associated with NMR apparatus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/288Provisions within MR facilities for enhancing safety during MR, e.g. reduction of the specific absorption rate [SAR], detection of ferromagnetic objects in the scanner room
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/38Systems for generation, homogenisation or stabilisation of the main or gradient magnetic field
    • G01R33/385Systems for generation, homogenisation or stabilisation of the main or gradient magnetic field using gradient magnetic field coils
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种磁共振成像系统(100、300、500)。所述磁共振成像系统包括视频系统(122、122’、122”),其被配置用于在磁共振成像数据(144)的采集期间提供对象(118)的面部区域(119)的视频图像(146)。所述磁共振成像系统还包括用于存储机器可执行指令(140)和脉冲序列命令(142)的存储器(134)。所述机器可执行指令的执行令处理器(130):控制(200)磁共振成像系统利用脉冲序列命令来采集磁共振成像数据;在脉冲序列命令的执行期间从视频系统接收(202)视频图像;通过将视频图像输入到基于视频的声音活动检测模块中,针对视频图像实时确定(204)声音活动状态(150),其中,声音活动状态指示对象的说话状态或对象的不说话状态;并且,如果声音活动状态指示说话状态,则提供(206)声音活动信号(152)。

Description

对象通信请求的光学检测
技术领域
本发明涉及磁共振成像,具体地涉及磁共振成像系统的操作者与在磁共振成像系统中被成像的对象之间的通信。
背景技术
磁共振成像(MRI)扫描器使用大的静态磁场来对齐原子的核自旋,这是用于产生对象的身体内部的图像的过程的一部分。这种大的静态磁场被称为B0磁场或主磁场。能够使用MRI在空间上测量对象的各种数值或属性。然而,磁共振成像数据的采集不是瞬时的。对象可能需要尽量保持几分钟不动。为了确保对象的安全,给他们提供有挤压灯泡或压力操作的气球开关,如果对象需要联系操作者,他们能够挤压挤压灯泡或压力操作的气球开关。例如,假设对象由于噪音和/或在狭窄的空间内而感到疼痛、不适或恐慌。
美国专利申请公开US 2011/0230755公开了一种基于光学的刚性体6-DOF运动跟踪系统,所述系统使用固定至患者的带有机载图像处理器、IR照射器和光学基准标靶的单个相机针对磁共振成像(MRI)应用中的预测的(实时的)运动校正进行了优化。由机载图像处理器操作的角度提取算法利用逐次逼近法来解决接近原点的角度的3点姿势问题,以实现收敛至亚微弧度水平。运动警报通过与运动跟踪系统通信的监视器和GUI应用程序来启用。对在操作运动跟踪系统时拍摄的MR扫描图像启用运动校正,其中MRI控制器与运动跟踪系统通信。
美国专利申请US2005/0283068公开了一种具有预测噪声消除系统的磁共振成像系统。预测噪声消除系统利用其重复特性来消除梯度系统的声学噪声。从患者麦克风中去除MRI声学噪声使技术人员能够在存在MRI磁体呈现非常强的噪声的情况下听到来自患者的清晰的语音。
发明内容
本发明在独立权利要求中提供了一种磁共振成像系统、一种计算机程序产品、以及一种方法。在从属权利要求中给出了实施例。
使用挤压灯泡向磁共振成像系统的操作者发出警报的困难在于,对象可能会无意中掉落灯泡,然后惊慌失措或开始移动以尝试重新获得灯泡。握紧挤压灯泡对于儿童或老年人来说可能也很困难。本发明的实施例通过提供一种在磁共振成像数据的采集期间对对象的面部区域进行成像的视频系统来提供对使用挤压灯泡的替代方案。所述视频系统提供视频图像,所述视频图像被输入到检测对象何时正在讲话的基于视频的声音活动检测模块中。当使用基于视频的声音活动检测模块确定了对象正在讲话时,则提供声音活动信号。
在一个方面,本发明提供了一种磁共振成像系统,其被配置用于从至少部分地在成像区域内的对象采集磁共振成像数据。磁共振成像系统包括视频系统,其被配置用于提供对象的面部区域的视频图像。在某些情况下,这可以是在磁共振成像数据的采集期间,甚至是在磁共振成像数据的采集之前。磁共振成像系统还包括存储器,其用于存储机器可执行指令和脉冲序列命令。脉冲序列命令被配置用于控制磁共振成像系统根据磁共振成像协议来采集磁共振成像数据。脉冲序列命令可以例如是命令或者可以被转换成使处理器能够控制各种组件以采集磁共振成像数据的这些命令的数据。
磁共振成像系统还包括处理器,其用于控制磁共振成像系统。机器可执行指令的执行令处理器控制磁共振成像系统利用脉冲序列命令来采集磁共振成像数据。机器可执行指令的执行还令处理器在磁共振成像数据的采集期间从视频系统接收视频图像。机器可执行指令的执行还令处理器通过将视频图像输入到基于视频的声音活动检测模块中,针对视频图像实时确定声音活动状态。声音活动状态指示对象的说话状态或对象的不说话状态。如果声音活动状态指示说话状态,则机器可执行指令的执行还令处理器提供声音活动信号。
该实施例可以是有益的,因为它可以提供一种在执行机器可执行指令以采集磁共振成像数据期间识别对象何时正在感到不适或有问题的方式。典型地,目前是给对象提供一个灯泡,他们能够在手中挤压灯泡,以向磁共振成像系统的操作者发送信号。这对于例如可能失去对灯泡的握持而无法重新获得灯泡的对象可能是一个问题。另外,对象可能对于担心保持握住挤压灯泡而有压力。如果本实施例中的对象有困难或正在经历疼痛,则对象可以简单地开始说话,这将提供声音活动信号,所述声音活动信号可以例如用于向操作者发出警报。
在一些范例中,在激活声音活动之前,可以有一个多少帧被标记的阈值。
在典型的基于视频的声音活动检测器中,即使对它们进行了适当的培训,它们也可以使用短的片段(例如持续时间为半秒)或一系列帧(例如在50帧的帧速率的情况下为25帧)来确定对象是否正在说话。在一些范例中,用于帧的具体持续时间或数量的标准可以用于指示说话。在某些情况下,使用帧的特定数量或具体帧之前的持续时间来决定是否应当将帧标记为说话状态或不说话状态。对由视频系统采集的各个图像的引用可以例如被称为视频图像,用于单个图像的帧或者也被称为用于多个视频图像的帧。
面部区域可以例如包括嘴部是可见的区域。在一些范例中,这可以包括对象的牙齿和嘴唇。
在另一实施例中,磁共振成像系统包括通信系统。通信系统可以被配置为当提供声音活动信号时被激活。在一些范例中,通信系统可以提供对象与操作者之间的音频和/或视频通信。
在一个实施例中,通信系统是对讲机。
在另一实施例中,磁共振成像系统还包括对象麦克风,其被配置用于获得来自对象的音频数据。包括对象麦克风可以是有益的,因为它可以为操作者提供一种直接与对象讲话和通信的方式。在其他范例中,对象麦克风的使用可以是有益的,因为它可以提供一种训练针对具体对象的基于视频的声音活动检测模块的方式。在其他范例中,这可以是有益的,因为它可以用于记录在磁共振成像数据的采集期间对象所说的话。例如,它对于在已经提供了声音活动信号之后,回放来自对象的音频可以是有用的。这可以例如为操作者提供机会,以忽略对象的语音或者甚至在与对象说话或通信之前确定需要立即关闭系统。
在另一实施例中,机器可执行指令的执行还令处理器使用视频系统记录对象的初始视频图像。初始视频图像包括帧。机器可执行指令的执行还令处理器在记录初始视频图像的同时,利用对象麦克风记录对象的初始音频。机器可执行指令的执行还令处理器通过将初始音频输入到基于音频的声音活动检测器模块中将帧标记为说话或不说话。机器可执行指令的执行还令处理器使用帧和每个帧的标记来训练基于视频的声音活动检测模块。在该实施例中,可以通过从对象采集音频和视频来训练基于视频的声音活动检测模块。例如,可以预先训练基于视频的声音活动检测模块,但是也可以使用附加训练来增强其检测具体对象的语音的能力。
在另一实施例中,使用深度学习来执行基于视频的声音活动检测模块的训练。例如,基于视频的声音活动检测模块可以是神经网络或所谓的卷积神经网络。
在另一实施例中,基于音频的声音活动检测器模块被配置用于在将帧标记为说话或不说话期间排除梯度线圈噪声。例如,声音活动检测器模块可以使用过滤器,或者可以进行训练以忽略梯度线圈可能使用的咔哒声(clicking)和砰砰声(thumping)。例如,在执行磁共振成像协议时,在第一次扫描的许多准备阶段中,要么相对安静,要么产生由通常是对于各种协议可再现的短咔哒声组成的低噪声。共振频率确定的声音是一些定义明确的咔嗒声,持续大约五秒钟。这样的时间段可以例如用于收集对象的初始视频图像和初始音频,以生成训练数据。因此,可以提出预训练和配置基于音频的声音活动检测器算法,以忽略这些可能由梯度线圈系统发出的声音。
在另一实施例中,磁共振成像系统还包括提示器,其被配置为向对象呈现问题。机器可执行指令的执行还令处理器在记录初始视频图像和初始音频期间使用提示器向对象呈现问题列表。这例如可以是有益的,因为它可以引起对象讲话,这种讲话能够被记录为初始视频图像和初始音频。这也可以具有以下优点:将自动询问操作者可能会询问对象的各种问题,并且除了为基于视频的声音活动检测模块提供训练之外,还将获得有关对象的有用信息或元数据。
提示器能够例如是视频显示器提示器,其产生对象能够阅读的问题。在其他情况下,提示器可以是音频系统,其可以播放将问题提出给对象的预先记录或合成的声音。
在一些实施例中,视频系统可以包括相机,其用于当对象在磁共振成像系统外部时对对象进行成像。例如,如果存在能够将对象移动到磁体中的对象支撑件,则对象能够例如在对象进入磁共振成像系统之前使他或她的脸被成像。这可以使得能够在对象甚至被放置到磁共振成像系统中之前采集初始视频图像和/或初始音频。
在另一实施例中,磁共振成像系统还包括对象支撑件,其被配置用于支撑在成像区域中的对象的至少部分。对象麦克风被合并到对象支撑件中。这可以是有益的,因为它可以提供一种用于记录来自对象的音频数据的便捷方式。
在另一实施例中,机器可执行指令的执行还令处理器在磁共振成像数据的采集期间使用对象麦克风连续记录音频数据。音频数据与视频图像同步。机器可执行指令的执行还令处理器使用声音活动状态来标记音频数据,使用基于视频的声音活动检测模块来确定所述声音活动状态。当接收到来自用户接口的信号时,机器可执行指令的执行还令处理器回放标记有说话状态的音频数据。例如,在使用视频系统检测到对象说话之后,可以将对象被检测为正在讲话时所记录的音频可控地回放给磁共振成像系统的操作者。这可以帮助操作者做出是否停止磁共振数据的采集或者执行一些其他动作的决定。
在另一实施例中,机器可执行指令的执行还令处理器通过将音频数据输入到语音识别模块中来接收说出的单词列表(spoken word list)。例如,可以将记录的音频数据转换为语音,然后标记化或制成列表。机器可执行指令的执行还令处理器执行以下中的任一操作:如果所说出的单词列表的至少部分与预定单词列表相匹配,则在磁共振成像系统的用户接口中增加(raise)预定警报。备选地或额外地,如果所说出的单词列表的至少部分与预定单词列表相匹配,则处理器可以停止磁共振成像数据的采集。该实施例可以是有益的,因为磁共振成像系统可以被编程为,如果指示出具体的单词,例如如果对象在磁共振成像数据的采集期间指示疼痛或说出像燃烧之类的可以指示严重问题的单词,则采取适当的动作。在这种情况下,磁共振成像系统可能比操作者能够更快地停止自身。
在另一实施例中,机器可执行指令的执行还令处理器在用户接口上提供指示符作为信号。用户接口被配置用于打开操作者与对象之间的通信通道。
在另一实施例中,如果提供了声音活动信号,则机器可执行指令的执行还可以令处理器生成音频音调。
在另一实施例中,基于视频的声音活动检测模块包括卷积神经网络。这可以是有益的,因为卷积神经网络擅长识别可能存在于音频和/或视频中的各种模式。
在另一实施例中,磁共振成像系统包括具有孔的磁体。相机系统包括安装在孔内的多个相机。这可以具有对象被放置的位置并不重要的优点。如果存在多个不同的相机,则操作者或系统本身能够选择提供对象的面部区域最佳视图的相机。
提供非常小并紧凑的相机是可能的。将大量相机放置在磁体的孔内可以是实际可行的。
在另一实施例中,磁共振成像系统包括头部线圈。相机系统包括被附接到所述头部线圈的装在线圈上的相机。该实施例可以是有益的,因为头部线圈可以被设计为以某种方式适配对象。因此,能够以最佳方式提供相机以对对象的面部区域进行成像。同样,用于头部线圈的数据总线也可以与装在线圈上的相机共享。
在另一实施例中,相机系统包括装在凸缘上的相机,其被配置用于对对象的面部区域的反射图像进行成像。例如,可以存在安装在磁共振成像系统上的镜子,或者甚至是头部线圈或者放置在对象头部上的可以用于将对象的面部区域的图像导入装在凸缘上的相机中的其他设备。
在另一方面,本发明提供一种操作磁共振成像系统的方法,所述磁共振成像系统被配置用于从至少部分地在成像区域内的对象采集磁共振成像数据。磁共振成像系统包括视频系统,所述视频系统被配置用于在磁共振成像数据的采集期间提供对象的面部区域的视频图像。所述方法包括控制磁共振成像系统利用脉冲序列命令来采集磁共振成像数据。脉冲序列命令被配置用于控制磁共振成像系统采集磁共振成像数据。所述方法还包括从视频系统接收视频图像。这是在磁共振成像数据的采集期间完成的。
所述方法还包括通过将视频图像输入到基于视频的声音活动检测模块中,针对视频图像实时确定声音活动状态。声音活动状态指示对象的说话状态或对象的不说话状态。所述方法还包括如果声音活动状态指示说话状态,则提供声音活动信号。先前已经讨论了该实施例的优点。
在另一方面,本发明提供一种包括计算机程序产品,其包括用于由控制磁共振成像系统的处理器执行的机器可执行指令,所述磁共振成像系统被配置用于从至少部分地在成像区域内的对象采集磁共振成像数据。机器可执行指令的执行还令处理器在磁共振成像数据的采集期间从视频系统接收视频图像。机器可执行指令的执行还令处理器通过将视频图像输入到基于视频的声音活动检测模块中,利用视频图像实时确定声音活动状态。
声音活动状态指示对象的说话状态或对象的不说话阶段。如果声音活动状态指示说话状态,则机器可执行指令的执行还令处理器提供声音活动信号。该实施例可以例如用作用于现有磁共振成像系统的插件或附加软件,所述现有磁共振成像系统可以添加先前已经在上文中描述的功能。之前已经描述了其优点。
在另一方面,本发明提供一种计算机程序产品,其包括由控制磁共振成像系统的处理器执行的机器可执行指令,所述磁共振成像系统被配置为从至少部分地在成像区域内的对象采集磁共振成像数据。磁共振成像系统包括视频系统,其被配置用于在磁共振成像数据的采集期间提供对象的面部区域的视频图像。机器可执行指令的执行令处理器控制磁共振成像系统利用脉冲序列命令来采集磁共振成像数据。
脉冲序列命令被配置用于控制磁共振成像系统采集磁共振成像数据。机器可执行指令的执行还令处理器在磁共振成像数据的采集期间从视频系统接收视频图像。机器可执行指令的执行还令处理器通过将视频图像输入到基于视频的声音活动检测模块中,针对视频图像实时确定声音活动状态。声音活动状态指示对象的说话状态或对象的不说话状态。如果声音活动状态指示说话状态,则机器可执行指令的执行还令处理器提供声音活动信号。
如本文所使用的术语“实时”指示声音活动状态是在已经采集了具体帧或视频图像的预定延迟内确定的。对象的说话或不说话状态的确定通常将是基于来自一个或多个图像、视频图像或帧的数据。为此,尽管声音活动状态是实时确定的,但是所述确定可以例如以离散的时间间隔来确定。
在一些实施例中,术语“实时”意味着声音活动状态是在半秒钟内确定的。在其他范例中,术语“实时”可以指示声音活动状态是在一秒钟或两秒钟内确定的。
应当理解,本发明的一个或多个前述实施例可组合,只要所组合的实施例互不排斥。
如本领域技术人员将理解的,本发明的各方面可以体现为装置、方法或计算机程序产品。因此,本发明的各方面可以采取以下形式:完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合了本文中可能总体上被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例。此外,本发明的各方面可以采取体现在一个或多个具有体现在其上的可执行代码的计算机可读介质中的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。如本文所使用的“计算机可读存储介质”涵盖可以存储可由计算设备的处理器执行的指令的任何有形存储介质。计算机可读存储介质可以被称为计算机可读非暂时性存储介质。计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中,计算机可读存储介质还可以能够存储能被计算设备的处理器访问的数据。计算机可读存储介质的范例包括但不限于:软盘、磁性硬盘驱动器、固态硬盘、闪存、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁性光盘和处理器的寄存器文件。光盘的范例包括高密度磁盘(CD)和数字通用磁盘(DVD),例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R磁盘。术语计算机可读存储介质还指能够经由网络或通信链路由计算机设备访问的各种类型的记录介质。例如,数据可以通过调制解调器、互联网或局域网来检索。可以使用任何适当的介质来传输体现在计算机可读介质上的计算机可执行代码,包括但不限于无线、有线、光缆、RF等或上述的任意适当组合。
计算机可读信号介质可以包括例如在基带中或作为载波的一部分的具有体现在其中的计算机可执行代码的被传播的数据信号。这样的被传播的信号可以采取多种形式中的任何一种,包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是并非计算机可读存储介质的任何计算机可读介质,并且能够为了使用通过指令执行系统、装置或设备或者与指令执行系统、装置或设备结合而进行通信、传播或传输程序。
“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是处理器可直接访问的任何存储器。“计算机内存”或“内存”是计算机可读存储介质的另一范例。计算机内存是任何非易失性计算机可读存储介质。在一些实施例中,计算机内存也可以是计算机存储器,反之亦然。
本文所使用的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子组件。对包括“处理器”的计算设备的引用应当被解释为可能包含一个以上的处理器或处理核。处理器可以例如是多核处理器。处理器还可以指在单个计算机系统内的或分布在多个计算机系统之间的处理器的集合。术语计算设备也应当被解释为可能指每个包括一个或多个处理器的计算设备的集合或网络。计算机可执行代码可以由可在同一计算设备内的或者甚至是可以分布在多个计算设备上的多个处理器执行。
计算机可执行代码可以包括令处理器执行本发明的一个方面的机器可执行指令或程序。可以以一种或多种编程语言的任何组合来编写用于执行本发明各方面的操作的计算机可执行代码,所述编程语言包括诸如Java、Smalltalk、C++之类的面向对象的编程语言以及诸如“C”编程语言或类似的编程语言并被编译成机器可执行指令的常规过程编程语言。在某些情况下,计算机可执行代码可以是高级语言的形式,或者是预编译的形式,并且可以与即时生成机器可执行指令的编译器结合使用。
计算机可执行代码可以全部在用户计算机上、作为独立软件包部分在用户计算机上、部分在用户计算机上且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机,或者可以与外部计算机建立连接(例如,通过使用Internet服务提供商的Internet)。
参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解,流程图、示意图和/或框图的每个方框或方框的一部分在适用时能够以计算机可执行代码的形式由计算机程序指令来实施。还应当理解,当互不排斥时,可以组合不同的流程图、示意图和/或框图中的方框的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,以产生一种机制,从而使经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施在流程图和/或框图方框中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中,所述计算机可读介质能够指导计算机、其他可编程数据处理装置或其他设备以具体的方式运行,从而使存储在计算机可读介质中的指令产生一种制造品(article of manufacture),其包括实施流程图和/或框图方框中指定的功能/动作的指令。
还可以将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上,以引起一系列操作步骤在计算机、其他可编程装置或其他设备上被执行,以产生计算机可实施的程序,从而使在计算机或其他可编程装置上执行的指令提供用于实施流程图和/或框图方框中指定的功能/动作的程序。
本文所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”也可以称为“人机接口设备”。用户接口可以向操作者提供信息或数据,和/或从操作者接收信息或数据。用户接口可以使来自操作者的输入能够被计算机接收,并且可以从计算机向用户提供输出。换言之,用户接口可以允许操作者控制或操纵计算机,并且接口可以允许计算机指示操作者的控制或操纵的效果。在显示器或图形用户接口上显示数据或信息是向操作者提供信息的范例。通过键盘、鼠标、轨迹球、触摸板、指点杆、图形输入板、操纵杆,游戏手柄、网络相机、头戴设备、踏板、有线手套、遥控器和加速度计接收数据全都是用户接口组件的范例,这些组件使得能够接收来自操作者的信息或数据。
如本文所使用的“硬件接口”涵盖使计算机系统的处理器能够与外部计算设备和/或装置交互和/或控制外部计算设备和/或装置的接口。硬件接口可以允许处理器向外部计算设备和/或装置发送控制信号或指令。硬件接口还可以使处理器能够与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于:通用串行总线、IEEE 1394端口、并行端口、IEEE 1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。
如本文所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉的、听觉的和/或触觉的数据。显示器的范例包括但不限于:计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、矢量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。
磁共振成像(MRI)数据在本文中定义为在磁共振成像扫描期间使用磁共振装置的天线记录的由原子自旋发射的射频信号的测量结果。磁共振图像或MR图像在本文中定义为在磁共振成像数据内包含的解剖数据的重建的二维或三维可视化。该可视化可以例如使用计算机来执行。
附图说明
在下文中,将仅通过范例的方式并参考附图来描述本发明的优选实施例,在附图中:
图1图示了磁共振成像系统的范例;
图2示出了图示操作图1的磁共振成像系统的方法的范例的流程图;
图3图示了磁共振成像系统的另一范例;
图4示出了图示操作图3的磁共振成像系统的方法的范例的流程图;
图5图示了磁共振成像系统的又一范例;
图6图示了用于图形用户接口的警报对话框的范例;
图7图示了用于图形用户接口的警报对话框的另一范例;以及
图8图示了用于图形用户接口的警报对话框的又一范例。
附图标记列表
100 磁共振成像系统
104 磁体
106 磁体的孔
108 成像区域
109 感兴趣区域
110 磁场梯度线圈
112 磁场梯度线圈电源
114 头部线圈
114’ 射频线圈
116 收发器
118 对象
119 面部区域
120 对象支撑件
122 相机系统
122’ 相机系统
122’ 相机系统
123 多个相机
123’ 所选择的相机
124 镜子
125 对象麦克风
126 计算机系统
128 硬件接口
130 处理器
132 用户接口
134 计算机存储器
140 机器可执行指令
142 脉冲序列命令
144 磁共振成像数据
146 视频图像
148 基于视频的声音活动检测模块
150 声音活动状态
152 声音活动信号
200 控制磁共振成像系统利用脉冲序列命令来采集磁共振成像数据
202 从视频系统接收视频图像
204 通过将视频图像输入到基于视频的声音活动检测模块中,针对视频图像实时确定声音活动状态
206 如果声音活动状态指示说话状态,则提供声音活动信号
300 磁共振成像系统
302 初始视频图像
304 音频数据
306 被标记的初始视频图像
308 基于音频的声音活动检测器模块
400 使用视频系统记录对象的初始视频图像
402 在记录初始视频图像的同时,利用对象麦克风记录音频数据
404 通过将音频数据输入到基于音频的声音活动检测器模块中,将帧标记为说话或不说话
406 使用帧和每个帧的标记来训练基于视频的声音活动检测模块
500 磁共振成像系统
502 提示器
504 问题列表
506 磁共振图像
508 语音识别模块
510 预定的单词列表
600 对话框
602 警告
604 控制打开通信通道
700 对话框
702 音频回放控件
800 对话框
802 通知采集停止
具体实施方式
附图中相似标号的元件是等效元件或执行相同的功能。如果功能等效,则先前已经讨论过的元件不必在后面的附图中进行讨论。
图1示出了具有磁体104的磁共振成像系统100的范例。磁体104是具有穿过其的孔106的超导圆柱形磁体。也能够使用不同类型的磁体;例如,也能够同时使用剖分式圆柱形磁体和所谓的开放型磁体。剖分式圆柱形磁体与标准圆柱形磁体相似,不同之处在于,低温恒温器已被剖分为两部分,以允许进入磁体的等平面,这种磁体可以例如与带电粒子射束疗法结合使用。一个开放型磁铁具有两个磁体部分,一个在另一个上方,两个磁体之间的空间足够大以容纳对象:这两个部分的面积的布置类似于亥姆霍兹线圈。开放型磁铁是受欢迎的,因为对象受到的约束较少。在圆柱形磁体的低温恒温器内部存在超导线圈的集合。在圆柱形磁体104的孔106内存在成像区域108,在该成像区域中,磁场足够强且均匀以执行磁共振成像。在成像区域108内示出的是感兴趣区域109。通常针对感兴趣区域采集磁共振数据。对象118被示出由对象支撑件120支撑,使得对象118的至少部分地在成像区108和感兴趣区域109内。
在磁体的孔106内还存在一组磁场梯度线圈110,其用于采集初始磁共振数据,以对磁体104的成像区域108内的磁自旋进行空间编码。磁场梯度线圈110连接到磁场梯度线圈电源112。磁场梯度线圈110是代表性的。通常,磁场梯度线圈110包含用于在三个正交的空间方向上进行空间编码的三组独立的线圈。磁场梯度电源将电流提供给磁场梯度线圈。供给到磁场梯度线圈110的电流根据时间来控制并且可以被倾斜或脉冲化。
与成像区域108邻近的是射频线圈114,其用于操纵成像区域108内的磁自旋的取向并且用于接收来自也在成像区域108内的自旋的无线电传输。对象118的头部区域显示为在成像区域108内。在该范例中,射频线圈是头部线圈114。头部线圈114被示为围绕对象118的头部。存在对对象的头部的一部分进行成像的感兴趣区域109。头部线圈114还被示为包含用于记录来自对象118的音频数据的可选的对象麦克风125。音频数据可以例如包含由对象118说出的语音。在磁体104的凸缘上存在相机系统122。相机122可以例如被称为装在凸缘上的相机。相机122看向磁体的孔106内。
放置镜子124,使得对象118的面部区域的反射被反射到相机系统122中。镜子124可以例如被安装到或合并到头部线圈114中,或者也可以被附接到磁体104的孔106。即使没有头部线圈114,也可以提供镜子用于对面部区域119进行成像。例如,在其他范例中,镜子124可以并入被附接至对象头部的头饰或支撑件。
射频线圈114或天线可以包含多个线圈元件。射频天线也可以称为通道或天线。射频线圈114被连接至射频收发器116。射频线圈114和射频收发器116可以由单独的发射和接收线圈以及单独的发射器和接收器代替。应当理解,射频线圈114和射频收发器116是代表性的。射频线圈114还旨在代表专用的发射天线和专用的接收天线。同样,收发器116也可以代表单独的发射器和接收器。射频线圈114也可以具有多个接收/发射元件,并且射频收发器116可以具有多个接收/发射通道。例如,如果执行诸如SENSE的并行成像技术,则射频线圈114将具有多个线圈元件。
收发器116、梯度控制器112和相机系统122被示出为被连接至计算机系统126的硬件接口128。计算机系统还包括处理器130,其与硬件系统128、存储器134和用户接口132进行通信。存储器134可以是处理器130可访问的存储器的任意组合。这可以包括诸如主存储器、高速缓存存储器以及诸如闪存RAM、硬盘驱动器之类的非易失性存储器或其他存储器设备。在一些范例中,存储器134可以被认为是非暂时性计算机可读介质。
存储器134被示出为包含机器可执行指令140。机器可执行指令140使处理器130能够控制磁共振成像系统100的操作和功能。机器可执行指令140还可以使处理器130能够执行各种数据分析和计算功能。计算机存储器134还被示出为包含脉冲序列命令142。脉冲序列命令被配置用于控制磁共振成像系统100根据磁共振成像协议从对象118采集磁共振数据。
脉冲序列命令是控制磁共振成像系统100的各种组件以采集磁共振成像数据144的命令或可以转换为这种命令的数据。存储器134被示出为包含已经通过控制磁共振成像系统100利用脉冲序列命令142采集的磁共振成像数据144。计算机存储器134还被示出为包含与磁共振成像数据144同时采集的视频图像146。视频图像146在被采集的同时被输入到基于视频的声音活动检测模块148中。
例如,视频图像146可以在它们由处理器接收时输入到模块中。然后,基于视频的声音活动检测模块148输出声音活动状态150,所述声音活动状态150可以用于指示对象118是处于说话状态或不说话状态。如果对象118处于说话状态,则处理器130产生声音活动信号152。可以以不同方式将声音活动信号152显示或呈现给操作者。在某些情况下,可以在图形用户接口上呈现音频信号、视频信号、视觉信号或对话框。在其他情况下,声音活动信号152是触发器,其引起由处理器130执行附加指令。
图2示出了一个流程图,所述流程图示出了操作磁共振成像系统100的方法。首先,在步骤200中,控制磁共振成像系统100利用脉冲序列命令142来采集磁共振成像数据144。接下来,在步骤202中,在执行脉冲序列命令142的同时,从相机系统122接收视频图像146。这也可以被认为是当正在采集磁共振成像数据144时。两者是等效的。接下来,在步骤204中,通过将视频图像146输入到基于视频的声音活动检测模块148中,针对视频图像146实时确定声音活动状态150。最后,在步骤206中,如果声音活动状态150指示对象118的说话状态,则提供声音活动信号150。
图3图示了磁共振成像系统300的另一范例。图3中示出的范例与图1中示出的范例相似,除了相机系统122’已经被集成到头部线圈114中。相机系统122’可以例如被安装为使得当头部线圈114被安装在对象118的头部上时,相机系统122’指向面部区域119。
存储器134还被示出为所采集的初始视频图像302。存储器134还被示出为包含与初始视频图像302同时采集的音频数据304。初始视频图像302和音频数据304可以例如是在采集磁共振成像数据之前采集的,或者在其他范例中可以是在磁共振成像协议开始时采集的。存储器134还被示出为包含通过将音频数据304用作基于音频的声音活动检测器模块308的输入所创建的被标记的初始视频图像306。被标记的初始视频图像306可以例如用于训练基于视频的声音活动检测模块148。在一些范例中,可以对基于视频的声音活动检测模块148进行预训练,然后使用被标记的初始视频图像306来调整训练,以使其更好地响应具体对象118的语音。
图4示出了一个流程图,所述流程图图示了操作图3的磁共振成像系统300的方法。如果磁共振成像系统100还包括基于音频的声音活动检测器模块308,则图4所示的方法还可以用于操作图1的磁共振成像系统100。
首先,在步骤400中,记录初始视频图像302。在记录初始视频图像302的同时,执行步骤402。在步骤402中,使用对象麦克风125记录对象118的音频数据306。接下来,在步骤404中,通过将音频数据304输入到基于音频的声音活动检测器模块308中来标记初始视频图像302的帧。初始视频图像和音频数据304的同步使得能够创建被标记的初始视频图像306。被布置为帧的具体帧被标记为对象118的说话状态或不说话状态。随后在步骤406中使用这些被标记的初始视频图像306,其中,使用每个帧的标记来训练基于视频的声音活动检测模块148。
在一些范例中,基于视频的声音活动检测模块是卷积神经网络。在这种情况下,可以使用深度学习来完成对基于视频的声音活动检测模块148的训练。
图5图示了磁共振成像系统500的另一范例。图5中描绘的磁共振成像系统500类似于图1和图3描绘的磁共振成像系统。在该范例中,视频系统122”包括若干的多个相机123。多个相机123被安装在磁体104的孔106的内部。例如,诸如在蜂窝电话之类的数字设备中使用的紧凑型相机使得能够将大量紧凑型相机放置在孔106中。这可以使得能够将对象118定位在相对任意的位置。在图1和图3描绘的范例中,头部线圈114的使用将成像限制在对象118的头部区域。在本范例中,对象118的腹部区域被成像。射频线圈114’被放置在对象118的腹部上,并且对在其下方的感兴趣区域109进行成像。对象118被放置在孔106中,然后能够从多个相机123中选择所选择的相机123’用于采集对象118的面部区域119的图像。在本范例中,可选的对象麦克风125已经被并入到对象支撑件120中,可以是在靠近对象118的头部的区域中。图5所示的范例可以是方便的,因为不需要在对象118上放置任何特殊的器具或任何物品。
图5还描绘了可选的提示器502,其可以用于向对象118提供问题列表504。提示器502能够例如是显示问题列表504的文本形式的视频屏幕。如果是视频提示器502,该提示器可以在孔106的外部,甚至在内部。如果它在孔106的外部,则可以有附加的相机,用于在对象进入磁体104之前对面部区域118进行成像。在其他范例中,提示器502可以是用于以音频形式提供问题列表504的音频系统。在任何情况下,提示器502都会产生问题,对象118对所述问题做出响应,并且所述问题用于产生初始视频图像302和音频数据306。
计算机存储器134还被示出为包含根据磁共振成像数据144重建的磁共振图像506。磁共振图像506也可以存在于图1和图3描绘的范例中。同样地,提示器502和问题列表504也可以结合到图1和图3所示的范例中。另外,图1、图3和图5中所描绘的特征只要它们互不排斥,则可以自由组合。
图5还描绘了可被合并到图1、图3和图5所示的范例中的其他可选特征。存储器134还被示出为包含语音识别模块508。在执行脉冲序列命令142以采集磁共振成像数据期间,能够连续记录音频数据306。然后,能够在采集音频数据306时将其输入到语音识别模块508中。随后,能够将由语音识别模块508确定的单词与预定单词列表510进行比较。例如,单词“燃烧”、“帮助”、“停止”或其他可以指示对象118感到痛苦或不适的单词能够被处理器130用来触发即时响应。例如,特定词的检测可以引起磁共振成像系统500自动停止对磁共振成像数据的采集。
图6示出了对话框600的范例,所述对话框600可以响应于声音活动信号152而在计算机系统126的用户接口132上打开。所述对话框包含对象已被检测为正在讲话的警告602。对话框600还包含使操作者能够打开与对象118的通信通道的控件604。例如,这可以使对象118能够使用如图1、图3和图5中描绘的对象麦克风125与操作者讲话,然后还可以存在用于提供来自操作者的音频的扬声器或音频系统。在其他范例中,控件604是未合并到计算机系统126中的手动控件。
图7示出了能够响应于声音活动信号152而在用户接口上生成的对话框700的更复杂的范例。图7的对话框700包含图6的对话框600的所有特征,还附加有音频回放控件702。在本范例中,音频回放控件702可以用于回放与对象118被检测到说话的时间相对应的音频数据306的部分。这例如可以使操作者能够看到当被检测到说话状态时对象118所说的话。例如,如果对象118仅在与他或她自己说话或说一些与磁共振成像扫描无关的话,则可以帮助防止操作者在不必要时停止执行脉冲序列命令。
图8示出了对话框800的又一范例。在该范例中,也存在已经检测到对象语音的警告602。然而,在本范例中,不存在附加控件,而是存在采集已停止的通知802。这例如能够是响应于识别对象118已经说出与预定单词列表510上的单词匹配的单词而生成的对话框800。
如上所述,目前,对象使用老式的压力操作气球开关来告知他希望在扫描期间进行通信,因为患者对讲机(通信系统)由于扫描器噪声而被关闭。
有一种最新的研究趋势是在扫描期间使用孔内相机来检测总体的患者运动和生理运动。范例可以使用这样的相机来检测典型的说话时的嘴部运动,这已经证明在音频会议中作为麦克风控制的应用。这种技术可以用于触发(提供声音活动信号)通常由患者按压气球开关(挤压灯泡)来触发的事件,因此可以省略。因此,节省了设置开关和指示患者的时间。该方法还避免了不适合儿童、痴呆症患者和精神残疾患者的对患者理解力和遵从性的需求。同样,患者不再需要不舒服地将气球保持在手中,如果他掉落了气球,他可以不去移动取回气球。
范例可以克服以下使用气球开关的一个或多个缺点。使用气球开关有以下缺点:
-扫描期间,患者必须将气球保持在他的手中,这可能会变得不舒服
-患者可能会从手中掉落气球,并且至少移动他的手和手臂将其取回,这可能会引入运动伪影。
-MR操作者必须为每位患者设置开关,这需要花费时间。
-MR操作者必须指导患者如何使用开关,这需要花费时间。
-患者必须理解并遵从指导,这对于某些患者,如儿童、痴呆症患者、精神残疾患者可能是困难的。
-气球会增加扫描器的物料清单。而用于范例的软件可以没有。
一些范例可以使用孔内相机来检测典型的说话的嘴部运动(面部运动)。这用于触发通常由患者按压气球触发的事件,因此可以省略。
用于检测视频应用中说话的这些技术中的某些技术可以基于需要算法训练的神经网络。一些范例可以使用MR操作者与对象的典型初次通信来进行该训练或将针对具体的对象调整训练。
范例可以通过集成自动患者通信来生成训练数据,从RF门在定位患者之后关闭开始,直到第一次扫描的准备阶段的静默期。这种通信驱使对象讲话,并使用相应的同步视频和音频数据来训练视频分析。该概念额外地节省了时间,并使操作者在询问患者是否舒适时免于例行任务,并且在操作者非常忙于准备第一次扫描时能够清楚地理解操作者。可以结合MR操作者交互式跳入自身的可能性,使用具有当前MR操作者声音的预先录制的音频剪辑,以避免患者注意到对话是由计算机执行的。
该方法可以使用视频分析(使用基于视频的声音活动检测器)来确定患者当前正在说话或者不说话。这种视频分析的大多数已知解决方案都是基于神经网络,需要使用合适的视频数据进行训练。
视频分析可以具有实时能力,并且用于训练的计算时间必须保持足够短,以在第一次扫描开始之前执行。标记了患者正在说话或不说话的合适的训练数据是不容易获得的。在没有适当的训练数据的情况下运行的说话检测算法更容易出错。出于安全原因,患者警报机制应当具有非常低的假阴性率(未检测到患者警报的情况),而出于高扫描效率的原因,患者警报机制应当具有较低的假阳性率(患者警报错误的情况)。
在一个范例中,相机和麦克风可以集成到MRI磁体的孔中。在第一次扫描的准备阶段期间和与另外的扫描之间执行自动的患者-操作者/扫描器通信。这种通信驱使患者讲话,并使用同步视频和音频数据的输出来训练视频分析。
在本范例中,至少一个相机内置在扫描器的孔中,以便在最常见的扫描应用和患者位置时能够看到患者的面部。合适的位置是在孔的顶部,超过等中心点向磁体的后部偏移大约20厘米,因为大多数情况下患者是在仰卧位置上扫描的,脸部大约在该位置上。第二个相机也是有利的,同样在孔的顶端,但是沿B0场轴的偏移有所不同,使得相机中的至少一个可以在常用位置范围内看到面部。每个至少一个相机都增加有麦克风。
用于视频分析的训练数据可以包括大约0.5s持续时间的短片,其中患者一直在说话或不说话。可以分别用几乎可以忽略的错误率来标记每个片段,因为错误标记会破坏训练数据并导致实时视频分析的升高的错误率,这是禁止的。为了生成这种稳健的标记的训练数据,提出在扫描器噪声几乎不存在的情况下使患者说话。在那时,能够进行相对简单的音频分析,以检测说话的时间段并稳健地进行。使用该信息将视频数据划分为说话/不说话的片段(说话状态/不说话状态)。声音活动检测(VAD)算法在语音识别中是已知的,以从音频数据中检测说话时间段。例如,可以使用这些被标记的片段来训练神经网络。
培训流程
可以使用计算机控制的通信来自动化与患者的通信以生成训练数据。这节省时间并且使操作者在通常非常忙于准备第一次扫描的时间段内免于执行此任务。一旦在定位好患者后RF门被关闭,就可以开始这种通信,并且最后使用第一次扫描的准备阶段的静默期。MR操作者可以听到这种通信,以便在任何早期的患者请求或警报的情况下他能够进行干预。在这种通信期间,可以预先录制并播放具有各个MR操作者本人声音的音频片段。在来自患者的更复杂的请求的情况下,MR操作者可以交互地跳入通信。这可以避免患者注意到他正在与机器说话。
典型通信:
1、扫描器(MRI系统)问:“您能清楚听到我的声音吗?”患者可以进行回答,并且语音识别系统可以将回答分析为肯定或否定。在否定回答的情况下,通知患者扬声器的音量会增加。在肯定答案的情况下,扫描器可以问:“音量对您来说合适吗?”这种对话可以一直循环,直到达到合适的音量为止。
2、扫描器可以询问患者的姓名和年龄:“我想确保我能清楚地理解您。因此,您可以说出您的全名和年龄吗?”
3、可以使用其他问题,询问患者的舒适性(位置、温度和类似方面)。语音识别系统甚至可以评估答案并调整温度。
已知的典型扫描器噪声
大多数第一次扫描的准备阶段要么非常安静,要么产生由短咔哒声组成的低噪音,这是非常可重现的(例如,共振频率确定)。这样的时间段也可以用于训练数据生成。因此提出训练VAD算法以忽略这种已知的噪声。
扫描流程
在正常扫描期间,基于机器学习的视频分析被用于检测患者何时开始说话。在这种情况下,MR操作者的扬声器取消静音。然后,操作者可以决定终止扫描。
尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是示意性或范例性的而不是限制性的;本发明不限于所公开的实施例。
通过研究附图、公开内容和所附权利要求,本领域技术人员在实践所要求保护的发明时能够理解和实现所公开的实施例的其他变型。在权利要求中,词语“包括”不排除其他元件或步骤,并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。仅有在互不相同的从属权利要求中记载某些措施的事实并不表示不能有利地使用这些措施的组合。计算机程序可以存储在/分步在适当的介质上,例如与其他硬件一起提供或作为其他硬件的一部分提供的光学存储介质或固态介质,但是也可以以其他形式分布,例如经由互联网或其他有线或无线电信系统。权利要求中的任何附图标记都不应被解释为限制保护范围。

Claims (14)

1.一种磁共振成像系统(100、300、500),其被配置用于从至少部分地在成像区域(108)内的对象(118)采集磁共振成像数据(144),其中,所述磁共振成像系统包括:
-视频系统(122、122’、122”),其被配置用于在所述磁共振成像数据的采集期间提供所述对象的面部区域(119)的视频图像(146);
-存储器(134),其用于存储机器可执行指令(140)和脉冲序列命令(142),其中,所述脉冲序列命令被配置用于控制所述磁共振成像系统采集所述磁共振成像数据;
-处理器(130),其用于控制所述磁共振成像系统,其中,所述机器可执行指令的执行令所述处理器:
-控制(200)所述磁共振成像系统利用所述脉冲序列命令来采集所述磁共振成像数据;
-在所述脉冲序列命令的执行期间从所述视频系统接收(202)所述视频图像;
-由能够访问所述视频图像的基于视频的声音活动检测模块根据所述视频图像实时确定(204)声音活动状态(150),其中,所述声音活动状态指示所述对象的说话状态或所述对象的不说话状态;
-如果所述声音活动状态指示所述说话状态,则提供(206)声音活动信号(152),其中,
-所述机器可执行指令的执行还令所述处理器在用户接口上提供指示符(602)作为所述声音活动信号,并且
-所述用户接口被配置用于响应于所述声音活动信号而打开操作者与所述对象之间的通信通道。
2.根据权利要求1所述的磁共振成像系统,其中,所述磁共振成像系统还包括对象麦克风(125),所述对象麦克风被配置用于获取来自所述对象的音频数据(304)。
3.根据权利要求2所述的磁共振成像系统,其中,所述机器可执行指令的执行还令所述处理器:
-使用所述视频系统记录(400)所述对象的初始视频图像(302),其中,所述初始视频图像包括帧;
-在记录所述初始视频图像的同时,利用所述对象麦克风记录(402)所述音频数据;
-通过将所述音频数据输入到基于音频的声音活动检测器模块(308),将所述帧标记(404)为说话或不说话;以及
-使用所述帧和每个所述帧的标记来训练(406)所述基于视频的声音活动检测模块,以根据所述视频图像实时确定(204)声音活动状态(150)。
4.根据权利要求3所述的磁共振成像系统,其中,所述基于音频的声音活动检测器模块被配置用于在将所述帧标记为说话或不说话期间从所述训练(406)所述基于视频的声音活动检测模块中排除梯度线圈噪声。
5.根据权利要求3或4所述的磁共振成像系统,其中,所述磁共振成像系统还包括提示器(502),所述提示器被配置用于向所述对象呈现问题,其中,所述机器可执行指令的执行还令所述处理器在记录所述初始视频图像和所述初始音频期间使用所述提示器向所述对象呈现问题列表(504)。
6.根据权利要求2至5中的任一项所述的磁共振成像系统,其中,所述磁共振成像系统还包括对象支撑件(120),所述对象支撑件被配置用于支撑在所述成像区域中的所述对象的至少部分,其中,所述对象麦克风被并入在所述对象支撑件中。
7.根据权利要求2至6中的任一项所述的磁共振成像系统,其中,所述机器可执行指令的执行还令所述处理器:
-在所述磁共振成像数据的采集期间使用所述对象麦克风连续记录所述音频数据,其中,所述音频数据与所述视频图像同步;
-使用所述声音活动状态标记所述音频数据;并且
-当接收到来自用户接口(700)的信号时,回放被标记具有所述说话状态的所述音频数据。
8.根据权利要求2至7中的任一项所述的磁共振成像系统,其中,所述机器可执行指令的执行还令所述处理器:
-通过将所述音频数据输入到语音识别模块(508)来接收说出的单词列表;
-执行以下中的任一操作:如果所述说出的单词列表的至少部分与预定单词列表(510)相匹配,则在所述磁共振成像系统的用户接口中发出预定警报;如果所述说出的单词列表的至少部分与所述预定单词列表相匹配,则停止所述磁共振成像数据的采集;及其组合。
9.根据前述权利要求中的任一项所述的磁共振成像系统,其中,所述基于视频的声音活动检测模块包括卷积神经网络。
10.根据前述权利要求中的任一项所述的磁共振成像系统,
其中,所述磁共振成像系统包括具有孔(106)的磁体,其中,所述相机系统包括被安装在所述孔内的多个相机(122”)。
11.根据前述权利要求中的任一项所述的磁共振成像系统,其中,所述磁共振成像系统包括头部线圈(114),其中,所述相机系统包括被附接到所述头部线圈的安装在线圈上的相机(122’)。
12.根据前述权利要求中的任一项所述的磁共振成像系统,其中,所述相机系统包括安装在凸缘上的相机(122),所述装在凸缘上的相机被配置用于对所述对象的面部区域的反射图像进行成像。
13.一种操作磁共振成像系统(100、300、500)的方法,所述磁共振成像系统被配置用于从至少部分地在成像区域内的对象(118)采集磁共振成像数据(144),其中,所述磁共振成像系统包括视频系统(122、122’、122”),所述视频系统被配置用于在所述磁共振成像数据的采集期间提供所述对象的面部区域(119)的视频图像(146),其中,所述方法包括:
-控制(200)所述磁共振成像系统利用脉冲序列命令(142)来采集所述磁共振成像数据,其中,所述脉冲序列命令被配置用于控制所述磁共振成像系统采集所述磁共振成像数据;
-在所述脉冲序列命令的执行期间从所述视频系统接收(202)所述视频图像;
-通过将所述视频图像输入到基于视频的声音活动检测模块(148)中,针对所述视频图像实时确定(204)声音活动状态(150),其中,所述声音活动状态指示所述对象的说话状态或者所述对象的不说话状态;以及
-如果所述声音活动状态指示所述说话状态,则提供(206)声音活动信号(152),其中,
-在用户接口上提供指示符(602)作为所述声音活动信号,以及
-所述用户接口被配置用于响应于所述声音活动信号而打开操作者与所述对象之间的通信通道。
14.一种计算机程序产品,包括用于由控制磁共振成像系统的处理器(130)执行的机器可执行指令(140),所述磁共振成像系统被配置用于从至少部分地在成像区域内的对象(118)采集磁共振成像数据,其中,所述执行机器可执行指令的执行令所述处理器:
-在所述磁共振成像数据的采集(200)期间从视频系统(122、122’、122”)接收(202)视频图像;
-通过将所述视频图像输入到基于视频的声音活动检测模块(148)中,针对所述视频图像实时确定(204)声音活动状态(150),其中,所述声音活动状态指示所述对象的说话状态或所述对象的不说话状态;以及
-如果所述声音活动状态指示所述说话状态,则提供(206)声音活动信号(152),并且
-在用户接口上提供指示符(602)作为所述声音活动信号,以及
-响应于所述声音活动信号而打开操作者与所述对象之间的通信通道。
CN201980035454.3A 2018-05-28 2019-05-23 对象通信请求的光学检测 Pending CN112204408A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18174509.2 2018-05-28
EP18174509.2A EP3575811A1 (en) 2018-05-28 2018-05-28 Optical detection of a communication request by a subject being imaged in the magnetic resonance imaging system
PCT/EP2019/063412 WO2019228912A1 (en) 2018-05-28 2019-05-23 Optical detection of a subject communication request

Publications (1)

Publication Number Publication Date
CN112204408A true CN112204408A (zh) 2021-01-08

Family

ID=62567241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035454.3A Pending CN112204408A (zh) 2018-05-28 2019-05-23 对象通信请求的光学检测

Country Status (5)

Country Link
US (1) US11327128B2 (zh)
EP (2) EP3575811A1 (zh)
JP (1) JP7304898B2 (zh)
CN (1) CN112204408A (zh)
WO (1) WO2019228912A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11002816B2 (en) * 2018-07-13 2021-05-11 Shanghai United Imaging Healthcare Co., Ltd. Coil assembly of magnetic resonance imaging device
US11670298B2 (en) * 2020-05-08 2023-06-06 Nuance Communications, Inc. System and method for data augmentation for multi-microphone signal processing
NL2026785B1 (en) * 2020-10-28 2022-06-21 Univ Delft Tech Method and apparatus for magnetic resonance imaging
DE102020215064A1 (de) * 2020-11-30 2022-06-02 Siemens Healthcare Gmbh Verfahren und Magnetresonanzvorrichtung zur automatischen Interaktion mit einem Patienten
CN112704485A (zh) * 2020-12-30 2021-04-27 深圳市联影高端医疗装备创新研究院 发音感知系统、感知方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903703A (en) * 1987-05-19 1990-02-27 Hitachi, Ltd. Conversation device of MR imaging apparatus
US20030179888A1 (en) * 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
US20050283068A1 (en) * 2004-06-17 2005-12-22 Psychology Software Tools, Inc. Magnetic resonance imaging having patient video, microphone and motion tracking
US20130342350A1 (en) * 2012-06-26 2013-12-26 Stefan Popescu Method and medical imaging device for communication between a control unit and a patient and/or an operator
WO2014116868A1 (en) * 2013-01-24 2014-07-31 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US20150045654A1 (en) * 2013-08-09 2015-02-12 Samsung Electronics Co., Ltd. Method and apparatus for providing content related to capture of medical image

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338987A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp 発話開始監視装置、話者同定装置、音声入力システム、および話者同定システム、並びに通信システム
US6774929B1 (en) 2000-11-03 2004-08-10 Avotec Inc. Shielded video projection system for MRI
KR20020068235A (ko) 2001-02-20 2002-08-27 유재천 치아와 입술 영상을 이용한 음성인식 장치 및 방법
AU2003263733A1 (en) * 2002-03-05 2003-11-11 Aliphcom Voice activity detection (vad) devices and methods for use with noise suppression systems
CA2563693C (en) 2004-04-19 2010-07-06 Loma Linda University Composition and method of decreasing renal ischemic damage
US20110230755A1 (en) 2010-03-04 2011-09-22 Macfarlane Duncan Single camera motion measurement and monitoring for magnetic resonance applications
JP2012003326A (ja) * 2010-06-14 2012-01-05 Sony Corp 情報処理装置、情報処理方法、およびプログラム
CN102682273A (zh) * 2011-03-18 2012-09-19 夏普株式会社 嘴唇运动检测设备和方法
US9244139B2 (en) * 2012-05-18 2016-01-26 Neocoil, Llc Method and apparatus for MRI compatible communications
WO2014178491A1 (ko) 2013-04-30 2014-11-06 포항공과대학교 산학협력단 발화 인식 방법 및 장치
US9548048B1 (en) 2015-06-19 2017-01-17 Amazon Technologies, Inc. On-the-fly speech learning and computer model generation using audio-visual synchronization
DE102015214482A1 (de) * 2015-07-30 2017-02-02 Siemens Healthcare Gmbh Verfahren zu einer Festlegung einer Untersuchungsumgebung für eine medizinische Bildgebungsuntersuchung sowie eine medizinische Bildgebungsvorrichtung mit einer Umgebungsanpassungseinheit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903703A (en) * 1987-05-19 1990-02-27 Hitachi, Ltd. Conversation device of MR imaging apparatus
US20030179888A1 (en) * 2002-03-05 2003-09-25 Burnett Gregory C. Voice activity detection (VAD) devices and methods for use with noise suppression systems
US20050283068A1 (en) * 2004-06-17 2005-12-22 Psychology Software Tools, Inc. Magnetic resonance imaging having patient video, microphone and motion tracking
US20130342350A1 (en) * 2012-06-26 2013-12-26 Stefan Popescu Method and medical imaging device for communication between a control unit and a patient and/or an operator
WO2014116868A1 (en) * 2013-01-24 2014-07-31 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US20150045654A1 (en) * 2013-08-09 2015-02-12 Samsung Electronics Co., Ltd. Method and apparatus for providing content related to capture of medical image

Also Published As

Publication number Publication date
US20210116519A1 (en) 2021-04-22
JP2021526048A (ja) 2021-09-30
WO2019228912A1 (en) 2019-12-05
EP3575811A1 (en) 2019-12-04
EP3803421B1 (en) 2023-07-19
JP7304898B2 (ja) 2023-07-07
EP3803421A1 (en) 2021-04-14
US11327128B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
CN112204408A (zh) 对象通信请求的光学检测
US11690602B2 (en) Methods and apparatus for tele-medicine
JP7242514B2 (ja) 医療撮像セッションで患者の状態を検出するためのシステムおよび方法
US8214012B2 (en) Magnetic resonance imaging having patient video, microphone and motion tracking
US20140378816A1 (en) Information providing method and medical diagnosis apparatus for providing information
JP7418358B2 (ja) 医用撮像のための位置フィードバックインジケータ
JP2017536867A (ja) 身体的特徴に関するデータを取り込んで出力するためのシステム、装置、および方法
CN105408903B (zh) 处理医学设备警报信号的系统和方法、移动和医学设备
EP3381353A1 (en) Method for planning an imaging scan protocol
US20150237222A1 (en) Imaging modality and method for operating an imaging modality
CN102667788A (zh) 成像设备电子辅助器
WO2019181432A1 (ja) 手術支援システム、情報処理装置、及びプログラム
CN110301013A (zh) 用于手术室中的预测性工作流程的增强现实
US20180014903A1 (en) Head-mountable computing device, method and computer program product
CN217409525U (zh) 一种基于人工智能的心理建设装置
JP2010124942A (ja) 磁気共鳴イメージング装置
EP4138086A1 (en) Computer-assisted imaging user guidance
CN113811953A (zh) 相机辅助的对象支撑体配置
Jankowski et al. An automated, low-latency environment for studying the neural basis of behavior in freely moving rats
EP4353152A1 (en) Medical image acquisition unit assistance apparatus
JP7383835B2 (ja) 音響警告信号を伴う磁気共鳴イメージングシステム
JP7237608B2 (ja) 患者アナウンス装置、放射線治療装置及び患者アナウンス方法
US20220414877A1 (en) Apparatus, system and method for supporting a procedure of an imaging examination
US20220265160A1 (en) Patient controlled medical system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination