CN109698021B - 用于运行医学图像采集设备的方法和图像采集设备 - Google Patents

用于运行医学图像采集设备的方法和图像采集设备 Download PDF

Info

Publication number
CN109698021B
CN109698021B CN201811231651.6A CN201811231651A CN109698021B CN 109698021 B CN109698021 B CN 109698021B CN 201811231651 A CN201811231651 A CN 201811231651A CN 109698021 B CN109698021 B CN 109698021B
Authority
CN
China
Prior art keywords
patient
image acquisition
examination
operator
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811231651.6A
Other languages
English (en)
Other versions
CN109698021A (zh
Inventor
D·莱尔驰
K·莱尔驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN109698021A publication Critical patent/CN109698021A/zh
Application granted granted Critical
Publication of CN109698021B publication Critical patent/CN109698021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/283Intercom or optical viewing arrangements, structurally associated with NMR apparatus
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Abstract

本发明涉及一种用于运行医学图像采集设备(1)的方法和图像采集设备,医学图像采集设备运行在对患者进行检查的范畴中,该患者利用患者定位装置(3)而被定位,其特征在于,该图像采集设备(1)具有语音交互系统,该语音交互系统具有记录患者的声音的至少一个麦克风(6)和指向该患者的至少一个扬声器(7),其中源自患者的声音借助于麦克风(6)被记录,并且被语音交互系统的语音识别单元(8)评估,以用于确定患者信息,该患者信息描述患者的状态和/或所说的词语的内容,根据患者信息通过扬声器(7)向患者进行语音输出。

Description

用于运行医学图像采集设备的方法和图像采集设备
技术领域
本发明涉及一种用于运行医学图像采集设备的方法,该医学图像采集设备运行在对患者进行检查的范畴中,该患者利用患者定位装置而被定位。此外,本发明还涉及一种医学图像采集设备、一种计算机程序和一种电子可读的数据载体。
背景技术
在现代医学中越来越多地使用医学图像采集设备以执行对患者的检查。借助于现代的成像方法生成二维或三维图像数据,其可以用于被成像的检查对象的可视化,并且此外还可用于其他应用。特别是在更复杂的成像方法中,例如在磁共振图像采集和计算机断层扫描中,检查的持续时间通常会增加,从而使得被患者定位装置(例如患者台)定位的患者必须在图像采集设备的成像区域中待更长的时间。
尽管通过新的操作方案有所改进,但是患者在检查期间仍然要留在医学图像采集设备中一段时间。特别是在实际检查/图像采集的情况下,需要保护操作人员免受辐射或所产生的噪声。即使在检查室外对图像采集设备(例如磁共振设备)进行检查的准备(方案设置等),患者也可能要留在检查室中。
总之,成像检查对于患者已显示出很大的不确定性情况。如果操作人员在患者被定位在图像采集设备中之后离开患者,以进行检查设置并且例如在控制室中等待检查结束,则该不确定性将进一步提高。在此,虽然原则上规定操作人员停留在邻近患者的作用范围中并且尤其是在听觉范围中,但是这不能在所有医学设施(例如诊所)中实现。例如,如果仅有很少的工作人员,则由于其他患者、同事、登记询问、紧急情况和/或医生(放射科医师)产生的干扰,可能导致在图像采集设备中单独等待的患者的话语或其他声音被忽略。
例如,可能发生的是,患者提出例如关于检查、应具有的目标状态等问题。特别是对于非常年轻或非常年老的患者,在此提问的范围可能是多种多样的。如果患者的这些问题未得到解答,则例如患者的不确定性会提高,这可能导致更高的呼吸率和/或心率,从而在检查对象相应移动的情况下,导致图像数据可能有更差的质量。问题未被回答的另一后果可能是,患者例如由于感到孤单或认为检查已经结束而过早起床,从而离开为检查而精心准备的定位位置。
如果患者有健康问题,例如患有造影剂不耐受症或幽闭恐惧症,也可能发生危急情况。如果操作人员没有察觉到相应的口头表述,则可能引起患者的健康问题。为此提出,为患者提供紧急操作装置,例如紧急停止按钮,然而如果患者在认知上或身体上不能操作紧急操作元件,则对患者的忽视同样可能造成不利后果。
另一个问题发生在患者为儿童的情况下。经验表明,例如当小儿患者在作为患者定位装置的患者台上已被定位时,小儿患者由于其强烈的移动欲望通常不会保持安静地躺着。这会导致操作人员或另一陪同人员必须留在检查室中,而这可能是不期望的,因为例如会暴露于辐射和/或噪声中。
除了所记录的图像数据的质量下降和潜在的健康问题之外,上述情况还会导致以下后果:该检查对患者体验质量造成负面影响,这特别是涉及到问题未被回答、焦虑甚至疼痛。通常这种体验质量最终会影响患者对检查的评价,因为患者无法评价诊断本身的好坏程度。这种评价,无论是直接通过互联网上的评价门户,还是间接通过口头宣传或与转诊医生的咨询,会成为足以影响经济的因素,该因素可能会定义向医保提供者分配的公共资金数量,或影响患者流的大小。
为了缓解这些问题,已经提出,至少在作为医学图像采集设备的大型设备中设置一些麦克风和扬声器,也可称为对讲机。患者可以通过这种对讲机与操作人员联系,反之亦然。因为对讲机也可能会在两个方向上都静音,所以又提高了患者被忽略的风险。
另一已知的辅助装置是已经提到的例如作为紧急停止按钮的紧急操作元件,患者在检查期间手持该紧急操作元件,并且在出现身体或心理问题时可以利用该紧急操作元件中断检查。然而,这种紧急操作元件在某种意义上起双向作用,在超过患者的忍受阈值时,在操作紧急操作元件之后将中断检查,然而例如操作人员不再可以进行良好地劝说以克服该情况。
发明内容
因此,本发明的目的在于,提出一种改进的与患者交互的可能性,以避免检查中断和/或改善较差的图像质量。
为了实现这个目的,在开头所述类型的方法中根据本发明规定,图像采集设备具有语音交互系统,语音交互系统具有接收患者声音的至少一个麦克风和指向患者的至少一个扬声器,其中
借助于麦克风记录源自患者的声音,并且由语音交互系统的语音识别单元对该声音进行评估,以用于确定患者信息,该患者信息描述患者的状况和/或所说的词语的内容,
根据患者信息通过扬声器向患者进行语音输出。
因此,根据本发明提出为患者提供虚拟对话伙伴,该虚拟对话伙伴类似于从例如移动电话或多媒体系统的各种日常应用中所已知的虚拟对话伙伴,其中作为语音交互系统的这种虚拟对话伙伴须符合医学图像采集设备、特别是大型设备中的具体要求。在此,语音交互系统可以有助于减轻或防止从检查中断到患者受伤的负面后果,或者至少改善患者所体验的检查质量。虚拟对话伙伴识别并且分析患者的声音,特别是患者的语言,因此可以与虚拟对话伙伴在语言上进行交互,从而成为操作人员的有用助手。这种将语音识别和通信辅助KI相组合的语音交互系统例如可以称为“LIA”(学习和交互助手)。
在此,已经安装在医学图像采集设备中的麦克风和/或扬声器优选地也可以用于语音交互系统,以便“听到”患者。例如,为对讲机设置的麦克风和扬声器也可以附加地用于语音交互系统。
在此,如前所述,本发明特别有利地适用于大型医学设备,大型医学设备例如是作为图像采集设备的磁共振设备、计算机断层扫描设备、SPECT设备和PET设备。在这些图像采集设备以及其他医学图像采集设备中,通常使用患者台作为患者定位装置。
总体而言,这种提供虚拟对话伙伴的患者交互系统可以保证患者在其独自在检查室中时感觉被更好地照顾。直到操作人员可以再次亲自照顾患者的这段时间可以被有效地弥补而使患者感到舒适。如下面将更详细探讨的,特别是可以考虑以下情况,即,患者对信息或通信的需求可以完全由语音交互系统来满足,而操作人员可以专注于控制图像采集设备或其他任务。
在此已经注意到的是,特别是对于患者为儿童时,虚拟对话伙伴的接受度特别高。因此,将本发明应用于儿童中不仅可以促使检查体验显著改善(焦虑更少,乐趣更多),而且还可以改善患者合作,这对于儿科患者而言尤其重要,以便保持图像数据不受移动伪影等的影响。
在本发明的有利的改进方案中可以规定,在评估作为患者信息的声音时,确定问询类别,其中该问询类别与定义语音输出的输出信息相关联。因为患者可能会以不同的方式提出问询,但还是打算获得相同的信息,或通过其他发声而以不同方式透露一种状态,所以有利的是,在语音识别的范畴中将这些不同类型但是可通过类似响应来回答的交流沟通整合成多个问询类别。当然,在此也可以为无法解读的声音规定一个问询类别,虚拟对话伙伴对此当然也可以进行相应的响应,例如可询问是否可以有所帮助或者是否可以重复语句。
在此,可以使用在现有技术中基本上已知的语音识别算法来进行语音识别,特别是也可以基于人工智能。利用可由语音识别单元使用的这种语音识别算法,例如可以解释患者所说的词语,并且例如检查其关键字或关键短语,以便找出相对应的问询类别。
例如可规定,使用至少一个问询类别,其描述患者的可回答的患者问题。例如,在此可以分析特定的关键词或关键短语作为语音识别算法的结果,以便可以识别患者的具体信息需求。在具体示例中,关于检查程序的问询可以被用作患者问题相应的问询类别,特别是关于检查开始和/或检查持续时间和/或当前或后续检查步骤的问询。患者的典型问题例如包括:“检查何时开始?”,“检查还需要多长时间?”或“接下来会发生什么?”。
在这种情况下,一个特别有利的改进方案规定,在图像采集设备的控制装置中存在应答信息,并且该应答信息能够与患者问题相关联的情况下,通过记录应答信息来形成输出信息。对许多患者问题的应答已经以电子方式存在于医学图像采集设备内,从而通过将图像采集设备中存在的应答信息集成到输出信息中,便可以由语音交互系统自动地应答相应的患者问题。因此,可以在没有操作人员介入的情况下满足患者对信息或沟通的需求。
本发明的一个改进方案规定,在患者问题表达出与操作人员进行联系的意愿时,向至少一个操作人员的通信设备发送在场问询,并且向患者输出等待指示作为语音输出,该等待指示特别是包含所联系的操作人员的姓名。例如,对于以语音识别单元检测到的简单问询,如“你好?”或“您在哪里?”,语音交互系统可以通过如“稍等,我将联系[操作人员的名字]”来回答,通过向与至少一个操作人员相关联的至少一个通信设备发送在场问询来自动提醒操作人员注意患者的问询。通信设备特别是也可以是移动电话和/或DECT电话。然后,操作人员会看到患者的需求并且可以返回到患者处。
在本发明的另一优选的设计方案中可规定,使用至少一个问询类别,其描述患者的不适,其中以善意的音调输出安慰患者的响应文本作为输出信息,并且向与至少一个操作人员相关联的至少一个通信设备发出紧急消息。通过患者的声音、特别是交流沟通可以推断出不同程度的不适。例如,可以为不同程度的不适分别设置问询类别。例如,患者的诸如“我什么时候可以离开这里?”、“我的手臂疼!”或“我很害怕!”之类的语句表明了患者的不适。在检测到这种描述患者不适的问询类别时,虚拟对话伙伴可以用善意的音调安慰患者,并且同时特别是作为无声警报而向至少一个操作人员的至少一个通信设备发送紧急消息。在此,当然也可以为可描述不同类型不适的不同问询类别分配不同的措施,从而例如在患者有幽闭恐怖症的情况下可以召唤医学技术放射科助理(MTRA),在显示出患者有先前未知的造影剂不相容性的情况下必要时也可以直接召唤急诊医师充当操作人员。
一个特别有利的设计方案提出,特别是在患者为儿童时,特别是通过人工智能算法进行使患者参与的、游戏式的对话。虽然这种用于虚拟对话伙伴的人工智能算法一般已适用于患者的参与,但对于儿童利用这种虚拟对话伙伴可以附加地实现以下情况,即,可以省去操作人员或试图在检查期间保持儿童安静的陪同人员的陪伴。儿童对于与虚拟对话伙伴互动有特别的兴趣。这种游戏式的互动可以用来使孩子参与对话,该对话在检查的准备中会分散他们的注意力,然后当检查开始时游戏式地让儿童屏住呼吸或者简单地只是安静地平躺。
因此,对于儿童也特别优选而也可有利地用于其他患者的是,至少一个语音输出、特别是对话的一个对话片段被用于:根据检查协议来建立患者的目标状态。一般而言语音交互系统的语音输出可以有利地用于在检查期间给予患者关于最佳目标状态的提示,即,例如语音交互系统可以引导患者独立地定位自己,而特别是对于儿童提供了以下可能性,即为了更好的患者合作而以游戏的方式使儿科患者移动,其中特别是可以进行一种训练,直到患者可以在例如预定的时间段中保持相应的目标状态。特别地,在本文中可以规定,目标状态涉及在预定的时间段中屏住呼吸和/或保持静止,其中目标状态的建立将用作图像采集设备的控制检查的控制装置的触发信号。
对于儿童可以特别是在所述对话的范畴中例如使用语音输出,该语音输出以游戏的方式使患者屏住呼吸或仅仅是安静地平躺。例如可以进行这种语音输出:“我打赌你不能憋气10秒。深吸一口气,我来计时。”必要时这可以作为一种“呼吸辅导”重复进行,直到最后根据语音交互系统与患者的对话过程来控制检查的实际图像采集。然后,不是由定时触发器来触发听觉上的自动的屏住呼吸命令,而是一旦识别出患者确实屏住呼吸(或保持静止),语音交互系统将自动生成触发信号。为了使儿童保持目标位置,语音输出例如可以包括:“据我对你的了解,你肯定不能保持安静地平躺10秒。”
在具体的设计方案中可以规定,通过对监测患者的至少一个患者传感器的传感器数据进行评估,来验证目标状态的建立。这种通常本就在医学图像采集设备中设置的患者传感器例如可以包括摄像机和/或距离传感器。相应传感器的传感器数据使得可以确定是否已实际建立了相应的目标状态。
特别有利地可以规定,在检测到患者状态从目标状态发生变化时,中止检查和/或通知至少一个操作人员和/或借助于语音输出促使患者重新建立目标状态。然后例如可以规定,在重新建立目标状态时发出重启触发信号,以便重复图像采集的至少一个步骤。
例如,如果在操作人员已经离开房间之后患者有所移动,并且这被图像采集设备的患者传感器识别出来,则语音交互系统可以相应地做出响应。例如,可以提供善意的语音输出,其促使患者再继续保持静止地平躺一段时间直到检查开始。如果儿童特别是在这种“辅导”或“训练”的范畴中(例如在屏住呼吸/保持静止方面)不配合,则作为语音输出可以进行友善的指责:“哈!我看到了,你没有做到10秒!你看,你果然做不到!”如果儿童现在例如回答“我能做到!”,则语音交互系统可以继续说:“我不信,你必须向我证明!”。
相应的设计方案即使在成年患者中也极为有用。因此,不再处于理想位置(即,不再处于目标状态)的成年患者也可以通过语言交互而被引导至再次具有目标状态,例如以这种方式:“请问你能为我再次向上直视吗”?......谢谢!”由此,在操作人员已离开检查室之后,例如患者的定位错误和/或其他不当行为不仅可被识别,而且甚至可以被自主地纠正,而无需与操作人员进行交互。
特别是在对话的范畴中可行的上述“辅导”中多次重复提出相应的要求,直到目标状态被保持预定的时间段,即,只要达到一定的稳定性并且同时也实际执行图像采集,除了这种“辅导”之外也有利的是,必要时在达到目标状态之后继续保持一段等待时间间隔,以提供一段缓冲,在该缓冲中检查目标状态是否也将被实际保持。除了计划的测量时间之外,还可以通过该等待时间间隔来补充语音输出的相应要求。
当今许多常见的语音识别算法以及使用相同语音识别算法的语音识别单元必须根据当前使用的人员而被调节,以实现可靠的语音识别。在该背景下,本发明的一个设计方案规定,为了针对患者来校准语音识别单元,将记录并分析患者所说的预定词语以进行校准。在此可以具体地规定,在患者与操作人员的对话中穿插有该预定词语和/或操作人员借助于输入装置要求该预定词语时,在操作人员相应地操作一个操作元件之后,将产生表示说到该预定词语的校准信号并且将其发送到语音识别单元。为了使虚拟对话伙伴初始化,例如可以利用在对患者进行定位和说明期间操作人员与患者通常进行的对话。在该对话中可以不被患者识别地安插具体关键词,语音识别单元借助于这些关键词学习识别患者的声音。备选地,也可以直接请求患者说出预定词语,特别是作为初始化语句。操作人员借助于操作元件可以告知语音交互系统何时说出了相应的词语,从而可以进行有针对性的评估并且进行调节以适配于相应的患者。例如,为此可使用平板电脑,其已被提出用于此类过程。
在本文中,一个有利的改进方案规定,输入装置、特别是所提到的平板电脑本身具有至少一个麦克风,输入装置的麦克风附加于语音交互系统的麦克风也记录预定词语,其中各个记录一起被评估以进行校准。因此,以这种方式可以使用集成到输入装置、特别是平板电脑中的麦克风,以便改善在校准(初始化)时的记录质量。
本发明的一个优选的设计方案规定,特别是在使用描述患者不适的问询类别的情况下,在声音的评估中附加地考虑指向患者的光学患者传感器的图像数据。除了原本的语音识别或声学触发(即除了语言之外表现不适的声音)的识别之外,特别是还可以使用光学患者传感器,以确定语音交互系统侧的介入是否有意义或者是否必须如上所述触发无声警报。除了如上所述监测目标状态之外,优选借助于患者传感器使用该设计方案。
在此还应指出的是,除了与通过至少一个麦克风记录的声音一起评估之外,也可以独立地考虑一般的患者传感器,即,特别是光学传感器(摄像机)和/或距离传感器,以便例如等候患者确实不移动或屏住呼吸的时刻以进行图像采集。在这种情况下,图像采集的触发可以完全通过具有语音交互系统的图像采集设备进行,特别是如上所述在触发信号也可以由语音交互系统生成的情况下。以这种方式,利用原则上已知的相应传感器系统最终遵循如在ECG触发和/或呼吸触发中相似的方法。在这些情况下,图像采集设备最终也可以自己决定何时可以尽可能少地移动伪影记录图像数据。可以使用患者传感装置代替ECG信号或呼吸信号,特别是与通过虚拟对话伙伴进行的呼吸辅导和/或静止辅导相配合。
显示装置可以优选地用于显示语音交互系统的虚拟化身,该虚拟化身通过扬声器与语音输出同步。如果也为虚拟对话伙伴的虚拟语音提供用于呈现的虚拟化身,则特别是在虚拟对话伙伴在检查室中有极为无菌和/或令人受不了的影响的文化区中可减轻这种效果。在此例如可以具体地规定,虚拟化身被投射到患者支架和/或机架的内部和/或呈现在作为显示装置的至少一个显示器上。一种特别有利的可用设计方案例如也已用于磁共振设备和类似提出的具有OLED作为显示装置的患者支架/机架的内饰。
显示装置的另一个可能的设计方案是全息装置。这使得可以将虚拟化身显示为全息图,从而虚拟对话伙伴具有呈现出未来感的表现形式,其特别是可在空间中以更多的自由度进行,由此也可产生更大的真实感。
在本发明的一个特别优选的设计方案中可以规定,使用患者携带的增强现实眼镜或虚拟现实眼镜作为显示装置。这种扩展或替代感知的辅助装置在现有技术中原则上是已知的,例如在增强现实眼镜的情况中已知为Microsoft公司的“HoloLens”。这种眼镜(AR或VR)可以使得特别逼真且灵活地呈现虚拟化身。这种显示装置的使用特别是还开辟了其他的有利选择。
因此,一个改进方案规定,增强现实眼镜或虚拟现实眼镜用于呈现对患者有安慰作用的替代环境,其中特别是在进行检查的检查室中存在的物体特别是由眼镜侧的传感装置探测,并且由替代环境的物体替换。因此,这使得可通过具有安慰特性的替代环境来替换无菌的、可能令人不悦的检查室环境的至少一部分,其中也包含虚拟化身。例如,必要时根据患者的意愿可以使用海滩景观和/或山地景观和/或森林景观作为替代环境。通过这些景观例如可以覆盖白色的医院墙壁和/或配件柜。
通过增强现实眼镜或虚拟现实眼镜(特别是在完全替换环境的后一种情况下)实现与虚拟物体的重叠,可能导致患者例如在检查室中移动时可能忽略碰撞物体和/或与对象(例如作为患者定位装置的患者台)的相互作用可能有问题,因此有利地规定,将这些对象进行定位并且在替代环境中通过匹配的虚拟物体代替这些对象以避免碰撞和/或进行交互。因此,例如可以规定,借助于眼镜本身的传感器系统来探测碰撞物体和/或由此获得患者台和/或图像采集设备的其他部件的位置信息。将可能的碰撞物体替换为在替代环境中也需被绕过的物体,例如在森林景观的情况下替换为树木。例如,患者定位装置在替代环境中可呈现为吸引人的床。可为相应的虚拟物体添加虚拟化身,例如以“请坐”的请求。
因此,通过使用增强现实眼镜或虚拟现实眼镜可以进一步减轻患者对检查的恐惧,其中语音交互系统的虚拟化身特别是可以充当替代环境中的向导。尽管患者害怕,但其进行检查的意愿进一步被提升。
除了该方法之外,本发明还涉及一种图像采集设备,其具有构造用于执行根据本发明的方法的语音交互系统。因此,图像采集设备除了通常的部件之外还具有语音交互系统,该语音交互系统具有记录患者声音的至少一个麦克风和指向患者的至少一个扬声器。语音交互系统的控制装置优选地与图像采集设备的也控制图像采集操作的控制装置集成为共同的控制装置。语音交互系统的这种控制装置除了语音识别单元之外,还可具有分析单元,该分析单元根据患者信息来选择和控制通过扬声器的语音输出。作为患者定位装置可以优选地设置患者台。图像采集设备可以构造为磁共振设备和/或计算机断层扫描设备和/或SPECT设备和/或PET设备。图像采集设备和/或语音交互系统优选地还包括如上所述使用的至少一个患者传感器。关于根据本发明的方法的所有实施方式可以类似地适用于根据本发明的图像采集设备,因此利用该图像采集设备同样可以获得已经提到的优点。
根据本发明的计算机程序例如可以直接加载到图像采集设备的控制装置的存储器中,并且具有程序资源,以便当在图像采集设备的控制装置中运行计算机程序时,执行本文所述方法的步骤。计算机程序可以存储在根据本发明的电子可读的数据载体上,因此该数据载体包括存储在其上的电子可读的控制信息,该控制信息包括至少一个所述计算机程序,并且被设计成使得当在图像采集设备的控制装置中使用数据载体时,该控制信息会执行本文所述的方法。电子可读的数据载体优选为非瞬态数据载体,例如CD-ROM。
附图说明
从下文说明的实施例且参考附图将得到本发明的其它优点和细节。其中:
图1示出了根据本发明的方法的实施例的流程图,
图2示出了根据本发明的方法中的辅导的流程图,并且
图3示出了根据本发明的图像采集设备。
具体实施方式
图1示出了根据本发明的方法的实施例的流程图。利用在此示出的实施例实现用于医学图像采集设备、例如用于计算机断层扫描设备和/或磁共振设备的语音交互系统。语音交互系统在检查室中具有至少一个麦克风,利用该麦克风可以记录在此待检查的患者的声音。此外,语音交互系统包括检查室中的扬声器、用以实现虚拟对话伙伴的虚拟化身的显示装置以及患者传感器,患者传感器包括光学传感器,特别是至少一个摄像机和距离测量传感器。在这里说明的实施例中,语音交互系统的控制装置被集成到用于整个图像采集设备的控制装置中。此外,语音交互系统在控制装置中还具有语音识别单元和分析单元。在语音识别单元中使用语音识别算法,其中可以使用人工智能。在每种情况下,在分析单元中实现了人工智能算法,从而还可进行与患者的对话,例如与儿童的游戏性对话。
在这里示出的实施例的步骤S1中,针对当前待检查的患者校准语音交互系统,使得语音识别算法可以由患者的声音推导出词语。在患者被定位在患者定位装置、特别是患者台上期间,在操作人员(例如医学技术放射科助理(MTRA))的辅助下进行这种针对当前患者的校准。在此,与患者的对话中穿插有预定的词语,其中操作人员也可以明确地请患者说出包含预定词语的初始化语句。借助于操作元件,该操作元件例如可以实现为操作人员本就用于工作流程的平板电脑或其他输入装置的用户界面,操作人员可以向语音识别单元告知现在说出了预定的词语。这些词语借助于麦克风被记录,并且以基本上已知的方式针对相应患者进行初始化,从而用于校准。因此,在完成步骤S1之后,语音识别单元能够提取患者的语音并且识别词语。
还应注意的是,在用于校准的步骤S1中还可使用输入装置、特别是平板电脑的麦克风作为用于记录预定词语的附加数据源。
在步骤S2中,特别是当操作人员已离开检查室时,借助于麦克风记录患者的声音。同时还收集由患者传感器记录的其他传感器数据。通过语音识别单元和必要时附加的传感器数据,在步骤S3中进行对声音的分析。
在此,作为评估声音的结果,确定问询类别作为患者信息,该问询类别分别配有或可配有定义语音输出的输出信息。在此,在该实施例的范畴中使用不同的问询类别。特别地,如果声音或其中包含的语音无法被理解,从而无法充分确定地为其分配问询类别,则提供回退问询类别。然后,在步骤S4中例如可以进行语音交互系统的相应语音输出,其请求患者重复未被理解的语音,和/或特别是在声音无法被理解时会询问是否可提供帮助。
在步骤S3中使用的另一个问询类别涉及患者的至少一个可回答的患者问题。在此,特别是将关于检查程序的问询用作患者问题相应的问询类别。例如,患者可能询问检查何时开始、检查还要持续多长时间、正在进行哪个检查步骤或者还要进行哪个检查步骤等。还可能有其他问题也涉及检查程序,例如患者可能询问他是否可再次移动等。对于检查程序以及也对于其他患者问题可能在图像采集设备的控制装置中已经有可用的合适的应答信息。因此,语音交互系统可以形成包含相应的应答信息的输出信息,从而即使没有操作人员在场,也可以在S4中通过相应的语音输出自动地回答患者问题。例如,可以根据在控制装置中存储的检查协议向患者通知还剩余的检查持续时间。
如果根据步骤S3中的分析,基于图像采集设备的控制装置中可用的应答信息无法回答患者问题,或者如果该患者问题明确地提出与操作人员的联系意愿,则除了在步骤S4中包含等待提示的语音输出之外,还在步骤S5中采取用于联系至少一个操作人员的措施。为此,在该情况下向操作人员的通信设备、例如移动电话和/或DECT电话发送在场问询,以便通知操作人员患者在检查室中需要他。
独立于具体的、主动的问题(即对患者的具体信息需求的满足),患者的不适可被理解为隐性的问询,并且由患者传感器的传感器数据以及由语音识别单元中对声音的评估得到。因此,使用至少一个描述患者不适的问询类别作为其他的问询类别。在此,有利地设置描述患者不适的多个相应的问询类别,其可以涉及各种类型和程度的不适。然后,可以为关于不适的相应问询类别分配不同的措施。虽然通常有意义的是,以善意的、安慰的声音产生特别是针对不适类型的语音输出,但是例如在患者有幽闭恐怖症的情况下有利的是,在步骤S5中向分配给至少一个操作人员的通信设备发送紧急消息,特别是相应的无声警报。对于其他更危急的不适类型,例如识别出的造影剂不耐受,可将相应的紧急消息附加和/或备选地发送给医生,从而发送到分配给该医生的通信设备,同样优选为无声警报。
在这一点上应注意的是,在相应问询类别中的归类也可以仅由对患者传感器的传感器数据的评估得到,即特别是由图像数据和/或距离数据得到。
此外,作为进一步的分析,还在步骤S3中监测是否保持当前检查步骤、特别是采集步骤所需的患者目标状态,目标状态例如是在检查开始时建立的特定定位和/或屏住呼吸。对此主要使用患者传感器的传感器数据。如果确定即将或正在脱离患者的目标状态,则可在步骤S4中通过相应的语音输出来促使患者仍然保持或再次达到目标状态,而作为步骤S5中的另一措施例如可以中断图像采集,直到患者重新恢复目标状态,然后可重新开始或继续进行图像采集。操作人员也可重新了解信息。
与步骤S4中的每个语音输出并行地,播放通常在显示装置上显示的虚拟对话伙伴的虚拟化身的相应动画,其中虚拟化身例如可以投射在机架和/或患者支架的内饰上。
在本文所述的实施例的范畴中还可行的是,特别是对于儿科患者,与患者(在该情况中为儿童)进行整体的游戏式的对话,以便使其专注参与和/或以游戏的方式促使其保持定位和/或在检查的憋气阶段屏住呼吸。在这种情况下,可作为对话的一部分而也可一般性地特别是通过语音交互系统在保持静止或屏住呼吸方面进行一种“辅导”。这将由图2更详细地解释。
如果在步骤S6中确定,检查包括特定的屏住呼吸阶段和/或保持静止阶段,则在步骤S7中检测是否已提供足够的辅导和/或患者数据是否显示不需要相应的辅导。然而,如果患者例如为儿童或者出于其他原因可能不够合作的人,则执行辅导,为此在步骤S8中首先可以进行游戏式的语音输出。例如,虚拟对话伙伴可以进行如下陈述,例如“我打赌,你做不到屏住呼吸十秒钟”。
在步骤S9中,再次使用患者传感器的数据来检测是否得到相应要求的目标状态(保持静止/屏住呼吸等)。如果在预定的时间段内情况如此,则可将辅导判定为成功,否则判定为失败。在下一步骤S7中,可以定义不同的标准并检测辅导是否成功,例如在预定时间段内对目标状态的一定数量的成功维持等。
一旦满足相应的标准,则继续进行步骤S10,其中再次进行虚拟对话伙伴的语音输出,必要时以游戏的方式请求患者进入目标状态并保持预定的时间段。在步骤S11中,利用传感器再次记录相应的传感器数据,借助其可以检测是否已实际进入目标状态。如果在步骤S12中确定情况并非如此,则可以再回退到步骤S7中的辅导,或者可以相应地重复该请求,因此分支返回步骤S10。在此,可给予患者一定的时间间隔以进入并保持目标状态。如果进入了目标状态,则在步骤S13中在图像采集设备的控制装置内生成用于相应地实际进行图像采集的触发信号,该触发信号可以被发送到相应的图像采集单元。
如参照图1所述,当然也可在步骤S13进行的图像采集中,继续监测是否保持目标状态,其中在脱离目标状态时可以再次采取相应的措施。
最后,图3示出了根据本发明的医学图像采集设备1的原理简图,在此为计算机断层扫描设备。如原则上已知,该计算机断层扫描设备具有机架2,患者可借助于在此为患者台4的患者定位装置3移动到该机架中。借助于控制装置5控制图像采集设备的运行,控制装置5在此还用作语音交互系统的控制装置。除了在此在患者台4处示例性示出的麦克风6和扬声器7的部件之外,语音交互系统还包括语音识别单元8和分析单元9,作为控制装置5的一部分。此外,语音交互系统还配有患者传感器10,在此是作为光学患者传感器10的摄像机11和至少一个距离传感器12。应理解的是,可以使用其他的患者传感器10、麦克风6和/或扬声器7。
此外,语音交互系统还具有显示装置13,在此为投影单元,通过其可将虚拟对话伙伴的虚拟化身14投射到机架2的内饰上。还可考虑使用全息设备,其中虚拟化身14被形成为全息图。
备选地,显示装置13也可以是增强现实眼镜或虚拟现实眼镜,其优选地将虚拟化身14投射到虚拟替代环境中而不是检查室中,例如投射到森林景观中。为了避免碰撞,可以将检查室的已定位的物体叠化为替代环境的需绕过的物体(例如树木),将诸如患者台4的交互对象叠化为相应(特别是借助于虚拟化身14)用于交互吸引人的虚拟物体(例如在患者台4的情况中作为舒适的床)。
此外,图像采集设备1配有平板电脑16作为操作人员的输入装置15,在该平板电脑上也可以在总体上设置有用于工作流程管理的软件资源。
控制装置5在总体上构造用于执行参照图1和图2说明的根据本发明的方法的实施例。
尽管通过优选实施例进一步详细地说明和描述了本发明,但本发明并不局限于所公开的示例,并且本领域技术人员可在不脱离本发明保护范围的情况下从中得出其他变型方案。

Claims (20)

1.一种用于运行医学图像采集设备(1)的方法,所述医学图像采集设备(1)运行在对患者进行检查的范畴中,所述患者利用患者定位装置(3)而被定位,其特征在于,所述图像采集设备(1)具有一个语音交互系统,所述语音交互系统具有记录所述患者的声音的至少一个麦克风(6)和指向所述患者的至少一个扬声器(7),其中
源自所述患者的声音借助于所述麦克风(6)被记录,
所述语音交互系统的语音识别单元(8)借助于语音识别算法评估所述患者的声音,以用于确定患者信息,所述患者信息描述所述患者的状态和/或所说的词语的内容,
所述语音识别单元(8)根据所述患者信息确定一个问询类别,
根据所述问询类别通过所述扬声器(7)向所述患者语音输出与所述问询类别相关联的输出信息。
2.根据权利要求1所述的方法,其特征在于,使用描述所述患者的一个可回答的患者问题的至少一个问询类别。
3.根据权利要求2所述的方法,其特征在于,在所述图像采集设备(1)的一个控制装置(5)中存在有一个应答信息,并且该应答信息能够与所述患者问题相关联的情况下,通过记录所述应答信息来形成所述输出信息。
4.根据权利要求2或3所述的方法,其特征在于,在所述患者问题表达出与操作人员进行联系的意愿时,向至少一个操作人员的一个通信设备发送一个在场问询,并且向所述患者输出一个等待指示作为语音输出。
5.根据权利要求1至3中任一项所述的方法,其特征在于,使用描述所述患者的不适的至少一个问询类别,其中以善意的音调输出安慰所述患者的响应文本作为输出信息,并且向至少一个通信设备输出一个紧急消息,所述至少一个通信设备与至少一个操作人员相关联。
6.根据权利要求1至3中任一项所述的方法,其特征在于,当患者为儿童时,通过一个人工智能算法,进行使所述患者参与的、游戏式的对话。
7.根据权利要求1至3中任一项所述的方法,其特征在于,至少一个语音输出被用于:根据一个检查协议来建立所述患者的一个目标状态。
8.根据权利要求7所述的方法,其特征在于,所述目标状态涉及在预定的时间段中屏住呼吸和/或保持静止,其中所述目标状态的建立被用作一个触发信号,所述触发信号用于所述图像采集设备(1)的控制所述检查的一个控制装置(5)。
9.根据权利要求7所述的方法,其特征在于,通过对监测所述患者的至少一个传感器(10)的多个传感器数据进行评估,来验证所述目标状态的建立。
10.根据权利要求1至3中任一项所述的方法,其特征在于,记录并分析患者所说的预定词语以进行校准,以针对所述患者来校准所述语音识别单元(8)。
11.根据权利要求10所述的方法,其特征在于,当在所述患者与一个操作人员的对话中穿插有所述预定词语和/或所述操作人员借助于一个输入装置要求所述预定词语时,在所述操作人员相应地操作一个操作元件之后,产生一个校准信号并且将其发送给所述语音识别单元(8),所述校准信号表示说到所述预定词语。
12.根据权利要求11所述的方法,其特征在于,所述输入装置本身具有至少一个麦克风(6),所述输入装置的麦克风附加于所述语音交互系统的麦克风(6)也记录所述预定词语,其中各个记录被一起评估以进行校准。
13.根据权利要求1至3中任一项所述的方法,其特征在于,在使用描述所述患者的不适的问询类别时,在所述声音的评估中附加地考虑指向所述患者的一个光学患者传感器(10)的图像数据。
14.根据权利要求1至3中任一项所述的方法,其特征在于,使用一个显示装置(13)来显示所述语音交互系统的一个虚拟化身(14),所述虚拟化身(14)通过所述扬声器(7)与语音输出同步。
15.根据权利要求14所述的方法,其特征在于,使用所述患者佩戴的一个增强现实眼镜或一个虚拟现实眼镜作为显示装置(13)。
16.根据权利要求15所述的方法,其特征在于,所述增强现实眼镜或虚拟现实眼镜用于呈现对所述患者有安慰作用的替代环境,其中在进行检查的检查室中存在的对象通过眼镜侧的传感装置被探测,并且被所述替代环境的物体替换。
17.根据权利要求14所述的方法,其特征在于,
所述虚拟化身(14)被投射到患者支架和/或机架(2)的内部,和/或呈现在作为显示装置(13)的至少一个显示器上,和/或
所述显示装置(13)被构造为全息装置,其将所述虚拟化身(14)显示为全息图。
18.根据权利要求4所述的方法,其特征在于,所述等待指示包含所联系的操作人员的姓名。
19.一种图像采集设备(1),具有一个语音交互系统,所述语音交互系统被构造用于执行根据权利要求1至18中任一项所述的方法。
20.一种电子可读的数据载体,在所述数据载体上存储有计算机程序,当所述计算机程序在运算设备上运行时,执行根据权利要求1至18中任一项所述的方法的步骤。
CN201811231651.6A 2017-10-20 2018-10-22 用于运行医学图像采集设备的方法和图像采集设备 Active CN109698021B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17197523.8A EP3473181B1 (de) 2017-10-20 2017-10-20 Verfahren zum betrieb einer medizinischen bildaufnahmeeinrichtung, bildaufnahmeeinrichtung, computerprogramm und elektronisch lesbarer datenträger
EP17197523.8 2017-10-20

Publications (2)

Publication Number Publication Date
CN109698021A CN109698021A (zh) 2019-04-30
CN109698021B true CN109698021B (zh) 2020-12-29

Family

ID=60201322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811231651.6A Active CN109698021B (zh) 2017-10-20 2018-10-22 用于运行医学图像采集设备的方法和图像采集设备

Country Status (2)

Country Link
EP (1) EP3473181B1 (zh)
CN (1) CN109698021B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112331193A (zh) * 2019-07-17 2021-02-05 华为技术有限公司 语音交互方法及相关装置
JP2022000094A (ja) * 2020-06-19 2022-01-04 キヤノンメディカルシステムズ株式会社 医用画像診断システム、医用画像診断方法、入力装置、及び表示装置
EP4000520A1 (en) 2020-11-12 2022-05-25 Koninklijke Philips N.V. Method and system for sensor signals dependent dialog generation during a medical imaging process
CN113782224A (zh) * 2021-09-13 2021-12-10 上海联影医疗科技股份有限公司 交互装置、核磁共振系统和控制方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014202893A1 (de) * 2014-02-18 2015-08-20 Siemens Aktiengesellschaft Verfahren zur Bedienung einer Bildgebungsmodalität und Bildgebungsmodalität
CN104298722B (zh) * 2014-09-24 2018-01-19 张鸿勋 多媒体交互系统及其方法
US9730671B2 (en) * 2014-10-03 2017-08-15 David Thomas Gering System and method of voice activated image segmentation
DE102014226467B4 (de) * 2014-12-18 2023-06-15 Siemens Healthcare Gmbh Medizinische Bildgebungsvorrichtung mit einem Rahmenelement zur Anordnung einer Komponente
CN106296511A (zh) * 2016-08-19 2017-01-04 上海梅斯医药科技有限公司 一种虚拟诊疗系统

Also Published As

Publication number Publication date
EP3473181A1 (de) 2019-04-24
EP3473181B1 (de) 2020-02-19
CN109698021A (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN109698021B (zh) 用于运行医学图像采集设备的方法和图像采集设备
US11317863B2 (en) Efficient wellness measurement in ear-wearable devices
US10224060B2 (en) Interactive home-appliance system, server device, interactive home appliance, method for allowing home-appliance system to interact, and nonvolatile computer-readable data recording medium encoded with program for allowing computer to implement the method
KR101520524B1 (ko) 알츠하이머 인지 인에이블러
JP2004310034A (ja) 対話エージェントシステム
US11612342B2 (en) Eye-tracking communication methods and systems
US20170344713A1 (en) Device, system and method for assessing information needs of a person
JP5407069B2 (ja) 傾聴対話持続システム
JP5294315B2 (ja) 対話活性化ロボット
Wargnier et al. Usability assessment of interaction management support in LOUISE, an ECA-based user interface for elders with cognitive impairment
US11417045B2 (en) Dialog-based testing using avatar virtual assistant
JP2021058573A (ja) 認知機能予測装置、認知機能予測方法、プログラム及びシステム
JP7120060B2 (ja) 音声対話装置、音声対話装置の制御装置及び制御プログラム
JP7010544B2 (ja) 対話支援装置、対話支援方法、およびプログラム
WO2019187590A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2018121967A (ja) 医療システム
US20230268069A1 (en) Method for monitoring a medical intervention, monitoring system and complete system
KR20200057810A (ko) 차량 및 그 제어방법
CN112147801B (zh) 骨传导发声辅助系统、方法、设备及存储介质
JP7133733B1 (ja) ロボットシステム、ロボット操作方法、及びロボット操作プログラム
EP4353152A1 (en) Medical image acquisition unit assistance apparatus
US20230395261A1 (en) Method and system for automatically determining a quantifiable score
US20220409096A1 (en) Head-position sway measuring device, head-position sway measuring method, and biological information acquisition system using said device and method
US9436910B2 (en) Method, device and database for reconstructing intended activities from neural signals using frequencies of representations
McCulloch Assessment of adults with intellectual disabilities and complex health needs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant