CN112789659A - 伪放射摄影图像根据光学图像的生成 - Google Patents

Abstract

本发明提供了一种医学仪器(100、300)，包括存储器(110)，所述存储器存储机器可执行指令(120)和图像变换神经网络(122)，所述图像变换神经网络被训练用于将对象(318)的光学图像(124)变换成输出图像(126)。所述输出图像包括伪放射摄影图像(600)。所述伪放射摄影图像与所述光学图像对准。所述医学仪器还包括处理器(104)，所述处理器被配置用于控制医学成像系统。所述机器可执行指令的执行令所述处理器：接收(200)所述对象的所述光学图像，并且通过将所述光学图像输入到所述图像变换神经网络中而生成(202)所述输出图像。

Description

伪放射摄影图像根据光学图像的生成

技术领域

本发明涉及医学成像，具体涉及用于医学成像的采集的规划。

背景技术

在各种医学成像模态(诸如磁共振成像、计算机断层摄影或正电子发射断层摄影)中，对象需要被适当地定位，并且在许多情况下，医学成像系统需要使其感兴趣区域被调整以对期望的解剖区域进行成像。通常，获取对象的初始调查扫描，并且调整对象的位置和/或感兴趣区域的调整。这会是耗时的过程，并且在诸如计算机断层摄影的一些技术的情况下，它会将对象暴露于额外的电离辐射。

美国专利申请US2016/0073979A1公开了借助于从具有解剖模型的数据库调用并且被转换成患者的个体身体尺寸和个体位置的解剖标志来确定患者上的解剖标志。因此，可以从数据库调用针对患者个体地计算并且被用作一条参考位置信息的解剖标志。患者台的定位因此被显著地加快，其中，准确性也被改善。因此，该条参考位置信息可以借助于该条参考位置信息通过针对相应患者的转换规则被重新计算而针对不同位置中的同一患者或具有不同身体尺寸的不同患者被个体地计算。

发明内容

本发明在独立权利要求中提供了一种医学仪器、一种计算机程序产品以及一种方法。在从属权利要求中给出了实施例。

实施例提供了一种根据对象的光学图像产生伪放射摄影图像的手段。伪放射摄影图像可以例如代替调查图像来使用，或在对象的初始定位和/或感兴趣区域的调整时是有用的。这可以通过获取光学图像(诸如正常彩色图像、黑白图像或甚至红外图像)并将它输入到图像变换神经网络中来实现。图像变换神经网络被已经被训练使得它将输出图像输出。输出图像是或包括伪放射摄影图像。伪放射摄影图像可以是真实放射摄影图像或理想化放射摄影图像的表示。

单独根据对象的光学图像，提供对于真实磁共振图像或真实计算机断层摄影图像的代替将会是不可能的。然而，伪放射摄影图像可以用来准确地指示对象内的解剖结构的位置。这可以例如有助于规划对象的医学成像或放射治疗。

在一个方面中，本发明提供了一种医学仪器，包括存储器，所述存储器存储机器可执行指令和图像变换神经网络，所述图像变换神经网络被训练用于将对象的光学图像变换成输出图像。所述输出图像包括伪放射摄影图像。所述伪放射摄影图像与所述光学图像对准。所述医学仪器还包括处理器，所述处理器被配置用于控制医学成像系统。所述机器可执行指令的执行令所述处理器：接收所述对象的所述光学图像，并且然后通过将所述光学图像输入到所述图像变换神经网络中而生成所述输出图像。

该实施例可以具有如下益处：正常光学图像能够用来提供能够被用于诸如定位对象以便进行医学成像之类的可靠解剖标志。

图像变换神经网络可以是各种类型的神经网络中的被用于图像处理的神经网络。在一个范例中，图像变换神经网络是具有多个隐藏层的完全连接的神经网络。到图像变换神经网络的输入可以是图像以及输出。在另一范例中，图像变换神经网络是具有具备连续卷积层的卷积神经网络的神经网络。特征图的空间维度匹配输入和输出图像的空间维度。在其他范例中，图像变换神经网络可以是具有残差块和/或跳跃连接的卷积神经网络。在另外范例中，图像变换神经网络可以是编码器-解码器类型卷积神经网络。这可以相当于已经被训练为输出不同类型的图像的自动编码器。例如，自动编码器可以被训练为学习新的表示。

如本文中使用的伪放射摄影图像是已经被人为地生成的放射摄影图像，诸如MRI或CT图像。在不同的范例中，输出图像可以采取不同的形式。在一个范例中，输出图像可以包括光学图像和伪放射摄影图像的叠加。在其他范例中，输出图像可以仅仅是伪放射摄影图像。如果图像变换神经网络仅被训练用于输出伪放射摄影图像，叠加可以使用正常图像处理技术被容易地计算。

在一些实施例中，光学图像是观看对象的冠状面的光学图像，并且这是要对对象的表面进行成像。在其他范例中，光学图像也可以用来对象的其他视图进行成像。

在一些实施例中，输入和输出图像之间存在一对一映射。例如，输入图像可以在像素或体素方面具有一定的大小或尺寸。输出图像可以具有相同的尺寸或更大的，使得能够表示整个输出图像。在其他范例中，输出图像可以具有更大的或不同的体积。例如，对象的冠状面或面部或颅骨的图像可以用来利用三维数据生成伪放射摄影图像。在一些范例中，光学图像包含更多的信息。可以例如存在多个摄像机、3D图像或甚至图像的3D堆叠。同样地，光学图像可以包括来自多个摄像机的数据视图或来自伪放射摄影图像的多个切片输出。

在另一实施例中，所述图像变换神经网络使用深度学习来训练。

在另一实施例中，所述图像变换神经网络是由两个卷积神经网络形成的正常图像变换网络。

在另一实施例中，可能的实施方式是图像变换神经网络是感知对抗网络。当训练摄像机不可见的视图时，这可以是特别有益的。

在另一实施例中，所述伪放射摄影图像可以是类似调查的放射摄影图像。在另一范例中，所述伪放射摄影图像可以包括对象的解剖结构的骨骼模型或分类或3D绘制或类似的动画绘制。

在另一实施例中，所述医学仪器还包括医学成像系统，所述医学成像系统被配置用于采集所述对象的测量的放射摄影图像。放射摄影图像可以是通常由存在于放射科中的医学成像系统采集的放射摄影图像的任何正常模式。这将会包括成像技术，诸如磁共振成像、计算机断层摄影和核医学成像技术(诸如正电子发射断层摄影)。

所述医学仪器还包括对象支撑物，所述对象支撑物被配置用于在所述医学成像系统中支撑所述对象。所述医学仪器还包括摄像机，所述摄像机被配置用于采集所述对象支撑物上的所述对象的所述光学图像。使用所述摄像机采集的图像被配准到所述医学成像系统的坐标系。所述机器可执行指令的执行还令所述处理器采集所述对象的所述光学图像。所述机器可执行指令的执行还令所述处理器使用所述输出图像将所述对象的所述位置配准到所述医学成像系统的所述坐标系。

该实施例可以是有益的，因为在该实施例中，摄像机采集光学图像，并且然后得到的输出图像用来配准对象的位置。输出图像包括可以用来提供对象内的各种解剖结构的位置的良好估计的伪放射摄影图像。这可以具有促进对象在医学仪器中的成像的益处。

在另一实施例中，所述医学仪器还包括用户接口上的显示器。所述机器可执行指令的执行还令所述处理器将所述输出图像显示在所述显示器上。所述机器可执行指令的执行还令所述处理器从所述用户接口接收位置数据。所述位置数据描述所述输出图像中的至少一个位置。例如，可以在显示器上为使用医学成像系统的操作者或医师显示输出图像。由于伪放射摄影图像实质上提供对象内的解剖结构的估计，因此来自用户接口的位置数据的选择提供关于对象的哪些区域要成像而不执行调查扫描的指令。这可以例如有助于加快医学图像从昂贵医学成像系统(诸如计算机断层摄影或磁共振成像系统)的采集。

在另一实施例中，所述机器可执行指令的执行还令所述处理器接收解剖图像。所述解剖图像包括位置标记。所述机器可执行指令的执行还令所述处理器将所述解剖图像配准到所述输出图像。所述机器可执行指令的执行还令所述处理器通过应用所述解剖图像到所述输出图像的所述配准而从所述位置标记确定位置数据。例如，解剖图像可以是真实解剖图像，诸如对象的CT或MR扫描。解剖图像也可以是用来指示对象上的各种解剖位置的理想化或动画类型绘图。

位置标记可以是坐标或甚至在解剖图像绘制的标记或方框。解剖图像可以具有可比较或可映射到伪放射摄影图像上的特征。由于伪放射摄影图像指示对象中的具体位置，因此解剖图像的配准识别位置标记在对象上哪里。这可以在提供识别要利用医学成像系统成像的对象的位置的手段方面是有用的。

在另一实施例中，所述存储器还包含被配置用于接收所述输出图像和语义定位器位置描述符的位置查找神经网络。所述位置查找神经网络被训练用于输出识别所述语义位置描述符在所述输出图像中的位置的位置数据。所述机器可执行指令的执行还令所述处理器接收解剖位置的所述语义位置描述符。所述机器可执行指令的执行还令所述处理器通过将所述输出图像和所述语义位置描述符输入到所述位置查找神经网络中而确定位置数据。

例如，语义位置描述符可以是包含语义消息的音频或文本数据。该消息然后可以指示希望使用医学成像系统成像的对象的区域。位置查找神经网络可以被训练为识别伪放射摄影图像中或正常放射摄影图像中的不同解剖位置。该实施例可以是有益的，因为它可以提供用于自动地解读要对对象的具体区域进行成像的医师命令的手段。

例如，对象可以被放置到对象支撑物上，并且然后利用摄像机来进行成像。光学图像被输入到图像变换神经网络中，并且然后输出伪放射摄影图像。来自医师或操作者的命令或指令获取语义位置描述符，并且将此连同伪放射摄影图像一起输入到位置查找神经网络中。神经网络然后能够识别该区域，并且提供位置数据。位置数据可以例如用来确定对象的哪个部分要利用医学成像系统成像。

位置查找神经网络可以通过标记伪放射摄影图像或放射摄影图像的各区域并且然后利用深度学习使用这些标签训练位置查找神经网络来进行训练。位置查找神经网络可以例如是卷积神经网络。

在另一实施例中，所述医学成像系统被配置用于从感兴趣区域采集所述测量的放射摄影图像。所述机器可执行指令的执行还令所述处理器使用所述位置数据来确定所述感兴趣区域。所述机器可执行指令的执行还令所述处理器控制所述医学成像系统从所述感兴趣区域采集来自所述对象所述测量的放射摄影图像。该实施例可以是有益的，因为一旦位置数据被确定，医学成像系统的控制就可以被自动地执行。

在另一实施例中，所述医学成像系统是正电子发射断层摄影系统。

在另一实施例中，所述医学成像系统是单光子发射断层摄影系统。

在另一实施例中，所述医学成像系统是计算机断层摄影系统。

在另一实施例中，所述医学成像系统是X射线机器。

在另一实施例中，所述医学成像系统是磁共振成像系统。

在另一实施例中，所述摄像机是光学摄像机。这例如可以是有益的，因为正常光学摄像机可以容易用来获取对象的图像。在一些范例中，摄像机可以是多个摄像机。例如，代替具有当对象在医学成像系统外部时对对象进行成像时的单个摄像机，更大量的更小摄像机可以被用于制作对象的复合图像。例如，诸如移动电话中使用的小的便宜的摄像机可以沿着磁共振成像系统的膛分布。因此，当对象已经在适当位置中时，可以采集对象的光学图像。

在另一实施例中，所述摄像机是红外摄像机。红外摄像机的使用可以是有益的，因为它可以用来对对象的体热进行成像。即使当对象正穿着衣服或被覆盖时，这也可以例如实现对象的有效成像。当采集光学图像时，这可以为对象提供更多的舒适性。

在另一实施例中，所述机器可执行指令的执行还令所述处理器接收光学训练图像和放射学训练图像的匹配对。所述机器可执行指令的执行还令所述处理器将所述光学训练图像中的一幅输入到所述图像变换神经网络中以生成测试图像。存在从所述放射学训练图像选择的作为所述光学训练图像中的所述一幅的匹配对的匹配放射学训练图像。所述机器可执行指令的执行还令所述处理器使用所述测试图像与所述匹配放射学训练图像之间的差异来训练所述图像变换神经网络。

该实施例可以是有益的，因为它可以提供针对具体医学成像系统有效地训练图像变换神经网络的手段。这可以例如使用深度学习来实现。

在另一实施例中，所述伪放射摄影图像是以下项中的任一项：伪X射线、伪磁共振图像、伪磁共振图像到平面上的投影、伪磁共振图像的横截面、伪正电子发射断层摄影图像、伪正电子发射断层摄影图像到平面上的投影、伪正电子发射断层摄影图像的横截面、伪计算机断层摄影图像、伪计算机断层摄影图像到平面上的投影和伪计算机断层摄影图像的横截面。

在另一方面中，本发明提供了一种计算机程序产品，包括用于由控制医学仪器的处理器执行的机器可执行指令。所述计算机程序产品还包括被训练用于将对象的光学图像变换成输出图像的图像变换神经网络的实现。所述输出图像包括伪放射摄影图像。所述伪放射摄影图像与所述光学图像对准。所述机器可执行指令的执行令所述处理器接收所述对象的所述光学图像。所述机器可执行指令的执行还令所述处理器通过将所述光学图像输入到所述图像变换神经网络中而生成所述输出图像。之前已经讨论了该系统的优点。

在另一方面中，本发明提供了一种医学成像方法。所述方法包括接收对象的光学图像。所述方法还包括通过将所述光学图像输入到图像变换神经网络中而生成输出图像。所述图像变换神经网络被训练用于将所述对象的所述光学图像变换成所述输出图像。所述输出图像包括伪放射摄影图像。所述伪放射摄影图像与所述光学图像对准。之前已经讨论了该方法的优点。

在另一实施例中，所述方法还包括接收光学训练图像和放射学训练图像的匹配对。所述方法还包括将所述光学训练图像中的一幅输入到所述图像变换神经网络中以生成测试图像。存在从所述放射学训练图像选择的作为所述光学训练图像中的所述一幅的匹配对的匹配放射学训练图像。所述方法还包括使用所述测试图像与所述匹配放射学训练图像之间的差异来训练所述图像变换神经网络。

应理解，只要组合的实施例不相互排斥，就可以组合本发明的前述实施例中的一个或多个。

如本领域技术人员将认识到的，本发明的各个方面可以被实现为装置、方法或计算机程序产品。相应地，本发明的各个方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，这些方面在本文中全部可以统称为“电路”、“模块”或“系统”。此外，本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。

可以利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。如在本文中使用的“计算机可读存储介质”涵盖可以存储指令的任何有形存储介质，所述指令能够由计算设备的处理器运行。可以将所述计算机可读存储介质称为计算机可读非瞬态存储介质。也可以将所述计算机可读存储介质称为有形计算机可读介质。在一些实施例中，计算机可读存储介质还可以能够存储能够由所述计算设备的处理器访问的数据。计算机可读存储介质的范例包括，但不限于：软盘、磁性硬盘驱动器、固态硬盘、闪速存储器、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘以及处理器的寄存器文件。光盘的范例包括压缩光盘(CD)和数字多用光盘(DVD)，例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指代能够由所述计算机设备经由网络或通信链路访问的各种类型的记录介质。例如，可以通过调制解调器、通过因特网或通过局域网络来检索数据。实现在计算机可读介质上的计算机可执行代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤线缆、RF等，或上述各项的任何合适的组合。

计算机可读信号介质可以包括具有实现在其中的例如在基带内或者作为载波的部分的计算机可执行代码的传播的数据信号。这样的传播信号可以采取各种形式中的任一种，包括但不限于，电磁的、光学的、或者它们的任何合适的组合。计算机可读信号介质可以是这样的任何计算机可读介质：其不是计算机可读存储介质并且能够传递、传播或传输程序用于由指令运行系统、装置或设备使用或者与其结合使用。

“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是处理器能直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另一范例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中，计算机存储设备也可以是计算机存储器或反之亦然。

如本文中所使用的“处理器”涵盖能够运行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为可能包含超过一个处理器或处理核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内或者被分布在多个计算机系统之中的处理器的集合。术语计算设备也应该被解释为可能指的是计算设备的集合或网络，每个计算设备包括一个或多个处理器。所述计算机可执行代码可以由多个处理器运行，所述多个处理器可以处在相同的计算设备内或者甚至可以跨多个计算设备分布。

计算机可执行代码可以包括令处理器执行本发明的方面的机器可执行指令或程序。用于执行针对本发明的各个方面的操作的计算机可执行代码可以以一种或多种编程语言的任何组合来编写并且被编译为机器可执行指令，所述编程语言包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如C编程语言或类似编程语言的常规过程编程语言。在一些实例中，所述计算机可执行代码可以采取高级语言的形式或者预编译的形式并且结合生成运行中的机器可执行指令的解释器来使用。

所述计算机可执行代码可以作为独立软件包全部地在用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上并且部分地在远程计算机上、或者全部地在远程计算机或服务器上运行。在后者情形下，所述远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以对外部计算机做出连接(例如，通过使用因特网服务提供商的因特网)。

本发明的各个方面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述。将理解，流程图、图示和/或框图的每个框或框的部分能够在适用时通过计算机可执行代码的形式的计算机程序指令来实施。还应理解，当不相互排斥时，不同流程图、图示和/或框图中的框的组合可以被组合。这些计算机程序指令可以被提供到通用计算机、专用计算机或者其他可编程数据处理装置的处理器以生产机器，使得经由计算机或其他可编程数据处理装置的处理器运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的模块。

这些计算机程序指令还可以被存储在计算机可读介质中，其能够引导计算机、其他可编程数据处理装置或其他设备以特定的方式工作，使得被存储在所述计算机可读介质中的所述指令产生包括实施在流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。

所述计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以令一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或框图的一个或多个框中指定的功能/动作的过程。

如在本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”也可以指“人机接口设备”。用户接口可以向操作者提供信息或数据，和/或从操作者接收信息或数据。用户接口可以使得来自操作者的输入能够被计算机接收，并且可以将来自计算机的输出提供给用户。换言之，用户接口可以允许操作者控制或操纵计算机，并且所述接口可以允许计算机指示操作者的控制或操纵的效果。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的范例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏板、网络摄像头、头戴件、踏板、有线手套、远程控制以及加速度计对数据的接收全部是实现从操作者接收信息或数据的用户接口部件的范例。

如在本文中所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置进行交互或者对其进行控制的接口。硬件接口可以允许处理器将控制信号或指令发送到外部计算设备和/或装置。硬件接口也可以使得处理器能够与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于：通用串行总线、IEEE1394端口、并行端口、IEEE1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。

如本文中所使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和/或触觉数据。显示器的范例包括但不限于：计算机监视器、电视屏幕、触摸屏、触觉电子显示器、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影仪和头戴式显示器。

磁共振(MR)数据在本文中被定义为在磁共振成像扫描期间使用磁共振装置的天线对由原子自旋发射的射频信号记录的测量结果。MRF磁共振数据是磁共振数据。磁共振数据是医学成像数据的范例。磁共振成像(MRI)图像或MR图像在本文中被定义为包含在磁共振成像数据内的解剖数据的经重建的二维或三维可视化。这种可视化能够使用计算机来执行。

附图说明

在下文中，将仅通过范例并且参考附图描述本发明的优选实施例，在附图中：

图1图示了医学仪器的范例；

图2示出了图示操作图1的医学仪器的方法的流程图；

图3图示了医学仪器的又一范例；

图4示出了图3的医学仪器的又一视图；

图5示出了图示操作图3的医学仪器的方法的流程图；

图6图示了伪放射摄影图像的范例；并且

图7图示了训练图像变换神经网络的方法的范例。

附图标记列表

100 医学仪器

102 计算机

104 处理器

106 硬件接口

108 用户接口

110 存储器

120 机器可执行指令

122 图像变换神经网络

124 光学图像

126 输出图像(包括伪放射摄影图像)

130 光学训练图像

132 放射学训练图像

134 测试图像

136 放射学训练图像与测试图像之间的差异

200 接收对象的光学图像

202 通过将光学图像输入到图像变换神经网络中而生成输出图像

300 医学成像系统

302 磁共振成像系统

304 磁体

306 磁体的膛

308 成像区

309 感兴趣区域

310 磁场梯度线圈

312 磁场梯度线圈电源

314 射频线圈

316 收发器

318 对象

320 对象支撑物

322 用于对象支撑物的致动器

324 摄像机

330 脉冲序列命令

332 位置数据

334 感兴趣区域的位置

336 解剖图像

338 解剖图像到输出图像的配准

340 语义位置描述符

342 位置查找神经网络

344 磁共振数据

346 磁共振图像

500 控制摄像机采集对象的光学图像

502 使用输出图像将对象的位置配准到医学成像系统的坐标系

504 使用伪放射摄影图像确定位置数据

506 使用位置数据确定感兴趣区域

508 控制医学成像系统从感兴趣区域采集来自对象的测量的放射摄影图像

600 伪放射学图像

700 来自肿瘤科医师的轮廓

702 红外图像

704 输入

706 深度学习算法

708 输出

710 训练

712 预期值

716 测量的检查台移动

718 扫描器等中心上的扫描体积

具体实施方式

这些附图中的类似编号的元件是等价元件或执行相同功能。如果功能是等价的，则将没有必要在后面的附图中讨论先前已经讨论过的元件。

图1图示了医学仪器100的范例。图1中的医学仪器100包括计算机102。计算机102包括处理器104，处理器104与可选硬件接口106、可选用户接口108和存储器110通信。存储器110可以是处理器104可访问的存储器的任何组合。这可以包括诸如主存储器、高速缓冲存储器以及非易失性存储器(诸如闪速RAM、硬盘驱动器或其他存储设备)之类。在一些范例中，存储器104可以被认为是非瞬态计算机可读介质。硬件接口106可以例如用来与其他计算机系统通信和/或控制医学仪器100的其他部件。用户接口108可以例如被用于显示数据和/或用于从用户或操作者接收命令或其他信息。

存储器110被示为包含机器可执行指令120。机器可执行指令120包含使得处理器104能够控制医学仪器100的命令。机器可执行指令120也可以控制使得处理器104能够执行各种类型的图像处理的其他命令。

存储器110还被示为包含图像变换神经网络122。图像变换神经网络122获取作为输入的图像，并且输出另一图像。图像变换神经网络122已经被训练为获取对象的图像并且输出伪放射学图像。存储器110被示为包含对象的光学图像124。存储器110还被示为包含输出图像，所述输出图像包括通过将光学图像124输入到图像变换神经网络122中而被获得的伪放射学图像。在一些实例中，输出图像仅仅是伪放射学图像。

存储器110被示为包含可选光学训练图像130。存储器110还被示为包含可选放射学训练图像132。光学训练图像130和放射学训练图像132可以被认为是匹配对。它们都是当对象在支撑物上时从对象获得的。例如，光学训练图像130可以是获得将要被放置到磁共振成像系统内的对象支撑物上的对象的图像，并且放射学训练图像132可以是由磁共振成像系统获取的对象的图像。存储器110还包含通过将光学训练图像130输入到图像变换神经网络122中而获得的测试图像134。测试图像134和放射学训练图像132然后用来产生或计算两个图像之间的差异136。该差异136然后用来进一步训练图像变换神经网络122。例如，这可以使用深度学习来执行。

图2示出了图示操作图1的医学仪器100的方法的流程图。首先在步骤200中，接收光学图像124。光学图像的接收可以以不同的方式被执行。在一个范例中，可以存在摄像机，并且光学图像的接收包括使用摄像机采集图像。在其他范例中，接收光学图像可以包括从存储器110访问光学图像，经由网络连接106或从其他数据承载介质获得光学图像。该方法然后前进到步骤202。在步骤202中，通过将光学图像124输入到图像变换神经网络122中来生成输出图像126。

图3图示了医学仪器300的又一范例。医学仪器300被示为另外地包括磁共振成像系统302和摄像机324。在该范例中，使用磁共振成像系统302，然而，其旨在是图示性的，并且磁共振成像系统302可以用其他医学成像系统(诸如计算机断层摄影系统或正电子发射断层摄影系统)来代替。

磁共振成像系统302包括磁体304。磁体304是具有通过其的膛306的超导圆柱形磁体。不同类型的磁体的使用也是可能的，例如，使用分裂式圆柱形磁体和所谓的开放式磁体两者也是可能的。分裂式圆柱形磁体类似于标准的圆柱形磁体，除了低温恒温器已经分成两部分以允许接近所述磁体的等平面，这样的磁体可以例如与带电粒子束治疗相结合地使用。开放式磁体具有两个磁体部分，一个在另一个上方，它们之间具有足够大的空间以接收对象：两部分区域的布置类似于亥姆霍兹线圈的布置。开放式磁体是受欢迎的，因为对象受较少的约束。在圆柱形磁体的低温恒温器内部有超导线圈的集合。在圆柱形磁体304的膛306内，存在磁场足够强且足够均匀以执行磁共振成像的成像区308。

磁体的膛306内还有磁场梯度线圈310的集合，其用于采集初级磁共振数据，以在磁体304的成像区308内对磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在为代表性的。通常，磁场梯度线圈310包含用于在三个正交空间方向上空间地编码的三组分离的线圈。磁场梯度电源将电流供应到磁场梯度线圈。供应到磁场梯度线圈310的电流根据时间来控制并且可以是斜变的或脉冲的。

与成像区308相邻的是射频线圈314，所述射频线圈用于操纵成像区308内的磁自旋的取向，并且用于接收来自也在成像区308内的自旋的无线电发射。射频天线可以包含多个线圈元件。射频天线也可称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以由独立的发送线圈和接收线圈以及独立的发射器和接收器替代。应理解，射频线圈314和射频收发器316是代表性的。射频线圈314旨在还表示专用的发射天线和专用的接收天线。同样，收发器316也可以表示分离的发射器和接收器。射频线圈314也可以具有多个接收/发射元件，并且射频收发器316可以具有多个接收/发射通道。例如，如果并行成像技术(诸如SENSE)被执行，则射频线圈314将具有多个线圈元件。

收发器316和梯度控制器312被示为被连接到计算机系统326的硬件接口328。对象318被示为在磁体304的膛306外部。对象支撑物320被连接到用于移动对象支撑物320的致动器322。致动器322使得对象318能够被移入和移出磁体304的膛306。在当前位置中，对象318被定位在摄像机324下方。摄像机324能够由处理器104控制以采集光学图像124。

一旦光学图像被采集，光学图像124就被输入到图像变换神经网络122中以生成包括或就是伪放射摄影图像的输出图像126。从伪放射摄影图像126导出位置数据332。这可以以不同的方式被执行。例如，用户接口108可以显示输出图像126，并且接收输入数据，所述输入数据然后用来导出位置数据。例如，操作者或医师可以将标记放在输出图像上以指示感兴趣区域应当在哪里。摄像机324的位置能够被配准到磁共振成像系统的坐标系。

位置数据332然后能够用来直接确定感兴趣区域334的位置。也存在若干备选方案。例如，处理器104可以接收解剖图像336，解剖图像336被示为被存储在存储器110中。解剖图像336可以包括被标记有期望感兴趣区域的图像或图像的表示。解剖图像336然后可以被配准338到输出图像以产生解剖图像到输出图像的配准338。这种配准338使得解剖图像336上的标记能够用来确定感兴趣区域334的位置。在又一范例中，可以接收语义位置描述符340。这可以例如是执行具体成像协议的言语或文本命令或要成像的具体解剖区域的描述。语义位置描述符340以及伪放射摄影图像126可以被输入到位置查找神经网络342中，其然后输出感兴趣区域334的位置。存储器还被示为包含脉冲序列命令330。脉冲序列命令330使得处理器104能够在感兴趣区域处从对象318采集磁共振数据。

图4示出了图3中的相同医学成像系统，除了对象318现在已经被致动器322移动到磁体304的膛306中。感兴趣区域309能够被视为被定位在成像区308内。感兴趣区域的位置使用位置334来确定。存储器110还被示为包含磁共振数据344，磁共振数据344使用脉冲序列命令334从感兴趣区域309采集数据而被采集。存储器110还被示为包含从磁共振数据344重建的磁共振图像346。

图5示出了图示操作图3和4中图示的医学仪器300的方法的流程图。首先在步骤500中，处理器104控制摄像机324采集光学图像124。接下来在步骤200中，光学图像124被处理器接收。接下来在步骤202中，处理器通过将光学图像124输入到图像变换神经网络122中而生成输出图像126或伪放射摄影图像。接下来在步骤502中，对象318的位置使用输出图像126被配准到医学成像系统或磁共振成像系统302的坐标系。接下来在步骤504中，位置数据322使用输出图像126来确定。这可以以之前已经讨论的任何方式来实现，诸如将输出图像显示在用户接口上并且使用此上的标记来确定位置数据。接下来在步骤506中，感兴趣区域309使用位置数据332来确定。位置例如能够如图所示的那样作为位置334被存储在存储器中。最后，在步骤508中，医学成像系统302由处理器控制以从感兴趣区域309采集测量的放射摄影图像346。在该具体范例中，测量的放射摄影图像是磁共振图像346。

目前，辐射肿瘤学模拟扫描方面的现有技术是使用调查扫描将主扫描视场(感兴趣区域309)定位到对象318上。定位扫描体积的指令通常以患者骨骼的二维绘图的方式出现，肿瘤科医师已经在所述患者骨骼的二维绘图上绘制感兴趣区域309。

在一些情况下，即使在患者覆盖物部分地遮盖患者的情况下，(经由外部摄像机324(诸如红外摄像机)获取的)患者轮廓也能够用来定位成像体积。

利用调查扫描，花费额外的时间或给予患者额外的辐射。患者轮廓遭受不准确性，因为基于骨骼的体积定位是易于出错的且困难的。

一些范例可以叠加与患者轮廓124融合(例如，在患者轮廓124顶部上)的骨骼模型(伪放射摄影图像600)，或示出骨骼而非患者轮廓。这帮助扫描体积309的手动定位。另一范例可以显示与患者轮廓融合的不同器官，诸如软组织器官。

另一范例使用来自肿瘤科医师(或其他操作者)的定位输入来将患者移动到扫描器等中心中，并且自动地将定位扫描体积定位为覆盖输入体积。叠加的器官和/或骨骼模型与患者轮廓一起仍然能够被示出用于用户确认。

在一个范例中，提供了用于使用例如机器学习方式来训练基于利用常规模拟扫描采集的以前照片-调查扫描对(130、132)适应患者轮廓内部的骨骼(600)的算法的方法。由于训练，算法能够在被呈现有照片时生成类似调查的图片。

训练数据的生成能够利用被定位在患者318上方的红外摄像机324(或光学摄像机)来布置。能够在初始患者定位(而无机械障碍物，诸如MR线圈)的情况下获取图像130。得到的调查扫描132被存储以形成照片-调查扫描对。常规的调查扫描能够利用最大强度投影(MIP)被简化成易于与二维患者照片匹配的二维图像。由于训练，算法能够在被呈现有照片时生成MIP图像。

在另一范例中，单幅照片用来自针对具有改善的骨骼模型的冗余/立体视觉的多个方向的照片来代替。利用立体信息，可以针对3D体积定位生成改善的3D骨骼模型。在这种情况下，能够使用能够将3D调查或实际扫描与3D照片数据匹配的深度学习网络。扫描能够通过阈值化或分割调查体积以仅示出目标器官或骨骼而被简化。由于训练，算法能够在被呈现有立体照片时生成器官或骨骼的3D表示。

图6图示了输出图像126的范例。输出图像126包括原始光学图像124的重影或突出。伪放射学图像600被叠加在原始光学图像124上。使用输出图像126，放射科医师或其他技师能够更好地推测对象内的各种解剖位置。在图6中的范例中，输出图像126置于显示器上，并且操作者或放射科医师拖拽方框332。在这种情况下，方框332表示位置数据。位置数据332指示操作者或放射科医师希望成像或扫描的对象的区域。

图7示意性示出了训练图像变换神经网络122的一种方法。在该范例中，红外图像702被用作光学训练图像130；来自肿瘤科医师700的轮廓被用作放射学训练图像132。这两者都被输入704到深度学习算法706内。深度学习算法706的输出被输出708到训练例程710内。训练例程710也获取多个预期值712。这些可以例如是测量的检查台移动714以及扫描器等中心上的预期扫描体积716。扫描体积716可以对应于感兴趣区域309。

如图7中图示的，包围的骨骼模型132和(一幅或多幅)照片130作为输入704被馈送到训练算法706中。该算法被训练为产生针对台面移动(如果在扫描膛外部被摄影)和扫描体积坐标714的输出，扫描体积坐标714匹配当产生训练数据时已经被记录的用户生成值。

尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示范性的而非限制性的；本发明不限于公开的实施例。

本领域技术人员通过研究附图、说明书和权利要求书，在实践要求保护的本发明时能够理解和实现所公开实施例的其他变型。在权利要求书中，“包括”一词不排除其他元件或步骤，词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求中记载的若干项目的功能。在互不相同的从属权利要求中记载特定元件并不指示不能有利地使用这些元件的组合。计算机程序可以存储和/或分布在适当的介质上，所述介质例如是与其他硬件一起供应或作为其他硬件一部分供应的光学存储介质或固态介质，但计算机程序也可以以其他形式分布，例如经由因特网或其他有线或无线的远程通信系统。权利要求书中的任何附图标记都不得被解释为对范围的限制。

Claims (14)

1.一种医学仪器(100、300)，包括：

-存储器(110)，其存储机器可执行指令(120)和图像变换神经网络(122)，所述图像变换神经网络被训练用于将对象(318)的光学图像(124)变换成输出图像(126)，其中，所述输出图像包括伪放射摄影图像(600)，其中，所述伪放射摄影图像与所述光学图像对准；以及

-处理器(104)，其被配置用于控制医学成像系统，其中，所述机器可执行指令的执行令所述处理器：

-接收(200)所述对象的所述光学图像；

-通过将所述光学图像输入到所述图像变换神经网络中来生成(202)所述输出图像。

2.根据权利要求1所述的医学仪器，其中，所述医学仪器还包括：

-医学成像系统(302)，其被配置用于采集所述对象的测量的放射摄影图像(346)；

-对象支撑物(320)，其被配置用于在所述医学成像系统中支撑所述对象；

-摄像机(324)，其被配置用于采集所述对象支撑物上的所述对象的所述光学图像，其中，使用所述摄像机采集的图像被配准到所述医学成像系统的坐标系，

其中，所述机器可执行指令的执行还令所述处理器：

-控制(500)所述摄像机采集所述对象的所述光学图像；并且

-使用所述输出图像将所述对象的位置配准(502)到所述医学成像系统的所述坐标系。

3.根据权利要求2所述的医学仪器，其中，所述医学仪器还包括显示器和用户接口(108)，其中，所述机器可执行指令的执行还令所述处理器：

-将所述输出图像显示在所述显示器上；并且

-从所述用户接口接收(504)位置数据，其中，所述位置数据描述所述输出图像中的至少一个位置。

4.根据权利要求2所述的医学仪器，其中，所述机器可执行指令的执行还令所述处理器：

-接收解剖图像(336)，其中，所述解剖图像包括位置标记；

-通过将所述解剖图像配准到所述伪放射摄影图像来计算配准(338)；并且

-通过应用所述解剖图像到所述输出图像的配准来根据所述位置标记确定(504)位置数据。

5.根据权利要求2所述的医学仪器，其中，所述存储器还包含被配置用于接收所述输出图像和语义位置描述符(342)的位置查找神经网络(342)，其中，所述位置查找神经网络被训练用于输出识别所述语义位置描述符在所述输出图像中的位置的位置数据；

其中，所述机器可执行指令的执行还令所述处理器：

-接收解剖位置的所述语义位置描述符；并且

-通过将所述输出图像和所述语义位置描述符输入到所述位置查找神经网络中来确定(504)位置数据。

6.根据权利要求3、4或5所述的医学仪器，其中，所述医学成像系统被配置用于从感兴趣区域(309)采集所述测量的放射摄影图像，其中，所述机器可执行指令的执行还令所述处理器：

-使用所述位置数据来确定(506)所述感兴趣区域；并且

-控制(508)所述医学成像系统从所述感兴趣区域采集来自所述对象的所述测量的放射摄影图像。

7.根据权利要求2至6中任一项所述的医学仪器，其中，所述医学成像系统是以下项中的任一项：正电子发射断层摄影系统、单光子发射断层摄影系统、计算机断层摄影系统、X射线机器和磁共振成像系统(302)。

8.根据权利要求2至7中任一项所述的医学仪器，其中，所述摄像机是以下项中的任一项：光学摄像机和红外摄像机。

9.根据前述权利要求中任一项所述的医学仪器，其中，所述机器可执行指令的执行还令所述处理器：

-接收光学训练图像(130)和放射学训练图像(132)的匹配对；

-将所述光学训练图像(130)中的一幅输入到所述图像变换神经网络中以生成测试图像(134)，其中，存在从所述放射学训练图像选择的作为所述光学训练图像中的所述一幅的匹配对的匹配放射学训练图像(132)；并且

-使用所述测试图像与所述匹配放射学训练图像之间的差异(136)来训练所述图像变换神经网络。

10.根据前述权利要求中任一项所述的医学仪器，其中，所述伪放射摄影图像是以下项中的任一项：伪X射线、伪磁共振图像、伪磁共振图像到平面上的投影、伪磁共振图像的横截面、伪正电子发射断层摄影图像、伪正电子发射断层摄影图像到平面上的投影、伪正电子发射断层摄影图像的横截面、伪计算机断层摄影图像、伪计算机断层摄影图像到平面上的投影和伪计算机断层摄影图像的横截面。

11.根据前述权利要求中任一项所述的医学仪器，其中，以下项中的任一项：所述输出图像是所述伪放射学图像，以及所述输出图像是所述光学图像在所述伪放射学图像上的叠加。

12.一种计算机程序产品，包括用于由控制医学仪器(100、300)的处理器(104)执行的机器可执行指令(120)，其中，所述计算机程序产品还包括被训练用于将对象(318)的光学图像(124)变换成输出图像(126)的图像变换神经网络(122)的实现，其中，所述输出图像包括伪放射摄影图像(600)，其中，所述伪放射摄影图像与所述光学图像对准，其中，所述机器可执行指令的执行令所述处理器：

-接收(200)所述对象的所述光学图像；并且

-通过将所述光学图像输入到所述图像变换神经网络中来生成(202)所述输出图像。

13.一种医学成像方法，其中，所述方法包括：

-接收(200)对象(318)的光学图像(124)；并且

-通过将所述光学图像输入到图像变换神经网络(122)中来生成(202)输出图像(126)，其中，所述图像变换神经网络被训练用于将所述对象的所述光学图像变换成所述输出图像，其中，所述输出图像包括伪放射摄影图像(600)，其中，所述伪放射摄影图像与所述光学图像对准。

14.根据权利要求13所述的医学成像方法，其中，所述方法还包括：

-接收光学训练图像(130)和放射学训练图像(132)的匹配对；

-将所述光学训练图像(130)中的一幅输入到所述图像变换神经网络中以生成测试图像(134)，其中，存在从所述放射学训练图像选择的作为所述光学训练图像中的所述一幅的匹配对的匹配放射学训练图像(132)；并且

-使用所述测试图像与所述匹配放射学训练图像之间的差异(136)来训练所述图像变换神经网络。

Images