CN113989492A - 一种生成感兴趣区域的方法及系统 - Google Patents

Abstract

本申请实施例公开了一种生成感兴趣区域的方法，所述方法包括：获取对象的三维图像，所述三维图像包括所述对象的三维轮廓；基于所述三维图像确定所述对象在预设方向的二维轮廓；获取所述对象在所述预设方向的二维医学图像；基于所述二维医学图像和所述二维轮廓生成二维图像；以及从所述二维图像中确定感兴趣区域。

Description

一种生成感兴趣区域的方法及系统

技术领域

本申请涉及图像处理领域，特别涉及一种生成感兴趣区域的方法及系统。

背景技术

在对病人进行放射治疗前，通常需要确定出感兴趣区域(region of interest，ROI)，ROI可以用于规划后续治疗计划的具体内容，例如，各区域的射线剂量分布。为了更直观地展示病人的治疗对象(如器官，病灶等)的情况，可以借助一些工具展示治疗对象的图像供参考。但治疗对象通常会呈现为三维图像的形式。然而，由于三维图像具有比二维图像更复杂的立体属性，直接在三维图像上确定ROI往往十分困难。

因此，有必要提出一种生成感兴趣区域的方法，来更简单高效地确定治疗计划中的ROI。

发明内容

本说明书实施例之一提供一种生成感兴趣区域的方法，所述方法包括：获取对象的三维图像，所述三维图像包括所述对象的三维轮廓；基于所述三维图像确定所述对象在预设方向的二维轮廓；获取所述对象在所述预设方向的二维医学图像；基于所述二维医学图像和所述二维轮廓生成二维图像；以及从所述二维图像中确定感兴趣区域。

本说明书实施例之一还提供一种生成感兴趣区域的系统，其特征在于，所述系统包括：第一获取模块，用于获取对象的三维图像，所述三维图像包括所述对象的三维轮廓；第一确定模块，用于基于所述三维图像确定所述对象在预设方向的二维轮廓；第二获取模块，用于获取所述对象在所述预设方向的二维医学图像；二维图像生成模块，用于基于所述二维医学图像和所述二维轮廓生成二维图像；以及第二确定模块，用于从所述二维图像中确定感兴趣区域。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书的一些实施例所示的感兴趣区域生成系统的应用场景示意图；

图2是根据本说明书的一些实施例所示的感兴趣区域生成系统的示例性模块框图；

图3是根据本说明书一些实施例所示的生成感兴趣区域的方法的示例性流程图；

图4A是根据本说明书的一些实施例所示的三维图像截切过程示意图；

图4B是根据本说明书图4A中D7层面的截面示意图；

图5是根据本说明书一些实施例所示的用户交互界面的示意图；

图6是根据本说明书一些实施例所示的确定对象的二维轮廓的示例性流程图；

图7是根据本说明书一些实施例所示的确定感兴趣区域的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，对于本领域的普通技术人员来讲，本说明书可以在不采用所述细节的情况下实施。在其他情况下，为了避免不必要地模糊本说明的各方面，已经在相对较高的级别上概略地描述了众所周知的方法、过程、系统、组件和/或电路。对于本领域的普通技术人员来讲，对本说明书披露的实施例进行的各种修改是显而易见的，并且本说明书中定义的通则在不背离本说明书的精神及范围的情况下，可以适用于其他实施例及应用情景。因此，本说明书不限于所示的实施例，而是符合与说明书范围一致的最广泛范围。

本说明书中所使用的术语仅用于描述特定的示例性实施例，并不限制本说明书的范围。如本说明书使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。

应当理解的是，本说明书使用的“系统”、“单元”、“模块”、“和/或”、“块”是按升序区分不同级别的不同构件、元素、部件、部分或组件的方法。然而，可以使用另一个达到相同目的表达取代以上术语。

应该理解的是，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接至”或“耦合至”另一单元、引擎、模块或块时，它可以直接在、连接或耦合到其他单元、引擎、模块或块上，或与其他单元、引擎、模块或框，或介入单元、引擎、模块或框进行通信。在本说明书中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个操作。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

根据以下对附图的描述，本说明书所述的和其他的特征、操作方法、相关组件的功能和经济的结构更加显而易见，这些都构成说明书的一部分。本说明书提供用于医学成像和/或医学治疗的系统和组件，例如用于疾病诊断、治疗或研究目的的系统和组件。在一些实施例中，医疗系统可以包括成像系统。成像系统可以包括单模态成像系统和/或多模态成像系统。本文所使用的术语“模态”是指收集、产生、处理和/或分析对象的成像信息或对该对象进行治疗的成像或治疗方法或技术。单模态系统可以包括例如，计算机断层摄影(Computed Tomography，CT)系统、X射线成像系统、数字X线摄影(Digital Radiography,DR)系统、磁共振成像(Magnetic Resonance Imaging，MRI)系统、正电子发射断层摄影(Positron Emission Computed Tomography，PET)系统、单光子发射计算机断层扫描(Single-Photon Emission Computed Tomography，SPECT)系统、光学相干断层扫描(Optical Coherence Tomography，OCT)系统、超声(Ultrasound，US)系统、近红外光谱(Near Infrared Spectrum Instrument，NIRS)系统等或其任意组合。多模态系统可以包括例如，正电子发射断层摄影-计算机断层摄影(PET-CT)系统、正电子发射断层摄影-磁共振成像(PET-MRI)系统、计算机断层摄影-磁共振成像(CT-MRI)系统、单光子发射计算机断层扫描-磁共振成像(SPECT-MRI)系统、数字减影血管造影(Digital SubtractionAngiography，DSA)-磁共振成像(DSA-MRI)系统等或其任意组合。在一些实施例中，计算机断层摄影(CT)系统可以包括使用X射线的C型臂系统、牙科CT或使用其它类型射线的CT系统等。

在一些实施例中，医疗系统可以包括治疗系统。治疗系统可以包括放射治疗计划系统(Treatment Planning System，TPS)、图像引导放射治疗(Image Guided RadiationTherapy，IGRT)系统、放射治疗递送系统等。图像引导放射治疗(IGRT)可以包括治疗设备和成像设备。该治疗设备可以包括线性加速器、回旋加速器、同步加速器等，其被配置为对受试者进行放射治疗。处理设备可以包括多种粒子种类的加速器，例如，光子、电子、质子或重离子。成像设备可以包括MRI扫描仪、CT扫描仪(例如，锥形束计算机断层摄影(Cone BeamComputed Tomography Guidelines，CBCT)扫描仪)、数字放射学(DR)扫描仪、电子门成像设备(Electronic Portal Imaging Device，EPID)等。以下描述的医疗系统仅出于说明的目的而提供，并不限制本说明书的范围。

在本说明书中，受试者可以包括生物体和/或非生物体。生物体可以是人类、动物、植物或其特定部分、器官和/或组织。例如，受试者可以包括头部、颈部、胸部、肺部、心脏、胃、血管、软组织、肿瘤、结节等或其任意组合。在一些实施例中，受试者可以是具有生命或没有生命的有机和/或无机物质的人造组合物。在本说明书中，术语“对象”或“受试者”可以互换使用。

在本说明书中，可以将图像中对象的表示(例如，患者、受试者或其一部分)简称为对象。例如，可以将图像中器官和/或组织的表示(例如，心脏、肝脏、肺)简称为器官或组织。可以将包括对象的表示的图像简称为对象的图像或包括对象的图像。可以将对图像中对象的表示进行的操作简称为对对象的操作。例如，可以将对包括器官和/或组织的表示的图像的一部分的分割简称为对器官和/或组织的分割。

本说明书中，用户可以包括使用本申请方法的操作人员(例如，医生、药剂师)、也可以包括本方法的展示对象(例如，患者、家属)。在本说明书中，术语“用户”或“操作人员”可以互换使用。

在放射治疗计划中，为了更直观地观察对象状况，可以获取对象的医学图像序列(例如，多个CT图像)来确定密度场，从而生成对象的三维图像(例如，对象的三维解剖图像)。为进一步执行图像引导放射治疗(IGRT)，需要操作人员(例如，放射诊疗执业医生)确定感兴趣区域(region of interest，ROI)，例如，感兴趣区域可以包括病灶和/或病灶周围的健康区域等，从而确定对象在图像引导放射治疗中各个感兴趣区域的放射剂量符合标准。在这一过程中，操作人员可以直接对三维图像进行操作，但三维图像的显示和交互方式导致相关操作很难执行。例如，操作人员在确定感兴趣区域时，可能需要在三维图像中对器官、组织或病灶的轮廓进行一些修改(例如，扩展选区)，而三维图像本身较为复杂，操作人员很难直接基于三维图像来准确地对轮廓进行修改。

因此，本发明提出将三维图像以二维的形式进行显示以帮助用户执行感兴趣区域的相关操作。例如，本说明书一些实施例提供一种生成感兴趣区域的方法及系统，可以将三维图像中各器官、组织或病灶的轮廓通过截面截切的方式以二维的方式进行呈现，并将该二维的轮廓与二维医学图像相结合，生成多个包含三维图像截面信息和二维医学图像的二维图像，方便相关操作人员从二维图像中确定感兴趣区域并方便用户执行感兴趣区域的相关操作，例如，确定感兴趣区域的范围或为感兴趣区域设定放射剂量等。

图1是根据本说明书的一些实施例所示的感兴趣区域生成系统的应用场景示意图。如图1所示，感兴趣区域生成系统100可以包括处理设备110、终端设备120、存储设备130、网络140以及医疗设备150。感兴趣区域生成系统100中的各个部件可以以多种方式相连接。例如，处理设备110与终端设备120可以通过网络140连接，也可以直接连接(如图1中连接成处理设备110与终端设备120的虚线箭头所示)。又例如，存储设备130与处理设备110可以直接连接或通过网络140连接。又例如，终端设备130与处理设备120可以通过网络140连接，也可以直接连接。

处理设备110是本说明书生成感兴趣区域的方法的执行主体，例如，处理设备110可以基于三维图像确定对象在预设方向的二维轮廓。又例如，处理设备可以基于对象的二维医学图像和对象的二维轮廓生成二维图像。在一些实施例中，处理设备110可以用于基于二维图像生成感兴趣区域。在一些实施例中，对象可以包括医疗任务中所涉及的器官、组织或病灶等。

终端设备120可以是能够输入和输出数据或处理结果的设备。在一些实施例中，终端设备120可以呈现感兴趣区域，例如，处理设备110处理后的包含感兴趣区域的二维图像可以通过网络140发送到终端设备120，终端设备120可以将处理后的二维图像呈现给用户。在一些实施例中，终端设备120可以包括移动设备121、平板电脑122、笔记本电脑123等或其任意组合。为方便用户观察或操作，终端设备120可以是用于呈现三维图像的显示设备，例如，终端设备120可以是能够以虚拟现实(Virtual Reality，VR)技术或增强现实(Augmented Reality，AR)技术显示三维图像的设备(例如，VR/AR眼镜124)。在一些实施例中，终端设备120可以实现用户交互功能，例如，操作人员可以向终端设备120输入指令实现对感兴趣区域的编辑。

存储设备130可以存储数据(例如，医学图像、待处理图像、三维图像等)、指令和/或任何其他信息。在一些实施例中，存储设备130可以存储从成像设备、终端设备120和/或处理设备110处获取的数据，例如，存储设备130可以存储从成像设备获取的扫描数据等并存储为待处理图像。在一些实施例中，存储设备130可以存储处理设备110可以执行或使用以执行本说明书中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备130可包括大容量存储器、可移除存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。在一些实施例中，存储设备130可以通过云平台实现。

在一些实施例中，存储设备130可以连接网络140，以与感兴趣区域生成系统100中的一个或多个组件(例如，处理设备110、终端设备120等)之间实现通信。感兴趣区域生成系统100中的一个或多个组件可以通过网络140读取存储设备130中的数据或指令。在一些实施例中，存储设备130可以是处理设备110的一部分，也可以是独立的，与处理设备120直接或间接相连。

网络140可以包括能够促进感兴趣区域生成系统100的信息和/或数据交换的任何合适的网络。在一些实施例中，网络140可以包括一个或多个网络接入点。例如，网络140可以包括有线和/或无线网络接入点，例如基站和/或因特网交换点，通过网络接入点，感兴趣区域生成系统100的一个或多个组件可以连接网络140以交换数据和/或信息。

医疗设备150可以是用于执行医疗操作(如医疗图像采集或治疗等)的设备。在一些实施例中，医疗设备可以包括成像设备和/或治疗设备。成像设备110可以扫描位于扫描区域内的对象并生成与对象相关的医学图像。对象可以包括医疗任务中所涉及的器官、组织或病灶等。在一些实施例中，成像设备110生成的医学图像可以通过网络140存储在存储设备130。在一些实施例中，处理设备110可以通过网络140获取医学图像。治疗设备可以根据用户指定的医疗计划对对象进行治疗。在一些实施例中，医疗计划可以包括与对象相关的感兴趣区域。在一些实施例中，医疗设备150可以通过网络140与感兴趣区域生成系统100中的其他组件(如处理设备110、终端设备120以及存储设备130)进行数据交互。

应该注意的是，感兴趣区域生成系统100的以上描述仅出于说明的目的而提供，并不限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，进行多种变化和修改。例如，感兴趣区域生成系统100可以包括一个或多个附加组件和/或上述感兴趣区域生成系统100的一个或多个组件可以省略。又例如，感兴趣区域生成系统100的两个或更多组件可以被集成到单个组件中。感兴趣区域生成系统100的组件可以在两个或更多个子组件上实现。

图2是根据本说明书的一些实施例所示的感兴趣区域生成系统的示例性模块框图。感兴趣区域生成系统100可以包括获取模块210、第一确定模块220以及第二确定模块230。

第一获取模块210可以被配置为获取对象的三维图像。

在一些实施例中，三维图像可以从感兴趣区域生成系统100中的组件中获取。例如，获取模块210可以从存储设备130中获取预存的三维图像。在一些实施例中，三维图像可以通过预设算法对对象的二维医学图像进行计算获得。在一些实施例中，预设算法可以是重建算法(例如，表面遮盖显示、最大密度投影、曲面重建等)。在一些实施例中，预设算法可以包括但不限于Shear-warp算法或Marching Cubes(简称MC)算法。在一些实施例中，三维图像可以包括使用AR设备或VR设备进行展示和交互的AR图像或VR图像。在一些实施例中，对象可以指进行医学图像拍摄的受试者的部分身体部位，包括但不限于器官、组织或病灶等。三维图像可以包括对象的三维轮廓。在一些实施例中，对象的三维轮廓可以基于Log微分算子的边界轮廓线提取算法对对象的二维医学图像进行三维表面重建获得。

第一确定模块220可以被配置为基于所述三维图像确定所述对象在预设方向的二维轮廓。

在一些实施例中，第一确定模块220可以从预设方向对三维图像进行截切，以得到二维轮廓。其中，预设方向可以指进行截切操作的二维层面在空间中的平面方向，该二维层面即为截切操作的截面。在一些实施例中，二维层面可以包括冠状面、矢状面、横断面(也称横切面、水平面)或空间中其他任意角度的截面。在一些实施例中，二维层面在空间中还具有具体平面位置。在一些实施例中，使用二维层面对三维图像进行截切后，可以获得三维轮廓对应于该二维层面上的二维轮廓。

第二获取模块230，可以被配置为获取所述对象在所述预设方向的二维医学图像。在一些实施例中，二维医学图像可以是利用医学成像设备对对象进行扫描获取得图像，例如，CT图像等。

二维图像生成模块240，可以被配置为基于所述二维医学图像和所述二维轮廓生成二维图像。在一些实施例中，二维图像包括所述二维医学图像的图像内容和对象的二维轮廓。在一些实施例中，二维图像生成模块240可以将位于相同平面位置的二维轮廓与二维医学图像进行叠加，从而获取二维图像。

第二确定模块250可以被配置为从所述二维图像中确定感兴趣区域。

感兴趣区域可以是操作人员在二维图像中选出的与对象相关的、作为治疗参考的区域，例如，图像引导放射治疗(IGRT)中，感兴趣区域可以包括表征病灶的靶区域以及表征病灶周围健康组织的危及器官区域。

在一些实施例中，感兴趣区域生成系统100还可以包括显示模块，用于显示对象的三维图像以及预设方向的二维图像等。在一些实施例中，三维图像随媒体介质的不同可以通过不同方式显示。例如，终端设备120的媒体介质为平面显示单元时(例如，手机、显示器等)，三维图像可以随操作人员的对应操作在终端设备120上呈现对应视角的二维视图(如，俯视图、侧视图、正视图等)。再例如，终端设备120的媒体介质为三维显示单元时(如，虚拟显示设备、显示增强设备)，三维图像可以以对应的方式(如VR、AR等)呈现给操作人员。在一些实施例中，显示模块还可以显示确定感兴趣区域的过程。

基于本说明书提供的生成感兴趣区域的系统，可以通过将三维图像转换为二维图像，操作人员只需要在二维方向上进行操作来确定感兴趣区域，能够简化操作人员执行的对应操作。

图3是根据本说明书一些实施例所示的生成感兴趣区域的方法的示例性流程图。如图3所示，流程300包括下述步骤。

步骤310，获取对象的三维图像，所述三维图像包括所述对象的三维轮廓。在一些实施例中，步骤310可以由第一获取模块310执行。

在一些实施例中，对象的三维图像可以是对象的三维模型的可视化表示，三维图像具有三维轮廓。在一些实施例中，三维模型的获取方式与对象的具体类型对应。例如，在拍摄对象的二维医学图像后，可以通过医学图像建模技术(例如，表面遮盖显示、最大密度投影、曲面重建等)确定对象的三维图像。在一些实施例中，三维图像可以直接存储于存储设备130，处理设备110可以直接从存储设备130中调用对应的三维图像。

在一些实施例中，对象的三维图像可以基于对象的二维医学图像序列进行重建获取。其中，二维医学图像序列可以是利用医学成像设备对对象的连续扫描获取。例如，可以基于扫描参数对患者的肺部连续拍摄多个CT图像，则多个CT图像即为二维医学图像序列。具体地，可以获取所述对象在预设方向的多个片层的多个二维医学图像，然后基于所述二维医学图像生成所述三维图像。扫描参数可以包括扫描方向、片层厚度以及片层层距。每个片层可以对应一个二维医学图像。与片层对应的二维医学图像包括所述对象在所述预设方向上的片层的图像表示。如本文中所述，用于重建三维图像的二维医学图像也可以称为第一图像。

二维医学图像可以是CT图像、PET图像、MRI图像等的一种或多种组合。二维医学图像的预设方向(即片层方向)可以指二维医学图像的扫描方向。在一些实施例中，预设方向可以根据实际情况确定，例如，患者在淋巴处存在结节，二维医学图像可以是多个CT图像，具体地，可以沿横断面方向，在淋巴周围以片层厚度为1厘米连续采集CT图像，以获得包含完整淋巴的多个CT图像。再例如，拍摄肺片时可以沿对象的冠状面方向确定CT图像。

在一些实施例中，根据二维医学图像生成三维图像的方法可以包括表面遮盖显示法、最大密度投影法、曲面重建法等。在一些实施例中，可以根据二维医学图像的图像内容确定对象的密度场，并基于密度场进行重建，以得到对象的三维模型，并表示为三维图像。例如，可以根据CT图像中各个部位的CT值确定对象的密度场以及对象的三维模型。在一些实施例中，基于二维医学图像确定三维图像的过程可以通过机器学习算法实现。

在一些实施例中，为提高三维图像的精度，可以根据多种二维医学图像确定三维图像。例如，CT图像在软组织的表现能力较弱，在确定三维图像时可以结合PET图像、MRI图像提高三维图像的精度。

在一些实施例中，获取三维图像后，终端设备120可以对三维图像进行呈现。例如，三维图像可以通过具有3D显示功能的VR/AR眼镜124向操作人员呈现，操作人员佩戴眼镜后，三维图像可以通过AR/VR的方式，与真实场景结合显示在操作人员的视野范围。

步骤320，基于三维图像确定对象在预设方向的二维轮廓。在一些实施例中，步骤320可以由第一确定模块220执行。

在一些实施例中，操作人员可以通过终端设备选择预设方向。例如，操作人员可以从冠状面、矢状面以及横断面中选取预设方向。再例如，操作人员还可以选取空间中与参考平面(例如，冠状面、矢状面或横断面)成任意角度的平面所在的方向作为预设方向。例如，操作人员可与选取空间中与横断面成30°的平面所在的方向为预设方向。在一些实施例中，操作人员选择的预设方向可以与生成三维图像的二维医学图像的预设方向相同。

在一些实施例中，对三维图像在预设方向上进行截切后，可以获得该预设方向上的二维轮廓。截切是指平面与立体(如三维图像)相交，立体被平面切得的平面为截断面。二维轮廓可以是使用预设方向上的二维层面截切三维图像后产生的截断面上的图像轮廓。

在一些实施例中，为完整描述对象的结构，需要从多个不同的截切位置去体现对象在不同位置下的轮廓特征。对应的，预设方向的二维层面可以包括多个平行的具有一定厚度的层面，其中各个层面可以以预设距离间隔(如，1厘米、2厘米等)，即等于片层厚度。在执行步骤320时，可以确定预设方向，以预设间距在所述预设方向上截切三维图像以获取二维轮廓。其中，预设间距的数值可以由操作者指定或者系统默认设置。相邻截断面对应的预设间距可以相同或不同。在一些实施例中，为方便后续操作，同一对象的预设间距可以相同，即对三维图像进行等间距采样。

图4A是根据本说明书的一些实施例所示的三维图像截切过程示意图，图4B是根据本说明书图4A中D7层面的截面示意图。在一些实施例中，参见图4A，三维图像在截切过程中设置有多个截面(即预设方向上的二维层面)，多个截面可以对应于生成多个二维轮廓。图4A中虚线部分可以表示预设方向，例如，D7可以表示在D7截面上对三维图像进行截切以获得横断面上(即预设方向)的二维图像。

在一些实施例中，为保证运算的精度，对象在预设方向上的二维轮廓可以直接通过对象的三维轮廓确定。具体地，三维轮廓可以理解是对象在三维图像中的内表面和/或外表面，从三维轮廓确定二维轮廓的过程可以是沿截面方向在截面位置对三维轮廓进行截切，并将内表面和/或外表面与交截面的相交线作为该对象在二维图像中的二维轮廓。

在一些实施例中，为减少运算的负载，对象在二维图像中的二维轮廓还可以通过三维图像的采样点确定。该方法具体可以参考图6及其相关描述。

在一些实施例中，不同的对象的二维轮廓可以以不同方式呈现，例如，为区别不同对象，各个对象的二维轮廓的颜色、线条样式、线条粗细等表征元素可以不同。

步骤330，获取所述对象在所述预设方向的二维医学图像。步骤330可以由第二获取模块230执行。

在一些实施例中，第二获取模块230可以从医疗设备150或存储设备130中获取对象的二维医学图像。在一些实施例中，第二获取模块230获取的二维医学图像可以是用于生成三维图像的二维医学图像。

在一些实施例中，第二获取模块230获取的二维医学图像的预设方向与截切三维图像的截面的预设方向相同。在一些实施例中，对三维图像进行截切操作时二维层面的截面位置与对象拍摄医学图像时的片层的位置相同。在该情况下，对象在预设方向的二维轮廓与二维医学图像可以一一对应。

步骤340，基于所述二维医学图像和所述二维轮廓生成二维图像。步骤340可以由二维图像生成模块240执行。

在一些实施例中，二维图像包括二维医学图像的图像内容和对象的二维轮廓。

在一些实施例中，对象的二维轮廓所对应的二维层面(即截面)与二维医学图像可以一一对应，即二维层面与二维医学图像重合，二维图像生成模块240可以在截切的三维图像的截断面的二维轮廓上叠加对应片层位置的二维医学图像来生成该片层对应的二维图像，二维图像可以包括对象的三维图像在交截面上的轮廓以及对应的二维医学图像。在一些实施例中，二维层面与二维医学图像的一一对应关系可以包括在预设方向上的平面位置相同的对应关系。在一些实施例中，二维层面与二维医学图像的一一对应关系还可以包括在预设方向上的片层厚度相同的对应关系。如本文中所述，用基于二维医学图像和二维轮廓生成的二维图像也可以称为第二图像。

应当注意的是，基于二维医学图像和二维轮廓生成的二维图像(即第二图像)与前述用于生成三位图像的二维医学图像(即第一图像)是不同的图像。在一些实施例中，第二图像对应的预设方向与第一图像对应的预设方向可以相同。在一些实施例中，第二图像对应的片层厚度与第一图像对应的片层厚度可以相同，或者也可以不同。

在一些实施例中，根据实际医疗计划的需求，二维层面可以不与二维医学图像一一对应，即二维层面与二维医学图像不重合。为便于生成二维图像，本说明书一些实施例还提供一种拟合二维医学图像的方法，以使各个二维层面均对应有二维医学图像。在一些实施例中，拟合二维医学图像的方法可以具有以下步骤：确定二维轮廓对应的预设方向的二维层面在三维图像中的位置信息；基于位置信息，通过预设插值算法确定与预设方向的二维层面相对应的二维医学拟合图像；基于二维医学拟合图像和二维轮廓生成二维图像。

在一些实施例中，位置信息可以包括二维层面的片层位置。在一些实施例中，二维层面的片层位置可以包括片层厚度。在一些实施例中，截切三维图像的二维层面的位置信息与二维医学图像的位置信息可以不同。例如，二维层面的片层厚度为1.5cm，二维医学图像的片层厚度为1cm，则每个二维层面不能对应于一个与其完全重叠的二维医学图像。

在一些实施例中，通过对二维医学图像进行计算可以得到与二维层面的位置信息一一对应的二维医学拟合图像，该二维医学拟合图像包含一个或多个二维医学图像中的医学信息。在一些实施例中，处理设备可以根据预设插值算法对二维医学图像拟合，得到二维医学拟合图像，并将二维轮廓与拟合出的对应片层位置的二维医学拟合图像进行叠加，以得到各个二维图像。例如，二维层面的片层厚度为1.5cm，二维医学图像的片层厚度为1cm，可以通过插值算法计算出片层厚度为1.5cm时二维医学图像的拟合结果，并将拟合出的二维医学拟合图像作为二维层面的对应二维医学图像与二维轮廓进行叠加以生成二维图像。在一些实施例中，预设插值算法可以包括多项式插值(例如，一般多项式插值、拉格朗日插值法、牛顿插值法等)、分段插值(例如，埃尔米特插值、分段三次埃尔米特插值、三次样条插值等)中的一种。在一些实施例中，预设插值算法可以通过机器学习实现。

步骤350，从二维图像中确定感兴趣区域。在一些实施例中，步骤350可以由第二确定模块250执行。

感兴趣区域可以是用户选择的与对象的医疗计划相关的区域。在一些实施例中，用户可以是系统100的操作人员。例如，操作人员可以选取对象(如病灶)所在区域以及危及器官区域作为感兴趣区域，并对感兴趣区域进行标记以便与二维图像中其他不相关的部分进行区分。

在一些实施例中，可以将对象的二维轮廓确定为感兴趣区域。在一些实施例中，受限于成像设备的精度与实际情况，二维医学图像中各个对象的二维轮廓可能不够清晰或准确，例如，4b类甲状腺结节在CT中病理特征之一为结节轮廓不清晰。再例如，图5中下腔静脉与周围组织的对比度角度，轮廓较为模糊。基于这样的情况，对象的二维轮廓可能无法与对象的实际轮廓准确对应，这需要操作人员根据实际情况对二维图像上的二维轮廓进行调整以确定感兴趣区域。

在一些实施例中，操作人员可以基于实际情况(例如，临床表现)，对二维轮廓进行修改，以确定感兴趣区域。例如，当靶区域恶化程度较为严重时，可以扩大靶区域的轮廓，以使得后续医疗中，能够对靶区域增加放射的剂量。在具体执行过程中，可以先获取用户指令；然后基于用户指令编辑二维图像中的二维轮廓以确定感兴趣区域。用户指令可以包括对象的选取指令、轮廓的修改指令等。例如，用户指令可以包括隐藏未选中的对象并调整已选中的对象的二维轮廓的相关指令，处理设备110可以基于用户指令调整二维轮廓从而确定感兴趣区域。关于用户指令的更多内容可以参见图5的相关描述。

在一些实施例中，二维图像(例如，已确定感兴趣区域或未确定感兴趣区域的二维图像)可以通过终端设备120进行呈现。在一些实施例中，二维图像可以直接呈现在终端设备120中，其具体呈现界面可以参考本申请图5所示的呈现方式。

在一些实施例中，对象可以是多个，每个对象可以对应多个二维图像，终端设备120可以基于多个对象中的每一个来呈现二维图像。例如，多个对象可以包括肺部和胃部，肺部所对应的多个二维图像与胃部所对应的多个二维图像不同，操作人员可以在终端设备120中单独显示肺部或胃部所对应的二维图像。

在一些实施例中，操作人员可以设定对象的预设呈现形式。例如，操作人员可以设置为仅呈现对象的二维轮廓，此时，三维图像的截面中各个对象的二维轮廓呈现在二维图像上。

结合图4B，二维图像中的各个对象可以以二维轮廓的方式呈现。其中图4B是D7截面位置的横断面，该横断面中具体包括的对象有：躯干400、肝右叶410、肝左叶420、胃430、脾440、门静脉主干450、肿瘤460、下腔静脉470、腹主动脉480。

在一些实施例中，终端设备120也可以呈现编辑二维轮廓确定感兴趣区域的过程，以便用户进行在编辑过程中实时观察以及进行调整。在一些实施例中，终端设备120也可以对生成的感兴趣区域进行呈现。在一些实施例中，终端设备120还可以将生成的感兴趣区域呈现在三维图像中，以便操作人员结合三维图像观察感兴趣区域的准确性。

在一些实施例中，为进一步降低操作人员的劳动量，提高效率，第二确定模块230也可以自动编辑二维轮廓并确定感兴趣区域，该过程具体可参见图7的相关描述。

图5是根据本说明书一些实施例所示的用户交互界面的示意图。如图5所示，用户交互界面可以包括操作部分以及显示部分。操作部分可以提供感兴趣区域列表以及提供用户对所述感兴趣列表进行编辑操作功能，显示部分可以基于用户对感兴趣区域列表的操作进行相应的显示。

在一些实施例中，当对象为多个时，操作人员可以基于多个对象中的每一个在二维图像中确定感兴趣区域，每个对象所对应的感兴趣区域可以呈现在多个不同的二维图像中。在一些实施例中，用户交互界面可以包括感兴趣区域列表(即图5所示ROI列表)，感兴趣区域列表可以包括各个感兴趣区域所对应的对象名称，用户可以通过在列表中选择对象名称来使用户交互界面呈现对应的二维图像以及二维图像中的感兴趣区域。

在一些实施例中，感兴趣区域列表(即ROI列表)可以包括操作控件，用于为操作人员提供可实现交互操作的按钮。例如，操作控件可以包括选择按钮、可见按钮、编辑按钮、添加按钮、删除按钮、锁定按钮等。在一些实施例中，选择按钮可以用于从多个感兴趣区域中选择其中的一个或多个。在一些实施例中，可见按钮可以用于切换感兴趣区域的可见状态，以便在显示部分显示包括该感兴趣区域的二维图像。在一些实施例中，编辑按钮用于编辑感兴趣区域。在一些实施例中，添加按钮可以用于在感兴趣区域列表中新增感兴趣区域。在一些实施例中，删除按钮可以用于从感兴趣区域列表中删除感兴趣区域。在一些实施例中，锁定按钮用于改变感兴趣区域的可编辑状态。

具体地，可以将各个对象通过添加按钮列入感兴趣区域列表，操作人员可以通过列表确定各个对象是否在二维图像中显示，例如，通过列表中的可见按钮进行是否显示的操作。

在一些实施例，操作人员可以通过编辑按钮进一步编辑各个感兴趣区域轮廓的形状，以重新确定感兴趣区域。例如，当操作人员点击编辑按钮时，对应的感兴趣区域的轮廓可以变为贝塞尔曲线，由此，操作人员可以通过更改贝塞尔曲线的节点数量、位置以及节点弧度实现对感兴趣区域的轮廓的更改。

在一些实施例中，为避免误操作影响感兴趣区域的轮廓，可以通过锁定按钮将感兴趣区域轮廓锁定，在锁定状态下，无法对感兴趣区域执行编辑操作。

在一些实施例中，二维图像还可以包括辅助信息，例如，日期、患者编号、设备代码等相关信息。用户交互界面可以将辅助信息显示在二维图像中。

在一些实施例，考虑到呈现出的二维图像数量较多，不同位置的感兴趣区域间可能间隔有多个(例如，数十个)二维图像，为方便操作人员快速定位，操作人员可以直接从前述感兴趣区域列表中选择感兴趣区域，用户交互界面可以响应用户操作，跳转到用户选择的感兴趣区域对应范围中的二维图像，在对应范围内，用户可以执行遍历操作，例如，可以通过手势或滑动鼠标滚轮以实现上下翻动二维图像。

图6是根据本说明书一些实施例所示的确定对象的二维轮廓的示例性流程图。在一些实施例中，参见图6，流程600包括下述步骤。

步骤610，基于所述三维图像的所述三维轮廓生成预设数量的采样点。

采样点可以是在三维图像的对象的三维轮廓上的点，用于通过采样的方式表征三维图像中的对象的三维轮廓，以减少计算量从而降低处理设备110的负载。

在一些实施例中，步骤610中采样点可以通过采样算法确定，采样算法可以包括均匀分布采样算法、离散分布采样、Box-Muller算法、拒绝采样算法、MCMC采样算法、吉布斯采样算法中的一种或多种。

在一些实施例中，可以通过几何方式确定采样点，例如，可以对三维图像划分多个网格，根据网格将三维图像分割出多个区域，将每个区域作为采样点。例如，图4A所示的人体模型中，各个横纵线条的交点处可以为采样点。

步骤620，基于所述预设数量的采样点，确定所述预设方向的二维层面上对应的多个采样点。

在一些实施例中，当采样点与预设方向的二维层面重合时，可以直接将预设方向的二维层面上的采样点作为该二维层面的采样点。在一些实施例中，当采样点与预设方向的二维层面不重合时，可以将该预设方向的二维层面在垂直于该二维层面方向的预设投影范围内的采样点投影到该二维层面，其中，预设投影范围可以为不大于截切间距(各个预设方向的二维层面之间的距离)的一半的任意值。

在一些实施例中，为避免采样点不与预设方向的二维层面重合，可以根据预设方向的二维层面进行采样，即仅在预设方向的二维层面对应的位置对三维轮廓进行采样。

步骤630，基于所述多个采样点生成所述二维轮廓。

各个二维层面的采样点可以是构成该二维层面的点集，可以基于点集转线算法将采样点生成二维轮廓。其中，三维图像中各个对象的二维轮廓单独计算，互不影响。点集转线算法可以是在平面中基于点的位置关系将点连接为平滑曲线的算法。在一些实施例中，该点集转线算法可以通过软件(如ArcGIS)执行。

在一些实施例中，为进一步降低操作人员的劳动量，提高效率，本说明书一些实施例还提供一种自动编辑二维轮廓并确定感兴趣区域的方法流程700。图7是根据本说明书一些实施例所示的确定感兴趣区域的示例性流程图，参见图7，流程700可以包括下述步骤。

步骤710，获取用户的相关信息。其中，用户的相关信息可以包括操作人员的身份信息(例如，医生ID)。

在一些实施例中，用户的相关信息可以存储在存储设备130中，处理设备110可以对应调用相关信息以实现步骤710。

步骤720，基于所述相关信息获取所述用户的历史操作信息。

在一些实施例中，用户的历史操作信息可以存储在存储设备130中，处理设备110可以根据用户的相关信息(例如，医生ID)调用历史操作信息以实现步骤720。历史操作信息可以是操作人员在历史操作中确定感兴趣区域时的相关信息。在一些实施例中，历史操作信息可以包括历史对象、历史二维轮廓、历史编辑记录和历史感兴趣区域。历史对象可以是历史操作中，操作人员确定感兴趣区域时所对应的对象。在一些实施例中，历史对象可以来自不同的患者。历史二维轮廓可以是历史操作中，历史对象的二维轮廓。历史编辑记录可以是操作人员对各个历史对象的二维轮廓的编辑日志。历史感兴趣区域可以是操作人员在历史操作中确定的感兴趣区域。

步骤730，基于所述历史操作信息确定感兴趣区域。

在一些实施例中，步骤730可以通过将当前信息与历史操作信息匹配来确定感兴趣区域。将当前信息与历史操作信息匹配的方法可以包括如下步骤：

首先，基于对象匹配历史操作信息中相对应的历史对象，获得一个或多个历史操作信息的集合。在一些实施例中，每个历史操作信息对应一个历史对象。

在一些实施例中，可以将对象以及历史对象输入第一特征识别网络，得到对象与历史对象的特征向量，再根据特征向量确定与对象匹配的历史对象，从而确定与历史对象对应的历史操作信息，其中，第一特征识别网络可以是训练好的卷积神经网络。可以将对象的形状、类型以及相关患者信息中的至少一种作为第一特征识别网络的输入，基于该输入，第一特征识别网络可以将一个或多个历史对象和/或操作信息的集合输出。在一些实施例中，第一特征识别网络可以是基于机器学习算法构建的神经网络，例如CNN、RNN网络。在一些实施例中，第一特征识别网络还可以为匹配算法，可以根据文本、语义等信息对历史对象和/或历史操作信息对应部分进行匹配。

然后，基于二维轮廓在多个历史目标部位中匹配轮廓相近的历史二维轮廓，从而确定参考历史编辑记录。

在一些实施例中，可以将二维轮廓以及历史二维轮廓输入第二特征识别网络，得到二维轮廓以及历史二维轮廓的特征向量，再根据特征向量确定与二维轮廓匹配的历史操作信息作为参考历史编辑记录。在一些实施例中，二维轮廓的形状可以表征为特征向量，对应的形状相近可以表征为特征向量相近，例如，特征向量的差异在5％以内的两个轮廓可以视为形状相近的轮廓。

接着，基于参考历史编辑记录中的历史编辑数据确定当前编辑数据。当前编辑数据可以用于作为自动编辑二维轮廓确定感兴趣区域的编辑指令。在一些实施例中，当前编辑数据可以包括编辑二维轮廓的编辑点(如贝塞尔曲线的节点)以及各编辑点的编辑量。

在一些实施例中，可以将历史编辑数据作为当前编辑数据。

在一些实施例中，考虑到二维轮廓与历史二维轮廓可能存在一定的差异，可以基于该差异调整历史编辑数据以生成当前编辑数据。其中，二维轮廓与历史二维轮廓的差异可以为位置的差异、形状的差异等，可以基于该差异生成映射以调整历史编辑数据，例如，二维轮廓与历史二维轮廓在位置相差5cm，两个轮廓的图像大小相差10％，则可以将历史编辑数据按照实际情况位移5cm并缩放10％。

最后，基于当前编辑数据确定感兴趣区域。

在一些实施例中，可以根据当前编辑数据生成用户指令，以使处理设备110响应确定感兴趣区域。

在一些实施例中，基于本说明书实施例确定的感兴趣区域，医生可以确定各个感兴趣区域的放射剂量，并预估各个感兴趣区域的接收计量，以使病灶区域达到治疗要求的同时避免危及器官区域超过耐受量。

本申请实施例可能带来的有益效果包括但不限于：(1)将三维图像以二维图像进行展示，方便操作人员进行相关操作；(2)自动生成感兴趣区域，减少了相关操作人员的工作量。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

Claims (10)

1.一种生成感兴趣区域的方法，其特征在于，所述方法包括：

获取对象的三维图像，所述三维图像包括所述对象的三维轮廓；

基于所述三维图像确定所述对象在预设方向的二维轮廓；

获取所述对象在所述预设方向的二维医学图像；

基于所述二维医学图像和所述二维轮廓生成二维图像；以及

从所述二维图像中确定感兴趣区域。

2.根据权利要求1所述的方法，其特征在于，所述基于所述三维图像确定所述对象在预设方向的二维轮廓包括：

确定所述预设方向；以及

利用所述预设方向的二维层面以预设间距截切所述三维图像以获取所述二维轮廓。

3.根据权利要求2所述的方法，其特征在于，所述三维图像由所述预设方向的多个二维医学图像经预设算法计算生成。

4.根据权利要求2所述的方法，其特征在于，所述二维层面与所述二维医学图像的片层位置重合。

5.根据权利要求2所述的方法，其特征在于，所述二维层面与所述二维医学图像的片层位置不重合；所述基于所述二维医学图像和所述二维轮廓生成二维图像包括：

确定所述二维轮廓对应的所述预设方向的二维层面在所述三维图像中的位置信息；

基于所述位置信息，通过预设插值算法确定与所述预设方向的二维层面相对应的二维医学拟合图像；

基于所述二维医学拟合图像和所述二维轮廓生成二维图像。

6.根据权利要求4或5所述的方法，其特征在于，所述基于所述二维医学图像和所述二维轮廓生成二维图像包括：在所述二维轮廓上叠加对应片层位置的所述二维医学图像或所述二维医学拟合图像生成二维图像。

7.根据权利要求2所述的方法，其特征在于，所述确定所述对象在所述预设方向的二维轮廓，包括：

基于所述三维图像的所述三维轮廓生成预设数量的采样点；

基于所述预设数量的采样点，确定所述预设方向的二维层面上对应的多个采样点；

基于所述多个采样点生成所述二维轮廓。

8.根据权利要求1所述的方法，其特征在于，所述基于所述二维图像确定感兴趣区域包括：

获取用户指令；以及

基于所述用户指令编辑所述二维图像中的所述二维轮廓以确定所述感兴趣区域。

9.根据权利要求1所述的方法，其特征在于，所述三维图像包括AR或VR图像。

10.一种生成感兴趣区域的系统，其特征在于，所述系统包括：

第一获取模块，用于获取对象的三维图像，所述三维图像包括所述对象的三维轮廓；

第一确定模块，用于基于所述三维图像确定所述对象在预设方向的二维轮廓；

第二获取模块，用于获取所述对象在所述预设方向的二维医学图像；

二维图像生成模块，用于基于所述二维医学图像和所述二维轮廓生成二维图像；以及

第二确定模块，用于从所述二维图像中确定感兴趣区域。

Images