CN114616594A - 用于从体积渲染自动生成具有颜色映射的三维多边形模型的系统和方法 - Google Patents

用于从体积渲染自动生成具有颜色映射的三维多边形模型的系统和方法 Download PDF

Info

Publication number
CN114616594A
CN114616594A CN202080074911.2A CN202080074911A CN114616594A CN 114616594 A CN114616594 A CN 114616594A CN 202080074911 A CN202080074911 A CN 202080074911A CN 114616594 A CN114616594 A CN 114616594A
Authority
CN
China
Prior art keywords
mesh
color
volume rendering
mask
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080074911.2A
Other languages
English (en)
Inventor
Y·勒贝尔
J·杜兰特
A·沃尔布朗
I·斯特凡农
A·迪加尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN114616594A publication Critical patent/CN114616594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00Data acquisition or data processing for additive manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Materials Engineering (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

提供了用于从体积渲染自动生成具有颜色映射的三维(3D)多边形模型的系统和方法。该方法包括从体积数据生成体积渲染。该方法包括接收用于启动模型和颜色生成的用户选择。该方法包括响应于用户选择通过分割体积渲染中的至少一个对象来从体积渲染自动生成3D掩模。该方法包括响应于用户选择基于3D掩模自动生成至少一个对象的3D网格。该方法包括响应于用户选择基于体积渲染自动计算网格颜色。将网格颜色应用于3D网格以生成多色3D多边形模型。该方法包括响应于用户选择而自动输出多色3D多边形模型。

Description

用于从体积渲染自动生成具有颜色映射的三维多边形模型的 系统和方法
技术领域
某些实施方案涉及医学成像。更具体地,某些实施方案涉及用于从体积渲染自动生成具有颜色映射的三维(3D)多边形模型的方法和系统。
背景技术
各种医学成像技术可用于对人体中的器官和软组织进行成像,诸如超声成像、计算机断层扫描(CT)扫描、磁共振成像(MRI)等。通常,在医学成像期间,采集成像数据集(包括3D/4D成像期间的体积成像数据集)并且利用成像数据集实时地生成和渲染对应的图像(例如,经由显示器)。然而,在一些情况下,可能期望生成与医学图像数据中描绘的结构相对应的3D对象,这通常被称为3D打印。物理模型的3D打印可提供用于外科手术计划、研究、医疗产品开发、纪念品等的解剖结构。为了执行3D打印,3D打印机设置有待生成的结构的数字模型。然而,数字模型生成是一个耗时的过程,通常涉及大量的用户输入。例如,用户可与图像处理软件交互以执行图像分割以识别和描绘诸如骨、组织和血管等结构。用户可进一步与建模软件交互以从分割的图像数据生成3D模型,例如3D多边形模型。此外,用户可与建模软件交互以将颜色映射到3D多边形模型。然后可以将3D模型提供给3D打印软件以通过3D打印机进行格式化和打印。因此,用于从医学成像数据集3D打印物理模型的典型过程可以是复杂、耗时和具有挑战性的任务。
通过将此类系统与本申请的其余部分中参考附图阐述的一些方面进行比较,常规和传统方法的更多限制和缺点对本领域的技术人员将变得显而易见。
发明内容
提供了一种用于从体积渲染自动生成具有颜色映射的三维(3D)多边形模型的系统和/或方法,如所述权利要求中更完整阐述的。
从以下描述和附图将更全面地理解本发明的这些和其他优点、方面和新颖特征以及其例示的实施方案的细节。
附图说明
图1A是示出根据示例性实施方案的示例性医学成像装置的框图,用于从用于3D打印的体积渲染自动生成具有颜色映射的三维(3D)多边形模型。
图1B是示出根据示例性实施方案的支持三维(3D)打印的示例性医学成像装置的框图,其中卸载的处理用于从体积渲染自动生成具有颜色映射的3D多边形模型。
图2是示出根据各种实施方案的示例性组合模型和颜色生成处理器的框图,所示例性组合模型和颜色生成处理器可操作为从用于3D打印的体积渲染自动生成具有颜色映射的三维(3D)多边形模型。
图3示出了根据各种实施方案的用于从体积渲染生成解剖结构的三维(3D)印刷模型的示例性过程。
图4是示出了根据各种实施方案的示例性步骤的流程图,可执行这些步骤以从用于3D打印的体积渲染自动生成具有颜色映射的三维(3D)多边形模型。
具体实施方式
可以在用于从体积渲染自动生成具有颜色映射的三维(3D)多边形模型的方法和系统中找到某些实施方案。本公开的各方面可以具有以下技术效果:响应于单个用户指令(例如,按钮下压、触摸屏选择等)提供用对应于体积渲染的颜色映射的3D多边形模型,从而减少3D彩色模型创建时间、简化用户工作流程,并且提供基本上匹配体积渲染的逼真3D印刷颜色模型(即,所见即所得)。更具体地,各种实施方案通过基于体积渲染图像生成多色3D网格数据(在本文中也称为多色3D多边形模型)来促进医学成像期间的3D打印。就这一点而言,在医学成像期间,可生成体积数据集,并且可基于体积数据集生成和/或显示体积渲染图像。然后可基于体积渲染图像生成多色3D网格数据,多色3D网格数据被配置成使得能够产生体积渲染图像中一个或多个对象和/或结构的物理体积表示。然后可以将多色3D网格数据用于3D打印。例如,多色3D网格数据可用于生成3D打印数据,用于通过对应的3D打印机启用3D打印。3D打印数据可基于预定义3D打印标准或由3D打印机支持的文件格式来配置和格式化。
当结合附图阅读时,将更好地理解前述发明内容以及以下对某些实施方案的具体实施方式。就附图示出各种实施方案的功能块的图的范围而言,这些功能块不一定表示硬件电路之间的划分。因此,例如,一个或多个功能框(例如,处理器或存储器)可以在单件硬件(例如,通用信号处理器或随机存取存储器块、硬盘等)或多件硬件中来实现。类似地,程序可以是独立程序,可以作为子例程包含在操作系统中,可以是安装的软件包中的功能等。应当理解,各种实施方案不限于附图中所示的布置和工具。还应当理解,可以组合实施方案,或者可以利用其他实施方案,并且可以在不脱离各种实施方案的范围的情况下做出结构的、逻辑的和电气的改变。因此,以下详述不应视为限制性意义,并且本公开的范围由所附权利要求书及其等同物限定。
如本文所用,以单数形式列举并且以字词“一个”或“一种”开头的元件或步骤应理解为不排除多个所述元件或步骤,除非明确地说明此类排除。此外,对“示例性实施方案”、“各种实施方案”、“某些实施方案”、“代表性的实施方案”等的引用不旨在被解释为排除存在也结合了叙述的特征的附加实施方案。此外,除非明确地相反说明,否则“包含”、“包括”或“具有”具有特定性质的一个元件或多个元件的实施方案可以包括不具有该性质的附加元件。
此外,如本文所用,术语“图像”广义地是指可视图像和表示可视图像的数据两者。然而,许多实施方案生成(或被配置为生成)至少一个可视图像。例如,如本文所用,术语“图像”用于指超声图像、磁共振成像(MRI)图像、计算机断层扫描(CT)图像和/或任何合适的医学图像。另外的,相对于超声成像,例如,术语“图像”可指超声模式,诸如B模式(2D模式)、M模式、三维(3D)模式、CF模式、PW多普勒、CW多普勒、MGD,和/或B模式和/或CF的子模式,诸如剪切波弹性成像(SWEI)、TVI、Angio、B-flow、BMI、BMI_Angio,并且在某些情况下还包括MM、CM、TVD,其中“图像”和/或“平面”包括单个波束或多个波束。
此外,如本文所用,术语处理器或处理单元是指可执行各种实施方案需要的所需计算的任何类型的处理单元,诸如单核或多核:CPU、加速处理单元(APU)、图形板、DSP、FPGA、ASIC或它们的组合。
在各种实施方案中,可以例如在软件、固件、硬件或其组合中执行成像处理,包括可视化增强,以形成图像。
图1A是示出根据示例性实施方案的示例医学成像装置100的框图,其用于从用于3D打印的体积渲染自动生成具有颜色映射的三维(3D)多边形模型。参考图1A,医学成像装置100包括医学成像系统110和3D打印机120。
医学成像系统110可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以采集医学图像数据、处理医学图像数据以提供体积渲染,并且处理体积渲染以提供适合于3D打印的多色3D掩模。在各种实施方案中,医学成像系统110可以是超声系统、MRI成像系统、CT成像系统或任何合适的可操作以生成和渲染医学图像数据的成像系统。医学成像系统110可包括成像设备112、显示/控制单元114、显示屏116和用户控件118。成像设备112可为超声探头、MRI扫描仪、CT扫描仪或任何合适的成像设备。成像设备可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以例如通过在患者身体(或其部分)上移动来捕获和/或生成特定类型的成像信号(或与其对应的数据)。
显示/控制单元114可以是一个或多个中央处理单元、微处理器、微控制器等。显示/控制单元114可以是集成部件,或者可分布在各个位置上。例如,显示/控制单元114可为医学成像采集和医学成像可视化提供支持。替代地,医学成像采集和医学成像可视化可以分布在各种系统上。
显示/控制单元114可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以(例如,通过显示屏116)处理图像数据并显示图像。例如,显示/控制单元114可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以获取体积图像数据并对3D和/或4D体积执行体积渲染。显示/控制单元114可用于生成和呈现体积(例如3D和/或4D)数据集的体积渲染(例如2D投影)。就这一点而言,渲染3D和/或4D数据集的2D投影可包括相对于正被显示的对象设置或限定空间上的感知角度,并且然后为数据集中的每个体素限定或计算必要的信息(例如,不透明度和颜色)。这可例如使用合适的传输函数来为每个体素限定RGBA(红色、绿色、蓝色和α)值来完成。所得的体积渲染可包括将深度值与2D投影中的每个像素相关联的深度标测图。显示/控制单元114可用于在显示屏116处呈现体积渲染和/或将所生成的体积渲染存储在任何合适的数据存储介质处。
显示/控制单元114还可支持用户输入(例如,经由用户控件118),以便诸如允许控制医学成像。例如,显示/控制单元114可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以响应于经由用户控件118的用户选择基于体积渲染来生成多色3D多边形模型(即,多色3D表面网格)。作为示例,在显示屏116处查看体积渲染的用户可能希望打印体积渲染中描绘的解剖对象的3D模型。因此,用户可选择3D模型和颜色生成选项以接收多色3D多边形模型,该模型可被提供给3D打印机120的3D打印软件以用多种颜色打印对象的3D模型。多色3D多边形模型可以基本上如体积渲染中所示出现,从而向用户提供从体积渲染到多色3D多边形模型的“所见即所得”单击工作流程。下面参考图2详细描述从体积渲染生成多色3D多边形模型。
用户控件118可以用于输入患者数据、成像参数、设置、选择协议和/或模板、选择检查类型、选择采集和/或显示处理参数、启动体积渲染、启动多色3D网格生成等。在示例性实施方案中,用户控件118可操作以配置、管理和/或控制医学成像系统110中的一个或多个部件和/或模块的操作。用户控件118可包括一个或多个按钮、一个或多个旋转编码器、触摸屏、运动跟踪、语音识别、鼠标设备、键盘、相机和/或能够接收用户指令的任何其它设备。在某些实施方案中,例如,用户控件118中的一者或多者可集成到其它部件诸如显示屏116中。例如,用户控件118可包括触摸屏显示器。
显示屏116可以是能够将视觉信息传送给用户的任何设备。例如,显示屏116可包括液晶显示器、发光二极管显示器和/或任何合适的一种或多种显示器。显示屏116可能够操作以呈现医学图像和/或任何合适的信息。例如,呈现在显示屏上的医学图像可包括超声图像、CT图像、MRI图像、体积渲染、多色3D网格(也称为多色3D多边形模型)和/或任何合适的信息。
3D打印机120可包括可操作以执行3D打印的合适的逻辑、电路、接口和/或代码。就这一点而言,3D打印机120可被配置成例如基于3D打印数据产生(例如,合成)三维物理表示,该3D打印数据对应于和/或基于将要打印对象的多色3D多边形模型。3D打印机120可以是任何市售产品,其可以通过合适的连接、有线(例如,绳)和/或无线(例如,WiFi、蓝牙等)通信地耦接到医学成像系统110。3D打印机120还可以是医学成像系统110本身的一部分,并且甚至可以直接整合到其中。
在操作中,医学成像系统110可用于生成和呈现体积渲染。体积渲染可用于生成适合于3D打印的多色3D多边形模型。医学成像系统110可操作以例如经由3D打印机120支持3D打印。3D打印机120可操作为生成体积渲染中对象和/或结构的物理体积表示。例如,期望的亲本可能想要具有在产科(OB)成像扫描期间显示的超声图像的3D打印输出,诸如胎儿和/或其特定特征(例如,面部)。与对应其的3D打印输出或数据也可用作医学服务的参考,例如帮助生成用于手术计划的模型。可使用3D打印机120合成3D物理对象。3D打印机120可操作以使用添加剂工艺来铺设连续的材料层。合成的体积对象可以具有几乎任何形状和/或几何形状。3D打印机120和/或3D打印操作可基于3D打印数据130来配置和/或控制,3D打印数据可包括对应于和/或表示将要打印对象(或其结构)的信息。3D打印数据170可基于多色3D多边形模型生成,并且可以根据用于3D打印中的一种或多种定义格式来格式化,诸如基于3MF文件格式的数据。就这一点而言,3D打印数据130可基于体积渲染中的对象和/或结构的3D建模来生成和/或配置,并且可以基于3D打印机120中所支持的打印数据格式来格式化。
如图1A所示,3D打印数据130的生成被示出为直接在医学成像系统110中(例如,在显示/控制单元114内,使用其中的合适处理电路系统)完成。然而,本公开不限于此。相反,在一些情况下,可将为基于成像相关信息生成3D打印数据而执行的至少一些处理卸载到专用系统,该专用系统可位于成像设置附近或远离成像设置。
图1B是示出根据示例性实施方案的支持三维(3D)打印的示例性医学成像装置150的框图,其中卸载处理用于从体积渲染自动生成具有颜色映射的3D多边形模型。参考图1B,医学成像装置150可包括医学成像系统110和3D打印机120以及计算系统160。
计算系统160可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作为处理、存储和/或传送数据。就这一点而言,计算系统160可操作为接收3D成像数据170,诸如体积医学成像数据集和/或对应于体积医学成像数据集的体积渲染。计算系统160可操作为从体积渲染生成多色3D表面网格。计算系统160可操作为形成多色3D表面网格以生成可被传输到3D打印机120的3D打印数据130。计算系统160可以是被特别配置与医学成像结合使用的专用设备,包括支持3D打印;或其可以是通用计算系统(例如,个人计算机、服务器等)设置和/或被配置成执行关于计算系统160描述的操作。可使用可用的有线和/或无线连接和/或根据任何合适的通信(和/或联网)标准或协议来进行医学成像装置150中的不同元件之间的通信。
在示例性实施方式中,3D打印数据130可经由医学成像系统110或计算系统160基于多色3D表面网格表示来生成,该多色3D表面网格表示可基于经由医学成像系统110获取的体积数据集的体积渲染来生成。以这种方式提供3D打印确保3D打印与显示屏116上的渲染基本相同。而且,使用这种方法可实现从体数据到3D打印的全自动工作流程,从而允许有效和/或易于使用的操作。此外,渲染操作可增强3D打印的质量。例如,渲染算法可充当非线性滤波器,并且与其它分割方法相比产生非常可靠的深度信息。渲染图像也可用于纹理化3D印迹以增强印刷对象的质量。这种方法还可以允许用户例如基于用户输入(通过用户控件118提供)控制3D打印。例如,3D打印可由用户基于与体积渲染有关的用户输入(例如,视点的选择、缩放、阈值等)来控制。另外的,3D打印可反映可用于体积渲染的技术的用途,例如切除不想要的体积部分(例如,用MagiCut、Vocal、阈值等掩蔽)。换句话说,3D打印可仅包括对象的期望部分。
图2是示出根据各种实施方案的示例性组合模型和颜色生成处理器220的框图,该示例性组合模型和颜色生成处理器可操作以从用于3D打印的体积渲染202自动生成具有颜色映射250的三维(3D)多边形模型。参考图2,装置200包括提供给组合模型和颜色生成处理器220的体积渲染输入202,该处理器基于体积渲染输入202提供多色3D多边形模型。体积渲染输入202可包括对象信息204,该对象信息包括体积数据图像系列206、渲染选项208(例如,切割平面)、分割信息210(例如,如果结合体积渲染执行任何分割)以及体积渲染显示信息212。体积渲染显示信息212可包括不透明度传递函数214和颜色传递函数216。
组合模型和颜色生成处理器220可包括合适的逻辑、电路、接口和/或代码,该逻辑、电路、接口和/或代码可操作以:(1)执行分割处理222以从体积渲染输入202生成3D掩模228,(2)执行网格生成和从3D掩模228处理以创建3D网格238,和(3)基于体积渲染输入202将颜色240施加到网格238以生成多色3D多边形模型250。组合模型和颜色生成处理器220可执行分割处理222以基于体积数据图像系列206、渲染选项208、分割信息(如果有的话)和不透明度传递函数214生成3D掩模。分割处理222可包括3D掩模生成224和后处理226。例如,组合模型和颜色生成处理器220可通过向不透明度传递函数214应用阈值来执行3D掩模生成224,以通过从图像系列206中消除图像数据来创建3D掩模,该图像系列在不透明度传递函数214中具有低于阈值的不透明度。体积渲染选项208(诸如被应用以生成体积渲染的切割平面)也可由执行3D掩模生成224的组合模型和颜色生成处理器220施加,以在形成掩模时从图像系列206中消除图像数据。如果体积渲染202包括视图中存在的分割体,则执行3D掩模生成224的组合模型和颜色生成处理器220可应用来自体积渲染202对象信息204的分割信息210来从图像系列206消除图像数据以形成掩模。所生成的掩模可被后处理226以在执行网格生成和基于3D掩模230进行处理之前改善3D打印的模型质量。例如,后处理226可包括3D孔洞填充、小部件去除和/或任何合适的后处理226机制,以改善所生成的掩模的质量。
组合模型和颜色生成处理器220可执行网格生成和处理230,以基于3D掩模228生成3D网格238。网格生成和处理230可包括移动立方体处理232、平滑滤波234和后处理236。例如,组合模型和颜色生成处理器220可通过从三维体素中提取等值面的多边形网格来执行移动立方体处理232。移动立方体处理232通过3D掩模228的体素继续,一次采用八个邻近位置以形成假想立方体,并且随后确定表示穿过该立方体的等值面的部分所需的多边形。然后将单独的多边形融合到期望的表面上以形成3D网格。在将颜色添加到3D网格240之前,从3D掩模228创建的3D网格可经历表面平滑滤波234和附加的后处理236,例如自交叉点移除、表面抽取和/或任何合适的后处理。
组合模型和颜色生成处理器220可基于体积渲染输入202执行网格着色240。网格着色240可包括基于不透明度传递函数214、颜色传递函数216和来自体积渲染输入202的任何分割信息210的颜色计算242。例如,组合模型和颜色生成处理器220可通过从所选体积渲染视图202检索色图信息216来执行颜色计算242。然后使用图像特性值计算颜色,这些图像特性值可基于不透明度信息214和任何分割信息210,以及3D网格238中每个表面点的色图信息216。作为示例,对于3D网格238的表面的每个点,提供沿着法向具有特性值214、210的法向向量。使用在移动通过法向向量时相交的点上的图像的特性值来计算3D网格238的表面上的每个点的特性值。应用色图信息216来确定对应于3D网格238的表面上的每个点的每个特性值的适当颜色。具有分配的颜色值的所得3D网格是来自组合模型和颜色生成处理器220的输出250作为多色3D多边形模型。例如,多色3D多边形模型250可呈现在显示屏116处、存储在任何合适的数据存储介质处和/或由3D打印软件格式化并且作为3D打印数据130提供给3D打印机120以生成物理模型。
图3示出了根据各种实施方案的用于从体积渲染310生成解剖结构的三维(3D)印刷模型340的示例性过程300。参考图3,过程300包括生成体积渲染310,从体积渲染310生成多色3D多边形模型320,将3D多边形模型320格式化成3D打印数据330,并且打印3D打印数据330以创建体积渲染310中描绘的对象的物理模型340。体积渲染310可包括对象信息202,诸如体积数据图像系列206、渲染选项208(例如,切割平面)、分割信息210(例如,如果结合体积渲染执行任何分割)以及体积渲染显示信息212。体积渲染显示信息212可包括不透明度传递函数214和颜色传递函数216。体积渲染310可呈现在医学成像系统110的显示屏116处。体积渲染310可用于诸如响应于来自用户控件118的用户输入选择,生成多色3D多边形模型320。3D多边形模型320可与体积渲染310基本上相同。3D多边形模型320可由医学成像系统110和/或计算系统160的显示/控制单元114的组合模型和颜色生成处理器220基于体积渲染310生成。例如,组合模型和颜色生成处理器220可使用体积数据图像系列206、渲染选项208、分割信息210和/或不透明度传递函数214来执行3D掩模生成224和后处理226。组合模型和颜色生成处理器220可使用3D掩模228来使用移动立方体处理232、平滑滤波234和后处理236生成网格。组合模型和颜色生成处理器220可基于颜色传递函数216和来自体积渲染310的特性值(诸如不透明度传递函数214和任何分割信息210)将颜色应用到3D网格238。彩色网格可产生多色3D多边形模型320,该模型可被提供给3D打印软件以格式化成3D打印数据330。例如,用于将多色3D多边形模型320格式化成3D打印数据330的3D打印软件可以是STRATASYS的GRABCAD,如图3所示。3D打印数据330可被提供给3D打印机120以打印解剖对象的物理模型340。
图4是根据各种实施方案的示例性步骤402至416的流程图400,可执行这些步骤以从用于3D打印的体积渲染202、310自动生成具有颜色映射的三维(3D)多边形模型250、320。参考图4,示出了包括示例性步骤402至416的流程图400。某些实施方案可省略一个或多个步骤,和/或以与所列顺序不同的顺序执行步骤,和/或组合下文讨论的某些步骤。例如,在某些实施方案中可能不执行一些步骤。又如,某些步骤可能以与下面所列时间顺序不同的时间顺序执行,包括同时执行。
在步骤402处,通过医学成像系统110的扫描仪112获取体积数据。例如,体积数据可以是用超声探头获取的超声图像数据、用CT扫描仪获取的CT图像数据、用MRI扫描仪获取的MRI图像数据和/或从医学成像设备扫描仪获取的任何合适的医学体积成像数据。
在步骤404处,可生成并显示体积数据的体积渲染202、310。例如,医学成像系统110或计算机系统160可基于在步骤402处获取的体积数据生成体积渲染202、310。体积渲染202、310可包括对象信息204,该对象信息包括体积数据图像系列206、渲染选项208(例如,切割平面)、分割信息210和体积渲染显示信息212。体积渲染显示信息212可包括不透明度传递函数214和颜色传递函数216。体积渲染202、310可呈现在医学成像系统110的显示屏116处和/或在任何合适的显示系统处。
在步骤406处,接收用于启动模型和颜色生成的选择。例如,医学成像系统110或计算机系统160可接收指示系统110、160创建多色3D多边形模型250、320的用户选择。在各种实施方案中,用户选择可以是例如经由用户控件118接收的单个输入。作为示例,单个用户输入可以是启动从体积渲染202、310创建多色3D多边形模型250、320的自动化过程的按钮下压、触摸屏选择等。
在步骤408,通过分割222、224、226视图202、310中的对象,从体积渲染视图202、310生成3D掩模228。例如,医学成像系统110或计算机系统160的组合模型和颜色生成处理器220可执行分割处理222以从体积渲染输入202生成3D掩模228。医学成像系统110或计算机系统160的组合模型和颜色生成处理器220可执行分割处理222以基于体积数据图像系列206、渲染选项208、分割信息(如果有的话)和不透明度传递函数214来生成3D掩模。分割处理222可包括3D掩模生成224和后处理226,诸如3D孔洞填充、小部件去除和/或任何合适的后处理226机制以改善所生成的掩模的质量。
在步骤410处,可基于3D掩模228针对每个对象生成和处理网格238。例如,医学成像系统110或计算机系统160的组合模型和颜色生成处理器220可从3D掩模228执行网格生成和处理以创建3D网格238。网格生成和处理230可包括移动立方体处理232、平滑滤波234和后处理236,例如自交叉点移除、表面抽取和/或任何合适的3D网格后处理。
在步骤412,可针对每个对象从体积渲染视图202、310计算240、242网格颜色。例如,组合模型和颜色生成处理器220可基于体积渲染输入202、310来执行网格着色240,以生成多色3D多边形模型250、320。网格着色240可包括基于不透明度传递函数214、颜色传递函数216和来自体积渲染输入202的任何分割信息210的颜色计算242。具有分配的颜色值的3D网格可以是来自组合模型和颜色生成处理器220的输出250作为多色3D多边形模型320。
在步骤414处,可将彩色网格250、320输入到3D打印软件解决方案中。例如,可将多色3D多边形模型250提供给3D打印软件以格式化彩色网格250、320以供3D打印机120使用。
在步骤416,可基于彩色网格250、320来执行3D打印。例如,由3D打印软件格式化330的彩色网格250、320可由3D打印机120使用以生成物理模型340。
本公开的方面提供了一种方法400和系统110、160,用于从体积渲染202、310自动生成具有颜色映射的三维(3D)多边形模型250、320。根据各种实施方案,方法400可包括由至少一个处理器114、160从体积数据生成404体积渲染202、310。方法400可包括由至少一个处理器114、160接收406用于启动模型和颜色生成的用户选择。方法400可包括由至少一个处理器114、160、220、222、224响应于用户选择,通过分割体积渲染202、310中的至少一个对象来自动执行从体积渲染202、310生成408三维(3D)掩模228。方法400可包括由至少一个处理器114、160、220、230、232响应于用户选择自动执行基于3D掩模228生成410至少一个对象的3D网格238。方法400可包括由至少一个处理器114、160、220、240、242响应于用户选择自动执行基于体积渲染202、310计算412网格颜色。网格颜色可应用于3D网格238以生成多色3D多边形模型250、320。方法400可包括由至少一个处理器114、160、220响应于用户选择自动执行输出多色3D多边形模型250、320。
在代表性实施方案中,生成408 3D掩模228包括将阈值应用到不透明度传递函数214,以消除在不透明度传递函数214中具有低于阈值的不透明度的图像数据。在示例性实施方案中,生成408 3D掩模228包括应用体积渲染202、310的切割平面208。在某些实施方案中,方法400可包括3D掩模228的后处理408、226。后处理408、226可包括3D孔洞填充和小部件去除中的一者或两者。在各种实施方案中,生成410 3D网格238包括执行移动立方体处理232。在代表性实施方案中,方法400可包括执行410对3D网格238的表面平滑滤波234和对3D网格238进行后处理236。后处理236可包括自交叉点移除和表面抽取236中的一者或两者。在示例性实施方案中,计算410网格颜色可至少部分地基于体积渲染202、310的不透明度传递函数214和颜色传递函数216。在某些实施方案中,方法400可包括向3D打印软件提供414多色3D多边形模型250、320,以格式化多色3D多边形模型330以供3D打印机120使用。
各种实施方案提供了一种系统110、160,用于从体积渲染202、310自动生成具有颜色映射的三维(3D)多边形模型250、320。该系统可包括电子设备110、160,该电子设备包括至少一个处理器114、160、220。至少一个处理器114、160可操作为从体积数据生成体积渲染202、310。至少一个处理器114、160可操作为:接收用以启动模型和颜色生成的选择。响应于用户选择,至少一个处理器114、160、220、222、224可操作为通过分割体积渲染202、310中的至少一个对象来从体积渲染202、310自动生成三维(3D)掩模228。响应于用户选择,至少一个处理器114、160、220、230、232可操作为基于3D掩模228自动生成至少一个对象的3D网格238。响应于用户选择,至少一个处理器114、160、220、240、242可操作为基于体积渲染202、310自动计算网格颜色。网格颜色可应用于3D网格238以生成多色3D多边形模型250、320。响应于用户选择,至少一个处理器114、160、220可操作为自动输出多色3D多边形模型250、320。
在示例性实施方案中,电子设备110、160可操作为从医学成像设备110接收体积数据,该医学成像设备可操作为基于特定成像技术生成体积数据。在某些实施方案中,电子设备110、160可包括医学成像设备110,该医学成像设备可操作为基于特定成像技术生成体积数据。在各种实施方案中,至少一个处理器114、160、220、222、224可操作为通过向不透明度传递函数214应用阈值以消除在不透明度传递函数214中具有低于阈值的不透明度的图像数据和/或应用体积渲染202、310的切割平面208来生成3D掩模228。在代表性实施方案中,至少一个处理器114、160、220、222、226可操作为对3D掩模228执行3D孔洞填充和对3D掩模228执行小部件去除中的一者或两者。在某些实施方案中,至少一个处理器114、160、220、230、234、236可操作为对3D网格238执行表面平滑滤波,并且通过执行自交叉点移除和表面抽取中的一者或两者来对3D网格238进行后处理。在示例性实施方案中,至少一个处理器114、160、220可操作以向3D打印软件提供多色3D多边形模型250、320,以格式化多色3D多边形模型330以供3D打印机120使用。
某些实施方案提供一种非暂态计算机可读介质,该非暂态计算机可读介质上存储有计算机程序,该计算机程序具有至少一个代码段。该至少一个代码段可由机器执行以使该机器执行步骤400。步骤400可包括从体积数据生成404体积渲染202、310。步骤400可包括接收406用于启动模型和颜色生成的用户选择。步骤400可包括响应于用户选择,通过分割体积渲染202、310中的至少一个对象来从体积渲染202、310生成408三维(3D)掩模228。步骤400可包括响应于用户选择自动执行基于3D掩模228生成410至少一个对象的3D网格238。步骤400可包括响应于用户选择,基于体积渲染202、310自动执行计算412网格颜色。网格颜色可应用于3D网格238以生成多色3D多边形模型250、320。步骤400可包括响应于用户选择自动执行输出多色3D多边形模型250、320。
在各种实施方案中,生成3D掩模408可包括向不透明度传递函数214应用阈值,以消除在不透明度传递函数214中具有低于阈值的不透明度的图像数据和/或应用体积渲染202、310的切割平面208。在代表性实施方案中,步骤400可包括向3D网格238执行410表面平滑滤波234,以及对3D网格238进行后处理236。后处理236可包括自交叉点移除和表面抽取中的一者或两者。在示例性实施方案中,计算412网格颜色可至少部分地基于体积渲染202、310的不透明度传递函数214和颜色传递函数216。在某些实施方案中,步骤400可包括向3D打印软件提供414多色3D多边形模型250、320,以格式化多色3D多边形模型330以供3D打印机120使用。
如本文所用,术语“电路”是指物理电子部件(即,硬件)以及可配置硬件、由硬件执行和/或以其他方式与硬件相关联的任何软件和/或固件(“代码”)。例如,如本文所用,当执行一条或多条第一代码时,特定处理器和存储器可包括第一“电路”,并且在执行一条或多条第二代码时,特定处理器和存储器可包括第二“电路”。如本文所用,“和/或”表示列表中的由“和/或”连结的项中的任一个或多个项。例如,“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。作为另一个示例,“x、y和/或z”表示七元素集{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。如本文所用,术语“示例性”表示用作非限制性示例、实例或例证。如本文所用,术语“例如(for example/e.g.)”引出一个或多个非限制性示例、实例或例证的列表。如本文所用,电路“可操作为”每当该电路包括执行功能的必需硬件和代码(如果需要的话)时就执行该功能,不管是否通过某些用户可配置的设置禁用或不启用该功能的执行。
其他实施方案可提供计算机可读设备和/或非暂态计算机可读介质,和/或机器可读设备和/或非暂态机器可读介质,该计算机可读设备和/或非暂态计算机可读介质和/或该机器可读设备和/或非暂态机器可读介质上存储有机器代码和/或具有可由机器和/或计算机执行的至少一个代码段的计算机程序,从而使机器和/或计算机执行如本文所述的用于从体积渲染自动生成具有颜色映射的三维(3D)多边形模型的步骤。
因此,本公开可在硬件、软件或硬件和软件的组合中实现。本公开可能以集中方式在至少一个计算机系统中实现,或以分布式方式实现,其中不同的元件分布在若干互连的计算机系统上。适于执行本文所述的方法的任何种类的计算机系统或其他装置都是合适的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统,该程序在加载和执行时控制计算机系统,使得其执行本文所述的方法。
本公开也可嵌入计算机程序产品中,该计算机程序产品包括能够实现本文所述的方法的所有特征,并且当加载到计算机系统中时能够执行这些方法。本文中的计算机程序是指以任何语言、代码或符号表示的一组指令的任何表达,这些指令旨在使具有信息处理能力的系统直接执行特定功能或在以下两项或其中一项之后执行特定功能:a)转换为另一种语言、代码或符号;b)以不同的物质形式进行复制。
虽然已经参考某些实施方案来描述了本发明,但是本领域的技术人员应当理解,在不脱离本发明的范围的情况下,可以进行各种改变并可以替换等同物。另外,在不脱离本发明的范围的情况下,可以进行许多修改以使特定情况或材料适应于本发明的教导。因此,本发明不旨在限于所公开的特定实施方案,而是本发明将包括落入所附权利要求书的范围内的所有实施方案。

Claims (20)

1.一种方法,所述方法包括:
由至少一个处理器从体积数据生成体积渲染;
由所述至少一个处理器接收用于启动模型和颜色生成的用户选择;以及
响应于所述用户选择,由所述至少一个处理器自动执行:
通过分割所述体积渲染中的至少一个对象来从所述体积渲染生成三维(3D)掩模;
基于所述3D掩模生成所述至少一个对象的3D网格;
基于所述体积渲染计算网格颜色,将所述网格颜色应用于所述3D网格以生成多色3D多边形模型;以及
输出所述多色3D多边形模型。
2.根据权利要求1所述的方法,其中所述生成所述3D掩模包括向不透明度传递函数应用阈值以消除在所述不透明度传递函数中具有低于所述阈值的不透明度的图像数据。
3.根据权利要求1所述的方法,其中所述生成所述3D掩模包括应用所述体积渲染的切割平面。
4.根据权利要求1所述的方法,所述方法包括对所述3D掩模进行后处理,其中所述后处理包括3D孔洞填充和小部件去除中的一者或两者。
5.根据权利要求1所述的方法,其中所述生成所述3D网格包括执行移动立方体处理。
6.根据权利要求1所述的方法,所述方法包括:
对所述3D网格执行表面平滑滤波,以及
对所述3D网格进行后处理,其中所述后处理包括自交叉点移除和表面抽取中的一者或两者。
7.根据权利要求1所述的方法,其中所述计算网格颜色至少部分地基于所述体积渲染的不透明度传递函数和颜色传递函数。
8.根据权利要求1所述的方法,所述方法包括将所述多色3D多边形模型提供给3D打印软件以格式化所述多色3D多边形模型以供3D打印机使用。
9.一种系统,所述系统包括:
电子设备,所述电子设备包括至少一个处理器,所述处理器可操作为:
从体积数据生成体积渲染;
接收用于启动模型和颜色生成的用户选择;
响应于所述用户选择自动执行至少以下操作:
通过分割所述体积渲染中的至少一个对象来从所述体积渲染生成三维(3D)掩模;
基于所述3D掩模生成所述至少一个对象的3D网格;
基于所述体积渲染计算网格颜色,将所述网格颜色应用于所述3D网格以生成多色3D多边形模型;以及
输出所述多色3D多边形模型。
10.根据权利要求9所述的系统,其中所述电子设备可操作为从医学成像设备接收所述体积数据,所述医学成像设备可操作为基于特定成像技术生成所述体积数据。
11.根据权利要求9所述的系统,其中所述电子设备包括医学成像设备,所述医学成像设备可操作为基于特定成像技术生成所述体积数据。
12.根据权利要求9所述的系统,其中所述至少一个处理器可操作为通过以下中的一者或两者生成所述3D掩模:
向不透明度传递函数应用阈值以消除在所述不透明度传递函数中具有低于所述阈值的不透明度的图像数据,以及
应用所述体积渲染的切割平面。
13.根据权利要求9所述的系统,其中所述至少一个处理器可操作为对所述3D掩模执行3D孔洞填充和对所述3D掩模执行小部件去除中的一者或两者。
14.根据权利要求9所述的系统,其中所述至少一个处理器可操作为:
对所述3D网格执行表面平滑滤波,以及
通过执行自交叉点移除和表面抽取中的一者或两者来对所述3D网格进行后处理。
15.根据权利要求9所述的系统,其中所述至少一个处理器可操作为将所述多色3D多边形模型提供给3D打印软件以格式化所述多色3D多边形模型以供3D打印机使用。
16.一种非暂态计算机可读介质,所述非暂态计算机可读介质存储有计算机程序,所述计算机程序具有至少一个代码段,所述至少一个代码段能够由机器执行以使得所述机器执行一个或多个步骤,所述一个或多个步骤包括:
从体积数据生成体积渲染;
接收用于启动模型和颜色生成的用户选择;
响应于所述用户选择自动执行至少以下操作:
通过分割所述体积渲染中的至少一个对象来从所述体积渲染生成三维(3D)掩模;
基于所述3D掩模生成所述至少一个对象的3D网格;
基于所述体积渲染计算网格颜色,将所述网格颜色应用于所述3D网格以生成多色3D多边形模型;以及
输出所述多色3D多边形模型。
17.根据权利要求16所述的非暂态计算机可读介质,其中所述生成所述3D掩模包括以下一者或两者:
向不透明度传递函数应用阈值以消除在所述不透明度传递函数中具有低于所述阈值的不透明度的图像数据,以及
应用所述体积渲染的切割平面。
18.根据权利要求16所述的非暂态计算机可读介质,所述非暂态计算机可读介质包括:
对所述3D网格执行表面平滑滤波,以及
对所述3D网格进行后处理,其中所述后处理包括自交叉点移除和表面抽取中的一者或两者。
19.根据权利要求16所述的非暂态计算机可读介质,其中所述计算网格颜色至少部分地基于所述体积渲染的不透明度传递函数和颜色传递函数。
20.根据权利要求16所述的非暂态计算机可读介质,所述非暂态计算机可读介质包括将所述多色3D多边形模型提供给3D打印软件以格式化所述多色3D多边形模型以供3D打印机使用。
CN202080074911.2A 2019-11-18 2020-11-05 用于从体积渲染自动生成具有颜色映射的三维多边形模型的系统和方法 Pending CN114616594A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962936838P 2019-11-18 2019-11-18
US62/936,838 2019-11-18
US16/731,458 2019-12-31
US16/731,458 US11094116B2 (en) 2019-11-18 2019-12-31 System and method for automatic generation of a three-dimensional polygonal model with color mapping from a volume rendering
PCT/US2020/059096 WO2021101721A2 (en) 2019-11-18 2020-11-05 System and method for automatic generation of a three-dimensional polygonal model with color mapping from a volume rendering

Publications (1)

Publication Number Publication Date
CN114616594A true CN114616594A (zh) 2022-06-10

Family

ID=75909597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080074911.2A Pending CN114616594A (zh) 2019-11-18 2020-11-05 用于从体积渲染自动生成具有颜色映射的三维多边形模型的系统和方法

Country Status (4)

Country Link
US (1) US11094116B2 (zh)
EP (1) EP4062378A2 (zh)
CN (1) CN114616594A (zh)
WO (1) WO2021101721A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4293626A1 (de) * 2022-06-15 2023-12-20 Siemens Healthcare GmbH Verfahren und vorrichtung zum bereitstellen eines dreidimensionalen modells eines objekts

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084593A (en) * 1998-05-14 2000-07-04 Mitsubishi Electric Information Technology Center America, Inc. Surface net smoothing for surface representation from binary sampled data
US7003061B2 (en) * 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
WO2007015365A1 (ja) * 2005-08-01 2007-02-08 National University Corporation NARA Institute of Science and Technology 情報処理装置およびプログラム
US7961187B2 (en) 2007-03-20 2011-06-14 The University Of North Carolina Methods, systems, and computer readable media for flexible occlusion rendering
US8522144B2 (en) 2009-04-30 2013-08-27 Apple Inc. Media editing application with candidate clip management
ES2370727B2 (es) * 2010-03-18 2013-03-13 Universidad Politécnica de Madrid Método para visualizar la información contenida en imágenes tridimensionales del corazón.
US8579620B2 (en) 2011-03-02 2013-11-12 Andy Wu Single-action three-dimensional model printing methods
JP5814853B2 (ja) 2012-04-18 2015-11-17 富士フイルム株式会社 立体モデルデータ生成装置および方法並びにプログラム
EP3072111A4 (en) * 2013-11-20 2017-05-31 Fovia, Inc. Volume rendering polygons for 3-d printing
JP2017503244A (ja) * 2013-11-26 2017-01-26 フォヴィア インコーポレイテッドFovia,Inc 多角形オブジェクト上にカラーマッピングをボリュームレンダリングするための方法およびシステム
US10492761B2 (en) 2015-10-14 2019-12-03 General Electric Company Utilizing depth from ultrasound volume rendering for 3D printing
US10157500B2 (en) 2015-10-14 2018-12-18 General Electric Company Utilizing depth from ultrasound volume rendering for 3D printing
US10275909B2 (en) * 2016-11-23 2019-04-30 3Dsystems, Inc. Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
WO2019165380A1 (en) * 2018-02-26 2019-08-29 VRcaffeine LLC Rendering volumes using angle gradations in multiple dimensions
US11170552B2 (en) * 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time

Also Published As

Publication number Publication date
US11094116B2 (en) 2021-08-17
WO2021101721A3 (en) 2021-07-29
WO2021101721A2 (en) 2021-05-27
US20210150811A1 (en) 2021-05-20
EP4062378A2 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
US20150025666A1 (en) Three dimensional printed replicas of patient's anatomy for medical applications
US10499879B2 (en) Systems and methods for displaying intersections on ultrasound images
EP3545500B1 (en) System and method for rendering complex data in a virtual reality or augmented reality environment
US20110082667A1 (en) System and method for view-dependent anatomic surface visualization
JP6040193B2 (ja) 3次元方向設定装置および方法並びにプログラム
EP3242602B1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
CN109157284A (zh) 一种脑肿瘤医学影像三维重建显示交互方法及系统
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
CN114902288A (zh) 利用基于解剖结构的三维(3d)模型切割进行三维(3d)打印的方法和系统
US8098917B2 (en) Automatically updating a geometric model
US10832459B2 (en) Three-dimensional image display apparatus for displaying target to which color is assigned
US8933926B2 (en) Image processing apparatus, method, and program
JP2006000127A (ja) 画像処理方法および装置並びにプログラム
CN114616594A (zh) 用于从体积渲染自动生成具有颜色映射的三维多边形模型的系统和方法
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
CN112568927A (zh) 用于为三维的和四维的超声图像提供旋转预览的方法和系统
CN114098797B (zh) 用于提供解剖取向指示符的方法和系统
US10403039B2 (en) Virtual interactive definition of volumetric shapes
US8326007B2 (en) Methods and apparatus for combined 4D presentation of quantitative regional measurements and morphology
US10163529B2 (en) Display processing method and apparatus
CN111403007A (zh) 一种超声成像的优化方法、超声成像系统和计算机可读存储介质
EP4258216A1 (en) Method for displaying a 3d model of a patient
CN107038747B (zh) 一种医学影像文件多平面处理方法及其装置
Preim et al. Visualization, Visual Analytics and Virtual Reality in Medicine: State-of-the-art Techniques and Applications
CN114882195A (zh) 一种基于三维可视化的医疗图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination