CN111031961B - 使用表面引导裁剪的体积渲染 - Google Patents
使用表面引导裁剪的体积渲染 Download PDFInfo
- Publication number
- CN111031961B CN111031961B CN201880056344.0A CN201880056344A CN111031961B CN 111031961 B CN111031961 B CN 111031961B CN 201880056344 A CN201880056344 A CN 201880056344A CN 111031961 B CN111031961 B CN 111031961B
- Authority
- CN
- China
- Prior art keywords
- volume
- data
- anatomical structure
- jaw
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 67
- 210000003484 anatomy Anatomy 0.000 claims abstract description 41
- 238000012876 topography Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 45
- 238000010008 shearing Methods 0.000 claims description 10
- 210000001847 jaw Anatomy 0.000 description 55
- 238000002591 computed tomography Methods 0.000 description 21
- 238000004590 computer program Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 210000000214 mouth Anatomy 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 210000004373 mandible Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 210000004763 bicuspid Anatomy 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000003298 dental enamel Anatomy 0.000 description 1
- 210000004268 dentin Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pulmonology (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Generation (AREA)
Abstract
公开了对来自患者体内的介于中间的解剖结构的3D体积数据的体积渲染中的表面引导裁剪。表示第一解剖结构的形貌的数字3D表示用于限定剪切表面或边界体积，然后在生成第一解剖结构的2D投影时在体积渲染中使用剪切表面或边界体积以从介于中间的结构排除数据。
Description
技术领域
本公开总体上涉及在3D体积数据(例如计算机断层扫描(CT)数据) 的体积渲染中，将表面信息用于裁剪掉不需要或不重要的数据。本公开具有在多个医学领域内的应用，例如在牙科内的应用。
背景技术
3D体积数据的体积渲染可以生成对象的2D投影，就像它从相对于被扫描对象的给定视点出现一样。对于每个不同的视点，都会生成新的2D投影。当体积渲染应仅选择与特定解剖结构有关的3D体积数据时，可使用剪切平面和/或边界框来排除3D体积数据与其他解剖结构有关的部分。然后限定应包括在体积渲染中的包围3D体积数据的剪切平面，以使位于剪切平面外部的对象在生成的2D投影中不可见。例如，当使用剪切平面排除来自要不是这样的话可能会阻挡视图的部分的数据时，对来自给定身体部位的患者身体内部点的3D体积数据的体积渲染可以被更好地观看。 US9,390,546描述了与去除3D超声图像中的遮挡有关的剪切平面。
但是，通常剪切平面或简单的边界框无法提供与所选部分有关的3D 体积数据的足够详细的选择，尤其是对于带有介于中间的部分的闭塞对象而言。当不能将剪切平面或边界框布置为完全分离与所选身体部位有关的数据时，渲染过程的结果要么包括与其他身体部位有关的其他部分，要么必须省略所选身体部位的某些部分。
提供具有介于中间的表面的闭塞对象的高选择性体积渲染仍然是一个问题。
发明内容
根据一个实施例，公开了一种用于选择性地体积渲染来自患者的3D 体积数据的方法。该方法包括：
-获得包括患者体内的第一解剖结构和第二解剖结构的数据的3D体积数据集；
-获得包括表示第一解剖结构的形貌的第一部分的第一数字3D表示；
-至少部分地从第一数字3D表示的第一部分限定第一剪切表面；和
-通过3D体积数据集的体积渲染来生成第一解剖结构的2D投影，其中，应用第一剪切表面以排除与第二解剖结构有关的3D体积数据。
根据一个实施例，公开了一种用于选择性地体积渲染来自患者的3D 体积数据的方法。该方法包括：
-获得包括患者体内的第一解剖结构和第二解剖结构的数据的3D体积数据集；
-获得包括表示第一解剖结构的形貌的第一部分的第一数字3D表示；
-至少部分地从第一数字3D表示的第一部分限定边界体积；和
-通过3D体积数据集的体积渲染来生成第一解剖结构的2D投影，其中，应用边界体积以排除与第二解剖结构有关的3D体积数据。
使用不是简单平面而是考虑到第一解剖结构的形状的剪切表面使得可以在体积渲染中分离来自介于中间的解剖结构的3D体积数据，并且可以从仅对于第一解剖结构的数据生成所生成的2D投影。对于考虑到该形状来使用边界体积也是同理，与在体积渲染中应用简单的边界框的情况相比，这提供了更优越的结果。
可以通过任何扫描技术来获得第一数字3D表示，这些扫描技术可以提供表示第一解剖结构的形貌的信息。对于诸如牙齿的可见解剖结构，例如使用口内扫描仪的表面扫描可以提供第一数字3D表示，而对于嵌入患者体内的解剖结构，可以通过亚表面扫描技术(例如光学相干断层扫描、超声和X射线扫描，例如使用造影流体)并且然后对记录的数据进行分割来提供第一数字3D表示。
即使主要根据牙科内的应用来描述本公开，但是所描述的方法、计算机程序产品和系统也可以应用于任何体积数据集，其中，结构的介于中间的表面使得至少几乎不能执行高度选择性的体积渲染。同样，患者可以是人类或动物。
在一些实施例中，第一解剖结构包括在患者的第一颌中的牙齿结构，并且第二解剖结构包括在患者的相对的第二颌中的牙齿结构。第一颌中的牙齿结构可以是颌骨和/或第一颌的至少一部分牙齿，使得3D体积数据集包括所述颌骨和/或牙齿的数据。3D体积数据集可以进一步包括相对的第二颌中的牙齿结构的数据，特别是相对的颌中的牙齿的数据。本文公开的剪切表面或边界体积的功能是在体积渲染中排除诸如与第二颌中的牙齿结构有关的体积数据之类的数据，与以来简单的剪切平面或边界框的现有技术公开相比，提供了对3D体积数据的改进的选择。
通过对患者进行X射线扫描(为了计划植入物治疗)获得的3D体积数据集通常具有两个颌中的牙齿结构的数据，例如与上颌和下颌中的牙齿和颌骨有关的数据。使用根据第一颌的牙齿成形的剪切表面或边界体积使得生成与第一颌中的牙齿结构相关的3D体积数据的2D投影的体积渲染可高效地排除来自相对的颌的体积数据，而不会导致在体积渲染中省略来自第一颌的某些3D体积数据。即，当应用从第一数字3D表示限定的第一剪切表面时，可以在体积渲染中排除与第二颌的牙齿结构有关的3D体积数据，以使2D投影不包括来自第二颌的部分，其否则可能会在生成的2D 投影中阻挡的第一颌的视图。
在一些实施例中，第一数字3D表示包括第一表面扫描，并且第一部分表示患者的第一颌中的一个或多个牙齿的形貌。考虑当牙齿咬合布置时牙齿的形貌是特别有利的，以使得体积渲染可仅选择与所选颌的牙齿(和颌骨)有关的3D体积数据。如果将忽略牙齿形貌的简单剪切平面用于从咬合布置的牙齿记录的3D体积数据，则生成的2D投影将包括相对颌的 3D体积数据，或者在体积渲染中将不包括来自所选颌的某些数据。在限定第一剪切表面时考虑到患者牙齿的形貌使得即使在上颌和下颌闭合布置的情况下患者闭嘴时记录CT扫描，也可以在第一颌的体积渲染中排除来自相对颌的体积数据。在这种情况下，不能使用平坦的剪切平面或仅具有平坦表面的边界框来区分上和下颌的牙齿。
可以通过技术人员已知的各种方式来获得患者牙齿组的表面扫描，例如，通过口内扫描，或通过扫描牙齿的印模或由这种印模制成的牙齿的物理模型。表面扫描包括表示牙齿的形貌的形貌数据，并具有表示在进行选择性渲染的口腔的一部分中的一个或多个牙齿的形貌的第一部分。可以以各种方式来选择第一表面扫描的与所述第一部分相对应的部分，诸如通过使用指针工具来在显示在例如计算机屏幕上的表面扫描的可视化上指示第一部分。
在一些实施例中，该方法包括创建一个或多个边界体积，该边界体积被布置为包围包括在体积渲染中的3D体积数据，其中，一个边界体积的一个表面的至少一部分由第一剪切表面形成。
在US9,036,881中，通过删除与其他部位有关的3D体积数据来生成例如患者的一个颌中的牙齿的修改的3D模型。在本公开的一些实施例中，替代地选择在通过体积渲染生成2D投影时使用哪些3D体积数据，只要所有数据仍可与生成的2D投影一起在2D切片中可视化，就可以保持所有可用数据。
所公开的实施例的方法还可以用于避免在所生成的2D投影中由散射引起的缺陷，例如由在患者牙齿中的填充物上的散射引起的3D体积数据中的缺陷。替代或除了排除与第二解剖结构有关的3D体积数据之外，在体积渲染中排除3D体积数据中的散射缺陷。即，除了产生更好的查看选项外，所公开的基于剪切表面的裁剪还将仅选择来自颌本身的数据，因此从不显示咬合时或牙齿附近的散射缺陷，从而无需使用CT散射清洁方法。
在一些实施例中，该方法还包括至少部分地从第一数字3D表示的第二第一部分限定第二剪切表面。第二剪切表面可用于限定在体积渲染过程中使用的3D体积数据的选择的相对边界。然后布置第二剪切表面，以使包括在体积渲染中的3D体积数据位于两个剪切平面之间。在牙科应用中，第二剪切表面可以是平面，因为第二剪切表面通常仅限定远离咬合牙齿的介于中间的表面定位的3D体积数据的体积的边界。在一些实施例中，第一和第二剪切表面是被用于选择在体积渲染中包括哪些3D体积数据的边界体积的一部分。
可以通过诸如计算机断层扫描(CT)X射线或锥形束CT(CBCT)扫描的X射线扫描或诸如MRI和OCT的其他扫描技术来记录3D体积数据。在牙科应用中，3D体积数据可以包括口腔中硬组织或软组织(例如颌骨、牙龈、调色板)的数据，以及面部组织(例如患者的皮肤)的数据。另外， 3D体积数据可以包括口腔中的异物，诸如植入物、扫描柱或任何其他异物。
在一些实施例中，体积渲染至少部分地基于射线跟踪。
在射线跟踪中，对于虚拟屏幕中的每个像素，从通过3D体积数据的选择的视点跟踪射线。最终的像素颜色是累积(从前到后)射线在移动通过体积时与之相交的每个体素的颜色的结果。位于第一剪切表面之前的任何3D体积数据(从视点看)将在体积渲染中被排除。同样，也将排除位于第二裁剪表面之后的任何3D体积数据。在使用边界体积的实施例中，在体积渲染中将仅考虑位于边界体积内的3D体积数据。
在一些实施例中，在第一剪切表面和3D体积数据之间提供偏移，使得第一剪切表面远离第一解剖结构移位。在牙科应用中，这将对应于使第一剪切表面远离第一颌中的牙齿移位。偏移使得与第一解剖结构有关的3D 体积数据将不会在体积渲染中被排除，即使由第一数字3D表示和3D体积数据集给出牙齿形貌的表示存在细微偏差，或者如果有这些，即使对齐中存在小误差。
本公开的不同实施例涉及不同方面，包括以上和以下描述的方法、系统和计算机程序产品，以及相应的方法、系统和计算机程序产品，每个方法、系统和计算机程序产品均产生结合第一方面描述的一个或多个益处和优点，并且每个方法、系统和计算机程序产品均具有一个或多个实施方式，该一个或多个实施方式与结合第一提及的方面所述和/或在所附权利要求中公开的实施方式相对应。
根据一个实施例，公开了一种计算机程序产品，该计算机程序产品包括用于在数据处理单元上执行所述计算机指令时使数据处理器单元执行根据任何一个实施例的方法的计算机指令。该计算机程序产品可以被嵌入在非暂时性计算机可读介质上。
根据一个实施例，公开了一种用计算机程序产品编码的非暂时性计算机可读介质，该计算机程序产品包括用于在数据处理器单元上执行计算机指令时使数据处理器单元执行根据任何实施例的方法的计算机指令。
根据一个实施例，公开了一种系统，该系统包括数据处理器单元和用计算机程序产品编码的非暂时性计算机可读介质，该计算机程序产品包括用于在数据处理器单元上执行计算机指令使数据处理器单元执行根据任何实施例的方法的计算机指令。
根据一个实施例，公开了一种用于选择性地体积渲染来自患者的3D 体积数据的方法，该方法包括：
-获得3D体积数据集，其包括患者的第一颌中的牙齿结构的数据和相对的第二颌中的牙齿结构的数据；
-获得第一表面扫描，其包括表示患者的第一颌中的一个或多个牙齿的形貌的第一部分；
-至少部分地从第一表面扫描的第一部分限定第一剪切表面；和
-通过对3D体积数据集的体积渲染来生成第一颌中的牙齿结构的2D 投影，其中，应用第一剪切表面以排除与第二颌的牙齿结构有关的3D体积数据。
根据一个实施例，公开了一种用于选择性地体积渲染来自患者的3D 体积数据的方法，该方法包括：
-获得3D体积数据集，其包括患者的第一颌中的牙齿结构的数据和相对的第二颌中的牙齿结构的数据；
-获得第一表面扫描，其包括表示患者的第一颌中的一个或多个牙齿的形貌的第一部分；
-限定边界体积，该边界体积具有至少部分地由第一表面扫描的第一部分成形的第一剪切表面；和
-通过对3D体积数据集的体积渲染来生成第一颌中的牙齿结构的2D 投影，其中，应用边界体积以选择体积渲染中包括的体积数据，使得与第二颌的牙齿结构有关的3D体积数据被排除。
附图说明
通过以下参照附图对本公开的实施例的说明性和非限制性的详细描述，将进一步阐明本公开的以上和/或其他目的、特征和优点。
图1示出了根据实施例的从患者记录的3D体积数据的2D投影。
图2A- 图 2D 示出了用于分离与两个颌有关的3D体积数据的现有技术方法。
图3示出了根据实施例的来自表面扫描的数据。
图4A- 图 4C 示出了根据实施例的如何可以从结构化的剪切表面限定边界体积。
图5A- 图 5C 示出了根据实施例的具有改进的选择性的3D体积数据的2D投影。
图6示出了根据实施例的具有改进的选择性的3D体积数据的2D投影。
图7示出了根据实施例的步骤；和
图8示出了根据实施例的系统。
具体实施方式
在下面的描述中，参考了附图，这些附图通过说明的方式示出了如何实践本公开。
图1示出了根据实施例的通过计算机断层扫描(CT)X射线扫描从患者记录的3D体积数据的2D投影。计算机断层扫描，特别是X射线计算机断层扫描是广泛使用的体积成像原理。一般而言，放射源和放射敏感的图像传感器布置在一条线上，检查受试者位于两者之间。受试者使放射衰减。通常将源-检测器布置移动到围绕检查受试者的几个位置，通常在圆或其部段上，并且在每个位置摄取图像。然后可以从记录的图像生成表示受试者内衰减系数的空间、体积分布的3D体积数据集。患者牙齿组的CT扫描通常用于提取有关患者牙齿结构的结构的信息，例如牙齿的形貌和颌骨密度。CT数据可以与牙齿的外表面或诸如牙根或神经的内部结构有关。
图1所示的3D体积数据100具有上颌牙齿101(即上颌中的牙齿)、下颌牙齿102(即下颌中的牙齿)和下颌颌骨103的数据。3D体积数据被提供为体素网格，每个体素具有与X射线在被扫描体积中的对应位置的材料中的衰减有关的CT数值。CT值由下式给出：
CT值＝K*(uvoxel-uwater)/uwater
其中uvoxel和uwater分别是计算的体素衰减系数和水的衰减系数，而K 是整数常数。使用射线跟踪生成2D投影，其中对于虚拟屏幕中每个像素通过3D体积数据从选择的视点跟踪射线。最终的像素颜色是累积(从前到后)射线在移动通过体积时与之相交的每个体素的颜色的结果。为了确定每个体素的颜色，使用了颜色函数，该函数将体素“强度”转换为颜色。使用这样的颜色函数允许将空气体素视为(半)透明的，以及将期望的颜色分配给例如皮肤、骨骼和牙齿。
例如可以获取CT数据用于计划植入物在患者下颌中的位置，并且操作员希望仅查看来自该颌中牙齿和颌骨的数据的体积渲染。用于处理CT 扫描数据的体积渲染的市售软件通常允许操作员选择渲染的体积。该体积可以通过剪切通过与上颌和下颌有关的扫描数据的剪切平面和/或包围相关体积的简单边界框来指示。
当在患者牙齿咬合时记录CT数据时，这样的边界框或剪切平面无法为许多患者提供正确的数据分离。这可能是对于前牙，其中上前牙在下颌中的几个牙齿的咬合平下方延伸。或者在几个或前磨牙或磨牙的咬合面处，在此处通常无法限定完全分离上颌和下颌中牙齿的咬合面的剪切平面。
图2说明了在尝试使用简单的剪切平面将与一个颌相关的3D体积数据与与相对颌相关的数据分离时可能出现的问题。在此示例中，目标是为下颌生成3D体积数据的2D投影，但是如果目标仅是选择来自上颌的数据，则显然也会出现遇到的问题。
在图2A中，水平线205a和205b是延伸到该图的平面中的剪切平面的截面表示。首先考虑基于根据线205a布置的剪切平面的体积渲染的结果，从图2B中可以看出，这种布置使得与下颌的牙齿和颌骨有关的所有 3D体积数据都包含在2D投影208中。然而，也如所看到的，与相对颌中的牙齿201有关的3D体积数据也包括在生成的2D投影中，阻挡了对下颌中的牙齿202的某些表面的视觉访问。
图2C和2D示出了通过应用根据线205b的第一剪切平面的3D体积数据200的体积渲染而生成的2D投影。图2C显示了当视点来自于患者侧时生成的2D投影，而图2D显示了当视点位于患者面部前面时的2D投影。布置根据线205b的第一剪切平面，使得与上颌中的牙齿相关的所有 3D体积数据都位于剪切平面上方。因此，在体积渲染中应用这样的剪切平面确保了相对颌的牙齿不会阻挡对下颌的牙齿202的视觉访问。然而，也如图2C和2D所示，所生成的投影不包括分别为下颌的后牙202a和前牙 202b的咬合面和切面的体积数据。
图3示出了根据实施例的下颌中的牙齿的表面扫描的视觉表示。
图3所示的表面扫描311具有表示牙齿的形貌的牙齿数据312和下颌中的牙龈的牙龈数据313。例如，可以使用口内扫描仪，例如3Shape A/S 制造的TRIOS扫描仪来记录表面扫描。
图4示出了根据实施例的具有结构化的剪切表面的边界体积如何可以用于提供更具选择性的体积渲染。
图4A示出了3D体积数据400和限定3D体积数据的将在体积渲染中使用的一部分的简单的边界框415。边界框415具有第一剪切表面405和第二剪切表面416。第一剪切表面是平坦的，并且布置成类似于图2A中所示的第一剪切平面205a。同样如图2所示，第一剪切表面的这种布置使了上颌的牙齿的一些3D体积数据将包括在体积渲染中。
图4B示出了通过修改简单边界415形成的边界体积如何具有从下颌中牙齿的表面扫描限定的第一剪切表面。通过用表面扫描代替第一剪切平面的一部分来修改边界框，使得边界体积418的第一剪切表面具有根据患者牙齿的形貌而成形的部分419，并且在该部分之后具有部分420，部分 420被保持并使得位于牙齿后面的颌骨部分可以包括在体积渲染中。
在图4C中还描绘了具有牙齿结构化的第一剪切表面的边界体积418，示出了牙齿形状的部分419、被保持的部分420和围绕牙齿形状的部分的部分421。
至少在一个区域中根据牙齿的第一部分的形貌成形的结构化的第一剪裁表面具有如下优点：体积渲染可以更精确地选择用于体积渲染的适当的3D体积数据，如下面关于图5所述。
图5示出了根据实施例的具有改进的选择性的3D体积数据的2D投影。
图5A和5B显示了在裁剪3D体积数据时，当边界体积将牙齿的形貌考虑在内时3D体积数据的2D投影。当生成这些2D投影时，使用图4B 和4C中所示的具有结构化的第一剪切表面的边界体积。
在图5A中，2D投影524显示了从位于患者面部侧面的视点看到的渲染的3D体积数据。此2D投影与图2B和2C(其中使用了具有简单的平面第一剪切表面的边界框)中看到的2D投影之间的比较说明了牙齿形状的第一剪切表面如何为裁剪提供了对与下颌有关的3D体积数据的高度选择性的体积渲染。对3D体积数据的改进的选择使得后牙525的咬合面可以包括在2D投影中，其中可以看到前牙526的切面，而没有来自相对的上颌的体积数据干扰视图。
在图5B的2D投影527中也清楚地看到了这种改进，该图显示了从位于患者面部前面的视点看到的体积渲染的3D体积数据的2D投影。应当将该2D投影与图2D中所示的投影进行比较，并且使用改进的第一剪切平面在体积渲染3D体积数据时提供更高的选择性，从而使后牙525的咬合面可以包括在2D投影527中，并且可以看到，前牙526的切面没有来自相对的上颌的体积数据干扰视图。
图5C示出了使用针对不同类型的组织(即，颌骨，牙齿的牙本质和牙釉质)的阈值生成的2D投影，这使得2D投影还表示下颌中牙齿的内部结构。这证实了渲染的3D体积数据仍然包括这些内部结构的数据，这是所公开的方法相对于现有技术方法的优点之一，在现有技术方法中，通过删除与牙齿表面无关的体积数据来生成新的3D模型。在所公开的方法中，其中通过体积渲染为每个视点生成新的2D投影，所有3D体积数据都被保持，选择仅涉及要在体积渲染中包括哪些数据。
图6示出了根据实施例的被配置为查看从患者记录的3D体积数据的用户界面629的一些部分。
通过在体积渲染中使用改进的第一剪切平面来选择仅与下颌中的牙齿结构有关的3D体积数据来生成2D投影624。除了显示2D投影外，用户界面还显示了全景视图631和三个2D切片，这些切片提供了3D体积数据集的轴向视图632、正交视图633和切向视图634。该图示出了所公开的方法的优点在于，所有3D体积数据均得以保持，并且可以与生成的2D 投影624一起在不同的视图631、632、633和634中表示。
根据实施例，图7示出了流程图740，该流程图具有当应用于从患者的下颌选择性地对3D体积数据进行体积渲染(即，裁剪使得来自上颌的数据在体积渲染中被排除)时的方法的步骤。
在步骤741，获得患者牙齿和颌骨的3D体积数据集。可以通过X射线计算机断层扫描来提供3D体积数据，并将其加载到被配置用于实现该方法的数据处理系统的微处理器中。
在步骤742中，例如通过使用3Shape A/S提供的TRIOS扫描仪进行口腔内扫描而获得下颌中牙齿的表面扫描，并将其加载到微处理器中。表面扫描包括表示下颌中牙齿的形貌的数据。
在步骤743中，从获得的表面扫描限定第一剪切表面。可以将第一剪切表面限定为边界体积的一部分，并通过用上面的图4B中所示的表面扫描替换边界框的一部分来形成。对表面扫描或限定的剪切表面进行定向和调整大小，以具有与3D体积数据相同的比例和取向，使得表面扫描上的牙齿表面与对应的3D体积数据对齐。可以使用迭代最近点算法来执行对齐，以通过检测表面扫描和3D体积数据中的对应点并对齐这些点或通过手动过程来最小化表面扫描和3D体积数据的对应部分之间的差异。
在步骤744中，通过在3D体积数据的体积渲染中应用第一剪切平面来生成下颌的3D体积数据的2D投影。当第一剪切表面是边界体积的一部分时，将边界体积布置成使得第一剪切表面跟随牙齿，而体积的第二剪切表面与下颌的体积数据相对。
根据实施例，图8示出了根据一个实施例的系统的示意图，在该实施例中来自患者牙齿组的3D体积数据的选择性体积渲染基于牙齿的口腔内扫描。系统850包括计算机设备851，该计算机设备851包括计算机可读介质852和微处理器853形式的电子数据处理设备。该系统还具有视觉显示单元856以及至少一个允许操作员利用计算机系统的功能并输入数据和激活视觉显示单元856上可视化的用户界面的虚拟按钮的访问设备和/或接口。访问设备和/或接口可以包括但不限于键盘、鼠标、触摸屏、手写笔、操纵杆、光笔、轨迹球、语音交互功能、三维手套、实体三维鼠标球、图形用户界面(GUI)、显示屏、打印机以及其他已知的输入或输出设备和接口。在图8中，访问设备是计算机键盘854和计算机鼠标855。视觉显示单元856可以例如是计算机屏幕。该计算机可以是能够运行多种不同软件应用的通用计算机，也可以是限于特定功能的专用设备。该计算机可以包括处理器、系统存储器、计算机可读介质、外围设备和操作系统的任何类型、数量、形式或配置。该计算机可以包括个人计算机(PC)，其可以是台式计算机、膝上型计算机、平板PC或其他已知形式的个人计算机的形式。
计算机设备851可以接收患者牙齿的表面扫描和3D体积数据集，这两者可以被存储在计算机可读介质852中并且被加载到微处理器853以进行处理。可以将表面扫描获得为例如使用口内扫描仪857，例如3Shape TRIOS A/S制造的TRIOS 3口内扫描仪而记录的牙齿的数字3D表示。可以使用例如锥形束CT扫描仪858来记录3D体积。
具有用于使微处理器执行本发明方法的多个步骤的计算机指令的计算机程序产品被存储在非暂时性计算机可读介质852上。例如，计算机程序产品可以具有用于操纵和对齐表面扫描和3D体积数据集、用于执行在体积渲染中使用的射线跟踪以生成2D投影的算法。该计算机系统提供方法步骤的执行，通过该方法步骤可以自动地或响应于操作员命令获得。
在表面扫描和3D体积数据的用户辅助对齐的情况下，系统850使得操作员可以使用例如计算机鼠标拖动或旋转视觉显示单元856上的表面扫描和3D体积数据的可视化，根据空间布置来布置表面扫描和3D体积数据，所述空间布置能够最佳地反映出解剖学正确布置。当操作员对相对布置感到满意时，其可以激活用户界面中的虚拟按钮并将空间关系存储在计算机可读介质852中。计算机可读介质852也可以具有用于自动执行对齐的指令，例如基于ICP的算法。
尽管已经详细描述和示出了一些实施例，但是本公开不限于它们，而是还可以在所附权利要求书限定的主题的范围内以其他方式实现。特别地，应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并且可以进行结构和功能上的修改。
权利要求可以引用前述权利要求中的任一项，并且“任一项”应理解为是指前述权利要求中的“任何一项或多项”。
应该强调的是，当在本说明书中使用术语“包含/包括”时，是用来指定所述特征、整数、步骤或组件的存在，但并不排除一个或多个其他特征、整数、步骤的存在或增加。
上面和下面描述的方法的特征可以用软件实现，并且可以在数据处理系统或由计算机可执行指令的执行引起的其他处理装置上执行。指令可以是从存储介质或经由计算机网络从另一计算机加载到诸如RAM的存储器中的程序代码装置。替代地，可以通过硬连线电路而不是软件或者与软件结合来实现所描述的特征。
Claims (8)
1.一种用于选择性地体积渲染来自患者的3D体积数据的方法，该方法包括：
获得包括患者体内的第一解剖结构和第二解剖结构的数据的3D体积数据集，其中，所述第一解剖结构具有形貌表面；
获得包括表示第一解剖结构的形貌表面的第一部分的第一数字3D表示；
限定边界框，所述边界框具有第一剪切表面和第二剪切表面，所述边界框限定要在体积渲染中使用的3D体积数据集的一部分；
至少部分地用第一解剖结构的形貌表面替换第一剪切表面；和
通过由边界框限定的3D体积数据集的体积渲染来生成第一解剖结构的2D投影，其中，应用第一剪切表面以排除与第二解剖结构有关的3D体积数据。
2.根据权利要求1所述的方法，其中，第一解剖结构包括在患者的第一颌中的牙齿结构，并且第二解剖结构包括在患者的相对的第二颌中的牙齿结构。
3.根据权利要求1或2所述的方法，其中，所述解剖结构包括第一颌的颌骨或至少一部分牙齿。
4.根据权利要求2所述的方法，其中，第一数字3D表示包括第一表面扫描，并且所述第一部分表示患者的第一颌中的一个或多个牙齿的形貌。
5.根据权利要求1或2所述的方法，其中，所述方法包括创建边界体积，所述边界体积被布置为包围体积渲染中包括的3D体积数据，其中，所述边界体积的一个表面的至少一部分由第一剪切表面形成。
6.根据权利要求1或2所述的方法，其中，体积渲染至少部分地基于射线跟踪。
7.根据权利要求1或2所述的方法，其中，在第一剪切表面与3D体积数据之间提供偏移，使得第一剪切表面远离第一解剖结构移位。
8.一种用于选择性地体积渲染来自患者的3D体积数据的方法，该方法包括：
获得包括患者体内的第一解剖结构和第二解剖结构的数据的3D体积数据集，其中，所述第一解剖结构包括形貌表面；
获得包括表示第一解剖结构的形貌表面的第一部分的第一数字3D表示；
使用第一数字3D表示的形貌表面限定边界体积；和
通过3D体积数据集的体积渲染来生成第一解剖结构的2D投影，其中，应用边界体积以排除与第二解剖结构有关的3D体积数据。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DKPA201770656 | 2017-08-31 | ||
| DKPA201770656 | 2017-08-31 | ||
| PCT/EP2018/073195 WO2019043038A1 (en) | 2017-08-31 | 2018-08-29 | RENDERING VOLUME USING GUIDED SURFACE TRADE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111031961A CN111031961A (zh) | 2020-04-17 |
| CN111031961B true CN111031961B (zh) | 2022-06-07 |
Family
ID=65525034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880056344.0A Active CN111031961B (zh) | 2017-08-31 | 2018-08-29 | 使用表面引导裁剪的体积渲染 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11631211B2 (zh) |
| EP (1) | EP3675770B1 (zh) |
| JP (2) | JP7268000B2 (zh) |
| KR (1) | KR20200049809A (zh) |
| CN (1) | CN111031961B (zh) |
| CA (1) | CA3072981A1 (zh) |
| WO (1) | WO2019043038A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3666225B1 (en) * | 2018-12-11 | 2022-06-22 | SIRONA Dental Systems GmbH | Method for creating a graphic representation of a dental condition |
| WO2023282579A1 (ko) * | 2021-07-06 | 2023-01-12 | 주식회사 메디트 | 구강 모델을 처리하는 데이터 처리 장치 및 그 동작 방법 |
| KR102666198B1 (ko) * | 2021-07-06 | 2024-05-16 | 주식회사 메디트 | 구강 모델을 처리하는 데이터 처리 장치 및 그 동작 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001074268A1 (en) * | 2000-03-30 | 2001-10-11 | Align Technology, Inc. | System and method for separating three-dimensional models |
| US6371761B1 (en) * | 2000-03-30 | 2002-04-16 | Align Technology, Inc. | Flexible plane for separating teeth models |
| CN103069459A (zh) * | 2010-09-01 | 2013-04-24 | 塞隆纳牙科系统有限责任公司 | 用于从3d体积中建立记录的方法 |
| CN105916435A (zh) * | 2014-01-15 | 2016-08-31 | 爱克发医疗保健公司 | 用于针对乳房x线照相术图像的序列生成预缩放图像的方法和系统 |
| CN106572834A (zh) * | 2014-07-02 | 2017-04-19 | 柯惠有限合伙公司 | 对准ct |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6409504B1 (en) | 1997-06-20 | 2002-06-25 | Align Technology, Inc. | Manipulating a digital dentition model to form models of individual dentition components |
| US9421074B2 (en) | 2001-04-13 | 2016-08-23 | Orametrix, Inc. | Unified three dimensional virtual craniofacial and dentition model and uses thereof |
| EP1791491A1 (en) | 2004-09-14 | 2007-06-06 | Oratio B.V. | Method of manufacturing and installing a ceramic dental implant with an aesthetic implant abutment |
| DE602006044294C5 (de) | 2005-11-30 | 2019-10-31 | 3Shape A/S | Herstellung eines Dentalmodells |
| US9171391B2 (en) * | 2007-07-27 | 2015-10-27 | Landmark Graphics Corporation | Systems and methods for imaging a volume-of-interest |
| US20100105011A1 (en) * | 2008-10-29 | 2010-04-29 | Inpronto Inc. | System, Method And Apparatus For Tooth Implant Planning And Tooth Implant Kits |
| JP5437768B2 (ja) | 2009-10-15 | 2014-03-12 | 日立アロカメディカル株式会社 | 超音波ボリュームデータ処理装置 |
| JP5820467B2 (ja) | 2010-04-20 | 2015-11-24 | イメージング・サイエンシィズ・インターナショナル・エルエルシー | 表面走査情報を用いることによる歯科用３次元ｘ線データセットからのアーチファクトの低減及び除去 |
| GB201009725D0 (en) | 2010-06-11 | 2010-07-21 | Univ Leuven Kath | Method of quantifying local bone loss |
| KR20130098531A (ko) | 2012-02-28 | 2013-09-05 | (주)제노레이 | 씨티의 메탈 아티팩트 감소 방법 |
| US20140227655A1 (en) | 2013-02-12 | 2014-08-14 | Ormco Corporation | Integration of model data, surface data, and volumetric data |
| US9390546B2 (en) | 2013-10-30 | 2016-07-12 | General Electric Company | Methods and systems for removing occlusions in 3D ultrasound images |
| KR20160091366A (ko) | 2013-11-26 | 2016-08-02 | 포비아, 인크. | 다각형 객체들 상의 컬러 매핑을 볼륨 렌더링하기 위한 방법 및 시스템 |
| US11147652B2 (en) | 2014-11-13 | 2021-10-19 | Align Technology, Inc. | Method for tracking, predicting, and proactively correcting malocclusion and related issues |
| US10098715B2 (en) | 2015-06-24 | 2018-10-16 | Dental Imaging Technologies Corporation | Generating a design for a dental restorative product from dental images |
-
2018
- 2018-08-29 KR KR1020207008804A patent/KR20200049809A/ko not_active Application Discontinuation
- 2018-08-29 CA CA3072981A patent/CA3072981A1/en active Pending
- 2018-08-29 EP EP18765392.8A patent/EP3675770B1/en active Active
- 2018-08-29 JP JP2020511970A patent/JP7268000B2/ja active Active
- 2018-08-29 WO PCT/EP2018/073195 patent/WO2019043038A1/en unknown
- 2018-08-29 CN CN201880056344.0A patent/CN111031961B/zh active Active
- 2018-08-29 US US16/640,168 patent/US11631211B2/en active Active
-
2023
- 2023-02-09 US US18/166,833 patent/US11900526B2/en active Active
- 2023-04-20 JP JP2023069060A patent/JP2023099042A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001074268A1 (en) * | 2000-03-30 | 2001-10-11 | Align Technology, Inc. | System and method for separating three-dimensional models |
| US6371761B1 (en) * | 2000-03-30 | 2002-04-16 | Align Technology, Inc. | Flexible plane for separating teeth models |
| CN103069459A (zh) * | 2010-09-01 | 2013-04-24 | 塞隆纳牙科系统有限责任公司 | 用于从3d体积中建立记录的方法 |
| CN105916435A (zh) * | 2014-01-15 | 2016-08-31 | 爱克发医疗保健公司 | 用于针对乳房x线照相术图像的序列生成预缩放图像的方法和系统 |
| CN106572834A (zh) * | 2014-07-02 | 2017-04-19 | 柯惠有限合伙公司 | 对准ct |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210217222A1 (en) | 2021-07-15 |
| US11900526B2 (en) | 2024-02-13 |
| US11631211B2 (en) | 2023-04-18 |
| EP3675770B1 (en) | 2024-06-12 |
| CN111031961A (zh) | 2020-04-17 |
| WO2019043038A1 (en) | 2019-03-07 |
| JP7268000B2 (ja) | 2023-05-02 |
| JP2020531190A (ja) | 2020-11-05 |
| EP3675770A1 (en) | 2020-07-08 |
| KR20200049809A (ko) | 2020-05-08 |
| US20230186548A1 (en) | 2023-06-15 |
| JP2023099042A (ja) | 2023-07-11 |
| CA3072981A1 (en) | 2019-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11648094B2 (en) | Dynamic dental arch map | |
| JP6327845B2 (ja) | 口腔内画像と体積画像の統合 | |
| US11900526B2 (en) | Volume rendering using surface guided cropping | |
| EP2579778B1 (en) | Method for quantifying local bone changes | |
| JP6205146B2 (ja) | 歯根破折のインタラクティブな検査の方法 | |
| EP3496654B1 (en) | Dynamic dental arch map | |
| JP2014117611A5 (zh) | ||
| US10467746B2 (en) | Method for producing teeth surface from x-ray scan of a negative impression | |
| KR20180006917A (ko) | 교합 치아 모형의 x선 스캔을 위한 방법 및 장치 | |
| JP7152738B2 (ja) | 画像処理装置および画像処理プログラム | |
| KR102615791B1 (ko) | 파노라믹 영상 표시 방법 및 이를 위한 치과영상 처리장치 | |
| CN111553941A (zh) | 用户口腔全景视图的合成方法及装置、电子设备 | |
| Paredes et al. | A comparative study of reproducibility, reliability and accuracy in measuring mesiodistal tooth size using four different methods—2D digital, 3D CBCT, 3D segmented and 3D intraoral scanner method | |
| Luthra et al. | Implant radiology: The journey so far...... | |
| Csinszka et al. | Identification of the Procedural Accidents During Root Canal Preparation Using Digital Intraoral Radiography and Cone Beam Computed Tomography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |