CN114901204A - 基于组数据的排列方法 - Google Patents
基于组数据的排列方法 Download PDFInfo
- Publication number
- CN114901204A CN114901204A CN202080090581.6A CN202080090581A CN114901204A CN 114901204 A CN114901204 A CN 114901204A CN 202080090581 A CN202080090581 A CN 202080090581A CN 114901204 A CN114901204 A CN 114901204A
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- group
- group data
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013500 data storage Methods 0.000 claims description 4
- 210000000214 mouth Anatomy 0.000 abstract description 21
- 238000003384 imaging method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000004373 mandible Anatomy 0.000 description 4
- 210000002050 maxilla Anatomy 0.000 description 4
- FHVDTGUDJYJELY-UHFFFAOYSA-N 6-{[2-carboxy-4,5-dihydroxy-6-(phosphanyloxy)oxan-3-yl]oxy}-4,5-dihydroxy-3-phosphanyloxane-2-carboxylic acid Chemical compound O1C(C(O)=O)C(P)C(O)C(O)C1OC1C(C(O)=O)OC(OP)C(O)C1O FHVDTGUDJYJELY-UHFFFAOYSA-N 0.000 description 2
- 229940072056 alginate Drugs 0.000 description 2
- 235000010443 alginic acid Nutrition 0.000 description 2
- 229920000615 alginic acid Polymers 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000004053 dental implant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011505 plaster Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/0003—Making bridge-work, inlays, implants or the like
- A61C13/0004—Computer-assisted sizing or machining of dental prostheses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C13/00—Dental prostheses; Making same
- A61C13/34—Making or working of models, e.g. preliminary castings, trial dentures; Dowel pins [4]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/32—Image data format
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Epidemiology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
在根据本发明的基于组数据的排列方法中,在生成原始组数据并生成和对齐三维图像数据的处理期间,若三维体数据未相互连接的状态持续至规定时间以上,则生成新组数据,从而可生成至少一个以上的间歇性组数据。当确认到存储于新组数据中的三维体数据与先前生成的组数据的三维体数据相重叠的部分时,进行附加对齐步骤以相互连接重叠的部分,最终具有可补偿数据间隙并容易地获取患者的整个口腔模型数据的优点。
Description
技术领域
本发明涉及基于组数据的排列方法(ALIGNING METHOD BY GROUPED DATA),更详细而言,涉及在扫描口腔内部期间的对齐过程中当多个三维体数据未相互连接时生成新的组以继续进行扫描的排列方法。
背景技术
以往,通过使用海藻酸盐(alginate)来对患者的口腔进行印模,将石膏等倒入获得的模具中译制作患者的牙齿模型。然而,当制作患者的牙齿模型时,模型的精确性可能成为问题,若无法制作出精确的模型,则存在制作应用于患者的修复治疗材料时难以为患者进行定制治疗的缺点。
最近,使用三维扫描仪对患者的口腔内部进行扫描,将扫描的部分以三维数据的方式获得,因此可获得准确尺寸和口腔内部的形状,用户可准确地诊断患者,并可为患者提供适当的修复治疗。
三维扫描仪中的口腔扫描仪(intraoral scanner)由用户(治疗师,通常由牙医使用)手持,将扫描仪的一部分导入或导出口腔内部以拍摄患者的患处(可包括口腔内部的牙齿、牙龈等)。口腔扫描仪获得所拍摄的患者患处作为图像数据,使用每个数据的亮度信息等以将其转换为三维体数据并对齐(align)重叠的部分,最终生成一个三维模型。在这种情况下,一个三维模型可指通过拍摄患者的上颌骨、下颌骨及咬合状态来获得的患者的整个口腔模型数据。然而,当进行对齐过程时,若用户未仔细扫描,则对齐可能会中断。若对齐中断,则存在三维体数据之间的结合变得不完整,患者的整个口腔模型数据的精确度降低的问题。
发明内容
技术问题
本发明用于提供如下的基于组数据的排列方法,即,当将由成像部获取的图像转换为三维体数据并进行对齐时,在规定时间以上不对齐的情况下,新创建和分离其中存储数据的组,从而数据分类为至少一个以上数据组,并通过附加对齐步骤来补偿在数据的组数据之间产生的数据间隙。
技术方案
根据本发明的基于组数据的排列方法可包括:生成包括至少一个第一图像数据的第一组数据的步骤;判断第二图像数据是否与所述第一组数据对齐的步骤;当所述第二图像数据与所述第一组数据对齐时,将所述第二图像数据包括在所述第一组数据中的步骤;当所述第二图像数据与所述第一组数据不对齐时,生成第二组数据以包括所述第二图像数据的步骤;以及合并所述第一组数据和所述第二组数据的步骤。
并且,所述第一图像数据和所述第二图像数据可转换为三维体数据。
并且,所述尝试对齐的步骤可包括:确认所述第二图像数据是否与所述第一组数据对齐预定时间的步骤;以及在所述确认是否对齐的步骤中,当所述第二图像数据与所述第一组数据不对齐时,更新对齐尝试次数的步骤。
并且,当所述对齐尝试次数小于阈值次数时,可返回所述确认是否对齐的步骤。
并且,当所述对齐尝试次数为所述阈值次数以上时,可生成所述第二组数据以包括所述第二图像数据。
并且,在合并所述第一组数据和所述第二组数据的步骤中,包括在所述第一组数据中的所述第一图像数据的至少一部分区域可与包括在所述第二组数据中的所述第二图像数据的至少一部分区域可对齐。
并且,所述第一图像数据及所述第二图像数据可通过分别与所述第一图像数据的至少一部分区域和所述第二图像数据的至少一部分区域重叠的第三图像数据进行对齐。
另一方面,根据本发明另一实施例的基于组数据的排列方法可包括:图像生成步骤,根据扫描路径获取图像数据;对齐步骤,根据所述扫描路径连续获取的所述图像数据以相互连接的方式排列;组数据存储步骤,在所述对齐步骤中,基于所述图像数据未相互连接的点对所述图像数据进行组数据化并分类存储;以及重新连接判断步骤,以相互连接两个以上的所述组数据的数据方式进行对齐。
并且,在所述组数据存储步骤中,可根据连续的所述图像数据的重叠范围来确定所述图像数据未相互连接的点。
并且,所述扫描路径可包括多个路径,所述多个路径可具有互不相同的起点和终点,多个路径可在至少一部分区间中具有重复的扫描区域。
并且,根据所述组数据存储步骤存储的所述组数据的数量可具有与所述多个扫描路径相对应的数量。
并且,在所述对齐步骤中,所述图像数据未相互连接的点可为每个所述扫描路径的终点。
并且,所述基于组数据的排列方法还可包括在显示器上显示在所述组数据之间所述图像数据未相互连接的点的步骤。
技术效果
通过使用根据本发明的基于组数据的排列方法,即使所有数据不连续对齐,也在之后进行附加对齐过程,最终具有可导出整个口腔模型数据,并且减轻用户必须连续扫描口腔内部的负担的优点。
并且,通过将存储在新组数据中的图像数据与先前生成的组数据的图像数据进行比较和重叠,从而具有补偿和最小化数据间隙以提高通过扫描仪获取的数据的可靠性的优点。
并且,通过仅扫描产生数据间隙的组数据之间,具有使用户需要追加扫描的范围最小化的优点。
附图说明
图1为根据本发明的基于组数据的排列方法的流程图。
图2为根据本发明的基于组数据的排列方法的流程图。
图3为根据本发明的基于组数据的排列方法的流程图。
图4为概念性地示出根据本发明的基于组数据的排列方法的实施例的图。
图5为概念性地示出根据本发明的基于组数据的排列方法的实施例的图。
图6为概念性地示出根据本发明的基于组数据的排列方法的实施例的图。
图7为根据本发明另一实施例的基于组数据的排列方法的流程图。
图8为根据本发明又一实施例的基于组数据的排列方法的流程图。
附图标记说明:
S1:原始组分类生成步骤 S2:图像生成步骤
S3:原始组数据存储步骤 S31:三维数据转换步骤
S32:对齐步骤 S4:断开判断步骤
S5:新的组分类生成步骤 S6:新组数据存储步骤
S7:重新连接判断步骤 S8:附加对齐步骤
S10:重新执行步骤
11、12、13:第一组数据 12I:第一组原始数据
12F:第一组最终数据 21、22、23:第二组数据
22I:第二组原始数据 22F:第二组最终数据
31、32、33:第三组数据 32I:第三组原始数据
32F:第三组最终数据 41、43:第四组数据
51、53:第五组数据 B:数据间隙
S110:图像数据获取步骤 S120:图像数据对齐步骤
S130:组数据存储步骤 S140:重新连接判断步骤
S210:生成第一组数据的步骤
S220:判断第二图像数据是否与第一组数据对齐的步骤
S230:尝试对齐的步骤
S231:确认是否对齐的步骤
S232:使第二图像数据包括在第一组数据中的步骤
S233:更新对齐尝试次数的步骤
S234:确认对齐尝试次数是否小于阈值次数的步骤
S235:生成第二组数据的步骤
S240:合并第一组数据和第二组数据的步骤
具体实施方式
本发明的优点和特征以及实现它们的方法将通过以下结合附图详细描述的实施例变得显而易见。然而,本发明不限于以下公开的实施例,而是可以以各种不同的形式实施,并且这些实施例的提供是为了使本发明的公开完整,并且是为了向本发明所属技术领域的普通技术人员完整告知发明的范围,本发明仅由发明要求保护范围的范畴而定义。相同的附图标记在说明书全文中指代相同结构要素。
以下,参照附图具体描述本发明的实施例。
图1至图3为根据本发明的基于组数据的排列方法的流程图。
参照图1,根据本发明的基于组数据的排列方法包括生成原始组数据的原始组数据生成步骤(S1)。当用户(通常为治疗患者的人员,可以为牙医)通过扫描仪来开始扫描患者的患处(在本发明中,通常是指患者的口腔内部,可以是为了诸如种植牙、牙套、牙齿矫正之类的治疗而需要拍摄的牙齿、牙龈等)时,生成原始组数据。生成原始组数据的点可由内置于扫描仪中的处理器执行,或可由内置于连接到扫描仪的个人计算机等的处理器执行。优选地,原始组数据在形成于扫描仪内部的处理器中生成。另一方面,原始组数据具有第一个组数据的含义,为方便起见,可在下文的描述中与第一组数据互换使用。
并且,当用户通过扫描仪来扫描患者的口腔内部时,从口腔内部的牙齿或牙龈反射的光通过形成于扫描仪的一端的开口部入射到扫描仪的内部。入射到扫描仪的内部的光被收容在形成于扫描仪内部的至少一个成像部中。在这种情况下,成像部可包括由一个照相机形成的单个照相机,或可包括配置两个以上照相机的多照相机。当成像部包括两个以上的多照相机时,针对一个视点,可获得两个以上的图像,因此具有可获得更加精确的图像数据的优点。
入射到照相机的光可通过电连接到照相机的成像传感器来生成为图像数据(S2)。在这种情况下,图像数据可以为二维图像的形式,或可以为作为三维体数据的体素(voxel)数据。由成像传感器生成的图像数据可被分类和存储为原始组数据(S3)。即,当通过拍摄生成图像数据时,生成的图像数据分类和存储为原始组数据(或第一组数据)。存储图像数据的路径可以为与扫描仪隔开的个人计算机的存储装置,或可以为内置于扫描仪本身的存储部。
另一方面,原始组数据存储步骤(S3)可包括将从图像生成步骤(S2)获得的图像数据转换为三维体数据的三维数据转换步骤(S31)。在三维数据转换步骤(S31)中,可以为通过从由成像部获取的二维图像数据中利用对应部分的亮度信息等以具有体积的像素中包括亮度信息的体素(voxel)数据。并且,从三维数据转换步骤(S31)形成的三维体数据进行对齐(align)以使相互重叠的部分相连接而形成更大的数据块(S32)。在这种情况下,对齐可指通过三维体数据之间的连接将两个以上的三维体数据合并为具有更大体积的一个三维体数据。根据这种对齐过程,可形成针对一个全下颌骨的三维体数据集、针对一个全上颌骨的三维体数据集及针对咬合的三维体数据集,并将这种数据集合并以形成对患者的口腔模型的一个完整的数据集。在这种情况下,三维数据转换可由形成在扫描仪的外部且与扫描仪电连接并接收扫描仪拍摄生成的图像数据的外部处理器执行。
当执行如上所述的对齐步骤(S32)时,为了用户的扫描不成熟或故意区分而可不进行连续对齐过程。以往,当不进行对齐过程时,根据用户的扫描的对齐结果可在显示部以具有红色边框的屏幕显示。当以这种方式显示时,除非通过扫描与可以对齐的现有扫描区域重叠的部分来生成三维体数据,否则不会获得附加数据。
为了解决如上所述的问题,根据本发明的基于组数据的排列方法还可包括断开判断步骤(S4),对于该断开判断步骤(S4),在对齐步骤中,随着三维体数据相互连接而判断不对齐的状态是否持续规定时间以上。在这种情况下,不对齐的状态持续规定时间以上是指先前通过形成三维体数据来重叠的数据部分进行对齐,但重叠的数据部分没有出现,使得数据重叠和对齐没有进行的状态。规定时间可指在程序中预设的特定时间,但优选地,可设置为在用户进行扫描时判断没有合理进行对齐过程的间隔时间。
另一方面,在本文中使用的术语“断开(disconnect)”并不意味着扫描仪设备未与个人计算机或服务器、电源进行电连接的状态,而应被解释为因三维体数据之间不存在重叠的部分而不发生数据之间的连接的状态。另一方面,三维体数据之间的连接在外部处理器上进行,因此也可以在外部处理器上进行是否断开的判断。
根据断开判断步骤(S4),若因三维体数据没有相互重叠的部分而判断未连接的状态持续规定时间以上,则可结束原始组数据(第一组数据)的数据收集,并且最后连接的三维体数据可设置为最终数据。
图4至图6为概念性地示出根据本发明的基于组数据的排列方法的实施例的图。
如上所述,在断开判断步骤中,因三维体数据没有相互重叠的部分而未进行连接,因此当结束现有组数据的数据收集时,可生成新的(新)组数据(S5)。在这种情况下,可将紧接在原始组数据之后生成的新组数据命名为第二组数据。第二组数据可形成与第一组数据隔开形成的数据集。
当生成新组数据时,由扫描仪的成像部生成的图像数据现在分类并存储为新组数据(S6)。即,在生成第二组数据之后生成的图像数据可分类并存储为第二组数据。这样,连环式地,当图像数据分类并存储为第二组数据,因三维体数据没有相互重叠的部分而未连接状态持续规定时间以上时(断开判断步骤),结束图像数据作为第二组数据的存储,并生成第三组数据,接着,生成的图像数据分类并存储为第三组数据。这种组数据可存储在与扫描仪隔开的个人计算机的存储装置中,或可存储在内置于扫描仪本身的存储部中。
另一方面,如上所述,随着继续生成原始组数据(第一组数据)和新组数据(第二组数据、第三组数据等),即使对齐过程不连续进行,也间歇性收集数据。在这种情况下,间歇性是指各个组数据之间的数据不重叠,每个组数据中的三维体数据之间进行对齐步骤,因此具有连续性。然而,由于用户最终需要获取患者的整个口腔模型数据,因此需要通过后续扫描来补偿各个组数据之间的数据间隙B。
因此,根据本发明的基于组数据的排列方法还可包括检查原始组数据和新组数据的数据是否重叠的重新连接判断步骤(S7)。参照图4,用户以图4为基准从右侧向左侧进行测量。在这种情况下,原始第一组数据11的图像数据转换和对齐为体数据之后,经由断开判断步骤,生成新的第二组数据21,并开始第二组数据存储步骤,第二组数据存储步骤开始之后生成的图像数据分类并存储为第二组数据21。第一组数据11与第二组数据21之间因未拍摄而未生成数据的部分被保留为数据间隙B。
以相同的方式,第二组数据21与第三组数据31之间保留数据间隙B。为了补偿这种数据间隙B,用户再次从左侧到右侧进行扫描。随着生成第四组数据41、第五组数据51、第六组数据61,补偿各个组数据11、21、31、41、51、61之间存在的数据间隙B,最终可获取患者的整个口腔模型数据。
参照图5,当生成第一组数据12以开始扫描时,最初从第一组数据12生成的数据被称为第一组原始数据12I。另一方面,根据断开判断步骤,当因三维体数据未连接的状态持续规定时间以上而生成第二组数据22时,在生成第二组数据22之前,最后一次生成于第一组数据12并存储的三维体数据被称为第一组最终数据12F。同理,第二组数据22的原始生成数据成为第二组原始数据22I,生成第三组数据32时最后生成于第二组数据22中并存储的三维体数据成为第二组最终数据22F。
另一方面,当生成第三组数据32而进行新的数据存储步骤时,第三组原始数据32I与以往拍摄并生成为三维体数据的第一组数据12重叠。因此,第三组数据32可与第一组数据12的其三维体数据相连接(附加对齐步骤(S8)),并且可补偿先前存在的第一组数据12与第二组数据22之间的数据间隙B。
为了补偿如上所述的数据间隙B,可判断新组数据是否与先前生成的组数据的三维体数据重叠(S7)。优选地,可判断新组数据的原始数据或最终数据是否与先前生成的组数据的三维体数据重叠。如图5所示,第三组数据32的原始数据32I与第一组数据12的三维体数据重叠,第三组数据32的最终数据32F与第二组数据22的三维体数据进行重叠和附加对齐,最终补偿数据间隙B部分(S8)。如此,将存储在新组数据中的数据与先前生成的组数据的三维体数据进行比较并进行重叠,从而具有补偿数据间隙B并使其最小化以提高通过扫描仪获取的数据的可靠性。另一方面,在执行新组数据存储步骤(S6)或附加对齐步骤(S8)的过程中,也可将由扫描仪获取的图像数据继续转换为三维体数据,并重新执行对齐步骤(S10)。另一方面,可以在判断重新连接判断、附加对齐等断开并执行对齐的外部处理器上一同执行。
参照图6,生成第一组数据13、第二组数据23及第三组数据33并进行扫描,但各个分类13、23、33之间产生数据间隙B。对此,用户需要在现有的对齐错误发生部分之后再次扫描大范围区域,但因根据本发明的基于组数据的排列方法而仅扫描产生数据间隙B的第一组数据与第二组数据之间(13与23之间)以及第二组数据与第三组数据之间(23与33之间),从而具有使需要扫描的范围最小化的优点。
图7为根据本发明另一实施例的基于组数据的排列方法的流程图。参照图7,根据本发明另一实施例的基于组数据的排列方法可包括:图像生成步骤(S110),根据扫描路径获取图像数据;对齐步骤(S120),根据扫描路径连续获取的图像数据以相互连接的方式排列。如上所述,当口腔通过扫描仪对患者的口腔内部进行扫描时,生成针对扫描对象部分(指口腔内部的一部分)的图像数据。图像数据可以为从扫描对象部分反射的光入射到口腔扫描仪的内部并通过形成于口腔扫描仪内部的成像部来数字化的图像数据。并且,当根据扫描路径连续获取图像数据时,产生连续的图像数据之间重叠的区域,这种重叠区域可通过相互连接和排列而重新出现为一个连接的图像数据。最终,当正常执行对齐步骤时,将一个下颌骨数据、一个上颌骨数据以及使下颌骨数据和上颌骨数据合并的咬合数据可整合为一个整体,以生成患者的整个口腔模型数据。另一方面,生成的图像数据可存储于能够形成在扫描仪的内部的存储部或外部存储装置中。
另一方面,根据本发明另一实施例的基于组数据的排列方法还可包括组数据存储步骤(S130),对于该组数据存储步骤(S130),在对齐步骤中,基于图像数据未相互连接的点,将图像数据分类为互不相同的组并进行分类存储。在执行如上所述的对齐步骤的过程中,存在无法执行图像数据之间的连接和排列的情况,因为没有执行足够的扫描以形成图像数据之间的重叠部分。即,在根据本发明另一实施例的基于组数据的排列方法中,无关于图像数据的连接状态是否持续规定时间,将因图像数据的重叠范围没有充分形成而使得发生数据间隙B的情况定义为“断开”。另一方面,生成的组数据可存储在能够形成于扫描仪的内部的存储部或外部存储装置。
在发生如上所述的断开状态的情况下,口腔扫描仪将断开状态之前连接的图像数据分类并存储为第n组数据,并可将断开状态之后的图像数据分类并存储为第n+1组数据。在这种情况下,n可以为任意自然数,这意味着从第一组数据到执行最终扫描为止可具有多个组数据。
例如,如图4所示,存在连接第一组数据11、第二组数据21及第三组数据31的一个扫描路径,当扫描中,发生两次的断开,即,当产生数据间隙B时,生成三个组数据11、21、31。类似地,针对连接第四组数据41、第五组数据51及第六组数据61的一个扫描路径进行扫描过程中,当发生两次断开(产生数据间隙的状态)时,产生三个组数据41、51、61。结果,以图4为例描述时,对共两次的扫描路径进行扫描的过程中,针对每个扫描路径发生两次断开,从而可生成共六个组数据。
另一方面,根据组数据存储步骤,在判断断开状态的时间点之前和之后划分组数据,在判断断开状态之前获取的图像数据成为相应组数据的最终数据,在判断断开状态之后获取的图像数据成为相应组数据的原始数据。若按照扫描路径的观点来解释,则在判断断开状态之前扫描的点可被识别为相应扫描路径的终点,在判断断开状态之后扫描的点可被识别为相应扫描路径的起点。并且,若判断为这种断开状态并划分为互不相同的组数据,则意味着这两个分类具有互不相同的起点和终点。这意味着断开的点成为每个扫描路径的终点。
如图5所示,分类为多个组数据是为了区分每个组数据之间扫描路径,因此组数据存储步骤中存储的组数据的数量即与扫描路径的数量相对应。例如,在与第一组12相对应的扫描路径的终点12F发生断开而生成第一组12,在与第二组22相对应的扫描路径的终点22F发生断开而生成第二组,最后,在与第三组32相对应的扫描路径的终点32F发生断开而生成第三组32。这样,当扫描患者的口腔内部时,若具有三个扫描路径来进行扫描,则可具有共三个组数据。
用户为了使数据间隙B最小化以获取患者的完整口腔内部模型数据而继续进行扫描。当继续进行扫描时,对应于后续的组数据的图像数据可与对应于先前组数据的图像数据具有重叠的部分。即,这意味着多个扫描路径在至少一部分区间中可具有相互重复的扫描区域,在这种情况下可填充数据间隙B。
参照图5,当生成与扫描路径的数量相对应的组数据时,通常,根据用户的便利性而有意划分扫描路径的情况(即,可通过与第一组数据12相对应的扫描路径进行第一次扫描之后,通过与第二组数据22相对应的扫描路径进行第二次扫描,最后,通过与第三组数据32相对应的扫描路径进行第三次扫描),通常,在这种情况下,可在至少两个以上的扫描路径之间具有相互重复的扫描区域,由此可填充数据间隙B。
如上所述,当数据间隙B被填充时,意味着图像数据可在互不相同的组数据之间进行连接,并且还可包括重新连接判断步骤(S140),在该重新连接判断步骤(S140)中将这种两个以上的组数据的数据对齐,以确认再次相互连接和排列的可能性。根据重新连接判断步骤,可对产生数据间隙B的部分补偿数据,并进行如上所述的连续扫描,从而可使数据间隙B最小化以最终完成患者的完整口腔内部模型数据。
另一方面,如上所述的图像数据或三维体数据之间的对齐、断开判断、重新连接判断及数据补偿可通过形成于扫描仪的外部的外部处理器来执行。
另一方面,根据本发明另一实施例的基于组数据的排列方法还可包括在显示器上显示在组数据之间图像数据未相互连接的数据间隙B发生点。参照图6,可以确认以箭头形状显示数据间隙B发生点。在根据本发明另一实施例的基于组数据的排列方法中,在这种显示器上以箭头等显示数据间隙B点,以便用户可清楚地确认,从而用户仅对数据间隙B发生部分重新进行扫描以使数据间隙B最小化并使组数据之间数据相互连接。显示器可指与扫描仪或外部处理器电连接的显示装置,并且可以为向用户通知是否发生数据间隙B的屏幕的显示装置。
以下,描述根据本发明又一实施例的基于组数据的排列方法。
图8为根据本发明又一实施例的基于组数据的排列方法的流程图。
参照图8,根据本发明另一实施例的基于组数据的排列方法包括:生成包括至少一个第一图像数据的第一组数据的步骤(S210);以及判断第二图像数据是否与第一组数据对齐的步骤(S220)。当开始扫描过程时,通过扫描仪获取至少一个图像数据,所述图像数据可形成一个以上的组数据。示例性地,生成第一组数据的分类,所述图像数据以第一图像数据包括在第一组数据中。在这种情况下,图像数据(第一图像数据和第二图像数据)可以为二维或三维。
在生成第一组数据的步骤(S210)中,至少一个第一图像数据可以对齐以形成一个三维体数据。当依次获取两个以上的图像数据时,最终获取的图像数据可以与对齐先前获取的图像数据形成的三维体数据一同对齐。根据这种过程,可扩展三维体数据。即,可通过对齐至少一个图像数据来生成一个组数据作为一个三维体数据。即,可以对齐依次获取的图像数据以生成为一个三维体数据。
另一方面,在判断第二图像数据是否与第一组数据对齐的步骤(S220)中,第一图像数据被包括在第一组数据中,并且可判断在扫描过程中获取的第二图像数据是否与第一图像数据中至少一个对齐。示例性地,可判断第二图像数据是否能够与第一图像数据的至少一部分重叠以进行连接和排列。
为了所述判断,可以尝试将第二图像数据与包括在第一组数据中的第一图像数据的至少一部分区域对齐预定次数或预定时间(S230)。示例性地,尝试对齐的步骤(S230)包括第二图像数据是否与第一组数据对齐预定时间的步骤(S231)。当在预设时间内第二图像数据对第一组数据对齐时,第二图像数据可被包括在第一组数据中(S232)。即,第二图像数据可以与包括在第一组数据中的第一图像数据的至少一部分对齐,以扩展第一组数据的三维体数据。
另一方面,当进行扫描时,由于扫描区域未重叠,因此可能会发生数据间隙。当用户没有仔细扫描患者的口腔,或者故意没有连续进行扫描时,可能会产生数据间隙。在这种情况下,可使发生数据间隙之前获取的图像数据包括在任意一个组数据中,并使发生数据间隙之后获取的图像数据包括在新的组数据中。
更详细描述划分组数据的过程。当第二图像数据与第一组数据不对齐预定时间时,可更新对齐尝试次数(S233)。示例性地,可设置初始对齐尝试次数为1。在这种情况下,确认是否对齐的步骤(S231)中,在第二图像数据与第一组数据不对齐预定时间的情况下,对齐尝试次数可以加1。
在更新对齐尝试次数之后,可进行确认更新的对齐尝试次数是否小于阈值次数的步骤(S234)。示例性地,阈值次数可以为10次,当更新的对齐尝试次数小于10次时,再次返回确认是否对齐的步骤(S231)以确认第二图像数据是否与第一组数据对齐。
另一方面,当更新的对齐尝试次数为10次以上时,无法与第一组数据对齐,并且可判断发生数据间隙。在这种情况下,不再尝试将第二图像数据与第一组数据对齐,并且可生成新的组数据。即,当第二图像数据与第一组数据不对齐预定次数或预定时间时,可生成不同于第一组数据的第二组数据以包括第二图像数据(S235)。第二图像数据包括在第二组数据中,从而用户可以继续进行扫描而不必查找与第一组数据对齐的位置来进行扫描。
如上所述,对齐尝试的限制条件描述为次数,但不限定于此,也可将对齐尝试时间设置为阈值条件,并且,可以改变更新对齐尝试次数的步骤和确认更新的对齐尝试次数是否小于阈值次数的步骤的顺序。示例性地,在确认是否对齐的步骤(S231)中,当第二图像数据与第一组数据不对齐时,判断对齐尝试次数是否小于阈值次数,当对齐尝试次数小于阈值次数时,可更新对齐尝试次数。在更新对齐尝试次数之后,可再次执行确认是否对齐的步骤(S231)。
通常,用户希望根据本人意愿生成组数据。然而,当扫描环境(照度、异物等)或扫描仪快速移动时,会出现瞬间发生数据间隙的情况。每当瞬间发生数据间隙时生成新的组数据不仅违背了用户的意愿,而且增加获取、对齐图像数据以及生成组数据的计算量。随着计算量的增加,扫描仪的扫描速度可能会降低,因此扫描效率可能会降低。
因此,根据本发明又一实施例,当第二图像数据与第一组数据不对齐时,不会立即生成新的组数据,并且可通过预定的对齐尝试次数或时间来确认用户的意愿。即,即使发生用户不希望的瞬间对齐失败,当预定的对齐尝试次数或时间内输入与第一组数据对齐的图像数据时,可以防止生成不必要的新的组数据。
如果根据用户的意愿第二图像数据与第一组数据不对齐,则可生成新的组数据。示例性地,当用户扫描右侧臼齿部分并移动到左侧臼齿部分进行扫描时,右侧臼齿部分与左侧臼齿部分之间可发生数据间隙。在这种情况下,表示右侧臼齿部分的图像数据与表示左侧臼齿部分的图像数据不对齐,并且这种状态超过预定的对齐尝试次数或时间。因此,可以根据用户的意愿通过使用预定次数或预定时间来生成适当数量的组数据。用户可以通过所需方式进行扫描而无需担心是否对齐,最终可获取精细的三维模型。
并且,当生成第二组数据时,可执行合并(combine)第二组数据和第一组数据的步骤(S240)。包括在第一组数据中的第一图像数据与包括在第二组数据中的第二图像数据可分别形成三维体数据,并且所述三维体数据各自可形成整个三维模型的至少一部分。因此,可对齐所有组数据以完成一个三维模型。
另一方面,由于包括在第一组数据中的第一图像数据与包括在第二组数据中的第二图像数据不重叠,所以有可能不进行对齐。即,在第一组数据与第二组数据之间可能存在数据间隙。在这种情况下,可通过第三图像数据分别与第一图像数据的至少一部分区域和第二图像数据的至少一部分区域重叠来进行对齐。示例性地,在第一组数据与第二组数据之间可生成第三组数据,第三组数据可包括第三图像数据。第三图像数据可与第一组数据和第二组数据两者对齐。因此,第一组数据和第二组数据可介于第三组数据对齐。然而,这仅是示例,也可在第一组数据和第二组数据之间生成多个组数据以消除数据间隙。
以上描述仅是对本发明的技术精神的示例性说明,本发明所属技术领域的普通技术人员可以在不脱离本发明的本质特性的范围内进行各种修改和变形。
因此,本发明所公开的实施例并非用于限制本发明的技术精神,而是用于解释本发明,并且本发明的技术精神的范围不受这些实施例的限制。本发明的保护范围应由所附发明要求保护范围来解释,凡在其等同范围内的所有技术思想,均应理解为包含在本发明的范围之内。
工业可利用性
根据本发明的基于组数据的排列方法提供即使根据扫描过程获得的图像数据不连续对齐,也可将对齐的图像数据分类为组数据并通过组数据之间的对齐来获得整体三维模型的方法。
Claims (13)
1.一种基于组数据的排列方法,其中,包括:
生成包括至少一个第一图像数据的第一组数据的步骤;
判断第二图像数据是否与所述第一组数据对齐的步骤;
当所述第二图像数据与所述第一组数据对齐时,所述第二图像数据包括在所述第一组数据中的步骤;
当所述第二图像数据与所述第一组数据不对齐时,尝试对齐预定次数或预定时间的步骤;
当所述第二图像数据与所述第一组数据不对齐所述预定次数或预定时间时,生成第二组数据以包括所述第二图像数据的步骤;以及
合并所述第一组数据和所述第二组数据的步骤。
2.根据权利要求1所述的基于组数据的排列方法,其特征在于,
所述第一图像数据和所述第二图像数据转换为三维体数据。
3.根据权利要求1所述的基于组数据的排列方法,其特征在于,
所述尝试对齐的步骤包括:
确认所述第二图像数据是否与所述第一组数据对齐预定时间的步骤;以及
在所述确认是否对齐的步骤中,当所述第二图像数据与所述第一组数据不对齐时,更新对齐尝试次数的步骤。
4.根据权利要求3所述的基于组数据的排列方法,其特征在于,
所述方法还包括:
确认更新的所述对齐尝试次数是否小于阈值次数的步骤,
当所述对齐尝试次数小于所述阈值次数时,返回所述确认是否对齐的步骤。
5.根据权利要求4所述的基于组数据的排列方法,其特征在于,
当所述对齐尝试次数为所述阈值次数以上时,生成所述第二组数据以包括所述第二图像数据。
6.根据权利要求1所述的基于组数据的排列方法,其特征在于,
在合并所述第一组数据和所述第二组数据的步骤中,包括在所述第一组数据中的所述第一图像数据的至少一部分区域与包括在所述第二组数据中的所述第二图像数据的至少一部分区域对齐。
7.根据权利要求6所述的基于组数据的排列方法,其特征在于,
所述第一图像数据及所述第二图像数据通过分别与所述第一图像数据的至少一部分区域和所述第二图像数据的至少一部分区域重叠的第三图像数据来进行对齐。
8.一种基于组数据的排列方法,其中,包括:
图像生成步骤,根据扫描路径获取图像数据;
对齐步骤,根据所述扫描路径连续获取的所述图像数据以相互连接的方式排列;
组数据存储步骤,在所述对齐步骤中,基于所述图像数据未相互连接的点对所述图像数据进行组数据化并分类存储;以及
重新连接判断步骤,以相互连接两个以上的所述组数据的数据方式进行对齐。
9.根据权利要求8所述的基于组数据的排列方法,其特征在于,
在所述组数据存储步骤中,根据连续的所述图像数据的重叠范围来确定所述图像数据未相互连接的点。
10.根据权利要求8所述的基于组数据的排列方法,其特征在于,
所述扫描路径包括多个路径,所述多个路径具有互不相同的起点和终点,多个路径在至少一部分区间中具有重复的扫描区域。
11.根据权利要求10所述的基于组数据的排列方法,其特征在于,
根据所述组数据存储步骤存储的所述组数据的数量具有与所述多个扫描路径相对应的数量。
12.根据权利要求10所述的基于组数据的排列方法,其特征在于,
在所述对齐步骤中,所述图像数据未相互连接的点为每个所述扫描路径的终点。
13.根据权利要求8所述的基于组数据的排列方法,其特征在于,
所述方法还包括:
在显示器上显示在所述组数据之间所述图像数据未相互连接的点的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20190175292 | 2019-12-26 | ||
KR10-2019-0175292 | 2019-12-26 | ||
PCT/KR2020/019090 WO2021133099A2 (ko) | 2019-12-26 | 2020-12-24 | 그룹 데이터에 의한 정렬 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114901204A true CN114901204A (zh) | 2022-08-12 |
Family
ID=76573328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080090581.6A Pending CN114901204A (zh) | 2019-12-26 | 2020-12-24 | 基于组数据的排列方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220335628A1 (zh) |
EP (1) | EP4062865A2 (zh) |
KR (1) | KR102530012B1 (zh) |
CN (1) | CN114901204A (zh) |
WO (1) | WO2021133099A2 (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102429740A (zh) * | 2010-09-10 | 2012-05-02 | 三维光子国际公司 | 用于处理和显示口腔测量数据的系统和方法 |
CN104837436A (zh) * | 2012-11-01 | 2015-08-12 | 阿莱恩技术有限公司 | 三维扫描中的运动补偿 |
CN109069097A (zh) * | 2016-05-04 | 2018-12-21 | 株式会社美迪特 | 牙科用三维数据处理装置及其方法 |
KR101930062B1 (ko) * | 2017-12-27 | 2019-03-14 | 클리어라인 주식회사 | 인공지능기술을 이용한 단계별 자동 교정 시스템 |
KR101953622B1 (ko) * | 2017-08-31 | 2019-05-23 | 주식회사 디오 | 이종의 구강 이미지 정합방법 |
KR102054901B1 (ko) * | 2018-12-28 | 2019-12-12 | 주식회사 디오 | 치아 수복물 설계를 위한 이미지 데이터 처리방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9492245B2 (en) | 2004-02-27 | 2016-11-15 | Align Technology, Inc. | Method and system for providing dynamic orthodontic assessment and treatment profiles |
EP2654606B1 (en) | 2010-12-21 | 2021-05-26 | 3Shape A/S | Motion blur compensation |
JP2020507786A (ja) * | 2017-02-15 | 2020-03-12 | 3シェイプ アー/エス | 3dスキャナのスキャンボリュームの監視 |
-
2020
- 2020-12-24 CN CN202080090581.6A patent/CN114901204A/zh active Pending
- 2020-12-24 WO PCT/KR2020/019090 patent/WO2021133099A2/ko unknown
- 2020-12-24 EP EP20906611.7A patent/EP4062865A2/en active Pending
- 2020-12-28 KR KR1020200184465A patent/KR102530012B1/ko active IP Right Grant
-
2022
- 2022-06-24 US US17/848,421 patent/US20220335628A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102429740A (zh) * | 2010-09-10 | 2012-05-02 | 三维光子国际公司 | 用于处理和显示口腔测量数据的系统和方法 |
CN104837436A (zh) * | 2012-11-01 | 2015-08-12 | 阿莱恩技术有限公司 | 三维扫描中的运动补偿 |
CN109069097A (zh) * | 2016-05-04 | 2018-12-21 | 株式会社美迪特 | 牙科用三维数据处理装置及其方法 |
KR101953622B1 (ko) * | 2017-08-31 | 2019-05-23 | 주식회사 디오 | 이종의 구강 이미지 정합방법 |
KR101930062B1 (ko) * | 2017-12-27 | 2019-03-14 | 클리어라인 주식회사 | 인공지능기술을 이용한 단계별 자동 교정 시스템 |
US20190192258A1 (en) * | 2017-12-27 | 2019-06-27 | Clearline.Co.Ltd | Automatic stepwise tooth movement system and method using artificial intelligence technology |
KR102054901B1 (ko) * | 2018-12-28 | 2019-12-12 | 주식회사 디오 | 치아 수복물 설계를 위한 이미지 데이터 처리방법 |
Also Published As
Publication number | Publication date |
---|---|
EP4062865A2 (en) | 2022-09-28 |
US20220335628A1 (en) | 2022-10-20 |
WO2021133099A2 (ko) | 2021-07-01 |
KR102530012B1 (ko) | 2023-05-08 |
KR20210083204A (ko) | 2021-07-06 |
WO2021133099A3 (ko) | 2021-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240078674A1 (en) | Method of designing and fabricating patient-specific restorations from intra-oral scanning of a digital impression coping | |
US20210267730A1 (en) | Dental cad automation using deep learning | |
KR102027337B1 (ko) | 교합 인기를 위한 방법 및 시스템 | |
US20140080086A1 (en) | Image Navigation Integrated Dental Implant System | |
WO2014073818A1 (ko) | 임플란트 영상 생성방법 및 임플란트 영상 생성 시스템 | |
WO2019037582A1 (zh) | 一种图像处理方法及装置 | |
KR102363412B1 (ko) | 임플란트 수술용 가이드 검증 방법 및 그 장치 | |
CN114901204A (zh) | 基于组数据的排列方法 | |
US20230274431A1 (en) | Image processing apparatus, method for controlling same, and storage medium | |
US20230107480A1 (en) | Artificial tooth manufacturing information generation method and artificial tooth manufacturing system | |
US20150366644A1 (en) | Table for 3d-scanning of dental model | |
CN113079337B (zh) | 注入附加数据的方法 | |
KR102237711B1 (ko) | 신경관 라인 생성 방법 및 이를 위한 의료영상 처리장치 | |
KR102033426B1 (ko) | 구강 스캐너 | |
JP2003533948A (ja) | 文書生成システム用の画像記録 | |
Yamany et al. | Orthodontics measurements using computer vision | |
KR102575216B1 (ko) | 스캔 데이터의 후처리 시스템 및 스캔 데이터의 후처리 방법 | |
KR102623248B1 (ko) | 데이터 처리 방법 | |
WO2021172952A1 (ko) | 스캔 데이터의 후처리 시스템 및 스캔 데이터의 후처리 방법 | |
WO2018021630A1 (ko) | 맞춤형 인공치아 제조 방법 및 맞춤형 인공치아 | |
US7880937B2 (en) | Electronic endoscope apparatus | |
JPH11248446A (ja) | ステレオ画像処理装置 | |
WO2023033385A1 (ko) | 딥러닝을 이용한 크라운 3d 메쉬 생성 방법 및 이를 이용하는 장치 | |
KR102177886B1 (ko) | 컴퓨터 단층촬영 영상데이터의 전처리 방법 및 장치 | |
KR102401135B1 (ko) | 디지털 치과 치료 시뮬레이션 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |