CN113424523A - 扫描过程再生方法 - Google Patents

扫描过程再生方法 Download PDF

Info

Publication number
CN113424523A
CN113424523A CN202080014353.0A CN202080014353A CN113424523A CN 113424523 A CN113424523 A CN 113424523A CN 202080014353 A CN202080014353 A CN 202080014353A CN 113424523 A CN113424523 A CN 113424523A
Authority
CN
China
Prior art keywords
scanning
information
scanner
scan
regeneration method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080014353.0A
Other languages
English (en)
Other versions
CN113424523B (zh
Inventor
李东勳
崔源勳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medit Corp
Original Assignee
Medit Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medit Corp filed Critical Medit Corp
Priority claimed from PCT/KR2020/002133 external-priority patent/WO2020167042A1/ko
Publication of CN113424523A publication Critical patent/CN113424523A/zh
Application granted granted Critical
Publication of CN113424523B publication Critical patent/CN113424523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Geometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Epidemiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Input (AREA)

Abstract

根据本发明的扫描过程再生方法，可在扫描步骤中对扫描对象物进行扫描并获取扫描仪的位置信息及旋转信息，可根据这种扫描仪的位置信息及旋转信息计算与扫描对象物之间的距离关系及角度关系。所获取的多个信息及多个关系值可以与扫描时间一同联动并被存储，并且可以与从显示步骤中获取的信息一同按照时间顺序依次显示扫描数据。根据扫描过程再生方法，具有如下优点：可以按照时间顺序检查用户的扫描进行过程，可以通过调节再生速度和选择扫描时间来快速进行这种检查过程。由此，用户可以对扫描不足部分进行针对该部分的进一步扫描，也可以在对具有相似口腔形态的其他患者进行扫描时将其用作用于导出扫描最佳路径的资料。

Description

扫描过程再生方法
技术领域
本发明涉及一种针对通过扫描仪获取的扫描模型数据，再生扫描模型数据获取过程的方法(SCAN PROCESS REPLAYING METHOD)。
背景技术
三维扫描仪是一种可以将作为扫描对象的物体的形状信息获取并数字化的机器，其通过将光投射到对象上进行测量。三维扫描数据用于汽车制造、图形制作、质量检验、医疗领域、定制等领域，并且其使用范围呈逐渐扩大的趋势。
作为一例，牙科医院等通常通过对患者牙齿进行取模(impression taking)来掌握牙齿等口腔内组织结构，并基于此来进行治疗及诊疗。近年来，为了获取对口腔内组织结构的三维信息，广泛利用一种牙科用口腔扫描仪系统，其通过激光等测量光来实现口腔内组织结构的三维建模影像。
在普通三维物体扫描装置的情况下，当扫描三维物体时，为了表达物体的复杂性，会生成所谓称之为多边形(Polygon)的多个几何(Geometry)信息并对其进行运算来生成三维扫描数据。但是当结束扫描工作并存储数据时，存在虽然可以确认扫描完成状态，但难以再次确认实际扫描进行过程的问题。
发明内容
技术问题
本发明的目的在于，提供一种扫描过程再生方法，其能够通过预先存储的扫描数据对得到该扫描数据的扫描过程进行模拟并显示。
本发明的技术问题不限于以上所提及的技术问题，本发明所属技术领域的普通技术人员可通过以下记载明确理解未提及的其他技术问题。
技术方案
本发明的扫描过程再生方法可以包括：扫描步骤，通过扫描仪对扫描对象物进行扫描来获取扫描数据；信息获取步骤，获取上述扫描步骤中获取的上述扫描仪的状态信息；运算步骤，根据从上述信息获取步骤中获取的上述扫描仪的状态信息计算上述扫描仪与上述扫描对象物之间的相对信息；以及显示步骤，将通过扫描上述扫描对象物而得到的上述扫描数据显示在用户界面上。
并且，上述扫描步骤还可包括：二维图像获取步骤，接收通过在上述扫描仪的一端部形成的开口部入射的光来获取至少一个二维图像数据；三维图像生成步骤，将从上述二维图像获取步骤中获取的至少一个上述二维图像数据转换为三维体数据；以及对齐步骤，以使多个上述三维体数据相互连接并对齐的方式进行对齐。
并且，从上述信息获取步骤中获取的信息可以包含摄像头的位置信息及旋转信息。
并且，上述摄像头的位置信息能够以由x值、y值、z值表示的三维直角坐标系的形式获取。
并且，上述摄像头的旋转信息能够以3×3旋转矩阵的形式获取。
并且，上述摄像头的位置信息和上述摄像头的旋转信息能够以3×4矩阵的形式一同获取。
并且，在上述信息获取步骤中，可以通过上述摄像头的位置信息及上述摄像头的旋转信息获取扫描头的位置信息及旋转信息。
并且，上述扫描头的位置信息及旋转信息可以与扫描时间联动。
并且，在上述显示步骤中，能够以按照时间顺序依次显示的方式再生上述扫描数据的形成过程。
并且，在上述显示步骤中，当再生上述扫描数据的形成过程时，能够通过形成于上述用户界面上的再生速度调节部调节再生速度。
并且，在上述显示步骤中，当再生上述扫描数据的形成过程时，能够通过形成于上述用户界面上的扫描时间标记部调节再生位置。
并且，在上述显示步骤中，当再生上述扫描数据的形成过程时，能够在上述用户界面上显示包括扫描头的上述扫描仪的形状的一端。
并且，上述扫描仪的形状能够以半透明的方式显示在上述用户界面上，包括上述扫描头的上述扫描仪的状态及上述扫描数据同时再生。
并且，在上述显示步骤中，能够进一步显示上述扫描头的移动路径。
并且，上述扫描头的移动路径包含扫描时间信息，当选择上述扫描头的移动路径中的一部分时，上述扫描头能够向与上述一部分对应的再生位置移动。
并且，上述扫描数据、上述扫描头的位置信息及旋转信息能够按照时间顺序分为多个组。
有益效果
根据本发明一实施例的扫描过程再生方法，通过将得到扫描数据的扫描过程以回放影像来实现，从而可以按照时间顺序模拟扫描工作进行过程。
由此，可以根据工作流程，确认包括为获取上述扫描数据而进行的扫描工作的环境、扫描方法及扫描过程中发生的问题事项的信息，并且可将确认的信息应用于扫描数据的可靠性评估，也可以作为进行下一扫描工作时用于提高效率的指南来参考。
附图说明
图1为本发明的扫描过程再生方法的简要流程图。
图2为更详细地示出本发明的扫描过程再生方法中的扫描步骤的流程图。
图3为本发明的扫描过程再生方法中的扫描对象物和用于对扫描对象物进行扫描的扫描仪的简图。
图4为简要说明本发明的扫描过程再生方法中的当扫描仪对扫描对象物进行扫描时从T1向T6行进并进行扫描的过程的图。
图5为简要示出当对扫描对象物进行扫描时内置于扫描仪的摄像头与扫描对象物之间的关系的图。
图6至图14为按照时间顺序示出本发明的扫描过程再生方法中在用户界面上生成扫描模型数据的过程的图。
图15为示出本发明的扫描过程再生方法中在用户界面上显示扫描路径的状态的图。
符号说明
S10：扫描步骤
S11：二维图像获取步骤
S12：三维图像生成步骤
S13：对齐步骤
S20：信息获取步骤
S30：运算步骤
S40：显示步骤
T1、T2、T3、T4、T5、T6：扫描点
1：扫描对象物
M：模型
10：扫描显示部
12：阴影
14：图案
20：扫描进行部
21：扫描头
30：操作界面部
31：再生操作部
32：扫描时间标记部
32a：滑动条
32b：搜索按钮
33：再生速度调节部
33a：再生速度减速部
33b：再生速度加速部
34：扫描头显示/解除按钮
35：扫描区域显示/解除按钮
36：再生/停止按钮
40：扫描部位选择部
41：上颌选择部
42：下颌选择部
43：咬合选择部
100：扫描仪
110：移动路径
具体实施方式
以下，将通过示例性附图详细说明本发明的部分实施例。应当注意，在对各个附图的结构要素赋予附图标记的过程中，即使示出在不同的附图中，对于相同的结构要素也尽可能赋予了相同的附图标记。并且，在说明本发明的过程中，当判断出对相关公知结构或功能的具体说明有可能混淆本发明的主旨时，将省略对其的详细说明。
在说明本发明实施例的结构要素的过程中，可以使用第一、第二、A、B、(a)、(b)等术语。这些术语仅仅用于对其结构要素与其他结构要素进行区分，而相应结构要素的本质或次序或顺序等并不局限于此。并且，除非另有定义，否则包括技术性或科学性的术语在内的所有术语具有与本发明所属技术领域的普通技术人员通常所理解的相同含义。诸如词典中所定义的术语之类的通常使用的术语应被解释为具有与相关技术的文脉中所具有的含义一致的含义，除非在本发明中明确定义，否则不应以理想性或过于形式化的含义来解释。
图1为本发明的扫描过程再生方法的简要流程图，图2为更详细地示出本发明的扫描过程再生方法中的扫描步骤的流程图。
参照图1及图2，本发明的扫描过程再生方法包括通过扫描仪对扫描对象物1进行扫描来获取扫描数据的扫描步骤S10。在扫描步骤S10中，通过形成于扫描仪一端的开口部向扫描仪内部引入从扫描对象物1表面反射的光。引入到扫描仪内部的光通过形成于扫描仪内部的摄像头接收，摄像头通过与其连接的成像传感器获取所接收的光作为数字扫描数据。在此情况下，扫描数据可以是至少一个二维图像数据(这可以对应于扫描步骤S10中获取二维图像数据的步骤S11)。另一方面，获取的二维图像数据可以由后述的扫描进行部20实时显示，或者，当通过从在扫描仪内部增设的投光仪向扫描对象物1照射的结构光生成为三维体数据时，可以用作生成三维体数据的资料。
另一方面，在通过摄像头及与摄像头连接的成像传感器获取二维图像数据之后，可以将获取的多个二维图像数据组合以转换为三维体数据(三维图像生成步骤S12)。三维体数据可以包含三维空间中具有图形信息的体素(voxel)，结果，可以通过这种三维体数据的集合而将扫描数据显示于用户界面上。但是，为了在用户界面上显示扫描数据，每个三维体数据并非以零碎的方式显示，而必须经过对齐步骤S13，在上述对齐步骤S13中，以使多个三维体数据相互连接及对齐的方式进行对齐。通过对齐步骤S13，进行生成的三维体数据之间的连接、坐标对齐等，这种对齐过程可以通过各种方式进行，但优选地，可以使用允许一个数据与另一个数据的重叠部分相互连接的迭代最近点(ICP，iterative closest point)算法来进行对齐步骤S13。
并且，如上所述，在进行扫描步骤S10的过程中，可以与扫描数据一同获取扫描仪的状态信息(信息获取步骤S20)。在此情况下，可以获得扫描仪的各种状态信息，但其中，可以获得形成于扫描仪内部的摄像头的位置信息和旋转信息。形成于扫描仪内部的摄像头可以是一个以上，获得位置信息和旋转信息的摄像头也可以是一个以上。通过摄像头获取位置信息及旋转信息的目的在于最终获取扫描仪与扫描对象物之间的距离信息。
图3为本发明的扫描过程再生方法中的扫描对象物和用于对扫描对象物进行扫描的扫描仪的简图。
参照图3，通过扫描仪对扫描对象物1进行扫描。扫描对象物1可以是通过取模(impression taking)获取的石膏模型，或者也可以是包括患者的牙齿和牙龈的实际口腔。扫描仪的种类有多种，但综合考虑本发明的特性和使用方便性，优选采用手持式(handheld)三维扫描仪。从扫描对象物1反射的光通过扫描仪的扫描头进入扫描仪内部后经过二维及三维图像获取及对齐而形成为三维建模的扫描数据。
图4为简要说明本发明的扫描过程再生方法中的当扫描仪对扫描对象物进行扫描时从T1向T6行进并进行扫描的过程的图，图5为简要示出当对扫描对象物进行扫描时内置于扫描仪的摄像头与扫描对象物之间的关系的图。
参照图4及图5，扫描仪可以将扫描对象物1从一端向另一端移动的同时进行扫描。另一方面，当用户通过扫描仪进行扫描时，对第一扫描点T1到下一个扫描点T2、T3、T4、T5及T6依次进行扫描。在进行扫描的过程中，多个扫描点T1、T2、T3、T4、T5及T6可以具有与相邻的每个扫描点重叠的部分。随着以允许存在重叠部分的方式进行扫描，进行数据之间的对齐，最终可以创建一个扫描对象物的模型数据。
另一方面，当扫描仪进行扫描时，从信息获取步骤S20中获取的摄像头的位置信息可以是以x值、y值、z值表示的三维直角坐标系形式。摄像头的位置信息可以显示为基于特定点的相对位置。优选地，可以将开始扫描时的坐标设置为原点(0，0，0)，得到每个扫描点的相对坐标。
摄像头的旋转信息能够以由α、β、γ表示的三种角度形式获取。在此情况下，α可以表示摄像头在xy平面上的角度，β可以表示摄像头在yz平面上的角度，γ可以表示摄像头在zx平面上的角度。并且，摄像头的旋转信息能够以3×3矩阵的形式获取。在此情况下，3×3矩阵可以包含与xy平面上的角度、yz平面上的角度以及zx平面上的角度有关的信息，旋转信息表示与相对于基准位置倾斜的角度有关的信息，而不是与旋转速度等有关的信息。根据需要，摄像头的旋转信息可以从由α、β、γ表示的三种角度的形式转换为3×3矩阵的形式，反之，也可以从3×3矩阵的形式转换为三种角度的形式。
并且，如上所述，摄像头的位置信息能够以三维直角坐标系的形式获取，摄像头的旋转信息能够以3×3矩阵的形式获取，但也可以一次性将摄像头的位置信息和旋转信息以3×4矩阵的形式一同获取。
当获取到摄像头的位置信息和旋转信息时，可以通过使用摄像头与扫描头之间的位置信息及旋转信息获取的摄像头的位置信息和旋转信息来获取扫描头的位置信息及旋转信息。更加详细地，根据摄像头的位置信息及旋转信息，由于扫描仪的结构特性，扫描头被配置为与摄像头具有规定距离及规定角度。因此，若在摄像头的位置信息及旋转信息中加上摄像头至扫描头的距离，并反映摄像头与扫描头形成的角度，则可以导出扫描头的位置信息和扫描头的旋转信息。在此情况下，扫描头的位置信息能够以各种方式出现，但可以基于与扫描仪的开口部截面形状的中心对应的部分。并且，扫描头的旋转信息可以是包括扫描仪的开口部截面的虚拟平面的法向量所具有的角度。
当进行信息获取步骤S20时，可以进行根据扫描仪的状态信息计算扫描仪与扫描对象物1的相对信息的运算步骤S30。在运算步骤S30中，可以测量从信息获取步骤S20中获取的扫描头与扫描对象物1之间的距离。这可以通过运算多个扫描点(示例性地，T1、T2、T3、T4、T5及T6可以对应于此。但是，扫描点的数量不限于6个，当进行扫描步骤S10时扫描的多个扫描点可以对应于此)与扫描头之间的线性距离和角度来将其作为距离数据获取。参照图5，随着摄像头的移动(从C1到C2，从C2到C3)，可以获取摄像头的位置信息和旋转信息，可以通过摄像头的位置信息和旋转信息获取扫描头的位置信息和旋转信息。并且，可以对扫描对象物1与扫描头支架的距离、角度信息进行运算，根据运算步骤S30中运算的距离、角度信息生成后述的扫描头的移动路径110。
另一方面，当通过扫描仪进行扫描步骤S10时扫描头的位置信息及旋转信息可以随扫描时间而改变。因此，扫描头的位置信息及旋转信息能够以数据联动的方式形成，以具有与发生位置信息及旋转信息的扫描时间有关的信息。由此，可以使扫描头的位置信息及旋转信息按照扫描时间顺序排列。随着扫描头的位置信息及旋转信息按照扫描时间顺序排列，具有可以按照时间顺序排列并再生多个数据的优点。
图6至图14为按照时间顺序示出本发明的扫描过程再生方法中在用户界面上生成扫描模型数据的过程的图。
整体参照图6至图14，本发明的扫描过程再生方法可以包括通过对扫描对象物1的扫描在用户界面上以三维模型M的形式显示扫描数据的显示步骤S40。在显示步骤S40中可以显示通过扫描过程完成的模型M，但也可以显示直到完成模型为止的模型形成过程。
参照图6及图7，用户界面可以包括：扫描显示部10，用于以三维模型M显示扫描数据；扫描进行部20，用于显示扫描过程；以及操作界面部30，可以对三维模型进行操作。当实时进行扫描或再生扫描过程时，扫描进行部20可以在相应时间可视地显示通过摄像头及成像传感器生成的二维图像数据。另一方面，扫描进行部20和扫描显示部10可以显示在同一画面上，与同一扫描时间点对应地形成三维模型M的过程和扫描过程中获取的二维图像数据可以同时再生。并且，扫描进行部20可以与扫描显示部10隔开形成，为了更为显著地识别三维模型M，扫描进行部20可以占据比扫描显示部10小的区域。
另一方面，操作界面部30可以对三维模型M进行各种操作。在某些情况下，若扫描结果与用户的预期不同，则操作界面部30中可以包含可以删除特定部分的数据的选项、可以确认三维模型M数据数据可靠性的选项、可以确认扫描仪的动作状态(等待中、扫描中等)的选项等，但是本发明中的主要内容为再生扫描过程，因此省略了与此无关的选项按钮。
操作界面部30可以包括再生操作部31。通常，扫描显示部10仅显示通过将扫描开始到结束为止的数据形成为三维模型M来显示的最终数据，但是可以通过操作再生操作部31(例如，点击)来将用户界面转换为再生模式。
当转换到再生模式时，可在扫描显示部10的下端进一步显示与再生模式对应的多个部分32至36。扫描时间标记部32能够可视地显示在再生模式下进行扫描的时间，在此情况下，扫描时间可以随着搜索按钮32b在滑动条32a的形式上从一端向另一端移动的动作而出现。即，当搜索按钮32b位于一端(例如，滑动条的左侧尾部)时，扫描时间可以对应于扫描开始时间，当搜索按钮32b位于另一端(例如，滑动条的右侧尾部)时，扫描时间可以对应于扫描结束时间。在本发明的显示步骤S40中，能够以在再生模式下按照时间顺序依次显示扫描数据的形成过程的方式进行再生。扫描数据的形成过程是指按照获取扫描数据的时间顺序显示在上述扫描步骤S10中获取的扫描数据。
另一方面，扫描时间标记部32可以通过点击滑动条32a的特定点移动到与该点对应的扫描时间点，可以从与该点对应的扫描时间再生扫描过程。或者，可以通过点击并拖放(drag&drop)搜索按钮32b来移动到用户所期望的扫描时间点。
并且，显示步骤S40可以被配置为当再生扫描数据的形成过程时，可以通过形成于用户界面上的再生速度调节部33调节再生速度。再生速度调节部33包括再生速度减速部33a及再生速度加速部33b，再生速度减速部33a通常可以由符号“﹣”来表示，再生速度加速部33b通常可以由符号“﹢”来表示。再生速度减速部33a与再生速度加速部33b之间可以显示当前在进行再生过程时适用的再生速度，可以对再生速度进行各种调节，例如基准速度的×0.5倍、×1.0倍、×1.5倍、×2.0倍、×2.5倍、×3.0倍等。
另一方面，参照图7至图12，在显示步骤S40中，当再生扫描数据的形成过程时，可将包括扫描头的扫描仪的形状100的一端显示在用户界面(更加详细地，显示在扫描显示部10上)。随着扫描仪的形状100显示在扫描显示部10上，当用户对扫描对象物1进行扫描时，可以通过视觉确认扫描是通过哪个位置和旋转(倾斜角度)进行的，并反馈扫描不足部分。并且，扫描仪的形状100以半透明的方式显示在用户界面上，从而可以同时再生包括扫描头的扫描仪的状态和扫描数据。即，当扫描仪的形状100显示为半透明时，扫描仪图形可能会覆盖以三维模型M形式显示的部分或全部扫描数据，因此可以通过调节扫描仪的形状100的透明度来一同确认扫描数据和包括扫描头的扫描仪的状态。
在此情况下，包括扫描头的扫描仪的形状100和三维模型M可以再生，以显示在上述信息获取步骤S20及运算步骤S30中获取的扫描头的位置信息及旋转信息、与扫描对象物1之间的距离及角度信息。即，当在显示步骤S40中再生扫描过程时，可以在扫描显示部10上可视地按照显示时间依次获取的多个信息。尤其，若扫描仪在对扫描对象物1进行扫描时旋转，则可以表示为当扫描仪进行扫描时，使三维模型M如同相对于扫描对象物1旋转一样旋转。
另一方面，若需要在再生扫描过程时仅确认扫描数据的形成过程而不想看到扫描头，则可通过点击形成在扫描显示部10一侧的扫描头显示/解除按钮34来防止显示包括扫描头的扫描仪的形状100。由于不显示扫描仪的形状100，因此可以更仔细地观察到形成三维模型M的扫描数据的获取过程。
参照图13及图14，在扫描显示部10的一端可以形成有扫描部位选择部40。例如，扫描部位选择部40可以形成在扫描显示部10的上端，扫描部位选择部40可以包括上颌选择部41、下颌选择部42及咬合选择部43。当通过激活再生操作部31(例如，点击)来进入再生模式时，若选择上颌选择部41，则可以仅对上颌的扫描过程进行再生，若选择下颌选择部42，则可以仅对下颌的扫描过程进行再生。并且，当在再生模式下选择咬合选择部43时，可以仅对为了形成上颌与下颌之间的咬合而扫描上颌/下颌咬合形态的过程进行再生。在此情况下，能够以与上颌及下颌区别的方式对获取咬合信息的部分进行显示，这能够以颜色、阴影、图案14中的至少一种视觉方式显示。另一方面，上颌的扫描过程、下颌的扫描过程以及咬合的扫描过程可以按照时间顺序进行分类，因此为了根据每个扫描过程分离和再生扫描过程，可以按照时间顺序将扫描数据、扫描头的位置信息及旋转信息分成多个组。像这样，可以分别观察上颌扫描过程、下颌扫描过程即咬合扫描过程，因此具有用户无需检验整个扫描过程，即可快速获得针对特定扫描过程的反馈的优点。
另一方面，在如上所述的再生模式下，在每个扫描时间点进行扫描的部分能够以阴影12的形式出现在扫描显示部10上显示的三维模型M上。用户可以参照阴影12的移动路径等来接收针对扫描不足部分的反馈，并且可以用作后续扫描的参考资料。
图15为示出本发明的扫描过程再生方法中在用户界面上显示扫描路径的状态的图。
参照图15，在本发明的扫描过程再生方法中，显示步骤S40中可以进一步显示扫描头的移动路径110。扫描头的移动路径110是按照时间顺序连接扫描头的位置信息来构成的。因此，构成扫描头的移动路径110的每个点可以包含扫描时间信息(扫描时间点)，当选择扫描头的移动路径110中的一部分时，可以移动到与该点对应的扫描时间点(再生位置)来进行再生。由此具有如下优点：用户可以在视觉上确认扫描头的移动路径110，并且可以基于扫描头的移动路径110接收针对扫描过程的反馈，从而可以快速反馈。
以上说明仅仅为对本实施例的技术思想的例示性说明，只要是本实施例所属技术领域的普通技术人员，就可在不脱离本实施例的本质特性的范围内进行多种修改及变形。
因此，本实施例并非所要限定本实施例的技术思想，而是用于说明本实施例，本实施例的技术思想的范围并不局限于这些实施例。本实施例的保护范围应由以下发明要求保护范围来解释，与其等同范围内的所有技术思想应被解释为包含在本实施例的权利范围内。
产业上的可利用性
本发明提供一种扫描过程再生方法，其能够通过预先存储的扫描数据对获取该扫描数据的扫描过程进行模拟并显示。

Claims (16)

1.一种扫描过程再生方法，其特征在于，包括：
扫描步骤，通过扫描仪对扫描对象物进行扫描来获取扫描数据；
信息获取步骤，获取上述扫描步骤中获取的上述扫描仪的状态信息；
运算步骤，根据从上述信息获取步骤中获取的上述扫描仪的状态信息计算上述扫描仪与上述扫描对象物之间的相对信息；以及
显示步骤，将通过扫描上述扫描对象物而得到的上述扫描数据显示在用户界面上。
2.根据权利要求1所述的扫描过程再生方法，其特征在于，
上述扫描步骤还包括：
二维图像获取步骤，接收通过在上述扫描仪的一端部形成的开口部入射的光来获取至少一个二维图像数据；
三维图像生成步骤，将从上述二维图像获取步骤中获取的至少一个上述二维图像数据转换为三维体数据；以及
对齐步骤，以使多个上述三维体数据相互连接并对齐的方式进行对齐。
3.根据权利要求1所述的扫描过程再生方法，其特征在于，
从上述信息获取步骤中获取的信息包含摄像头的位置信息及旋转信息。
4.根据权利要求3所述的扫描过程再生方法，其特征在于，
上述摄像头的位置信息以由x值、y值、z值表示的三维直角坐标系的形式获取。
5.根据权利要求3所述的扫描过程再生方法，其特征在于，
上述摄像头的旋转信息以3×3旋转矩阵的形式获取。
6.根据权利要求3所述的扫描过程再生方法，其特征在于，
上述摄像头的位置信息和上述摄像头的旋转信息以3×4矩阵的形式一同获取。
7.根据权利要求3至6中任一项所述的扫描过程再生方法，其特征在于，
在上述信息获取步骤中，通过上述摄像头的位置信息及上述摄像头的旋转信息获取扫描头的位置信息及旋转信息。
8.根据权利要求7所述的扫描过程再生方法，其特征在于，
上述扫描头的位置信息及旋转信息与扫描时间联动。
9.根据权利要求1所述的扫描过程再生方法，其特征在于，
在上述显示步骤中，以按照时间顺序依次显示的方式再生上述扫描数据的形成过程。
10.根据权利要求9所述的扫描过程再生方法，其特征在于，
在上述显示步骤中，当再生上述扫描数据的形成过程时，能够通过形成于上述用户界面上的再生速度调节部调节再生速度。
11.根据权利要求9所述的扫描过程再生方法，其特征在于，
在上述显示步骤中，当再生上述扫描数据的形成过程时，能够通过形成于上述用户界面上的扫描时间标记部调节再生位置。
12.根据权利要求9所述的扫描过程再生方法，其特征在于，
在上述显示步骤中，当再生上述扫描数据的形成过程时，在上述用户界面上显示包括扫描头的上述扫描仪的形状的一端。
13.根据权利要求12所述的扫描过程再生方法，其特征在于，
上述扫描仪的形状以半透明的方式显示在上述用户界面上，包括上述扫描头的上述扫描仪的状态及上述扫描数据同时再生。
14.根据权利要求13所述的扫描过程再生方法，其特征在于，
在上述显示步骤中，进一步显示上述扫描头的移动路径。
15.根据权利要求14所述的扫描过程再生方法，其特征在于，
上述扫描头的移动路径包含扫描时间信息，当选择上述扫描头的移动路径中的一部分时，上述扫描头向与上述一部分对应的再生位置移动。
16.根据权利要求8所述的扫描过程再生方法，其特征在于，
上述扫描数据、上述扫描头的位置信息及旋转信息按照时间顺序分为多个组。
CN202080014353.0A 2019-02-15 2020-02-14 扫描过程再生方法 Active CN113424523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0017680 2019-02-15
KR20190017680 2019-02-15
PCT/KR2020/002133 WO2020167042A1 (ko) 2019-02-15 2020-02-14 스캔 과정 재생 방법

Publications (2)

Publication Number Publication Date
CN113424523A true CN113424523A (zh) 2021-09-21
CN113424523B CN113424523B (zh) 2023-10-27

Family

ID=72292840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080014353.0A Active CN113424523B (zh) 2019-02-15 2020-02-14 扫描过程再生方法

Country Status (4)

Country Link
US (1) US12020373B2 (zh)
EP (1) EP3913913A4 (zh)
KR (1) KR102311389B1 (zh)
CN (1) CN113424523B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356156A (zh) * 2021-11-25 2022-04-15 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191490A1 (ko) * 2021-03-10 2022-09-15 주식회사 메디트 구강 교정 정보 표시 시스템
KR102621270B1 (ko) * 2021-03-26 2024-01-05 주식회사 메디트 데이터 처리 방법 및 이를 이용한 데이터 처리 장치
KR102556839B1 (ko) 2021-03-31 2023-07-18 오스템임플란트 주식회사 대상체에 대한 백업 데이터를 제공하는 방법, 디바이스 및 기록매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100281370A1 (en) * 2007-06-29 2010-11-04 Janos Rohaly Video-assisted margin marking for dental models
US20140120493A1 (en) * 2012-11-01 2014-05-01 Align Technology, Inc. Motion compensation in a three dimensional scan
KR20150057800A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
KR20160149301A (ko) * 2014-05-07 2016-12-27 얼라인 테크널러지, 인크. 구강내 스캔 중 관심 구역의 식별
WO2018088610A1 (ko) * 2016-11-09 2018-05-17 (주)안세기술 레이저 스캐너를 이용한 대상 물체의 실시간 동적 위치 추적이 가능한 3ｄ 레이저 스캐너 시스템
US20180192964A1 (en) * 2015-07-08 2018-07-12 Dentsply Sirona Inc. System and method for scanning anatomical structures and for displaying a scanning result

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6406292B1 (en) * 1999-05-13 2002-06-18 Align Technology, Inc. System for determining final position of teeth
ES2690122T3 (es) * 2006-02-28 2018-11-19 Ormco Corporation Software y métodos para planificación de tratamiento dental
CN102625669B (zh) * 2009-06-08 2015-09-23 核磁共振成像介入技术有限公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
ES2721878T3 (es) * 2010-02-25 2019-08-06 3Shape As Articulador virtual dinámico
KR102137544B1 (ko) 2013-11-18 2020-07-24 주식회사바텍 치과용 3차원 표면영상 생성 장치 및 방법
CN105769352B (zh) * 2014-12-23 2020-06-16 无锡时代天使医疗器械科技有限公司 用于产生牙齿矫治状态的直接分步法
EP3427070A4 (en) * 2016-03-11 2019-10-16 Cyberoptics Corporation FIELD CALIBRATION OF A THREE-DIMENSIONAL CONTACTLESS SCREENING SYSTEM
EP4241725A3 (en) * 2017-03-20 2023-11-01 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
JP2018175227A (ja) 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
US11026766B2 (en) * 2018-05-21 2021-06-08 Align Technology, Inc. Photo realistic rendering of smile image after treatment
US10996813B2 (en) * 2018-06-29 2021-05-04 Align Technology, Inc. Digital treatment planning by modeling inter-arch collisions
WO2020142534A1 (en) * 2019-01-03 2020-07-09 Align Technology, Inc. Automatic aligner design with robust parametric optimization method
US11622836B2 (en) * 2019-12-31 2023-04-11 Align Technology, Inc. Aligner stage analysis to obtain mechanical interactions of aligners and teeth for treatment planning
US20230068727A1 (en) * 2021-08-27 2023-03-02 Align Technology, Inc. Intraoral scanner real time and post scan visualizations
US20230071852A1 (en) * 2021-09-09 2023-03-09 Medit Corp. Data processing apparatus and method thereof
US20230132126A1 (en) * 2021-10-27 2023-04-27 Align Technology, Inc. Methods for generating facial lines for dental treatment planning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100281370A1 (en) * 2007-06-29 2010-11-04 Janos Rohaly Video-assisted margin marking for dental models
US20140120493A1 (en) * 2012-11-01 2014-05-01 Align Technology, Inc. Motion compensation in a three dimensional scan
KR20150082428A (ko) * 2012-11-01 2015-07-15 얼라인 테크널러지, 인크. 3차원 스캔에서의 움직임 보상
KR20150057800A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
KR20160149301A (ko) * 2014-05-07 2016-12-27 얼라인 테크널러지, 인크. 구강내 스캔 중 관심 구역의 식별
US20180192964A1 (en) * 2015-07-08 2018-07-12 Dentsply Sirona Inc. System and method for scanning anatomical structures and for displaying a scanning result
WO2018088610A1 (ko) * 2016-11-09 2018-05-17 (주)안세기술 레이저 스캐너를 이용한 대상 물체의 실시간 동적 위치 추적이 가능한 3ｄ 레이저 스캐너 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356156A (zh) * 2021-11-25 2022-04-15 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质
CN114356156B (zh) * 2021-11-25 2024-05-14 武汉尺子科技有限公司 一种3d扫描界面的交互方法、设备及存储介质

Also Published As

Publication number Publication date
US12020373B2 (en) 2024-06-25
EP3913913A4 (en) 2022-10-19
EP3913913A1 (en) 2021-11-24
US20210375031A1 (en) 2021-12-02
KR102311389B1 (ko) 2021-10-13
CN113424523B (zh) 2023-10-27
KR20200099999A (ko) 2020-08-25

Similar Documents

Publication Publication Date Title
CN113424523B (zh) 扫描过程再生方法
US20220233286A1 (en) System and method for scanning an intraoral cavity
US10667887B2 (en) Video-assisted margin marking for dental models
US9262864B2 (en) Synchronized views of video data and three-dimensional model data
JP4892480B2 (ja) 適応三次元走査
WO2006065955A2 (en) Image based orthodontic treatment methods
JPWO2009035142A1 (ja) 歯科補綴物計測加工システム
JP7170892B2 (ja) 口腔および印象の複合スキャンシステムおよび方法
EP3673863A1 (en) 3d printing optimization using clinical indications
US20230290093A1 (en) Data processing method
KR102632338B1 (ko) 데이터 처리 방법
WO2020167042A1 (ko) 스캔 과정 재생 방법
EP4194804A1 (en) Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method
KR20230055381A (ko) 데이터 처리 장치 및 데이터 처리 방법
KR20230007909A (ko) 3차원 모델 상에 텍스트를 추가하는 방법 및 3차원 모델 처리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant