CN112087985A - 经由实时增强可视化的模拟正畸处理 - Google Patents

经由实时增强可视化的模拟正畸处理 Download PDF

Info

Publication number
CN112087985A
CN112087985A CN201980031042.2A CN201980031042A CN112087985A CN 112087985 A CN112087985 A CN 112087985A CN 201980031042 A CN201980031042 A CN 201980031042A CN 112087985 A CN112087985 A CN 112087985A
Authority
CN
China
Prior art keywords
image
user
face
electronic
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980031042.2A
Other languages
English (en)
Other versions
CN112087985B (zh
Inventor
艾米·温克莱斯比
科迪·J·奥尔森
理查德·E·拉比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuwanuo Intellectual Property Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN112087985A publication Critical patent/CN112087985A/zh
Application granted granted Critical
Publication of CN112087985B publication Critical patent/CN112087985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085—Cone-beams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/12—Brackets; Arch wires; Combinations thereof; Accessories therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/12—Brackets; Arch wires; Combinations thereof; Accessories therefor
    • A61C7/14—Brackets; Fixing brackets to teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明公开了一种用于使用增强现实来模拟正畸处理的系统和方法。从数字相机接收用户的面部的电子图像，并且识别图像中的感兴趣区域，其中该区域包括用户的牙齿。将虚拟正畸器具放置在图像中的用户的牙齿上，并且在电子显示装置上显示具有虚拟正畸器具的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。该系统和方法可显示用虚拟器具增强的用户的面部的3D表示。用户的增强图像或3D表示也可被补充以用于显示用户的面部解剖结构的图像或模型，诸如x射线或锥束计算机断层扫描图像。

Description

经由实时增强可视化的模拟正畸处理
背景技术
增强现实面部过滤器诸如SNAPCHAT或INSTAGRAM产品的使用正变得日益普及。然而，这些过滤器主要用于当今流行的文化中，仅用于娱乐目的，诸如在视频增强中实时地在视觉上向人类受检者的面部或头部施用毛发、化妆品、眼镜、面部毛发和帽子的再现。需要扩展该技术以用于医疗或牙科应用。
发明内容
用于模拟本发明的实施方案的正畸处理的方法包括接收用户的面部的电子图像以及识别包括用户的牙齿的图像中的感兴趣区域。将虚拟正畸器具放置在图像中的用户的牙齿上或移除检测到的器具，并且在电子显示装置上显示具有虚拟正畸器具或不具有检测到的器具的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。
本发明的实施方案的用于模拟正畸处理的系统包括提供电子数字图像或视频的相机、电子显示装置和处理器。处理器被配置用于从相机接收用户的面部的电子图像，识别图像中包括用户的牙齿的感兴趣区域，将虚拟正畸器具放置在图像中的用户的牙齿上或移除检测到的器具，以及在电子显示装置上显示具有虚拟正畸器具或不具有检测到的器具的用户的图像。处理器实时操作以在从相机接收用户的图像之时或之后不久向用户提供模拟处理的增强图像。
本发明的实施方案的用于模拟正畸处理的另一种方法包括接收用户的面部的电子图像并检索用户的面部解剖结构的电子图像或模型。该方法还包括：识别图像中的感兴趣区域，其中感兴趣区域包括用户的牙齿；以及在图像中将虚拟正畸器具放置在用户的牙齿上。在电子显示装置上显示具有虚拟正畸器具且具有用户的面部解剖结构的图像或模型的用户的图像。该方法实时发生，以在接收到用户的图像之时或之后不久向用户提供模拟处理的增强图像。
本发明的实施方案的用于模拟正畸处理的另一系统包括提供电子数字图像或视频的相机、电子显示装置和处理器。处理器被配置用于接收用户的面部的电子图像，检索用户的面部解剖结构的电子图像或模型，识别所述图像中的感兴趣区域(其中感兴趣区域包括用户的牙齿)，将虚拟正畸器具放置在图像中的用户的牙齿上，以及在电子显示装置上显示具有虚拟正畸器具且具有用户的面部解剖结构的图像或模型的用户的图像。处理器实时操作以在从相机接收用户的图像之时或之后不久向用户提供模拟处理的增强图像。
附图说明
附图被结合到本说明书中且构成本说明书的一部分，并且附图与描述一起解释本发明的优点和原理。在附图中，
图1为用于模拟正畸处理的系统的图示；
图2为用于模拟正畸处理的方法的流程图；
图3为示出检测到的面部的示例的图像的表示；
图4为示出面部界标的图像的表示；
图5为示出面部姿态估计的图像的表示；
图6示出了裁剪的感兴趣区域；
图7A-7C示出了应用于反向通道的自适应阈值；
图8A-8C示出了应用于亮度通道的自适应阈值；
图9A和图9B示出了感兴趣区域的打开和闭合；
图10示出了检测边缘；
图11示出了来自检测边缘的闭合轮廓；
图12示出了处理的虚拟渲染；
图13示出了处理的增强；
图14A为示出单个图像的表示中的处理增强的用户界面；
图14B为表示利用3D器具增强的3D模型的用户界面；
图14C为表示利用器具和解剖结构增强的2D图像的用户界面；并且
图14D为表示利用3D器具和解剖结构增强的3D模型的用户界面。
具体实施方式
本发明的实施方案包括使用计算机视觉和增强现实技术将计算机生成的图像叠置在现实世界的用户的视图上以提供以下各项中的一项或组合的视图：
1.正畸器具(诸如舌面托槽、唇面托槽、对准器、类别校正装置或保持装置)的添加或减少。
2.牙科修复物(诸如牙冠、牙桥、镶嵌物、填补物、镶面、假牙或齿龈)的添加、减少或修改。
3.自然牙齿解剖结构的添加、减少或修改，诸如通过使用牙齿增白剂、减少或积聚尖端或切缘，或者预测儿童在出牙后牙齿的外观(可能包括异位出牙)。
4.经由口腔或上颌面外科对颅面结构进行修改，口腔或上颌面外科包括牙槽面外科、牙科和上颌面植入物、美容外科和正颌外科。
5.上颌面假体、眼假体或颅面假体的添加、减少或修改。
6.正畸和/或修复处理的结果—包括牙齿解剖结构(即，牙齿和齿龈)的计划位置和形状。
7.未经历正畸和/或修复处理的预测结果，可能表现出有害后果，诸如咬合不正、牙齿磨损、齿龈凹陷、牙龈疾病、骨丢失、蛀牙或牙丢失。
8.面部的软组织的修改，诸如通过肉毒杆菌毒素注射或更具侵入性的美容和塑形外科手术，诸如鼻成形术、下巴增强、面颊增强、整容、眼睑提升、颈部提升、眉毛提升、裂腭修复、烧伤修复和疤痕修整。
9.具有可变的不透明度、分阶段处理的叠加–以将预定的处理进展与实际的处理进展进行比较。
该技术既可用作医疗/牙科专业人员进行处理计划的工具，也可用作向患者提出病例的工具。其他预期用途包括探究患者在处理期间或之后想要可视化其面部外观的处理选项，可能在外观之前和之后之间切换或转换以用于比较。在一些情况下，仅使用表面成像数据，患者可能够在不首先访问医疗或牙科从业者的情况下考虑处理情形。在其他情况下，增强可需要附加数据，诸如X射线或锥形束计算机断层扫描(CBCT)扫描数据、咬合配准数据、三维(3D)口腔扫描数据、虚拟关节运动数据或校准测量，以便生成在处理之后提供患者的更准确再现的处理计划。因此，可需要附加的时间和努力来清理和集成数据集、探究处理选项、执行测量和分析以及在可向患者示出处理结果的可信再现之前计划处理步骤。在一些情况下，可生成两个或更多个处理情形并将其呈现给患者，从而给予患者处理结果的一定程度上真实的视图。这可用于帮助患者(或医生)决定行动过程。在一些情况下，可根据结果的质量来权衡处理成本。例如，由于在外观上的边际增益超过较便宜的处理，患者可放弃昂贵的处理。类似的规则可应用于处理的持续时间，其中时间类似成本来处理。
系统和方法
图1为用于模拟正畸处理的系统10的图示。系统10包括与相机12电耦接的处理器16、显示装置14、输出装置18、存储装置19和输入装置20。相机12可用例如提供电子数字图像或视频的数字图像传感器来实现。显示装置14可用任何电子显示器实现，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)显示器或有机发光二极管(OLED)显示器。输出装置18可用用于输出信息的任何装置来实现，例如扬声器、LED指示器或辅助LCD显示模块。输入装置20可用用于输入信息或命令的任何装置来实现，例如键盘、麦克风、光标控制装置或触摸屏。存储装置19可用用于存储信息的任何电子装置来实现，诸如硬盘驱动器、固态驱动器或闪存驱动器。存储装置19可任选地位于系统10的外部并通过网络连接进行访问。系统10可以用例如台式电脑、笔记本电脑或平板电脑或移动电话来实现。
图2为用于模拟正畸处理的方法22的流程图。该方法可以在软件或固件模块中实现，以由处理器诸如处理器16执行。该方法用于通过增强、在由现实世界捕获的图像上的虚拟叠加、可能利用对在一个或多个视频帧中捕获的面部的估计的3D表示的实时操纵来将正畸处理的模拟可视化。
下面更全面解释的方法22的以下步骤用于产生示例性增强的正畸器具模拟，从视频的单个帧(图像)开始：面部检测(步骤24)；全面部界标(步骤26)；面部姿态估计(步骤28)；使用面部界标裁剪感兴趣区域(步骤30)；感兴趣的面或区域的任选3D表示(步骤32)；模拟(步骤34)；任选地补充图像或面部的3D表示(步骤35)；以及可视化(步骤36)。
面部检测(24)
该步骤使用预先训练的模型，诸如Viola-Jones模型、LBPH(本地二进制模式柱状图)级联、或通过深度学习训练的模型，在来自相机12的视频帧中找到面部。一旦检测到面部，就可创建面部环境(context)以在多个帧上跟踪该面部。该面部环境可以包含先前帧数据，诸如重新投影中使用的重要特征，或在多个先前帧上获得的点云。图3是示出从相机12接收的检测到的面部的示例的图像的表示，其中图像中的框指示检测区域。图3中的图像可任选地为具有正畸器具的用户的图像，以便虚拟地移除器具而非虚拟地添加器具。
全面部界标(26)
界标是描述面部上的重要结构的感兴趣点，并且可使用形状预测器模型找出界标，该形状预测器模型可使用SVM(支持向量机)、PCA(主成分分析)或深度学习和其他机器学习算法如随机森林算法。这些界标用于从背景裁剪面部或感兴趣区域，并且在该示例中，将用于使用广义3D界标模型进行粗略面部姿态估计。它们还可在以下步骤中用于将一般化面部网格变形以更准确地表示在视频中检测到的面部。图4为示出面部界标的图像的表示，其中来自图3的图像的检测区域包括用于界标的点或其他标记。
面部姿态估计(28)
使用所检测到的面部界标和广义3D界标模型，可通过求解一般透视N点(PNP)问题来找到估计的相机外因模型(变换)。求解PNP问题假设检测到的界标未受到相机镜头歪扭(径向/切向镜头歪扭)的影响，或者未歪扭。一旦在多个顺序帧上完成下面的特征匹配步骤，SfM(运动的结构)技术就可以替代地应用于面部的静态(非移动)部分上，以获得更准确的相机外因模型。了解相机外因提供了界标中的每个界标的良好3D点表示，这可有助于指示姿态并且还用于更准确的增强现实。这允许更准确地裁剪用于执行增强现实的感兴趣区域，但这不是必需的步骤。图5是示出如图3的图像上的两个框所指示的面部姿态估计的图像的表示。
使用面部界标修剪感兴趣区域(30)
该示例将裁剪出口部区域，其中唇部的内边缘表示裁剪区域的边界。如果模拟涉及面部的大面积或不同面积，诸如颌部，则这可以是整个面部或面部的另一部分。图6示出了来自图3-5的图像的所裁剪的感兴趣区域。
感兴趣的面部或区域的3D表示(32)
这是任选的步骤并且仅需要模拟，模拟需要面部或面部区域的3D模型，诸如结构操纵或提高增强的准确性。可使用两种方法，或两者的组合。
方法1：可采用的第一种方法是使用重新投影和网格重建在多个视频帧上生成3D网格。重新投影是找到图像中的一者中的特征的深度，从而将特征转变为3D点云的过程。网格重建是用于从该点云产生三角形网格的技术。这假设相同面部的多于一个图像，其中图像已从略微不同的角度和位置拍摄。以下是该方法1的步骤。
i.特征/关键点检测。这些是在图像中的其余像素之中突出的图像上的点(角部)，这些点可能以相同场景的不同角度存在于另一图像中。
ii.特征过滤。这是可选的步骤，如果检测到的特征列表太大，则可需要采取该步骤。存在各种技术来删减特征列表以获得最强特征(最突出特征)的较小列表。
iii.特征对应。每个帧必须经过上述步骤，并且具有其自身的特征列表。这是来自一个图像的特征与另一个图像中的特征相匹配的情况。并非所有特征都将是匹配的，并且弃置任何不匹配的特征。一旦特征匹配，第二图像中的特征列表就应按照与来自第一图像的特征相同的顺序进行分类。
iv.校正。调整每个图像中的特征，使得它们使用相机外因模型在同一平面上行对齐。这意味着来自一个图像的特征与另一个图像中的同一特征在同一x轴行上。
v.计算视差图。视差图是x轴上匹配点之间的视差(距离)的列表。距离以像素为单位进行测量。
vi.三角测量。使用相机的几何关系，该方法可计算对极几何结构，以及计算一个图像中的每个特征的深度所需的基本矩阵。
vii.网格重建。将3D点云转变成3D网格以用于模拟步骤。这还可包括基于相机参数(例如，相机位置)通过光线跟踪找到纹理坐标。
方法2：该方法涉及感兴趣的面部或区域(例如，NURBS表面或Bézier表面)的参数表示，或将被变形、扩展或拉伸以最佳地拟合面部的点云(参见方法1)或先前获得的一组界标的通用多边形网格(即，三角形或四边形)。如果使用感兴趣的面部或区域的通用网格，则网格内的顶点可被分配权重给界标。当在图像中找到界标时，将基于它们的给定权重和面部姿态将通用网格的顶点拉向那些界标。另选地，表面的拓扑结构可仅在摘要中预定义，诸如通过界标之间的图形-理论关系或由界标之间的线所勾勒的区域。当经由特征识别(界标识别)和摄影测量三角测量在3D中获得点时，可生成NURBS表面或网格，使得界标与表面块的拐角重合。当然，可必须在界标之间的区域中捕获附加点，并且这些点可用于更准确地定义表面的参数：控制点和多项式系数(就NURBS而言)，或中间顶点(就方格化网格表面而言)。面部的任何不同特征可用作网格或参数模型中的界标或控制点。因此，可通过将视频图像的分辨率增加到这些微小特征既可见又可识别的程度来改善模型的准确性。
模拟(34)
一旦完成上述步骤，就可通过增强或操纵3D几何形状来施加虚拟处理。这可包括精确定位(pin-pointing)位置或区域以施加模拟。在该示例中，在估计应放置器具的感兴趣的区域上的位置之后，在渲染的正畸器具叠加到感兴趣的区域上的情况下，或者在检测到的器具实际上从感兴趣的区域移除的情况下，实现增强。对于涉及操纵3D几何形状的处理，可需要采取额外的步骤，诸如填充图像中由于使3D几何形状变形而产生的任何孔。渲染的正畸器具可由2D图像或3D模型表示。
在该示例中，在感兴趣区域上使用各种图像处理技术来分割和识别牙齿，这包括放大感兴趣区域、降噪、应用分割算法(诸如平均移位分割、直方图均衡)、在多个色彩空间的特定通道上的自适应阈值分割、减小和扩大(打开/关闭)、边缘检测和查找轮廓。
首先按比例放大感兴趣区域并将其转换成不同的彩色空间，其中将自适应阈值应用于其中牙齿与非牙齿最分开的通道。图7A-7C示出了应用于感兴趣区域的lab彩色空间的反向绿-红通道的自适应阈值：lab彩色空间的反向通道“a”(绿-红)(图7A)、应用自适应阈值之后的掩模(mask)(图7B)以及应用了掩模的感兴趣区域的彩色图像(图7C)。图8A-8C示出了应用于感兴趣区域的YUV彩色空间的亮度通道的自适应阈值：YUV彩色空间的通道“Y”(亮度)(图8A)、自适应阈值之后与来自Lab彩色空间自适应阈值的掩模组合(按位)应用的掩模(图8B)，以及应用组合掩模的感兴趣区域的最终彩色图像(图8C)。
一旦已通过上述彩色空间通道的自适应阈值创建掩模，就可使用打开(减小，然后扩大)和闭合(扩大，然后减小)来进一步分割牙齿和清除噪声。图9A和9B分别示出了在彩色空间阈值处理之后感兴趣区域的打开和闭合。
使用技术诸如坎尼边缘检测(Canny Edge Detection)从掩模检测边缘。图10示出了来自坎尼边缘检测的检测边缘。
轮廓可由检测到的边缘生成，其中单独的牙齿或牙齿组可被分析或用作独立对象。图11示出了从检测边缘发现的叠加在感兴趣的着色区域上的闭合轮廓。
根据轮廓分析和一般面部姿态，以正确的取向和比例渲染处理，准备叠加在感兴趣的区域上。可分析原始图像以找到应用于渲染处理的一般照明模型，这将使处理增强在场景中更自然地拟合。图12示出了处理(在该示例中为托槽和弓丝)的虚拟渲染。任选地，虚拟渲染可涉及移除检测到的器具，诸如托槽和弓丝。
渲染的处理增强到感兴趣的区域上。可以进行后处理，诸如高斯模糊，以将增强处理与原始图像混合，并使最终图像看起来更自然，就像它是原始图像的一部分一样。图13示出了处理的增强，其中虚拟托槽和弓丝叠加在感兴趣的区域内的牙齿上。任选地，增强可涉及移除检测到的器具并显示结果。增强可在不明确分割单独的牙齿和轮廓的情况下通过进行口部的端点与牙齿的端点的直接配准来实现。然而，识别每个牙齿中心甚至大致提供更准确/真实的结果。
补充图像或3D模型(35)
用器具、修复件或经修改的解剖结构来增强面部图像的另一种方法涉及3D建模的另一个方面。上述方法使用3D建模来确定面部的位置、取向和比例，这可通过虚拟全域(virtual universe)中的3D仿射变换在数学上进行描述。然后将对应的转换应用于牙科器具，使得它们在一定程度上实际的位置和取向配准到患者的牙齿，尽管2D图像分析可最终用于找到放置托槽的牙齿的面部轴(FA)点。
在该其他方法中，摄像机可以用作一类3D扫描仪，从而从不同的有利点(即，视点和查找矢量，其与图像平面一起形成一组不同的视锥(view frustum))捕获人的面部的多个2D图像。使用3D摄影测量技术，可生成人的面部(和头部)的3D模型，最初为点云的形式，然后为三角形网格的形式。伴随这些技术的是UV映射(或纹理映射)以将色值从2D图像中的像素应用于网格中的3D顶点或三角形。因此，可在虚拟全域中生成人的面部的逼真且相当准确的3D模型。随后，可将3D模型的图像渲染到2D平面上，该2D平面根据视锥定位在虚拟全域中的任何位置处。合适的渲染方法包括多边形渲染或光线跟踪。来自UV标测图的色值将被应用于渲染中以生成面部的更逼真的颜色再现(与仅由相对于场景中的视点和每个光源两者的三角形取向遮罩的单色网格模型相反)。
此时，面部的3D模型可与任选地从不同扫描源(诸如口内扫描仪、锥束CT(CBCT或3D X射线)扫描仪、MRI扫描仪、3D立体相机等)获得的其他3D模型或图像组合或集成(或简单地配准)。此类数据将有可能是在较早日期获得的并且用于处理计划。此类其他模型或图像可存储在例如数据存储装置19中并从该数据存储装置检索。
在一些情况下，视频图像可用作表面3D图像的唯一来源，从而捕获面部的软组织以及任何可见的牙体解剖结构。在其他情况下，软组织数据可在CBCT扫描(无颜色信息)或3D立体图像中捕获。无论如何，软组织数据是某些处理计划的建模中的基本组成部分，诸如涉及正颌外科手术、封闭类别矫正(经由前-后牙齿移动)、牙齿前突的显著变化以及美容和整形外科的处理计划。因此，本发明的实施方案可向患者提供关于由处理、处理期间或处理之后、或者处理期间和处理之后两者引起的其预期外观的视觉反馈。
通过捕获患者的颅面解剖结构的多个3D数据源，医生可能够在结构解剖结构中利用真实基础有意识地设计一个或多个处理计划。这些计划可在医生自己的计划表上设计，不需要患者在场，并且可能与其他医生、技术人员或服务提供商合作。器具或假体可被形成并应用于患者的自然解剖结构，并且患者的自然解剖结构可作为处理计划的一部分被增强或修改。此类器具和假体的3D虚拟模型可由例如第三方实验室或服务提供商创建，并且与由医生提供的数据集组合。由处理引起的修改的解剖结构可由医生、第三方生成，或者作为使用远程软件协作工具的协作工作。处理计划可呈现回患者以供查看、可能的修改和批准。在一些情形下，医生可以是评论者，并且第三方实验室或制造商是所提议的处理计划的来源。
在将处理计划呈现回患者时，使用摄像机来捕获足够的帧以生成足以将他/她的面部配准到包括该计划的3D模型的患者的3D模型，该3D模型可基于其他数据源但具有与新捕获的数据共同的至少一些解剖特征。患者的面部的完整重新扫描将不是必要的，因为为了便于创建详细的处理计划，已经在较早的日期进行了完整的扫描。因此，在仅相对于摄像机的有限运动的情况下，可创建患者的当前解剖结构的部分3D模型，任选地裁剪该部分3D模型以移除由计划修改的解剖结构的部分，并且最佳地拟合计划模型。由于每个视频帧的视锥是经由3D摄影测量方法已知的，因此可使用相同的视锥来表示虚拟相机，并且可在该相机的视平面上创建3D模型的2D渲染。然后可在患者相对于相机移动时将该2D渲染实时呈现回患者(或其他观察者)。实际上，物理和虚拟世界保持彼此同步。
存在确定向患者反映和呈现什么的选项。例如，如果计划仅在患者存在时实时呈现，则可不需要将纹理图存储在计划模型中。在这种情形下，单独的视频帧和计划模型之间的配准可在不使用纹理图的情况下进行，并且呈现回患者的视频图像中的每个像素的色值可简单地从摄像机捕获的值中让渡。在器具附接到患者牙齿(或面部的其他部分)的情况下，器具将在虚拟世界中渲染，并且它们的2D再现将叠加视频帧的对应区域，实际上掩蔽下面的解剖结构。在修改的解剖结构的情况下，可使用相同的方法，不同的是这些解剖结构的像素可需要使用先前捕获的值着色，该先前捕获的值被UV标测到计划模型的网格上。另选地，色值可从当前视频帧获得，但是然后根据处理计划转换到由3D解剖结构的变化确定的不同位置。例如，正颌外科手术可规定下颌被推进若干毫米。因此，用于渲染受前移影响的患者的软组织(皮肤和唇部)的像素的色值往往不会不同；仅它们在虚拟世界中的位置以及因此的渲染将改变。因此，2D视频图像中的受影响像素可简单地根据投影到视平面上的3D仿射变换在图像平面中平移。在又一其他情形中，一旦建立了物理摄像机与虚拟摄像机的配准，就可实时渲染整个3D虚拟场景并将其与其头部移动同步呈现回患者。
在上述情形的一些情形中，可采用这样的技术：通过该技术在捕获视频时连续增强或更新计划模型，以用于向患者呈现处理计划的目的。鉴于在一些情形下，可仅使用最小的视频覆盖来生成患者的3D模型，因此孔、岛状物或噪声区域有可能存在于包括模型的网格中。当接收到新视频图像时，即使捕获的主要目的是配准物理世界和虚拟世界并为患者渲染现有的计划模型，也可使用新图像通过填充孔、移除或结合岛状物以及降低噪声来增强或更新现有模型。这样做时，可实时(或在短暂的处理延迟之后)改善计划模型的质量。在一些情况下，可通过使用扫描数据的大的一体式贴片(patch)来调整以累加误差缝合在一起的较小贴片的位置和取向，来改善模型的尺寸精度。该技术还可用于通过更新对当前皮肤的纹理图和照明条件来改善头像风格渲染的真实性。否则，在头像上使用的纹理图将来自在较早日期捕获的先前扫描并且可能处于不同设置中。
对于补充的图像或模型，可任选地使用例如PCA或其他技术将用户的面部图像或3D表示与用户的面部解剖结构的图像或模型配准。当配准时，图像或模型被同步，使得一个图像或表示的操纵引起另一个图像或表示的对应操纵。例如，如果旋转用户的面部图像，则对应地旋转用户的面部解剖结构的配准图像或模型。
可视化(36)
该步骤涉及将感兴趣区域叠加到原始帧上(图3)，并且将最终图像显示给用户以得到2D图像(38)。图14A示出了例如经由显示装置14显示给用户并且在用户界面内的单个图像的表示中处理增强的结果。任选地，图14A的单个图像可显示事实上移除检测到的由用户佩戴的器具的结果。
如果使用任选步骤32生成用户的面部的3D表示，则此类3D表示可利用如图14B中的用户界面所表示的虚拟处理(40)显示增强，以用于在显示装置14上显示。如果使用任选步骤35生成补充的2D图像或3D表示，则此类补充的2D图像或3D表示可利用如图14C和14D中的用户界面所表示的虚拟处理(42)来显示增强，以用于在显示装置14上显示。
方法22可由处理器16执行，使得当相机12检测到用户的图像时或之后不久，增强在显示装置14上被实时显示给用户。术语“实时”意指以每秒至少一帧的速率，或更优选地以每秒15-60帧的速率。

Claims (28)

1.一种用于模拟正畸处理的方法，包括以下步骤：
接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及
在电子显示装置上显示具有所述虚拟正畸器具的所述用户的图像，其中所述接收步骤、识别步骤、放置步骤和显示步骤实时发生。
2.根据权利要求1所述的方法，还包括在视频帧中检测所述用户的面部的所述电子图像。
3.根据权利要求1所述的方法，还包括将界标应用于所述用户的面部的所述电子图像。
4.根据权利要求3所述的方法，还包括使用所述界标来估计所述电子图像中所述用户的面部的姿态。
5.根据权利要求3所述的方法，还包括使用所述界标来裁剪所识别的感兴趣区域。
6.根据权利要求1所述的方法，其中所述放置步骤包括将虚拟托槽和弓丝放置在所述图像中的所述用户的牙齿上。
7.根据权利要求1所述的方法，还包括生成所述用户的面部的三维电子表示，并且在电子显示装置上显示具有所述虚拟正畸器具的所述用户的面部的三维表示。
8.一种用于模拟正畸处理的系统，包括：
相机，所述相机提供电子数字图像或视频；
电子显示装置；和
处理器，所述处理器电耦接到所述相机和所述电子显示装置，其中所述处理器被配置用于：
从所述相机接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及
在所述电子显示装置上显示具有所述虚拟正畸器具的所述用户的图像，
其中所述接收、识别、放置和显示实时发生。
9.根据权利要求8所述的系统，其中所述处理器被进一步配置用于在来自所述相机的视频帧中检测所述用户的面部的所述电子图像。
10.根据权利要求8所述的系统，其中所述处理器被进一步配置用于将界标应用于所述用户的面部的所述电子图像。
11.根据权利要求10所述的系统，其中所述处理器被进一步配置用于使用所述界标来估计所述电子图像中所述用户的面部的姿态。
12.根据权利要求10所述的系统，其中所述处理器被进一步配置用于使用所述界标来裁剪所识别的感兴趣区域。
13.根据权利要求8所述的系统，其中所述处理器被进一步配置用于将虚拟托槽和弓丝放置在所述图像中的所述用户的牙齿上。
14.根据权利要求8所述的系统，其中所述处理器被进一步配置用于生成所述用户的面部的三维电子表示，并且在电子显示装置上显示具有所述虚拟正畸器具的所述用户的面部的三维表示。
15.一种用于模拟正畸处理的方法，包括以下步骤：
接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
移除检测到的器具；以及
在电子显示装置上显示不具有所述检测到的器具的所述用户的图像，
其中所述接收步骤、识别步骤、放置或移除步骤以及显示步骤实时发生。
16.一种用于模拟正畸处理的系统，包括：
相机，所述相机提供电子数字图像或视频；
电子显示装置；和
处理器，所述处理器电耦接到所述相机和所述电子显示装置，其中所述处理器被配置用于：
从所述相机接收用户的面部的电子图像；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
移除检测到的器具；以及
在所述电子显示装置上显示不具有所述检测到的器具的所述用户的图像，
其中所述接收、识别、放置或移除、以及显示实时发生。
17.一种用于模拟正畸处理的方法，包括以下步骤：
接收用户的面部的电子图像；
检索用户的面部解剖结构的电子图像或模型；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及
在电子显示装置上显示具有所述虚拟正畸器具且具有所述用户的面部解剖结构的所述图像或模型的所述用户的图像，
其中所述接收步骤、识别步骤、放置步骤和显示步骤实时发生。
18.根据权利要求17所述的方法，其中所述检索步骤包括检索x射线图像。
19.根据权利要求17所述的方法，其中所述检索步骤包括检索锥束计算机断层扫描(CBCT)图像。
20.根据权利要求17所述的方法，所述方法还包括将所述用户的图像与所述用户的面部解剖结构图像或模型配准。
21.根据权利要求17所述的方法，还包括生成所述用户的面部的三维电子表示，并且在电子显示装置上显示具有所述虚拟正畸器具且具有所述用户的面部解剖结构的所述图像或模型的所述用户的面部的三维表示。
22.根据权利要求21所述的方法，还包括将所述三维表示与所述用户的面部解剖结构图像或模型配准。
23.一种用于模拟正畸处理的系统，包括：
相机，所述相机提供电子数字图像或视频；
电子显示装置；和
处理器，所述处理器电耦接到所述相机和所述电子显示装置，其中所述处理器被配置用于：
接收用户的面部的电子图像；
检索用户的面部解剖结构的电子图像或模型；
识别所述图像中的感兴趣区域，其中所述感兴趣区域包括所述用户的牙齿；
将虚拟正畸器具放置在所述图像中的所述用户的牙齿上；以及
在电子显示装置上显示具有所述虚拟正畸器具且具有所述用户的面部解剖结构的所述图像或模型的所述用户的图像，
其中所述接收、识别、放置和显示实时发生。
24.根据权利要求23所述的系统，其中所述处理器被进一步配置用于检索所述用户的面部解剖结构图像的x射线图像。
25.根据权利要求23所述的系统，其中所述处理器被进一步配置用于检索所述用户的面部解剖结构图像的锥束计算机断层扫描(CBCT)图像。
26.根据权利要求23所述的系统，其中所述处理器被进一步配置用于将所述用户的图像与所述用户的面部解剖结构图像或模型配准。
27.根据权利要求23所述的系统，其中所述处理器被进一步配置用于生成所述用户的面部的三维电子表示，并且在电子显示装置上显示具有所述虚拟正畸器具且具有所述用户的面部解剖结构的所述图像或模型的所述用户的面部的三维表示。
28.根据权利要求27所述的系统，其中所述处理器被进一步配置用于将所述三维表示与所述用户的面部解剖结构图像或模型配准。
CN201980031042.2A 2018-05-10 2019-05-02 经由实时增强可视化的模拟正畸处理 Active CN112087985B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862669628P 2018-05-10 2018-05-10
US62/669,628 2018-05-10
US201962809806P 2019-02-25 2019-02-25
US62/809,806 2019-02-25
PCT/IB2019/053599 WO2019215550A1 (en) 2018-05-10 2019-05-02 Simulated orthodontic treatment via augmented visualization in real-time

Publications (2)

Publication Number Publication Date
CN112087985A true CN112087985A (zh) 2020-12-15
CN112087985B CN112087985B (zh) 2023-05-02

Family

ID=68467593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031042.2A Active CN112087985B (zh) 2018-05-10 2019-05-02 经由实时增强可视化的模拟正畸处理

Country Status (5)

Country Link
US (1) US11517272B2 (zh)
EP (1) EP3790495A4 (zh)
JP (1) JP2021524768A (zh)
CN (1) CN112087985B (zh)
WO (1) WO2019215550A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN114224528A (zh) * 2021-10-26 2022-03-25 上海交通大学医学院附属第九人民医院 基于虚拟现实交互的口腔数字孪生模型系统及建立方法
CN117237506A (zh) * 2023-11-15 2023-12-15 中国科学院长春光学精密机械与物理研究所 航拍图像生成模拟激光点云图像的方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115024842A (zh) 2017-01-31 2022-09-09 斯威夫特健康系统有限公司 混合正畸弓丝
ES2936080T3 (es) 2018-05-22 2023-03-14 Dental Monitoring Procedimiento de análisis de una situación dental
KR20210051141A (ko) 2019-10-30 2021-05-10 주식회사 스키아 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
US11937996B2 (en) * 2019-11-05 2024-03-26 Align Technology, Inc. Face capture and intraoral scanner and methods of use
US11842484B2 (en) 2021-01-04 2023-12-12 James R. Glidewell Dental Ceramics, Inc. Teeth segmentation using neural networks
US11574468B2 (en) * 2020-03-31 2023-02-07 Toyota Research Institute, Inc. Simulation-based learning of driver interactions through a vehicle window
FR3111066A1 (fr) * 2020-06-06 2021-12-10 Olivier Querbes Procédé et dispositif de reconstruction tridimensionnelle d’un visage avec partie dentée à partir d’une seule image
US20220218438A1 (en) * 2021-01-14 2022-07-14 Orthosnap Corp. Creating three-dimensional (3d) animation
US20220222814A1 (en) * 2021-01-14 2022-07-14 Motahare Amiri Kamalabad System and method for facial and dental photography, landmark detection and mouth design generation
GB2614025B (en) * 2021-09-07 2023-12-27 Neuronav Ltd Augmented reality surgical navigation system
KR102448169B1 (ko) * 2021-10-05 2022-09-28 세종대학교산학협력단 딥러닝 기반 치아 교정치료 결과 예측 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010568A1 (en) * 1999-11-30 2002-01-24 Rudger Rubbert Orthodontic treatment planning with user-specified simulation of tooth movement
US20100234724A1 (en) * 2009-03-10 2010-09-16 Medtronic Xomed, Inc. Navigating A Surgical Instrument
CN104349710A (zh) * 2011-07-08 2015-02-11 弗朗索瓦·迪莱特 牙科用三维测量设备
US20160228214A1 (en) * 2014-10-07 2016-08-11 Orametrix, Inc. Customized orthodontic interface attachment method and device
US20170007368A1 (en) * 2015-07-07 2017-01-12 Align Technology, Inc. Direct fabrication of attachment templates with adhesive
CN106572831A (zh) * 2014-05-07 2017-04-19 阿莱恩技术有限公司 口内扫描期间关注区域的识别
CN107661159A (zh) * 2016-07-27 2018-02-06 阿莱恩技术有限公司 具有牙科诊断能力的口内扫描仪

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7156655B2 (en) * 2001-04-13 2007-01-02 Orametrix, Inc. Method and system for comprehensive evaluation of orthodontic treatment using unified workstation
US8192197B2 (en) * 2005-09-23 2012-06-05 Orametrix, Inc. Method and apparatus for digitally evaluating insertion quality of customized orthodontic arch wire
US7613527B2 (en) * 2006-03-16 2009-11-03 3M Innovative Properties Company Orthodontic prescription form, templates, and toolbar for digital orthodontics
US9326831B2 (en) * 2006-10-20 2016-05-03 Align Technology, Inc. System and method for positioning three-dimensional brackets on teeth
JP2013128694A (ja) 2011-12-22 2013-07-04 Toshiaki Ko 歯列矯正シミュレーションプログラムおよび歯列矯正シミュレーション装置
US9345553B2 (en) * 2012-10-31 2016-05-24 Ormco Corporation Method, system, and computer program product to perform digital orthodontics at one or more sites
US9361510B2 (en) * 2013-12-13 2016-06-07 Intel Corporation Efficient facial landmark tracking using online shape regression method
WO2015180100A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Facial landmark localization using coarse-to-fine cascaded neural networks
KR20160004862A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 환자맞춤형 치아교정 모의시술과 이를 통한 시뮬레이션 및 치아 교정장치 또는 치아교정 시술유도장치 제작방법
US10467815B2 (en) * 2016-12-16 2019-11-05 Align Technology, Inc. Augmented reality planning and viewing of dental treatment outcomes
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US11033361B2 (en) * 2017-10-19 2021-06-15 Ormco Corporation Methods for orthodontic treatment planning with augmented visual analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020010568A1 (en) * 1999-11-30 2002-01-24 Rudger Rubbert Orthodontic treatment planning with user-specified simulation of tooth movement
US20100234724A1 (en) * 2009-03-10 2010-09-16 Medtronic Xomed, Inc. Navigating A Surgical Instrument
CN104349710A (zh) * 2011-07-08 2015-02-11 弗朗索瓦·迪莱特 牙科用三维测量设备
CN106572831A (zh) * 2014-05-07 2017-04-19 阿莱恩技术有限公司 口内扫描期间关注区域的识别
US20160228214A1 (en) * 2014-10-07 2016-08-11 Orametrix, Inc. Customized orthodontic interface attachment method and device
US20170007368A1 (en) * 2015-07-07 2017-01-12 Align Technology, Inc. Direct fabrication of attachment templates with adhesive
CN107661159A (zh) * 2016-07-27 2018-02-06 阿莱恩技术有限公司 具有牙科诊断能力的口内扫描仪

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN112967219B (zh) * 2021-03-17 2023-12-05 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统
CN114224528A (zh) * 2021-10-26 2022-03-25 上海交通大学医学院附属第九人民医院 基于虚拟现实交互的口腔数字孪生模型系统及建立方法
CN114224528B (zh) * 2021-10-26 2023-07-18 上海交通大学医学院附属第九人民医院 基于虚拟现实交互的口腔数字孪生模型系统及建立方法
CN117237506A (zh) * 2023-11-15 2023-12-15 中国科学院长春光学精密机械与物理研究所 航拍图像生成模拟激光点云图像的方法
CN117237506B (zh) * 2023-11-15 2024-02-02 中国科学院长春光学精密机械与物理研究所 航拍图像生成模拟激光点云图像的方法

Also Published As

Publication number Publication date
US20210045701A1 (en) 2021-02-18
EP3790495A1 (en) 2021-03-17
US11517272B2 (en) 2022-12-06
CN112087985B (zh) 2023-05-02
JP2021524768A (ja) 2021-09-16
WO2019215550A1 (en) 2019-11-14
EP3790495A4 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
CN112087985B (zh) 经由实时增强可视化的模拟正畸处理
US11704876B2 (en) Mobile device for viewing of dental treatment outcomes
US11559377B2 (en) Augmented reality enhancements for dental practitioners
US10980621B2 (en) Dental design transfer
RU2593741C2 (ru) Способ и система расположения двухмерных изображений
US9937022B2 (en) Navigating among images of an object in 3D space
US20210236241A1 (en) Face tracking and reproduction with post-treatment smile
US11083552B2 (en) Rendering of dental models
US20210338392A1 (en) Rendering a dental model in an image
EP3629336A1 (en) Dental design transfer
EP3629337A1 (en) Rendering of dental models
CN114586069A (zh) 用于生成牙科图像的方法
EP3629301A1 (en) Rendering a dental model in an image
US20230260238A1 (en) Method for Generating a Virtual 4D Head and Teeth
US20240225784A1 (en) Synthetic video generation showing modified face
US20240024076A1 (en) Combined face scanning and intraoral scanning
CN114664454A (zh) 一种口腔正畸过程中颌面部软组织三维模型的模拟方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240408

Address after: U.S.A.

Patentee after: Shuwanuo Intellectual Property Co.

Country or region after: U.S.A.

Address before: American Minnesota

Patentee before: 3M INNOVATIVE PROPERTIES Co.

Country or region before: U.S.A.