CN113490905A - 用于控制牙科机器的方法和系统 - Google Patents

用于控制牙科机器的方法和系统 Download PDF

Info

Publication number
CN113490905A
CN113490905A CN202080006737.8A CN202080006737A CN113490905A CN 113490905 A CN113490905 A CN 113490905A CN 202080006737 A CN202080006737 A CN 202080006737A CN 113490905 A CN113490905 A CN 113490905A
Authority
CN
China
Prior art keywords
user interface
augmented reality
control
interface
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080006737.8A
Other languages
English (en)
Inventor
A·科扎
R·库查钦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sirona Dental Systems GmbH
Dunsborough Girona Ltd
Original Assignee
Sirona Dental Systems GmbH
Dunsborough Girona Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sirona Dental Systems GmbH, Dunsborough Girona Ltd filed Critical Sirona Dental Systems GmbH
Publication of CN113490905A publication Critical patent/CN113490905A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/0007—Control devices or systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/0007—Control devices or systems
    • A61C1/0015—Electrical systems
    • A61C1/0023—Foot control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/0007—Control devices or systems
    • A61C1/0015—Electrical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Abstract

用于通过增强现实控制接口来操作牙科机器的方法、系统和计算机可读存储介质。免提接口可以实现通过在第一用户/控制接口上使用身体的除上肢以外的灵巧部位(例如，通过使用下肢)发送与第二用户/控制接口对应的指令来在牙科治疗期间控制牙科机器，第二用户/控制接口与第一用户/控制接口不同。

Description

用于控制牙科机器的方法和系统
技术领域
本申请一般而言涉及用于控制机器的方法、系统和计算机可读存储介质，并且更具体地涉及用于利用增强现实控制/用户接口来操作牙科机器(诸如治疗单元)的方法、系统和计算机可读存储介质。
背景技术
用户或控制接口可以被定义为人与机器之间的交互发生的空间。这可以允许从人的一端对机器进行控制。一般而言，用户接口设计的目的可以是使得以产生期望结果的方式操作机器变得容易、高效和用户友好。常见的用户接口包括图形用户接口、手势接口、硬件接口、有形用户接口、基于文本的用户接口、语音控制的用户接口。
在牙医业，临床医生可以使用计算机的用户/控制接口，例如，以创建治疗计划、查看患者射线照相、促进扫描过程等。但是，在牙科治疗期间，临床医生可能需要使用他/她的手来对患者进行治疗过程。例如，戴着手套并治疗患者的临床医生可能使他/她的手套与患者的唾液/血液接触，并且可能不想污染计算机鼠标以导航计算机屏幕上的程序。增强现实(AR)眼镜可以被用于解决这个问题。但是，当前的AR眼镜可以经由触摸交互(例如，通过AR眼镜的一侧上的触摸板)、语音命令或使用手的手势来工作。在治疗期间，临床医生可能需要他的手来进行治疗过程，因此经由手势控制AR眼镜可能会阻碍治疗处理。一副AR眼镜的一侧上的触摸交互也可能不是理想的，因为AR眼镜随后可能需要被消毒。例如，由于来自牙科机器的治疗噪声，甚至远处的牙科诊所也可能常常很响，从而降低了针对AR眼镜的语音命令的效率。因此，需要一种方式以通过第二用户接口来控制第一用户接口，该第一用户接口通常由上肢/手控制，该第二用户接口通常由除上肢以外的身体的另一个灵巧部分控制。
美国专利申请公开No.20160033770A1描述了一种头戴式显示设备，该头戴式显示设备使用户能够在视觉上识别虚拟图像与外部场景。
美国专利申请No.2017202633公开了一种用于引导医疗干预的成像和显示系统，包括可穿戴显示器以供用户查看，其中显示器呈现包括术前手术导航图像、术中图像和体内显微镜图像或感测数据的合成或组合图像。诸如显微镜探针或感测探针之类的探针可以被用于从患者获取体内成像/感测数据，并且可以使用跟踪和配准技术来获取术中和体内图像以将它们与术前图像和患者对准，从而形成合成图像以供显示。
美国专利申请No.20020082498公开了一种用于图像引导的手术的方法，该方法包括捕获患者的一部分的3维(3D)体数据、处理体数据以便提供数据的图形表示、捕获包括所述患者的一部分的场景的立体视频视图、以混合方式渲染图形表示和立体视频视图以便提供立体增强图像，以及在视频透视显示器中显示所述立体增强图像。
美国专利申请公开No.20160191887描述了一种实时手术导航方法和装置，用于从外科医生的静态或动态视点显示患者的增强视图。可以使用表面图像、根据术前或术中图像进行处理的患者的内部解剖结构的图形表示以及在几何上配准这两个图像的计算机。响应于几何上配准图像，头戴式显示器可以向外科医生呈现患者的增强视图。
发明内容
与前述相关联的现有限制以及其它限制可以通过用于控制机器的根据权利要求1的方法、根据权利要求5的系统和根据权利要求9的计算机可读存储介质来克服。
在本文的一方面，本发明提供了一种利用增强可视化的方法，该方法包括：提供第一用户接口；提供与第一用户接口不同的第二用户接口；提供与第二用户接口对应的增强现实用户接口，第一用户接口适于传输与增强现实用户接口对应的一个或多个控制信号；以及通过第一用户接口的一个或多个控制信号来控制第二用户接口。
在本文的另一方面，该方法还包括以下步骤中的一个或多个：(i)还包括在第一用户接口上覆盖增强现实用户接口，使得增强现实用户接口的一个或多个增强现实控制元素与第一用户接口的一个或多个第一控制元素对应或与第一用户接口的第一控制元素的一个或多个位置对应，并且使得增强现实用户接口看起来直接叠加在第一用户接口上，(ii)其中增强现实接口的一个或多个增强现实控制元素还与第二用户接口的一个或多个第二控制元素对应，(iii)其中一个或多个第二控制元素包括动作项目、软件应用、视频和/或图像，(iv)还包括以免提(hands-free)方式操作第一用户接口，(v)还包括：基于选自以下的数据来更新增强现实用户接口：(a)跟踪临床医生移动的实时数据、(b)跟踪第一用户接口的位置的实时数据，以及(c)第一用户接口的一个或多个控制信号，(vi)其中第一用户接口是脚踏开关或可消毒控制面板。
在本文的另一方面，提供了一种利用增强可视化的系统，该系统包括：用于增强可视化的显示设备；第一用户接口；与第一用户接口不同的第二用户接口；以及至少一个处理器，被配置为执行以下步骤；提供与第二用户接口对应的增强现实用户接口，第一用户接口适于传输与增强现实用户接口对应的一个或多个控制信号；以及通过第一用户接口的一个或多个控制信号来控制第二用户接口。
在本文的又一方面，该系统还包括以下配置中的一个或多个：(i)还包括跟踪系统，该跟踪系统被配置为提供用于对象在共用坐标系中的精确定位和定向的实时位置数据，(ii)其中跟踪系统是基于传感器的和/或基于视觉的，(iii)其中第一用户接口是脚踏开关或可消毒控制面板，(iv)其中处理器还被配置为执行以下步骤：在第一用户接口上覆盖增强现实用户接口，使得增强现实用户接口的一个或多个增强现实控制元素与第一用户接口的一个或多个第一控制元素对应或与第一用户接口的第一控制元素的一个或多个位置对应，并且使得增强现实用户接口看起来直接叠加在第一用户接口上，(v)其中增强现实接口的一个或多个增强现实控制元素还与第二用户接口的一个或多个第二控制元素对应，(vi)其中一个或多个第二控制元素包括动作项目、软件应用、视频和/或图像，(vii)其中处理器还被配置为执行以下步骤：以免提方式操作第一接口，(viii)其中处理器还被配置为执行以下步骤：基于选自以下的数据来更新增强现实用户接口：(i)跟踪临床医生移动的实时数据、(ii)跟踪第一用户接口的位置的实时数据，以及(iii)第一用户接口的一个或多个控制信号，(ix)其中第一用户接口是脚踏开关或可消毒控制面板。
在本文的又一方面，提供了一种存储程序的非暂态计算机可读存储介质，该程序在由计算机系统执行时使计算机系统执行过程，该过程包括：提供与第二用户接口对应的增强现实用户接口；从第一用户接口接收一个或多个控制信号，所述控制信号与增强现实用户接口对应；以及通过第一用户接口的一个或多个控制信号来控制第二用户接口。
附图说明
通过本文下面结合附图给出的详细描述，示例实施例将变得被更加充分地理解，其中：
图1是例示根据本发明的实施例的用户接口可视化系统的框图。
图2例示了根据本发明的示例性实施例的计算机显示器和脚踏开关之间的关系。
图3例示了示出根据本发明的示例性实施例的计算机系统的框图。
图4是示出根据本发明的示例性实施例的方法的流程图。
具体实施方式
根据本文描述的示例方面，可以提供方法、系统和计算机可读存储介质以通过增强现实用户/控制接口来操作诸如牙科机器之类的机器。增强现实接口可以实现通过在第一用户/控制接口(诸如脚踏开关)上使用身体的除上肢以外的灵巧部位(例如，通过使用下肢)发送与第二用户接口(诸如图形用户接口)对应的指令来在牙科治疗期间控制牙科机器(诸如用鼠标操作的治疗单元)，其中第一用户接口与第二用户接口不同。第一用户/控制接口可以优选地是免提的，但是在其中第一用户/控制接口能够被消毒的实施例中，第一用户/控制接口也可以涉及手的使用。
用于控制机器的增强现实可视化系统
图1例示了增强现实可视化系统1，其包括用于增强可视化的显示设备12，诸如(i)头戴式增强现实眼镜、(ii)HUD显示器或(iii)能够接收立体视频图像的立体显示器，或可以被用于将增强现实用户接口42覆盖在(i)第一用户接口14(可以优选地是硬件用户接口)上或(ii)第一接口14的立体视频/投影(通过显示设备12观看所述立体视频/投影)上以使得增强现实用户接口42看起来直接叠加在第一用户接口14上的其它显示设备12。在本文中，增强现实用户接口42可以被配置为与第二用户接口15对应，并且第二接口15可以通过第一接口14来控制。第二接口可以优选地是通常用上肢操作的图形用户接口(GUI)，诸如例如由临床医生10使用的用于查看X射线图像的独立计算机的图形用户接口、连接到牙科治疗椅的监视器的图形用户接口、牙科治疗椅的控制面板等。当然，第二用户接口15可以是除GUI以外的任何其它种类的用户接口。
如以上所讨论的，第一用户接口14可以是脚踏开关16或能够由下肢控制的任何用户接口，使得临床医生10可以在治疗期间对患者(未示出)自由地使用他/她的上肢和/或使得临床医生10可以在治疗期间不用他/她的上肢感染第一用户接口15。脚踏开关16的示例在Lint等人的标题为“Hard-Wired and Wireless System with Footswitch forOperating a Dental or Medical Treatment Apparatus”的美国专利申请公布No.2014/0017629A1和Pabst等人的标题为“Foot Control Device”的德国专利No.“DE102007014785B4”中公开，并通过引用整体并入本文，如同在本文完整阐述了一样。但是，在本发明的另一个实施例中，第一用户接口14可以是可消毒的用户接口，诸如牙科治疗椅的控制面板，并且可以使用上肢来控制。
通过将与第二用户接口15对应的增强现实接口42投影到第一用户接口14上，临床医生10可以通过“更方便”的第一用户接口14来控制第二用户接口15的功能，并且仍然能够同时使用他/她的上肢用于治疗目的。而且，临床医生可以得益于使用他熟悉的技术(第一用户接口14)来控制他/她可能不熟悉的新应用(第二用户接口15)。
如图1中所示，显示设备12可以连接到计算机系统100或形成计算机系统100的一部分。计算机系统100(也在图3中示出)可以包括跟踪系统2和处理器122。跟踪系统2可以可替代地与计算机系统分离并且可以形成本文所讨论的任何设备、组件和/或系统的至少一部分。跟踪系统2可以电连接到处理器122并且可以提供用于对象(诸如第一用户接口14)和临床医生在共用坐标系中的精确定位和定向的实时位置数据。在本文的示例性实施例中，跟踪系统2可以是基于传感器的，例如作为第一用户接口14/脚踏开关16(图2)中的嵌入式传感器26或标记物(未示出)，包括诸如例如压力、触摸、接近、旋转、陀螺仪传感器和全球定位系统(GPS)之类的传感器，以跟踪脚踏开关16的位置和/或跟踪脚踏开关16的输出/控制信号，和/或作为陀螺仪或加速度计，以跟踪临床医生14的移动。
跟踪系统2也可以是基于视觉的，例如作为用于视觉跟踪第一用户接口14和/或放置在第一用户接口14上的预定标记物(未示出)的相机。所述视觉跟踪可以使用例如对象/模式识别来实现。诸如3D光学跟踪系统和/或立体相机系统之类的相机系统3可以包括在计算机系统中和/或可以形成跟踪系统2或成为其一部分。相机系统3也可以嵌入在临床医生10的显示设备12中。相机系统可以在几种深度感测原理之一下操作，以便跟踪第一用户接口14相对于移动的临床医生10的位置，反之亦然，以便尽管临床医生10与第一用户接口14之间有相对移动，也在第一用户接口14上显示增强现实用户接口42。深度感测原理可以包括例如下文中解释的(i)结构光、(ii)飞行时间(ToF)和/或(iii)立体原理。对于采用结构光的相机，可以使用光源将已知图案投射到第一用户接口14上，并且接收器可以检测反射的图案的变形以基于几何形状来计算深度图。对于采用飞行时间(ToF)原理的相机，光源可以朝着第一用户接口14发出脉冲，并且传感器可以检测来自第一用户接口14的脉冲的反射，以便记录其飞行时间。已知飞行时间和恒定的光速，系统就可以计算出第一用户接口有多远。可替代地，可以发送经调制的光源，并且可以检测从第一用户接口14反射的光的相位改变。对于采用立体原理的相机，可以将多个相机放置在不同位置处以捕获第一用户接口的多个图像，并且可以基于几何形状来计算深度图。这个深度信息可以被用于在治疗期间(例如，在牙科治疗期间)跟踪第一用户接口14的位置。
在又一个实施例中，跟踪系统2可以是基于传感器的跟踪系统和基于视觉的跟踪系统的融合。无线协议可以被用于在计算机系统100和内部/外部设备(诸如第一用户接口)之间传输数据。
处理器122可以被配置为接收实时跟踪数据、分析所述数据并通过以下操作以增强方式向临床医生10显示增强现实用户接口42：(i)通过显示设备12将增强现实用户接口42覆盖在第一用户接口14上或覆盖在第一用户接口的附近，或(ii)使用例如能够显示立体视频的头戴式立体显示器将增强现实用户接口42覆盖在第一用户接口14的立体视频上。可替代地，可以使用基于投影的增强现实系统将增强现实用户接口42直接投影到第一接口14上，使得可以用裸眼查看所投影的增强现实用户接口42。
现在转到图2，现在将更详细地描述增强现实接口42的增强现实控制元素70(出于例示的目的而以虚线示出)与第二用户接口15的第二控制元素之间的对应关系。在使用本文描述的增强现实可视化系统1时，如图2中所示，临床医生10可以通过(使用第一用户接口14)选择与显示在第二用户接口15中的第二控制元素60对应的显示在增强现实接口42中的增强现实控制元素70来在治疗期间控制第二用户接口15。可以通过例如接合第一用户接口14的第一控制元素80(例如，脚踏开关16的踏板、可消毒控制面板的按钮等)或在例如四路脚踏开关的情况下将第一控制元素80旋转到对应的第一位置来选择增强现实控制元素70。第二用户接口中的第二控制元素60可以包括例如动作按钮/项目(选择、缩放、滚动、放大等)、软件应用(例如，在多个引导步骤中执行扫描过程)、视频/图像查看面板(例如，用于查看3D图像、X射线图像、滚动图像等)等。增强现实控制元素70可以因此被配置为与第二控制元素60对应。如图2的示例性实施例中所示，第二接口15中的控制元素60a、60b、60c和60d分别与增强现实用户接口42的控制元素70a、70b、70c和70d对应，并且可以由第一接口的一个或多个第一控制元素80或者第一用户接口14的第一控制元素80的一个或多个位置控制(例如，充当第一用户接口的可消毒控制面板可以具有多个第一控制元素80，并且脚踏开关16可以具有能够被接合并放置在与多个输出/控制信号对应的多个位置中的踏板和/或控制元素)。
在其中第二控制元素60是视频或图像的实施例中，第二控制元素60可以被路由到显示器12，并用于由临床医生10在任何位置查看和/或可以在第二用户接口15上直接查看。在两种情况下，都可以使用第一接口14的(一个或多个)第一控制元素80来操纵(诸如编辑、滚动、放大/缩小)第二控制元素60。
增强现实用户接口42在第一用户接口14上的覆盖可以动态且实时地执行，并且可以通过处理器122与跟踪系统2协同工作来实现，其中由跟踪系统2捕获的(i)临床医生10和/或(ii)第一用户接口14的位置改变可以被转化为覆盖的增强现实用户接口42的位置的对应改变，使得甚至当临床医生10移动和/或第一用户接口改变位置时，被路由到显示设备12的屏幕的所述增强现实用户接口42看起来直接叠加在第一用户接口14上。
而且，响应于临床医生10接合第一用户接口14的(一个或多个)第一控制元素80，处理器122可以被配置为从第一用户接口14接收一个或多个输出/控制信号并将第二用户接口15从第一状态更改为与输出/控制信号对应的第二状态和/或将增强现实用户接口42从另一个第一状态更改为与所述输出/控制信号对应的另一个第二状态。例如，响应于临床医生10将脚踏开关16接合在第一位置以选择增强现实控制元素70c(“→下一个应用(A3)”)，处理器122可以在第二用户接口15的显示器上显示A3的内容以供查看。可以通过使用脚踏开关16选择控制元素70b(点击)和/或控制元素70(缩放(+))来控制A3的内容(诸如点击或放大)。处理器122还可以在增强现实用户接口42中将“→下一个应用(A3)”改变为“→下一个应用(A4)”，并将“上一个应用(A1)←”改变为“上一个应用(A2)←”。当然，增强现实用户接口42、第一用户接口14和第二用户接口15的除所描述的以外的其它布置/配置也包括在增强现实可视化系统1中。
在本发明的实施例中，增强现实用户接口42可以不直接覆盖在第一用户接口14上，而是可以覆盖在由相机系统3拍摄的第一用户接口14的图像(未示出)上。
在根据本发明的另一个实施例中，第一用户接口14是脚踏开关/脚踏板16，第二接口是治疗中心的控制面板或治疗中心的预定功能，并且增强现实眼镜/智能眼镜可以提供增强现实用户接口42，其中脚踏开关/脚踏板16、治疗中心的控制面板或治疗中心的预定功能与增强现实眼镜彼此配对以形成增强现实可视化系统。
用于控制机器的计算机系统
已经描述了增强现实可视化系统1，现在将参考图3，其示出了根据本文的示例实施例中的至少一些示例实施例可以被采用的计算机系统100的框图。虽然本文中可以就这个示例性计算机系统100描述各种实施例，但是在阅读本描述之后，对于(一个或多个)相关领域的技术人员而言，如何使用其它计算机系统和/或体系架构来实现本公开将变得清楚。
在本文的一个示例实施例中，计算机系统100可以包括至少一个计算机处理器122，并且可以包括跟踪系统2、用户接口126和输入单元130。第一用户接口14和第二用户接口15可以是计算机系统100的一部分，或者可以与计算机系统分离。在一个示例中，显示单元128、输入单元130和计算机处理器122可以共同形成用户接口126。
计算机处理器122可以包括例如中央处理单元、多处理单元、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)等。处理器122可以连接到通信基础设施124(例如，通信总线或网络)。在本文的实施例中，处理器122可以接收显示增强现实用户接口42的请求，并且可以从计算机系统100的一个或多个存储单元获得与该请求相关的指令。然后，处理器122可以加载所述指令并执行所加载的指令，诸如将增强现实用户接口42路由到显示设备12的屏幕，使得增强现实用户接口42被覆盖在第一用户接口14上，并且使得所述增强现实用户接口42看起来直接叠加在第一用户接口14上。在本发明的又一替代实施例中，计算机系统可以使用基于投影的增强现实系统，其中，例如，投影仪和深度传感器，连同跟踪系统2和/或标记物(例如，第一用户接口14上的隐藏标记物)可以将增强现实用户接口42直接投影到第一用户接口14上。在本文中，可以不需要诸如增强现实眼镜之类的显示器12来查看增强现实用户接口42。
一个或多个步骤/过程可以以计算机可读程序指令的形式存储在非暂态存储设备上。为了执行过程，处理器122将存储在存储设备上的适当指令加载到存储器中，然后执行是所加载的指令，如下文中讨论的图4中所示。
计算机系统100还可以包括主存储器132，其可以是随机存取存储器(“RAM”)，并且还可以包括辅助存储器134。辅助存储器134可以包括例如硬盘驱动器136和/或可移动存储驱动器138(例如，软盘驱动器、磁带驱动器、光盘驱动器、闪存驱动器等)。可移动存储驱动器138可以以众所周知的方式从可移动存储单元140读取和/或写入可移动存储单元140。可移动存储单元140可以是例如软盘、磁带、光盘、闪存设备等，其可以由可移动存储驱动器138写入和读取。可移动存储单元140可以包括存储计算机可执行软件指令和/或数据的非暂态计算机可读存储介质。
在另外的替代实施例中，辅助存储器134可以包括存储要加载到计算机系统100中的计算机可执行程序或其它指令的其它计算机可读介质。此类设备可以包括可移动存储单元144和接口142(例如，程序盒和盒接口)；可移动存储器芯片(例如，可擦除可编程只读存储器(“EPROM”)或可编程只读存储器(“PROM”))和相关联的存储器插座；以及允许软件和数据从可移动存储单元144传送到计算机系统100的其它部分的其它可移动存储单元144和接口142。
计算机系统100还可以包括通信接口146，其使得软件和数据能够在计算机系统100和外部设备之间传送。这种接口可以包括调制解调器、网络接口(例如，以太网卡或无线接口)、通信端口(例如，通用串行总线(“USB”)端口或
Figure BDA0003100146650000111
端口)、个人计算机存储卡国际协会(“PCMCIA”)接口、
Figure BDA0003100146650000112
等。经由通信接口146传送的软件和数据可以是信号的形式，其可以是电子、电磁、光学或可以能够由通信接口146发送和/或接收的另一种类型的信号。可以经由通信路径148(例如，信道)将信号提供给通信接口146。通信路径148可以携带信号，并且可以使用电线或线缆、光纤、电话线、蜂窝链路、射频(“RF”)链路等来实现。通信接口146可以用于在计算机系统100与远程服务器或基于云的存储(未示出)之间传送软件或数据或其它信息。
一个或多个计算机程序或计算机控制逻辑可以存储在主存储器132和/或辅助存储器134中。还可以经由通信接口146接收计算机程序。计算机程序可以包括计算机可执行指令，计算机可执行指令在由计算机处理器122执行时使计算机系统100执行如下文所描述的方法。
在另一个实施例中，软件可以存储在非暂态计算机可读存储介质中，并使用可移动存储驱动器138、硬盘驱动器136和/或通信接口146加载到计算机系统100的主存储器132和/或辅助存储器134中。当由处理器122执行时，控制逻辑(软件)使计算机系统100(更一般地，增强现实可视化系统1)执行本文描述的方法的全部或一些。
鉴于本描述，对于(一个或多个)相关领域的技术人员来说，实施其它硬件布置以便执行本文描述的功能将是清楚的。
用于控制机器的方法
已经描述了图3的计算机系统100，现在将结合图4进一步描述用于控制诸如牙科机器之类的机器的方法，图4示出了用于控制牙科机器的处理200的流程图。处理可以通过提供第一用户接口14开始，如步骤S100中所示。然后在步骤S200中可以提供增强现实用户接口42，其中所述增强现实接口42与第二用户接口15对应(或者其中增强现实接口42的增强现实控制元素70与第二接口15的第二控制元素60对应)。然后在步骤S300中可以将增强现实用户接口42覆盖在第一用户接口上，使得增强现实控制元素70与第一用户接口14的第一控制元素80对应(或者，在脚踏开关16的情况下，与第一用户接口14的第一控制元素80的多个位置对应)。在步骤S400中，可以接合第一控制元素80以产生可以与增强现实控制元素70对应的输出/控制信号46。在步骤S500中可以获得所述输出/控制信号46，并且在步骤S600中可以基于所获得的输出/控制信号46来更新第二用户接口15。例如，基于输出/控制信号46，可以放大在第二用户接口15上显示的图像，可以滚动浏览患者的CBCT图像的集合等。如步骤S700中所示，使用来自跟踪系统2的数据，例如包括(i)跟踪临床医生的移动的实时数据48、(ii)跟踪第一用户接口14的位置的实时数据和/或(iii)第一用户接口14的输出/控制信号46，可以实时地动态更新被路由到显示设备12的增强数据以覆盖在第一用户接口14上，使得增强看起来直接叠加在所述第一用户接口14上，并且使得增强在第一用户接口14的第一控制元素80被接合时被持续地更新。
在本发明的示例性实施例中，第一用户接口14可以被配置为在(i)第一操作集，其中第一用户接口14控制其最初被设计用于的操作与(ii)其最初并未被设计用于的操作的第二操作集之间进行切换。它还可以被配置为在任何数量的预定操作集之间进行切换。在本发明的又一个实施例中，第一用户接口的任何操作集可以由临床医生10确定。
鉴于前面的描述，可以认识到的是，本文描述的示例实施例提供了用于控制诸如牙科机器之类的机器的方法、系统和计算机可读存储介质。
除非另外定义，否则本文使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。虽然与本文描述的方法和材料类似或等同的方法和材料可以用于本公开的实践或测试，但是上文描述了合适的方法和材料。本文提及的所有出版物、专利申请、专利和其它参考文献在适用法律和法规允许的范围内通过引用整体并入本文。本公开可以以其它具体形式实施，而不脱离其精神或基本属性，并且因此可以期望本实施例在所有方面都被认为是示例性而非限制性的。描述中使用的任何标题都仅仅是为了方便起见而没有法律或限制作用。

Claims (9)

1.一种利用增强可视化来控制牙科机器的计算机实现的方法，该方法包括：
提供第一用户接口(14)，其中第一用户接口(14)包括脚踏开关(16)或可消毒的控制面板；
提供与第一用户接口(14)不同的第二用户接口(15)，其中第一用户接口(14)和第二用户接口(15)包括允许在牙科机器与用户之间进行交互的物理或图形元素；
提供被配置为在功能上与第二用户接口(15)对应的增强现实用户接口(42)，第一用户接口(14)适于传输在功能上与增强现实用户接口(42)对应的一个或多个控制信号；
通过第一用户接口(14)的所述一个或多个控制信号来控制第二用户接口(15)。
2.根据权利要求1所述的方法，还包括将增强现实用户接口(42)覆盖在第一用户接口(14)上，使得增强现实用户接口(42)的一个或多个增强现实控制元素(70)在功能上与第一用户接口(14)的一个或多个第一控制元素(80)对应或者还与第一用户接口(14)的第一控制元素(80)的一个或多个位置对应，并且使得增强现实用户接口(42)看起来直接叠加在第一用户接口(14)上。
3.根据权利要求2所述的方法，其中增强现实用户接口(42)的所述一个或多个增强现实控制元素(70)还在功能上与第二用户接口(15)的一个或多个第二控制元素(60)对应。
4.根据权利要求1至3中的任一项所述的方法，还包括：基于选自以下的数据来更新增强现实用户接口(42)：(i)跟踪临床医生移动的实时数据、(ii)跟踪第一用户接口(14)的位置的实时数据，以及(iii)第一用户接口(14)的一个或多个控制信号。
5.一种用于利用增强可视化的系统(1)，包括：
用于增强可视化的显示设备(12)；
第一用户接口(14)，其中所述第一用户接口(14)包括脚踏开关(16)或可消毒的控制面板；
第二用户接口(15)，与第一用户接口(14)不同，其中第一用户接口(14)和第二用户接口(15)包括允许在牙科机器与用户之间进行交互的物理或图形元素；以及
至少一个处理器(122)，被配置为执行根据权利要求1至4中的任一项所述的方法的步骤。
6.根据权利要求5所述的系统(1)，还包括跟踪系统(2)，该跟踪系统(2)被配置为提供用于对象在共用坐标系中的精确定位和定向的实时位置数据。
7.根据权利要求7所述的系统(1)，其中跟踪系统(2)是基于传感器的和/或基于视觉的。
8.根据权利要求6至9中的任一项所述的系统，其中第二用户接口(15)的所述一个或多个第二控制元素(60)包括动作项目、软件应用、视频和/或图像。
9.一种存储程序的非暂态计算机可读存储介质，该程序在由根据权利要求5至8中的任一项所述的基于计算机的系统(1)执行时使基于计算机的系统(1)执行根据权利要求1至4中的任一项所述的方法。
CN202080006737.8A 2019-01-30 2020-01-27 用于控制牙科机器的方法和系统 Pending CN113490905A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19000055.4A EP3690609B1 (en) 2019-01-30 2019-01-30 Method and system for controlling dental machines
EP19000055.4 2019-01-30
PCT/EP2020/051872 WO2020156976A1 (en) 2019-01-30 2020-01-27 Method and system for controlling dental machines

Publications (1)

Publication Number Publication Date
CN113490905A true CN113490905A (zh) 2021-10-08

Family

ID=65351843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006737.8A Pending CN113490905A (zh) 2019-01-30 2020-01-27 用于控制牙科机器的方法和系统

Country Status (9)

Country Link
US (1) US11771506B2 (zh)
EP (1) EP3690609B1 (zh)
JP (1) JP2022519439A (zh)
KR (1) KR20210121001A (zh)
CN (1) CN113490905A (zh)
AU (1) AU2020213863A1 (zh)
BR (1) BR112021007912A2 (zh)
CA (1) CA3117894A1 (zh)
WO (1) WO2020156976A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110016405A1 (en) * 2009-07-17 2011-01-20 Qualcomm Incorporated Automatic interafacing between a master device and object device
DE102014207127A1 (de) * 2014-04-14 2015-10-15 Siemens Aktiengesellschaft Steuerungssystem für ein medizinisches Gerät sowie Verfahren zum Steuern eines medizinischen Gerätes
CN107250950A (zh) * 2015-12-30 2017-10-13 深圳市柔宇科技有限公司 头戴式显示设备、头戴式显示系统及输入方法
CN107653950A (zh) * 2017-10-11 2018-02-02 厦门致杰智能科技有限公司 一种具有激光键盘控制结构的坐便器
US20180101244A1 (en) * 2016-10-11 2018-04-12 Vmuv Llc Virtual Reality Input System and Methods

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004538538A (ja) 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
US20070166662A1 (en) 2006-01-17 2007-07-19 Kevin Lint Hard-wired and wireless system with footswitch for operating a dental or medical treatment apparatus
DE102007014785B4 (de) * 2007-03-28 2009-07-09 Sirona Dental Systems Gmbh Fußsteuereinrichtung
KR101991133B1 (ko) * 2012-11-20 2019-06-19 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이 및 그 제어 방법
EP2979446A1 (en) 2013-03-26 2016-02-03 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
WO2015126466A1 (en) 2014-02-21 2015-08-27 The University Of Akron Imaging and display system for guiding medical interventions
US10424115B2 (en) * 2014-04-24 2019-09-24 Christof Ellerbrock Head-worn platform for integrating virtuality with reality
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
IL301884A (en) * 2016-01-19 2023-06-01 Magic Leap Inc Augmented reality systems and methods that use reflections
US11672605B2 (en) * 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
EP4051084B1 (en) * 2019-10-29 2023-11-01 Alcon Inc. System and method of utilizing three-dimensional overlays with medical procedures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110016405A1 (en) * 2009-07-17 2011-01-20 Qualcomm Incorporated Automatic interafacing between a master device and object device
DE102014207127A1 (de) * 2014-04-14 2015-10-15 Siemens Aktiengesellschaft Steuerungssystem für ein medizinisches Gerät sowie Verfahren zum Steuern eines medizinischen Gerätes
CN107250950A (zh) * 2015-12-30 2017-10-13 深圳市柔宇科技有限公司 头戴式显示设备、头戴式显示系统及输入方法
US20180101244A1 (en) * 2016-10-11 2018-04-12 Vmuv Llc Virtual Reality Input System and Methods
CN107653950A (zh) * 2017-10-11 2018-02-02 厦门致杰智能科技有限公司 一种具有激光键盘控制结构的坐便器

Also Published As

Publication number Publication date
WO2020156976A1 (en) 2020-08-06
BR112021007912A2 (pt) 2021-08-03
EP3690609A1 (en) 2020-08-05
JP2022519439A (ja) 2022-03-24
AU2020213863A1 (en) 2021-05-27
EP3690609B1 (en) 2021-09-22
US20220142722A1 (en) 2022-05-12
KR20210121001A (ko) 2021-10-07
CA3117894A1 (en) 2020-08-06
US11771506B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
US11734901B2 (en) Surgeon head-mounted display apparatuses
CN109394252B (zh) 用于操作医学成像设备的方法和医学成像设备
US9107698B2 (en) Image annotation in image-guided medical procedures
US11896441B2 (en) Systems and methods for measuring a distance using a stereoscopic endoscope
EP3689287B1 (en) System for proposing and visualizing dental treatments
EP3870021B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20230065505A1 (en) System and method for augmented reality data interaction for ultrasound imaging
JP6112689B1 (ja) 重畳画像表示システム
KR101611484B1 (ko) 의료영상의 제공방법
US11771506B2 (en) Method and system for controlling dental machines
JP7464933B2 (ja) 表示装置及び表示システム
JP2024508275A (ja) 拡大された歯科治療部位を可視化するための方法、システムおよびコンピュータ可読記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination