CN103339468A - 具有3d用户界面集成的系统 - Google Patents

具有3d用户界面集成的系统 Download PDF

Info

Publication number
CN103339468A
CN103339468A CN2011800669566A CN201180066956A CN103339468A CN 103339468 A CN103339468 A CN 103339468A CN 2011800669566 A CN2011800669566 A CN 2011800669566A CN 201180066956 A CN201180066956 A CN 201180066956A CN 103339468 A CN103339468 A CN 103339468A
Authority
CN
China
Prior art keywords
aforementioned
display
handheld device
environment
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800669566A
Other languages
English (en)
Other versions
CN103339468B (zh
Inventor
卡尔-约瑟夫·霍伦贝克
亨里克·奥杰伦德
D·费舍尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3Shape AS
Original Assignee
3Shape AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46206640&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN103339468(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 3Shape AS filed Critical 3Shape AS
Publication of CN103339468A publication Critical patent/CN103339468A/zh
Application granted granted Critical
Publication of CN103339468B publication Critical patent/CN103339468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明公开了一种包括手持设备（100）和至少一个显示器（101）的系统，其中该手持设备（100）适于执行至少一种物理3D环境中的动作。这些动作包括测量，修正，操作，记录，触摸，感测，扫描，移动，变换，切割，焊接，化学处理，清除。显示器（101）适于可视化表示物理3D环境，并且其中手持设备（100）适于远程控制其中3D环境表示在显示器（101）上的视图。

Description

具有3D用户界面集成的系统
技术领域
本发明总体上涉及包括手持设备和至少一个显示器的方法和系统。
背景技术
3D可视化在许多工业和医疗领域非常重要，其中3D信息变得越来越占主导地位。
显示和检查3D信息本质上是非常困难的。为了在屏幕上完全理解3D物体或全部环境，用户通常应该能旋转该物体或场景，这样许多或者优选地所有的表面都被显示。这甚至对3D显示（例如，立体式或全息式）来说是真实的，其中从给定的视角位置并采用给定的视角角度，用户将仅仅看见任意3D环境的某些表面。通常，用户也非常想放大成细节或者缩小以概览。
各种用户交互设备用于显示3D数据的软件，这些设备是：3D鼠标、空间球和触摸屏。当前这些交互设备的操作要求物理接触它们。
物理接触用户交互设备在医疗应用中或是在肮脏环境的工业应用中存在缺点，其中，在医疗应用中，由于在病人之间或者病人和手术者之间存在交叉感染的危险。
在医疗应用中用于3D数据视图的几种非接触用户界面已经在著作中进行了描述。Vogt等人（2004）描述了一种3D医学成像数据的现场可视化的非接触式交互系统。该用户界面基于反射标记物的跟踪，其中照相机安装在医师头部。Graetzel等人（2004）描述了一种非接触式系统，其将手势解释为鼠标动作。其基于立体视图并且旨在在微创外科手术中使用。
仍然存在改进这样系统的问题，该系统要求用于视图控制的用户界面，例如可用于临床目的。
发明内容
所公开的系统包括手持设备和至少一个显示器，其中该手持设备适于执行物理3D环境中的至少一个动作，其中该至少一个显示器适于可视化表示该物理3D环境，并且其中该手持设备适于远程控制所述3D环境表示在该显示器上的视图。
该系统可适于在执行物理3D环境中的至少一个动作和远程控制3D环境表示在该显示器上的视图之间进行切换。
这里所公开的系统执行将3D用户界面功能与任何其他手持设备以及其他操作功能进行集成，这样操作者理想地仅触摸该将要进行触摸的后面的设备。这种手持设备的一种特定实施例是记录某些3D结构的一种，例如手持3D扫描仪。
该手持设备是多功能设备，诸如双功能或者两用设备，即既能执行物理3D环境中的动作（例如测量和操作）又能远程控制该3D环境在显示器上的视图的设备。
结构上，视图由实际观察者/照相机相对于该3D环境或其可视化表示物的位置和方位来确定。如果该显示器是二维的，该视图也由投影类型来确定。视图还可由放大因子来确定。
实际观察者和3D环境的位置和方位通常彼此相关。根据用户在具有3D输入设备的软件系统中的经历，用户可感受，例如，他/她在他/她本身保持静止的同时移动该3D环境，但是通常是实际观察者/照相机在显示器上给出了同样结果的等效移动。通常，3D软件系统的描述采用了术语“平移（pan）”来表示3D环境的明显的平移运动，“旋转”来表示3D环境的旋转运动，“缩放”来表示放大因子的变化。
图表上，视图可通过照片或者例如计算机图表之类的某种可视化表示物或类似物来表示3D环境。计算机图表可例如以文本和/或阴影和/或实际光源和/或用于表面特性的光模型来显示。计算机图表还可是3D环境的简化表示，例如网格、轮廓或其他简化表示。所有或部分3D环境还可采用某些透明度来显示。视图可以其整体或仅仅是部分来表示该3D环境。
所有的这些非接触式现有技术系统仅仅是3D用户界面设备。在许多现有技术的应用中，采用这种用户界面设备的操作者还将持有另一设备并且采用另一设备工作，该设备真正是整个应用（例如医疗仪器）的核心设备。
因此本系统的优点是该3D用户界面功能集成在核心设备中，用于执行某种动作。
在某些实施例中，该手持设备适于远程控制该放大，其中3D环境采用该放大表示在显示器上。
在某些实施例中，该手持设备适于在显示器上改变该3D环境的显示。
在某些实施例中，该视图限定为视觉角度和/或视觉位置。
在某些实施例中，该至少一个动作包括下列动作中的一个或多个：
-测量；
-记录；
-扫描；
-操作；
-修正。
在某些实施例中，该3D环境包括一个或多个3D物体。
在某些实施例中，该手持设备适于由操作者保持在一只手中。
在某些实施例中，该显示器适于从多个视图表示该3D环境。
在某些实施例中，该显示器适于从不同的视觉角度和/或视觉位置表示该3D环境。
在某些实施例中，3D环境在至少一个显示器中的视图至少部分由保持所述设备的操作者的手的运动来确定。
在某些实施例中，表示在至少一个显示器中的放大至少部分由保持所述设备的操作者的手的运动来确定。
在某些实施例中，该手持设备适于记录该3D环境的3D结构。
因此，该手持设备可以是口腔牙科扫描仪，其记录病人牙齿的3D结构。操作者可沿着病人的牙齿移动该扫描仪，用于捕获相关牙齿，例如全部牙齿的3D结构。该扫描仪可包括运动传感器，用于在产生所扫描的牙齿的3D模型的同时考虑扫描仪的移动。
牙齿的3D模型可在显示器上示出，显示器例如可以是PC屏幕等等。
用户界面功能可包括将运动传感器组合到扫描仪中，这样用户可通过移动该扫描仪来在屏幕上确定该视图。向下指该扫描仪可以给定的向下视角来示出所扫描的牙齿。在水平位置保持该扫描仪可使得视角同样也是水平的。
在某些实施例中，该手持设备包括至少一个用户界面元件。用户界面元件是其中用户可进行操作以便启动该软件用户界面上的功能的元件。典型地，该用户界面是图表式呈现在系统的显示器上。
该手持设备还可设置有致动器，其使得该手持设备在执行至少一个动作和远程控制该视图之间进行切换。通过提供这种手动切换功能，操作者容易控制要执行的那些，其中该手动切换功能使得操作者在执行该至少一个动作和远程控制该视图之间切换。
这种致动器可以例如是以按钮、开关或触头的形式。在其他实施例中，其可以是触敏式表面或者元件。
在另一实施例中，致动器可以是设置在手持设备中的运动传感器，在其注册运动的特定类型时，例如，如果操作者摇晃该手持设备时，其可用作致动器。这种运动传感器的实施例将在本文中相对用户界面元件进行描述，然而，本领域技术人员根据本文中公开的内容知道，这种运动传感器也可用作如上所述的致动器。
例如，在一个实施例中，该手持设备可以是牙科医生使用的口腔3D扫描仪。该扫描仪设定为当致动器位于一个位置时执行扫描牙齿区域的动作。当致动器切换到第二位置时，该手持设备设定为控制该视图，其中3D环境采用该视图显示在显示器上。这可能是例如当牙科医生扫描完牙弓的部分或全部预定区域时，他可启动该致动器，然后使得该牙科医生通过采用该手持设备来远程控制所扫描的区域在显示器上的3D显示视图。
例如，该致动器可以是按钮。当快速按压按钮时，该手持设备准备扫描，即，其设定为在物理3D环境中执行至少一个动作，扫描程序。当第二次快速按压该按钮时，停止扫描。
在执行扫描的同时，可视化3D显示可视化地构建在该显示器上。
用户现在可按压并保持该按钮。这将使得手持设备进入到控制器模式，其中该手持设备适于远程控制视图，其中采用该视图，诸如所扫描的牙齿之类的3D环境显示在显示器上。在保持按钮按压的同时，该系统将使用来自手持设备中的运动传感器的信号来确定如何去显示实际3D环境的视图。因此，如果用户转向或者另外移动保持该手持设备的手，那么实际3D环境在显示器上的视图因此将改变。
因此，牙科医生可采用相同的手持设备，用于同时扫描区域并且随后识别扫描已经正确执行，而不必从病人处移开或者触摸除已经呈现在他手中的之外的任何其他设备。
在一个实施例中，该用户界面元件与致动器相同，或者当有几个用户界面元件时，其中的至少一个也用作致动器。
该系统可配有按钮，作为提供用户界面功能的附加元件。
在一个实施例中，该手持设备是手持口腔扫描仪，并且该显示器是计算机屏幕。操作者或用户可以是牙科医生、助手和/或其他。该设备的操作功能可以记录某些口腔的3D结构，该用户界面功能可以是在计算机屏幕上旋转、摇动和缩放被扫描的数据。
在某些实施例中，至少一个用户界面元件是至少一个运动传感器。
因此，将用户界面功能在设备中的集成可以由运动传感器来设置，其可以是扫描仪内的加速计，其读取决定了由扫描仪获得的牙齿的3D模型在屏幕上的显示方位。其他的功能，例如，启动/停止扫描，可由按钮来提供。该按钮可以位于操作者或用户的食指可以方便到达的地方。
现有技术中的口腔扫描仪采用触摸屏，轨迹球或者鼠标来确定显示器中的视图。这些现有技术的用户界面设备可以是不方便使用的、不合适使用的或者难以使用的，并且它们可以是劳动密集型的，因此需要花费成本进行杀菌或消毒。口腔扫描仪通常应该在扫描不同的病人之间进行消毒，这是因为扫描仪要进入到将要被扫描的病人的口腔或其他部分内，或者与口腔或其他部分接触。
操作者或者用户，例如，牙科医生，可以使用一只手或者双手来在扫描的同时保持该口腔扫描仪，并且该扫描仪可以足够轻和舒适，以便在扫描的同时可以仅仅采用一只手来保持足够长的时间。
该设备也可采用一只手或者两只手来保持，同时采用该设备作为例如改变显示器中视图的远程控制。无接触式用户界面功能的好处在于：在医疗情形下，操作者可以保持双手洁净、消毒或者甚至无菌的状态。
该系统的好处在于其可以在3D环境中进行重复过程，而不用在所述过程中释放该手持设备。对于上述的口腔扫描系统的实例，操作者（例如牙科医生）可以采用成为口腔扫描仪的手持设备记录某些牙齿表面的结构，检查通过采用相同的手持设备记录的表面覆盖面，以便移动（例如旋转）在诸如计算机屏幕之类的显示器上被记录的表面，检测所扫描的牙齿覆盖面中可能的缝隙或孔洞，然后例如将扫描仪安排在缝隙所在的并且继续记录那儿的牙齿表面几何结构的区域中。在这全部的重复环节之上，其可重复超过一次，诸如与得到牙齿预定扫描覆盖面所需的多次，牙科医生不必将该手持口腔扫描放置在他或她的手之外。
在某些实施例中，3D用户界面功能拓展到除操作功能之外的单个位置中。对于上述的口腔扫描系统实例，该扫描操作在病人的口腔内执行，而当该扫描仪位于病人口腔之外时该用户界面功能更灵活地扩展。再一次，该系统主要的特性和优点在于牙科医生可以拓展为扫描仪的双重以及集成功能（即操作和用户界面）而不用将其放置在他或她的手之外。
上述的口腔扫描系统是实施例的一个实例。操作功能或者执行动作的其他实例可以是钻孔、焊接、研磨、切割、钎焊、摄影、拍摄、测量、执行某些外科手术过程等等。
系统的显示器可以是2D计算机屏幕，投射立体图像对的3D显示器，产生3D效果的立体显示器（诸如扫描体显示器）静态体显示器，视差屏障显示器，全息显示器等等。即使采用3D显示器，操作者相对于同一时刻的3D环境仅仅具有一个视觉位置和视觉角度。操作者可移动他/她的头部来假定另一物理视觉位置和/或视觉角度，但是通常来说，可以更方便使用具有其内置用户界面功能的手持设备（例如远程控制）来改变展示在显示器中的视觉位置和/或视觉角度。
在某些实施例中，该系统包括多个显示器，或者分成多个区域的一个或多个显示器。例如，在PC屏幕上的几个子窗口可以表示3D环境的不同视图。该手持设备可以用于改变其全部的视图，或者仅仅改变其部分的视图。
在某些实施例中，用户界面功能包括使用手势。
例如由操作者形成的手势可以用于改变、转移或者在子窗口之间切换，并且该用户界面功能可以限制为有效的子窗口或者几个显示器中的一个。
在某些实施例中，手势适用于由至少一个运动传感器来检测。手势可由范围传感器或记录身体运动的其他传感器来交替和/或另外检测。
操作者不必一直监测系统的该至少一个显示器。在许多应用中，操作者将采用该手持设备在观察和可能的操作该显示器以及执行另一操作之间转换。因此其好处在于操作者不必接触其他用户界面设备。然而，在某些情形中，操作者不可能全部避免接触其他设备，并且，在这些情况下，其好处是与其中手持设备根本不提供任何用户界面功能的系统相比，要求进行较少的接触。
在某些实施例中，至少一个显示器设置成与该手持设备分开。
在某些实施例中，至少一个显示器定义成第一显示器，并且其中该系统还包括第二显示器。
在某些实施例中，该第二显示器设置在该手持设备上。
在某些实施例中，该第二显示器设置在该手持设备上使得在操作者操作该手持设备的同时该显示器适于被操作者观察的位置中。
在某些实施例中，该第二显示器显示出该手持设备相对于该3D环境进行定位的地方。
在某些实施例中，该第一显示器和/或第二显示器为操作者提供了指令。
该显示器可以多种方式设置。例如，它们可以安装在墙壁上，设置在某种看台或者手推车（cart）上，设置在架子上或者桌子上，或者其他。
在某些实施例中，至少一个显示器安装在设备本身上。其好处在于：采用这种设置可以使得在设备本身上具有显示器，操作者的眼睛不必交替在不同的距离之间聚焦。在某些情况下，操作功能要求在操作的设备以及3D环境的附近来近距离地观察，这样可以远离操作者的手尽量远的距离来进行观察。尤其是在诸如牙科诊所、手术室、或者工业工作间之类的嘈杂环境中，难以放置离该设备较近的外部显示器。
在某些实施例中，在除第一显示器之外的一个或多个装置上提供视觉信息给操作者。
在某些实施例中，将给操作者的音频信息提供给操作者。
因而在某些实施例中，该系统提供了另外的信息给操作者。在某些实施例中，该系统包括在除显示器之外的其他装置上显示的其他视觉线索，该其他装置例如该设备上的LED。在某些实施例中，该系统提供音频信息给操作者，该音频信息例如通过不同的声音和/或通过语音。
提供给该操作者的所述信息可以包括用于使用的指令、警告等等。
该信息有助于改进该设备的动作执行或操作功能，例如通过显示将要执行的动作或操作如何，和/或有助于改进动作或操作容易性和/或动作或操作结果质量的指令。例如，LED可以改变色彩和/或闪烁频率。在一个扫描仪中，信息可涉及所扫描的3D环境如何好地聚焦和/或扫描质量和/或扫描覆盖面。该信息可包括如何最好地定位该扫描仪的指令，例如获得好的扫描质量和/或扫描覆盖面。该指令可用于计划和/或执行托架定位。该指令可以是给操作者的消息系统的形式。
在某些实施例中，某些3D用户界面功能由嵌入于该设备中的至少一个运动传感器来提供。运动传感器的实例是加速计，陀螺仪，以及磁强计等等。这些传感器可以感测旋转、横向运动和/或其组合。其他运动传感器使用红外感测。例如，至少一个红外传感器可安装在该设备上，至少一个红外发射器可安装在该设备的周围。相反，该至少一个发射器可安装在该设备上，该至少一个传感器安装在周围。另一种可能性是在该设备上使用红外反射器以及在其周围使用传感器和发射器，或者再次相反。因此运动可通过各种原理来感测。
通过恰当的信号处理，某些传感器可重新识别其他的操作者的动作；例如诸如轻敲、挥手或者摇动该手持设备之类的手势。因此，这些手势还可扩展到3D用户界面功能中。
在某些实施例中，该手持设备包括提供传感器联合的至少两个运动传感器。传感器联合可用于从例如原始陀螺仪、加速计和/或磁强计数据获得更好的运动信号。传感器联合可以诸如Inven Sense MPU300之类的IC来实现。
在某些实施例中，该手持设备包括除至少一个运动传感器之外的至少一个用户界面元件。
在某些实施例中，该至少一个其他用户界面元件是触敏式元件。
在某些实施例中，该至少一个其他用户界面元件是按钮。
在某些实施例中，该至少一个其他用户界面元件是滚轮。
在某些实施例中，用户界面功能通过设备上其他的元件来提供。因而这些其他的元件例如是按钮、滚轮、触敏式场区、近距离传感器等等。
该其他用户界面元件可扩展或使用在对于设备的应用场合来说合适的工作流中。该工作流可以某些用户软件应用来实现，其中该用户软件应用也可控制该显示器并且因此控制表示在其上的视图。给定的界面元件可提供多个用户输入给软件。例如，按钮既可提供单击，也可提供双击。例如，双击可意味着在工作流中优先进行连续的步骤。对于口腔扫描的实例，该工作流中的三个步骤可用于扫描口腔下部、口腔上部以及咬合。触敏式场区可在多个方向上提供敲击，每个方向具有不同的效果，等等。从用户界面元件提供多个用户输入是有益的，这是因为相对于其中每个用户界面元件仅仅提供一个用户输入的情形可以减小设备上用户界面元件的数量。
该运动传感器还可扩展到工作流中。例如，举起该设备，其可通过加速计进行感测，可表示某种类型的用户输入，例如启动某些动作。在其是扫描仪的设备中，其可以启动扫描。相反，将设备放置在某种支撑器之后，由于某个时间段上没有加速出现因而可通过加速计感测到，可停止所述动作。
如果由该设备执行的动作是某种记录，例如扫描，例如3D扫描，那么记录的结果也可以扩展为用户输入，可能与来自其他用户界面元件的用户输入一起。例如，采用具有有限场区深度的3D扫描仪，通过检测任何3D点是否被记录而可以检测出是否3D环境中的任何物体表示在与该场区深度对应的体积中。用户输入可取决于这种检测的出现。例如，口腔扫描仪上的按钮点击可提供不同的用户输入，该用户输入取决于扫描仪是否在口腔内，其中可检测到牙齿，或者明显检测出牙齿远离口腔或者位于口腔外部。同样，运动传感器信号的效果可对于每个情况进行不同的解释。例如，扫描仪当其位于口腔之外时，可仅改变表示在该显示器上的视图。
在某些实施例中，该手持设备适于改变该视觉角度，其中3D环境采用该视觉角度表示在该至少一个显示器上。
在某些实施例中，该手持设备适于改变放大因子，其中该3D环境可采用该放大因子表示在该至少一个显示器上。
在某些实施例中，该手持设备适于改变视觉位置，其中该3D环境可采用该视觉位置表示在该至少一个显示器上。
在某些实施例中，该3D环境的视图包括视觉角度、放大因子和/或视觉位置。
在某些实施例中，该3D环境的视图包括以文本和/或阴影的显示。
在某些实施例中，该至少一个显示器分成多个区域，每个区域以不同的视图显示该3D环境。
因而，在某些实施例中，该用户界面功能包括改变视图，其中3D环境采用该视图显示。视图中的变化可包括视觉角度、视觉位置、放大因子等等的变化。视角的变化可以自然地通过旋转该设备来影响。旋转自然地借助于陀螺仪和/或相对于由加速计感测的重力来感测。缩放，即，放大的改变，可例如分别通过向前和向后推动该手持设备来实现。视图位置的平移变化，例如淘选，可例如通过向上/向下和/或侧向推动手持设备来实现。
在某些实施例中，该用户界面功能包括挑选或选择显示器上的项或由本领域公知的计算机中的图形用户界面提供的任何其他功能。操作者可执行挑选。3M ESPE出售的Lava C.O.S扫描仪已经在该手持设备上具有了其他的按钮，但是它不可以通过这些按钮来操作视图。它们仅有的目的是通过菜单系统进行导航，并且启动/停止扫描。
在某些实施例中，该用户界面功能包括操作显示在屏幕上的3D环境。例如，操作者可以影响3D环境中物体的变形或者改变物体的位置或方位。因此，在某些实施例中，该用户界面功能包括虚拟用户界面功能，其可以是3D数据被操作，但是其中设备操作的物理3D环境并不被操作。
在某些实施例中，该手持设备是口腔扫描仪和/或耳内扫描仪。如果扫描仪包括尖端，该尖端可以互换，借此，扫描仪可以变为适合在口内扫描或者在耳内扫描。由于耳朵的腔比口腔小，因此安装到耳朵中的尖端小于安装在口腔内的尖端。
在某些实施例中，该手持设备是外科手术仪器。在某些实施例中，该外科手术仪器包括至少一个运动传感器，其内置于该仪器内。
在某些实施例中，该手持设备是机械工具。在某些实施例中，该工具具有至少一个内置的运动传感器。在其他实施例中，其他用户界面元件同样内置，其他用户界面元件例如是按钮、滚轮、触敏式场区或者近距离传感器。
在某些实施例中，该3D环境的3D结构是现有公知的或者该环境的3D表示是本领域公知的，即在动作执行之前已经知道的该环境的3D表示。例如，在外科手术中，CT扫描可以在手术过程之前开始。本实施例的手持设备可以是医师需要在正确的3D位置进行应用的外科手术仪器。为了确保达到该正确的位置，有益的是可以从多个交互的透视图中观察该3D环境，即，不必释放该手术仪器。
该系统在上述外科手术中的好处还在于：该手持设备能够至少部分地记录3D环境，典型地在其小于表示在现有数据中的体积的3D场区视图中记录3D环境。由该手持设备记录的3D数据可以采用现有数据实时注册，这样可检测到设备的位置和方位。
在某些实施例中，该3D结构包括该环境的3D表面。
在某些实施例中，该3D结构包括该环境的3D立体表示。
因此，该3D环境可作为立体数据显示，或者作为表面显示，或者作为其组合显示。立体数据典型地表示为体素。体素可包括多个标量值。表面数据典型地表示为网格，诸如三角形网格，或者点云。
该扫描可通过LED扫描，激光扫描，白光扫描，X射线扫描和/或CT扫描来执行。
本发明涉及包括上述系统的不同方面以及下文中对应的系统、方法、设备、用途和/或产品装置，每个都具有结合上述的第一方面描述的一个或多个优点和好处，并且每个都具有与结合上述的第一方面和/所附权利要求公开的内容描述的实施例对应的一个或多个实施例。
尤其是，本文中所公开的内容是一种在手持设备和至少一个显示器之间交互的方法，其中该方法包括下列步骤：
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制所表示的3D环境在显示器上的视图。
此外，本发明涉及一种计算机程序产品，包括程序代码装置，用于当所述程序代码装置在该数据处理系统上执行时使得数据处理系统执行根据任何实施例的方法，以及一种计算机程序产品，包括计算机可读取媒介，其存储在程序代码装置上。
根据另一方面，公开了一种系统，包括用于在3D环境中操作的手持设备以及用于可视化所述环境的至少一个显示器，其中该显示器适于从多个透视图表示所述环境，
其中所述设备适于由操作者保持在一只手中，并且其中表示在至少一个显示器中的透视图至少部分由保持所述设备的操作者的手的运动来确定。
根据另一方面，公开了一种系统，包括用于在3D环境中操作的手持设备以及用于可视化所述环境的至少一个显示器，其中该显示器适于在多个视图中表示所述环境，
其中所述设备适于由操作者保持在一只手中，其中表示在至少一个显示器中的视图至少部分由保持所述设备的操作者的手的运动来确定，并且其中该设备具有至少一个触敏式用户界面元件。
操作者手的运动典型地由设置在该手持设备中的运动传感器来确定。
定义：
3D结构：三维空间中的物质系列或其虚拟表示。
3D环境：在三维空间中每个具有3D构型的物理物体系列。
视图：3D环境表示在显示器上的一种方式。结构上而言，视图由虚拟的观察者/照相机的位置和方位来确定。如果显示器是二维的，那么视图也由投影的类型来决定。视图还可由放大因子来决定。图形上而言，视图可以通过照片或者诸如计算机图表等之类的某种虚拟表示来示出3D环境。计算机图表可包括例如用于表面特性的文本和/或阴影和/或虚拟光源和/或光模型。计算机图表还可以是3D环境的简化表示，例如，网格，略图或其他简化的表示形式。该3D环境的全部或部分还可具有某些程度的透明度。视图可以整体或仅其局部来表示3D环境。
功能：目的或将要进行的用途。
执行动作或者操作功能：包括与3D环境交互的某种类型的动作或功能，例如测量、修正、操作、记录、触摸、感测、扫描、移动、变换、切割、焊接、化学处理、清除等等。术语“操作”因此并不指外科手术过程，但是操作可以包括外科手术过程。
用户界面功能：用于在人类用户和具有显示器的机器之间进行交互的功能。
手持设备：具有至少一个功能并且可由人类操作者的一只手或双手在执行该至少一个功能的同时保持的物体。
3D扫描仪：分析实物世界物体或3D环境以其形状或可能的外观来收集数据的设备。
扫描覆盖面：在扫描操作后由所记录的数据所表示的物理表面所能到达的程度。
运动传感器：检测运动的传感器。运动可以通过以下内容来检测：声音（声音传感器），光学（光学和红外传感器以及视频图像处理器），地磁学（磁力传感器，磁强计），传输能量的反射（红外激光雷达，超声波传感器，以及微波雷达传感器），电磁感应（感应环检测器），以及振动（摩擦电的、地震的以及惯性开关传感器）。MEMS加速计，陀螺仪，以及磁强计是运动传感器的实例。
工作流：以软件实现的任务序列。
附图说明
参考下面的附图，本发明的上述和/或其他目的、特征和优点将通过本发明实施例的示意性的和非限定性的详细描述来进一步阐述，其中：
图1示出了包括手持设备和显示器的该系统的实例。
图2示出了采用该手持设备以远程控制形式的用户界面功能的实例。
图3示出了该手持设备的实例。
图4示出了在手持设备和显示器之间交互的方法的流程图的实例。
具体实施方式
在下面的描述中，参考附图，其中附图以演示的方式示出了本发明是如何实践的。
图1示出了包括手持设备和显示器的该系统的一个实例。该手持设备100在本实施例中是口腔牙齿扫描仪，其记录病人牙齿的3D结构。操作者102沿着病人104的牙齿移动该扫描仪，用于捕获相关牙齿（例如全部牙齿的）3D结构。扫描仪包括运动传感器（未示出），用于在形成被扫描牙齿的3D模型105的同时考虑扫描仪的运动。显示器101在本实施例中是显示由扫描仪记录的数据的PC屏幕。
图2示出了采用该手持设备的以远程控制形式的用户界面功能的实例。通过移动该手持设备100，手持设备100（例如扫描仪）中的运动传感器（未示出）使得用户102可以确定显示器101（例如屏幕）上示出的视图。
图2a）示出了向下指设备100提供了从向下的视觉角度中示出被扫描牙齿的3D模型。
图2b）示出了在水平位置保持该扫描仪提供了同样水平地来自前方的视觉角度，使得被扫描牙齿的3D模型从前部示出。
图3示出了手持设备的实例。
手持设备100在本实例中是具有手枪式手柄的口腔扫描仪。该扫描仪包括壳体106以及适于插入病人口中的尖端108，该壳体106包括手枪式手柄部107。在该实施例中，扫描仪还配备有按钮103，其是提供用户界面功能的附加元件。
图1、图2和图3所示的该实施例系统包括设备100和显示器101，该设备100是手持口腔扫描仪，显示器101是计算机屏幕。操作者102可以是牙科医生，助手等等。在一个实施例中，设备100的动作执行或操作功能是记录某些口腔的3D结构，并且该用户界面功能是在计算机屏幕101上旋转、平移和缩放被扫描数据的3D模型105。设备100中的用户界面功能的集成可由运动传感器（未示出）提供，该运动传感器可以是扫描仪100内的加速计，其读数确定由扫描仪100所获取的牙齿的3D模型105在屏幕上的显示方位，如图2a和2b所示。例如启动/停止扫描之类的其他功能，可由按钮103提供，如图3所示。在本实施例系统中，按钮103位于其中用户的食指可以方便到达的地方。
在图1中，牙科医生102采用两只手在扫描的同时来保持该口腔扫描仪100，但是应该理解，该扫描仪100还可以在扫描的同时用一只手进行保持。该设备100还可以采用一只或两只手来保持，同时改变3D模型105在显示器101中的透视图。图1所示的实施例因而演示了非接触式用户界面功能的优点，因为在许多诊所情形下，操作者102应保持双手洁净、消毒或者甚至无菌。
3D用户界面功能可扩展到操作功能之外的单个位置中。对于上述的口腔扫描系统实例而言，该扫描操作在病人的口腔内执行，如图1所示，同时用户界面功能更灵活地在扫描仪位于病人口腔之外时进行扩展，如图2和3。
图4示出了在手持设备和显示器之间交互的方法的流程图的实例。
在步骤101中，通过该手持设备执行在物理3D环境中的至少一个动作。该动作可以是如图1所示的牙齿的扫描。
在步骤102中，该物理3D环境由该至少一个显示器进行可视化显示。这可以是如图1所示的被扫描的牙齿的3D模型显示。
在步骤103中，在显示器上示出的所表示的3D环境的视图在显示器上通过该手持设备进行远程控制。这可以成为如图2所示的3D模型视觉角度的控制。
本方法中的所有步骤可以重复一次或多次。其中步骤执行的顺序可以不同于上述的顺序，其在图中由虚线示出。如果该步骤中的一个或多个执行多次，那么该步骤的顺序也可以是不同的。
尽管某些实施例已经详细描述和示出，但是本发明并不局限于此，而还可以以所附权利要求限定的主题的范围内的其他方法实施。特别是，应该理解，只要不脱离本发明的范围，可以采用其他实施例和进行结构上和功能上的变形。
在设备权利要求中，枚举了几种装置，这些装置的几种可以由一种硬件或同款的硬件来实施。其事实仅仅是特定的测量值重新引用在互不相同的从属权利要求中或描述在不同的实施例中，其并不显示为这些测量值的组合不能一起使用。
应该强调，使用在本说明书中的术语“包括”用于指明所阐述的特征、集成物、步骤或成分的出现，但是并不排除一个或多个其他特征、集成物、步骤、成分或其组合的出现或添加。
上述以及下文中的方法的特征可以软件形式实现，并在数据处理系统或由计算机可执行指令执行所导致的其他处理装置来实现。这些指令可以是通过计算机网络从存储媒介或另一计算机加载到存储器中的程序代码装置。该存储器例如RAM。可替换地，所述的特征可以通过代替软件的硬件电路或者与软件组合来执行。
文献：
C.Graetzel,T.Fong,S.Grange，和C.Baur的A Non-Contact Mouse forSurgeon-Computer Interaction.Technology and Health Care12（3），2004
Vogt S.,Khamene A.,Niemann H.,Sauer F.的An AR system withintuitive user interface for manipulation and visualization of3D medical data，Stud.Health Technol.Inform.2004;98,pp.397-403。
实施例：
下面的实施例涉及由本文说明书所描述的系统的一个方面。
1.一种系统，包括手持设备和至少一个显示器，其中该手持设备适于在物理3D环境中执行至少一个动作，其中该至少一个显示器适于可视化表示该物理3D环境，并且其中该手持设备适于远程控制该视图，其中该3D环境可采用该视图表示在该显示器上。
2.根据上述实施例中的任何一个或多个实施例的系统，其中该视图定位为视觉角度和/或视觉位置。
3.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备适用于远程控制该放大，其中该3D环境采用该放大表示在该显示器上。
4.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备适于改变该3D环境在该显示器上的显示。
5.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个动作包括下列中的一个或多个：
-测量；
-记录；
-扫描；
-操作，和/或
-修正。
6.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环境包括一个或多个3D物体。
7.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备适于由操作保持在一只手中。
8.根据上述实施例中的任何一个或多个实施例的系统，其中该显示器适于从多个视图中表示该3D环境。
9.根据上述实施例中的任何一个或多个实施例的系统，其中表示在该至少一个显示器中的3D环境的视图至少部分由保持所述设备的操作者的手的运动来确定。
10.根据上述实施例中的任何一个或多个实施例的系统，其中表示在至少一个显示器中的放大至少部分由保持所述设备的操作者的手的运动来确定。
11.根据上述实施例中的任何一个或多个实施例的系统，其中，该手持设备适于记录3D环境的3D结构。
12.根据上述实施例中的任何一个或多个实施例的系统，其中，该3D环境的3D结构是现有技术公知的。
13.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备包括至少一个用户界面元件。
14.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个用户界面元件是至少一个运动传感器。
15.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备包括提供传感器联合的至少两个运动传感器。
16.根据上述实施例中的任何一个或多个实施例的系统，其中该用户界面功能包括使用手势。
17.根据上述实施例中的任何一个或多个实施例的系统，其中该手势由该至少一个运动传感器检测。
18.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备包括除该至少一个运动传感器之外的至少一个用户界面元件。
19.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个其他的用户界面元件是触敏式元件。
20.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个其他的用户界面元件是按钮。
21.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个其他的用户界面元件是滚轮。
22.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备适于改变视觉角度，其中3D环境采用该视觉角度显示在该至少一个显示器上。
23.根据上述实施例中的任何一个实施例的系统，其中该手持设备适于改变放大因子，其中该3D环境采用该放大因子表示在该至少一个显示器上。
24.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备适于改变视觉位置，其中该3D环境采用该视觉位置显示在该至少一个显示器上。
25.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环境的视图包括视觉角度、放大因子和/或视觉位置。
26.根据上述实施例中的任何一个或多个实施例的系统，其中该3D环境的视图包括文本和/或阴影的显示。
27.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个显示器分成多个区域，每个区域采用不同的视图来示出该3D环境。
28.根据上述实施例中的任何一个或多个实施例的系统，其中该3D结构包括该环境的3D表面。
29.根据上述实施例中的任何一个或多个实施例的系统，其中该3D结构包括该环境的3D立体表示。
30.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备是口腔3D扫描仪。
31.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备是外科手术仪器。
32.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备是机械工具。
33.根据上述实施例中的任何一个或多个实施例的系统，其中该手持设备是耳内3D扫描仪。
34.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个显示器设置成与该手持设备分开。
35.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个显示器设置在手推车上。
36.根据上述实施例中的任何一个或多个实施例的系统，其中该至少一个显示器定义为第一显示器，并且其中该系统还包括第二显示器。
37.根据上述实施例中的任何一个或多个实施例的系统，其中该第二显示器设置在该手持设备上。
38.根据上述实施例中的任何一个或多个实施例的系统，其中该第二显示器设置在手持设备中这样的位置上：使得该显示器适于由操作者进行观察，同时该操作者操作该手持设备。
39.根据上述实施例中的任何一个或多个实施例的系统，其中该第二显示器显示该手持设备相对于该3D环境定位在哪。
40.根据上述实施例中的任何一个或多个实施例的系统，其中该第一显示器和/或第二显示器为操作者提供指令。
41.根据上述实施例中的任何一个或多个实施例的系统，其中将视频信息在除第一显示器之外的一个或多个装置上提供给操作者。
42.根据上述实施例中的任何一个或多个实施例的系统，其中将给操作者的音频信息提供给该操作者。
43.根据上述实施例中的任何一个或多个实施例的系统，其中该扫描通过LED扫描、激光扫描、白光扫描、X射线扫描和/或CT扫描来执行。
44．一种在手持设备和至少一个显示器之间交互的方法，其中该方法包括下列步骤：
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制在显示器上所表示的3D环境的视图。
45.一种计算机程序产品，包括程序代码装置，其用于当所述程序代码装置在数据处理系统上执行时，使得数据处理系统执行上述实施例中任意一个或多个实施例的方法。
46.根据上述实施例的一种计算机程序产品，包括已经存储在程序代码装置上的计算机可读取媒介。

Claims (52)

1.一种系统，包括手持设备和至少一个显示器，其中该手持设备适于在以下操作之间切换：
-在物理3D环境中执行至少一个动作，其中该至少一个显示器适于可视化表示该物理3D环境，以及
-远程控制该视图，其中该3D环境采用该视图表示在该显示器上。
2.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于记录该3D环境的3D结构。
3.根据前述权利要求的任何一个或多个权利要求的系统，其中用于在执行该至少一个动作和远程控制该视图之间手动切换的装置提供该手持设备上。
4.根据权利要求3的系统，其中用于手动切换的装置是致动器，例如按钮、开关或接触器。
5.根据前述权利要求的任何一个或多个权利要求的系统，其中该视图限定为视觉角度和/或视觉位置。
6.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于远程控制放大，其中该3D环境采用该放大表示在该显示器上。
7.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于改变3D环境在显示器上的显示。
8.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个动作包括下列中的一个或多个：
-测量，
-记录，
-扫描，
-操作，和/或
-修正。
9.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D环境包括一个或多个3D物体。
10.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于由操作者保持在一只手中。
11.根据前述权利要求的任何一个或多个权利要求的系统，其中该显示器适于从多个视图中表示该3D环境。
12.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备包括至少一个运动传感器。
13.根据前述权利要求的任何一个或多个权利要求的系统，其中在该至少一个显示器中表示的3D环境的视图至少部分由该至少一个运动传感器来确定。
14.根据前述权利要求的任何一个或多个权利要求的系统，其中表示在该至少一个显示器中的放大至少部分由该至少一个运动传感器来确定。
15.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于记录该3D环境的3D结构。
16.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D环境的3D结构是现有技术公知的。
17.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备包括至少一个用户界面元件。
18.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个用户界面元件是至少一个运动传感器。
19.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备包括提供传感器联合的至少两个运动传感器。
20.根据前述权利要求的任何一个或多个权利要求的系统，其中该用户界面功能包括手势的使用。
21.根据前述权利要求的任何一个或多个权利要求的系统，其中该手势由该至少一个运动传感器检测。
22.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备包括除该至少一个运动传感器之外的至少一个用户界面元件。
23.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个其他的用户界面元件是触敏式元件。
24.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个其他的用户界面元件是按钮。
25.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个其他的用户界面元件是滚轮。
26.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于改变视觉角度，其中该3D环境采用该视觉角度表示在该至少一个显示器上。
27.根据前述权利要求的任何一个权利要求的系统，其中该手持设备适于改变放大因子，其中该3D环境采用该放大因子表示在该至少一个显示器上。
28.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备适于改变视觉位置，其中该3D环境采用该视觉位置来表示在该至少一个显示器上。
29.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D环境的视图包括视觉角度、放大因子和/或视觉位置。
30.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D环境的视图包括文本和/或阴影的显示。
31.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个显示器分成多个区域，每个区域采用不同的视图来示出3D环境。
32.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D结构包括该环境的3D表面。
33.根据前述权利要求的任何一个或多个权利要求的系统，其中该3D结构包括该环境的3D立体表示。
34.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备是口腔内3D扫描仪。
35.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备是外科手术仪器。
36.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备是机械工具。
37.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备是耳内3D扫描仪。
38.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个显示器设置成与该手持设备分开。
39.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个显示器设置在手推车上。
40.根据前述权利要求的任何一个或多个权利要求的系统，其中该至少一个显示器限定成第一显示器，并且其中该系统还包括第二显示器。
41.根据前述权利要求的任何一个或多个权利要求的系统，其中该第二显示器设置在该手持设备上。
42.根据前述权利要求的任何一个或多个权利要求的系统，其中该第二显示器设置在手持设备这样的位置上：使得显示器适于在操作者正在操作该手持设备的同时由操作者观察。
43.根据前述权利要求的任何一个或多个权利要求的系统，其中该第二显示器显示该手持设备相对于该3D环境在哪定位。
44.根据前述权利要求的任何一个或多个权利要求的系统，其中该第一显示器和/或第二显示器为操作者提供指令。
45.根据前述权利要求的任何一个或多个权利要求的系统，其中在除第一显示器之外的一个或多个装置上将视觉信息提供给操作者。
46.根据前述权利要求的任何一个或多个权利要求的系统，其中将给操作者的音频信息提供给操作者。
47.根据前述权利要求的任何一个或多个权利要求的系统，其中扫描通过LED扫描、激光扫描、白光扫描、X射线扫描、和/或CT扫描来执行。
48.根据前述权利要求的任何一个或多个权利要求的系统，其中将图形指示器设置在显示器上，用于在该手持设备用于远程控制视图时表示该手持设备的运动，其中3D环境使用该视图表示在显示器上。
49.根据前述权利要求的任何一个或多个权利要求的系统，其中该手持设备是口腔内3D扫描仪，并且在物理3D环境中执行的该至少一个动作是扫描，其中该视图通过设置在该手持设备中的至少一个运动传感器来远程控制，并且其中设置在该手持设备上的致动器在执行该至少一个动作和远程控制该视图之间切换。
50.一种在手持设备和至少一个显示器之间交互的方法，其中该方法包括以下步骤：
-通过该手持设备执行物理3D环境中的至少一个动作；
-通过该至少一个显示器可视化表示该物理3D环境；以及
-通过该手持设备远程控制所表示的3D环境在显示器上的视图。
51.一种计算机程序产品，包括程序代码装置，该装置用于当所述程序代码装置在数据处理系统上执行时，使得数据处理系统执行权利要求44的方法。
52.根据前述权利要求的计算机程序产品，包括已经存储在程序代码装置上的计算机可读取媒介。
CN201180066956.6A 2010-12-06 2011-12-05 具有3d用户界面集成的系统 Active CN103339468B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US42013810P 2010-12-06 2010-12-06
DKPA201001104 2010-12-06
DKPA201001104 2010-12-06
US61/420,138 2010-12-06
PCT/DK2011/050461 WO2012076013A1 (en) 2010-12-06 2011-12-05 System with 3d user interface integration

Publications (2)

Publication Number Publication Date
CN103339468A true CN103339468A (zh) 2013-10-02
CN103339468B CN103339468B (zh) 2017-03-15

Family

ID=46206640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180066956.6A Active CN103339468B (zh) 2010-12-06 2011-12-05 具有3d用户界面集成的系统

Country Status (6)

Country Link
US (1) US9329675B2 (zh)
EP (2) EP3431921B1 (zh)
CN (1) CN103339468B (zh)
DK (2) DK2649409T3 (zh)
ES (1) ES2705531T3 (zh)
WO (1) WO2012076013A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107427345A (zh) * 2015-03-06 2017-12-01 阿莱恩技术有限公司 具有触敏输入的口内扫描仪
CN107833625A (zh) * 2017-10-19 2018-03-23 该美生物科技（上海）有限公司 工件的操作系统及其方法
CN108286951A (zh) * 2018-01-16 2018-07-17 常景测量科技（武汉）有限公司 用于室内门窗测量的手持式激光扫描仪
CN108507461A (zh) * 2017-02-27 2018-09-07 库尔塞尔公司 具有加速度计的3d扫描仪
CN109219810A (zh) * 2016-06-01 2019-01-15 微软技术许可有限责任公司 用于3d组件的在线视角搜索
CN110537160A (zh) * 2017-03-20 2019-12-03 3 形状股份有限公司 具有手持式扫描仪的3d扫描仪系统
CN110827975A (zh) * 2019-11-11 2020-02-21 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
WO2021093543A1 (zh) * 2019-11-13 2021-05-20 先临三维科技股份有限公司 扫描仪、及其操作方法、装置、系统、存储介质和处理器

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104783757B (zh) 2009-06-17 2018-01-05 3形状股份有限公司 聚焦扫描设备
USRE48221E1 (en) 2010-12-06 2020-09-22 3Shape A/S System with 3D user interface integration
EP3847995A1 (en) 2012-10-30 2021-07-14 University of Southern California Orthodontic appliance with snap fitted, non-sliding archwire
US10010387B2 (en) 2014-02-07 2018-07-03 3Shape A/S Detecting tooth shade
DE102014205485A1 (de) * 2014-03-25 2015-10-01 Siemens Aktiengesellschaft Verfahren zur Übertragung digitaler Bilder aus einer Bilderfolge
EP3160356A4 (en) * 2014-06-25 2018-01-24 Carestream Dental Technology Topco Limited Intra-oral imaging using operator interface with gesture recognition
DE202014010357U1 (de) * 2014-09-10 2015-12-11 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US9426193B2 (en) * 2014-10-14 2016-08-23 GravityNav, Inc. Multi-dimensional data visualization, navigation, and menu systems
US20180042685A1 (en) * 2015-03-07 2018-02-15 Dental Wings Inc. Medical device user interface with sterile and non-sterile operation
DE102015103383A1 (de) * 2015-03-09 2016-09-15 A.Tron3D Gmbh Steuerung für einen Intraoralscanner
US10426329B2 (en) * 2015-07-23 2019-10-01 Brian KwangShik Hong Multipurpose self-illuminating dental mirror
KR101977181B1 (ko) * 2016-03-30 2019-05-10 주식회사바텍 치과용 구강스캐너 시스템
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
WO2018102588A1 (en) 2016-12-02 2018-06-07 Swift Health Systems Inc. Indirect orthodontic bonding systems and methods for bracket placement
EP4279020A3 (en) 2017-01-31 2024-01-24 Swift Health Systems Inc. Hybrid orthodontic archwires
US11612458B1 (en) 2017-03-31 2023-03-28 Swift Health Systems Inc. Method of tongue preconditioning in preparation for lingual orthodontic treatment
ES2959766T3 (es) 2017-04-21 2024-02-28 Swift Health Systems Inc Férula de cementado indirecto que tiene varias asas
US10512515B2 (en) * 2017-07-31 2019-12-24 Intuitive Surgical Operations, Inc. Systems and methods for steerable elongate device
US11547273B2 (en) 2017-09-18 2023-01-10 Dentlytec G.P.L. Ltd. User interface for a dental measurement system
US20190231430A1 (en) * 2018-01-31 2019-08-01 Varian Medical Systems International Ag Feedback system and method for treatment planning
DE102018121492B4 (de) * 2018-09-04 2023-05-11 SIKA Dr. Siebert & Kühn GmbH & Co. KG Mess- oder Kalibriereinrichtung mit einer verbesserten Bedienung
CN113710191A (zh) 2019-03-01 2021-11-26 斯威夫特健康系统有限公司 具有咬合附件和正畸辅助物集成的间接粘接托盘
JP6936826B2 (ja) 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
US12053346B2 (en) 2019-10-31 2024-08-06 Swift Health Systems Inc. Indirect orthodontic bonding systems and methods
CN220089438U (zh) 2020-02-26 2023-11-28 盖特-格林公司 口内适配器
USD962437S1 (en) 2020-05-14 2022-08-30 Get-Grin Inc. Dental scope
CN116075279A (zh) 2020-06-11 2023-05-05 斯威夫特健康系统公司 具有非滑动弓形件的正畸矫正器
US12053345B2 (en) 2021-09-03 2024-08-06 Swift Health Systems Inc. Method of administering adhesive to bond orthodontic brackets
USD1043994S1 (en) 2022-01-06 2024-09-24 Swift Health Systems Inc. Archwire

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066615A1 (en) * 2003-01-22 2004-08-05 Nokia Corporation Image control
CN1636151A (zh) * 2002-02-20 2005-07-06 皇家飞利浦电子股份有限公司 便携式三维超声系统
WO2007084727A1 (en) * 2006-01-20 2007-07-26 3M Innovative Properties Company Digital dentistry
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
CN101513350A (zh) * 2008-02-22 2009-08-26 西门子公司 用于显示医学图像信息的装置和方法以及成像系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6135961A (en) 1996-06-28 2000-10-24 Sonosite, Inc. Ultrasonic signal processor for a hand held ultrasonic diagnostic instrument
US6962566B2 (en) 2001-04-19 2005-11-08 Sonosite, Inc. Medical diagnostic ultrasound instrument with ECG module, authorization mechanism and methods of use
US6967644B1 (en) * 1998-10-01 2005-11-22 Canon Kabushiki Kaisha Coordinate input apparatus and control method thereof, and computer readable memory
US6361489B1 (en) * 1998-11-25 2002-03-26 Jory Tsai Medical inspection device
SE514495C2 (sv) 1999-08-05 2001-03-05 Jama Mining Equipment Ab Anordning för sättning av bergbult vid bergförstärkning
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
DK1610708T3 (da) * 2003-04-03 2020-02-24 Align Technology Inc Fremgangsmåde og system til fabrikation af en tandkappe
US20050057745A1 (en) 2003-09-17 2005-03-17 Bontje Douglas A. Measurement methods and apparatus
US7683883B2 (en) * 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US7840040B2 (en) * 2005-09-30 2010-11-23 Siemens Medical Solutions Usa, Inc. Method and apparatus for controlling ultrasound imaging systems having positionable transducers
US8411034B2 (en) 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
US8035637B2 (en) * 2006-01-20 2011-10-11 3M Innovative Properties Company Three-dimensional scan recovery
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8270689B2 (en) * 2006-09-12 2012-09-18 Carestream Health, Inc. Apparatus for caries detection
US8803958B2 (en) 2008-01-04 2014-08-12 3M Innovative Properties Company Global camera path optimization
CN104783757B (zh) * 2009-06-17 2018-01-05 3形状股份有限公司 聚焦扫描设备
WO2011011193A1 (en) 2009-07-21 2011-01-27 Dimensional Photonics International, Inc. Integrated display in a hand-held three-dimensional metrology system
EP2568870B1 (en) * 2010-03-30 2018-05-02 3Shape A/S Scanning of cavities with restricted accessibility
AU2012206109B2 (en) * 2011-01-11 2015-02-19 Kabushiki Kaisya Advance Oral imaging and display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1636151A (zh) * 2002-02-20 2005-07-06 皇家飞利浦电子股份有限公司 便携式三维超声系统
WO2004066615A1 (en) * 2003-01-22 2004-08-05 Nokia Corporation Image control
WO2007084727A1 (en) * 2006-01-20 2007-07-26 3M Innovative Properties Company Digital dentistry
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
CN101513350A (zh) * 2008-02-22 2009-08-26 西门子公司 用于显示医学图像信息的装置和方法以及成像系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397739A (zh) * 2015-03-06 2021-09-17 阿莱恩技术有限公司 具有触敏输入的口内扫描仪
CN107427345A (zh) * 2015-03-06 2017-12-01 阿莱恩技术有限公司 具有触敏输入的口内扫描仪
CN109219810A (zh) * 2016-06-01 2019-01-15 微软技术许可有限责任公司 用于3d组件的在线视角搜索
US11468111B2 (en) 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
CN108507461A (zh) * 2017-02-27 2018-09-07 库尔塞尔公司 具有加速度计的3d扫描仪
CN110537160A (zh) * 2017-03-20 2019-12-03 3 形状股份有限公司 具有手持式扫描仪的3d扫描仪系统
CN110537160B (zh) * 2017-03-20 2024-03-29 3形状股份有限公司 具有手持式扫描仪的3d扫描仪系统
US12036091B2 (en) 2017-03-20 2024-07-16 3Shape A/S 3D scanner system with handheld scanner
CN107833625B (zh) * 2017-10-19 2022-04-15 该美生物科技（上海）有限公司 工件的操作系统及其方法
CN107833625A (zh) * 2017-10-19 2018-03-23 该美生物科技（上海）有限公司 工件的操作系统及其方法
CN108286951B (zh) * 2018-01-16 2021-05-04 常景测量科技（武汉）有限公司 用于室内门窗测量的手持式激光扫描仪
CN108286951A (zh) * 2018-01-16 2018-07-17 常景测量科技（武汉）有限公司 用于室内门窗测量的手持式激光扫描仪
CN110827975A (zh) * 2019-11-11 2020-02-21 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
CN110827975B (zh) * 2019-11-11 2022-10-14 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
WO2021093543A1 (zh) * 2019-11-13 2021-05-20 先临三维科技股份有限公司 扫描仪、及其操作方法、装置、系统、存储介质和处理器

Also Published As

Publication number Publication date
ES2705531T3 (es) 2019-03-25
EP2649409B1 (en) 2018-10-17
EP3431921A1 (en) 2019-01-23
WO2012076013A1 (en) 2012-06-14
CN103339468B (zh) 2017-03-15
US20130257718A1 (en) 2013-10-03
EP3431921B1 (en) 2020-02-05
DK2649409T3 (en) 2019-02-04
US9329675B2 (en) 2016-05-03
DK3431921T3 (da) 2020-05-04
EP2649409A1 (en) 2013-10-16
EP2649409A4 (en) 2017-04-26

Similar Documents

Publication Publication Date Title
CN103339468B (zh) 具有3d用户界面集成的系统
US20210196152A1 (en) Gesture control using an intraoral scanner
CN108735290B (zh) 医疗成像设备和用于支持使用医疗成像设备的人的方法
CN102915112B (zh) 用于近距离动作跟踪的系统和方法
US8139087B2 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US20180088676A1 (en) Gesture interface
CN102650906B (zh) 一种用户界面的控制方法及装置
JP2013037675A5 (zh)
US20200214538A1 (en) User interface for a dental measurement system
ES2941511T3 (es) Sistema de escáner 3D con escáner de mano
EP2509013A1 (en) 3D image navigation method
USRE48221E1 (en) System with 3D user interface integration
JP4678428B2 (ja) 仮想空間内位置指示装置
KR20140002999A (ko) 마커를 이용한 초음파 영상 디스플레이 방법 및 초음파 진단 장치
JP2016162117A (ja) カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器
JP2004272515A (ja) インタフェース方法、装置、およびプログラム
Gallo et al. Toward a natural interface to virtual medical imaging environments
JP2018189369A (ja) 三次元計測装置
KR20160023015A (ko) 의료영상의 제공방법
JP2006343954A (ja) 画像処理方法、画像処理装置
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
US20240350235A1 (en) 3d scanner system with handheld scanner
CN109144235A (zh) 基于头手协同动作的人机交互方法与系统
Lee et al. Beyond: collapsible input device for direct 3D manipulation beyond the screen
KR20210059222A (ko) 3d 캐드 데이터의 실시간 습득을 위한 3d 펜 및 이의 3d 캐드 데이터 취득 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant