CN108780614A - 运动跟踪和仿真装置和方法 - Google Patents

运动跟踪和仿真装置和方法 Download PDF

Info

Publication number
CN108780614A
CN108780614A CN201780016289.8A CN201780016289A CN108780614A CN 108780614 A CN108780614 A CN 108780614A CN 201780016289 A CN201780016289 A CN 201780016289A CN 108780614 A CN108780614 A CN 108780614A
Authority
CN
China
Prior art keywords
handpiece
imu
data
processors
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780016289.8A
Other languages
English (en)
Other versions
CN108780614B (zh
Inventor
沃特·比曼斯
迪约·博德
卢克·斯坦纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moog Inc
Original Assignee
Moog Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moog Inc filed Critical Moog Inc
Publication of CN108780614A publication Critical patent/CN108780614A/zh
Application granted granted Critical
Publication of CN108780614B publication Critical patent/CN108780614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/283—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for dentistry or oral hygiene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Educational Administration (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

用于牙科仿真的装置包括：显示器；一个或多个处理器；包括发光体和惯性测量单元(IMU)的手持件，其中所述IMU与所述一个或多个处理器中的至少一个通信，并且其中，所述IMU被构造成生成IMU位置和定向数据，其中所述IMU位置和定向数据描述了手持件的位置和定向；与所述一个或多个处理器中的至少一个通信的至少两台相机，其中所述至少两台相机中的每一台被构造成使用由所述发光体发射的光生成一系列图像；其中，所述一个或多个处理器被配置成：从所述至少两台相机中的每一台接收所述一系列图像，基于从所述一系列图像导出的二维坐标数据，生成确定所述LED的位置的三维坐标数据；接收所述IMU位置和定向数据；进一步地，其中，所述一个或多个处理器被配置成将所述IMU位置和定向数据与所述三维坐标数据组合以生成仿真指令，并根据所述仿真指令，在显示器上显示物体的三维虚拟图像以及动画显示该物体的运动。

Description

运动跟踪和仿真装置和方法
发明领域
本发明涉及跟踪移动的手持件的位置和定向，并向显示器输出根据手持件的跟踪位置移动的图像。更具体地，本发明涉及跟踪牙科仿真环境中手持件的移动以仿真模拟牙科工具的使用。
发明背景
用于训练目的的仿真牙科技术的机器是已知的，并且包括例如由申请人制造的Simodont机器。这些机器实现虚拟现实技术，允许学生练习各种牙科程序。仿真机通常包括显示屏幕，该显示屏幕输出3D图像以供佩戴3D眼镜的用户观看。位于显示屏下方的是至少一个手持件，该手持件通过包括一系列连杆和电动机的机构固定到机器上，当用户在牙齿、牙齿组或牙颌的虚拟3D图像上进行牙科手术(例如，钻入牙齿)时，所述机构测量手持件(在被使用者移动时)的相对位置以及使用者所施加的力。手持件仿真模拟牙医的钻头，并在学生进行钻孔时向学生提供触觉反馈。
由于机器的目的是，在实习牙医被要求在真实而非虚拟的患者身上执行相同的技术之前，为实习牙医提供训练的仿真环境，仿真过程越真实，学生就越沉浸于他们的训练，对学生和未来的患者的结果越好，
在牙科中常用的工具是在手柄末端上的小镜子，牙医用它来观察牙齿和牙龈以及从牙医的视角看不清楚的其他口腔区域。在Simodont机器上，牙医口镜是通过一个手持件(其不同于用来仿真模拟牙医的钻的手持件，并不提供触觉反馈)仿真模拟的，该手持件通过一系列连杆连接到机器上。当镜子手持件移动时，测量每个连杆的移动范围和角度，并计算镜子手持件的相对位置。显示器上的牙医口镜的虚拟图像相应地移动。然而，在学生移动手持件的空间内，连杆限制了运动范围。为学生提供足够活动范围所需的连杆数量(以确保学生感觉他或她实际上正在操作一面真实的镜子)会使位置准确性有所折中。另外，连杆的重量可以由使用者感觉到(从而减少仿真的“真实性”)并且连杆通过过度使用或误用而遭到磨损和破损。
本发明的目的是减轻至少一些上述缺点。
发明内容
根据本发明的第一方面，提供了一种根据所附权利要求1的用于牙齿仿真的装置。所述装置允许手持物体的精确运动跟踪并且将跟踪的运动准确地转换成牙科仿真环境的牙科工具的动画。
根据本发明的第二方面，提供了一种根据所附权利要求15的手持件。所述手持件的运动可以通过医疗仿真机借助于光源和用于测量手持件的定向的装置来跟踪。
根据本发明的第三方面，提供了一种根据所附权利要求25的计算机实现方法。所述方法使得能够准确且有效地生成指令从而将物理物体的移动复制到在观看屏幕上显示的虚拟物体的移动上。
根据本发明的第四方面，提供了一种根据所附权利要求30的系统。
根据本发明的第五方面，提供了一种根据所附权利要求34的系统。
在所附的从属权利要求中限定了本发明的优选特征。
附图简要说明
图1是牙科仿真机的立体图；
图2是牙科仿真机的剖视立体图；
图3是根据本发明的一个实施例的镜子跟踪设备的示意图；
图4a是根据本发明的一个实施例的牙科仿真机的一部分的立体图；
图4b是图4a中所示的牙科仿真机的一部分的剖面图；
图5是根据本发明的一个实施例的跟踪系统的主要硬件组件的示意图。
具体说明
牙科仿真机总体上在图1中示出。牙科学生使用机器100，通过使用增强现实技术来实践牙科技术。学生坐在面向观察屏101的椅子(未示出)上。扶手102通常定义学生仿真牙科技术的区域。电源按钮105提供机器开/关功能，并且高度调节开关106允许用户调节机器100，包括扶手102和观看屏幕101，的位置的高度。观看屏幕101显示虚拟3D运动图像，其运动与学生通过手持件(通常位于扶手101的区域内)的移动相对应。学生在佩戴被动3D眼镜的观看屏幕101上观看图像。鼠标104允许机器的用户在虚拟三维空间中调整观看屏幕101上的图像的相对位置和取向。脚踏板107便于控制仿真模拟钻头(或其他动力牙科工具)的操作。
机器100还包括训练屏幕103(其可以是触敏屏幕)，其被学生用于访问与他们的训练相关的信息，例如训练计划、个人课程、评分和标记数据、指导者评论和回顾之前的培训材料。在进行仿真处理的同时，在观看屏幕101上显示的图像也被输出到训练屏幕103，以允许旁观者观看学生对机器的使用。
图2示出了牙科仿真机的一些内部部件，其中与图1中相同部件的附图标记增加了100。机器200的主要处理能力由中央计算机213提供。投影仪211和光学盒210提供输出装置3D图像显示在显示屏201上。图1中的扶手102也在图2中示出。手持件208(“手持件”通常用于表示可以用手握住的任何装置或工具)用于仿真牙医的钻头。手持件208包括手柄，该手柄看起来和摸起来通常类似于牙医钻头的手柄。然而，手持件208的远端(即牙钻将所在的位置)通过一系列连杆连接到触觉显示器209。连杆和触觉显示器一起包括电动马达、力传感器、角位置传感器、惯性测量单元(IMU)和电位计。通过由触觉控制单元212控制的连续反馈机构仿真牙医钻头的操作，由此由用户施加的力和到手持件208的移动被馈送到触觉控制单元212，触觉控制单元212指示触觉显示器209的适当操作，从而根据设定的软件程序(例如，可以涉及包括特定牙科手术的特定训练环节)提供所需的反作用力(仿真的与实体的物体的相互作用)、振动(仿真模拟动力钻孔工具的操作)以及限制运动。
现在将参考图3-5描述本发明的优选实施例。图3示出了镜子手持件320，其单独使用或与手持件208结合使用，以仿真模拟牙医口腔镜的使用。
镜子手持件320包括壳体321，壳体321的尺寸被选择为与标准牙医口腔镜的手柄的尺寸大致匹配。因此，壳体321的直径优选小于12mm，并且优选地，长度小于或等于100mm。选择制造壳体321的材料以允许外部检测由光源/发光体322发出的光(其中“光”指的是任何电磁辐射)。优选地，发光体322是红外发光二极管(LED)。发光体322被用作主动红外标记，如下面将进一步描述的。壳体321可以是任何合适的材料，例如金属，但优选是粗糙的塑料，其也适合于人体工程学。镜子手持件320的重量小于30克，并且设计为由使用者的拇指和食指在通道325处抓握。
镜子手持件320的近端323经由电缆(图3中未示出)连接到相机PCB。在替代实施例中，手持件320包括电池和发射器，并且无线地与相机PCB435通信。壳体321的远端322包含红外LED。LED的位置被光学跟踪(下面进一步描述)并且被映射到牙医口镜的镜子部分的虚拟图像，其在仿真练习期间被显示在观看屏幕101上。
镜子手持件320的壳体321还包括小PCB，其包括惯性测量单元(IMU)324。IMU是在各种装置(包括游戏控制台和移动电话)中广泛使用的部件，并且包括陀螺仪和加速度计以对三维位置和定向进行测量。对于每个平移自由度，标准IMU对加速度数据进行积分以确定位置值。对于每个旋转自由度，角速度数据被积分以提供角位置数据。IMU还可以包括磁力计，以提供相对于地球磁场的定向数据。磁力计取向数据用于重新校准由陀螺仪提供的角位置数据，以补偿由小积分误差的累积引起的不准确性。关于IMU的操作原理的细节对于本领域技术人员来说是可获得的。
跟踪镜子手持件320的运动的大致空间在图4a和4b中示为区域430。区域430位于扶手435上方并且大致限定学生操作一个或多个镜子手持件320和/或手持件208的区域。
两个上部相机431和432固定到光学盒210。它们的视场向下指向区域430的中心436。两个下部相机433和434位于扶手435下方，如图4b所示，并且固定在一个结构上，该结构从机器100的主壳体横向延伸，扶手435位于其上。在一个替代实施例中，所有相机都固定到可以固定到扶手435的结构上，使得该结构可以与牙科仿真机100连接和分离。下部相机433和434被向上引导到跟踪区域430的中心436。跟踪区域430大约为
250mm×200mm×152mm，通常由相机431、432、433和434的组合视场限定。光学跟踪避免了对触觉显示器209的电动机操作的干扰。在替代实施例中，LED被集成到扶手435中以允许用户在观看屏幕201上观察到镜子手持件324相对于的扶手435的位置。
相机431、432、433和434是红外相机，其检测由LED322发射的红外线并以每秒25帧的速度捕获图像。包括在操作时由每台相机捕获的一系列图像的图像馈送被发送到相机PCB437上的处理器。对于每个图像，PCB437上的处理器对捕获图像的每行像素进行线扫描以确定灰度亮度/强度值高于预定阈值的像素。预定阈值定义了被认为包含相关信息的强度值范围(在阈值的最小强度值和未指定的最大值之间)。忽略与强度值低于阈值的像素有关的像素数据。
对于每个图像，与强度值高于阈值的像素有关的像素数据由PCB437的处理器进行分析，以确定像素簇。确定出最大的像素簇，并且它是确定图像内LED322的位置的最大簇的中心。因为PCB437的处理器采用“斑点跟踪”技术，并且在确定其亮度值低于阈值之后不进一步分析像素，仅进一步处理整个图像的一部分。因此，在2D中确定LED所需的处理资源小于图像的每个像素需要分析的情况。
PCB437的处理器针对来自每台相机的每个图像确定最大像素簇的中心的x和y坐标，并且因此实时地生成每台相机馈送的一系列2D位置坐标。四个2D坐标系列被发送到主计算机213。
主硬件组件如图5所示。除了从每个相机接收图像之外，相机PCB437还通过串行协议从镜像手持件320中的IMU324接收数据。连同每个相机馈送的一系列x，y坐标，相机PCB将位置和定向数据从IMU324传递到机器100的主计算机213。
主计算机213使用动态加载机构处理从相机PCB437接收的数据，其原理对于本领域技术人员来说是可获取的。使用一组四个x，y坐标对(每对对应于来自各台相机的LED坐标)，计算机213实时并在动态加载库内执行三角测量操作以生成x，y，z坐标，该x，y，z坐标在区域430内指定LED322的位置。x，y，z坐标的生成速率与相机帧速率相同。随着相机数量的增加，x，y，z数据的准确性得到改善，并且执行三角测量的处理资源增加。应当理解，需要最少两台相机来提供足够的数据从而执行三角测量并生成三维位置数据。
IMU234每秒产生100次位置和定向数据，因此主计算机213以该速率接收更新位置和定向数据。来自IMU(提供比相机PCB更频繁的位置数据)的位置数据是用于在观看屏幕201上用于动画仿真牙医口镜的虚拟图像的位置数据的主要来源。然而，由于在MU324对加速度进行积分以提供位置数据时可能引入的小错误，由主计算机213接收的IMU位置数据可能不准确。为了解决这个问题，使用来自相机数据的x，y坐标的x，y，z位置数据被用于校正和重新校准IMU位置数据。
与镜子手持件320的方向和旋转有关的数据也由IMU提供，并且还由主计算机213接收IMU位置数据。与IMU位置数据(其包括，周期性地，被校正的IMU位置数据)一起，方向和旋转数据实时地提供手持件320在三个维度上的运动的完整描述。镜子手持件320的位置数据的绝对位置精度小于或等于2mm，并且镜子手持件320的定向数据的绝对方向精度小于或等于1度。相对位置分辨率小于0.15mm，相对方向分辨率小于0.1度。总系统延迟小于30毫秒。
主计算机213基于被跟踪的镜子手持件的位置和定向数据生成指令，并指示仿真程序根据确定镜子手持件的位置和定向数据调整观察屏201上的口镜的虚拟图像的相对位置和定向。当镜子手持件320由用户在区域430中移动时，牙医口腔镜的虚拟图像相应地以3维动画表示，并且学生能够使用镜子从不同的角度观看一个或多个牙齿的虚拟三维图像。为了适当地仿真镜子的反射率，在虚拟镜子的镜面上显示的图像必须被渲染四次而不是两次(用于标准立体观看)。
虽然上面已经参考跟踪用于仿真牙医镜子的装置描述了本发明，但是应该理解，所描述的过程可以仿真任何不需要力反馈的自由移动手持工具。

Claims (35)

1.一种装置，包括：
显示器；
一个或多个处理器；
包括发光体和惯性测量单元(IMU)的手持件，其中，所述IMU与所述一个或多个处理器中的至少一个通信，并且其中，所述IMU被配置为生成IMU位置和定向数据，其中，所述IMU位置和定向数据描述了所述手持件的位置和定向；
与所述一个或多个处理器中的至少一个通信的至少两台相机，其中，所述至少两台相机中的每一台被配置成使用所述发光体发射的光生成一系列图像；
其中，所述一个或多个处理器被配置成：
从所述至少两台相机的每一台中接收一系列图像，
基于从该一系列图像导出的二维坐标数据，生成确定所述发光体位置的三维坐标数据，
接收所述IMU位置和定向数据；
进一步地，其中，所述一个或多个处理器被配置成将所述IMU位置和定向数据与所述三维坐标数据组合以生成仿真指令，并根据所述仿真指令在显示器上显示物体的三维虚拟图像以及动画显示所述物体的运动。
2.如权利要求1所述的装置，其中，所述仿真的图像是牙医口镜。
3.如权利要求1或2所述的装置，其中，所述相机是红外相机，并且其中，所述发光体是红外LED。
4.如前述权利要求中任一项所述的装置，其中，所述设备包括4台相机。
5.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器被进一步配置成针对每个图像生成二维坐标数据，用于确定所述图像中的所述发光体的位置。
6.如前述权利要求中任一项所述的装置，其中，所述手持件可在跟踪空间内移动，并且其中，所述装置还组合有可在所述跟踪空间内移动的第二手持件。
7.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器被进一步配置成在所述显示器上显示与所述第二手持件相对应的三维仿真的第二物体，并根据所述第二手持件的移动来动画显示所述第二物体的移动。
8.如前述权利要求中任一项所述的装置，其中，所述手持件通过电缆连接到所述装置，但是可自由移动。
9.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器中的至少一个被配置成扫描来自每台相机的所述一系列图像中的每一个图像的每个像素线，以确定哪些像素具有高于预定阈值的强度值。
10.如权利要求9所述的装置，其中，所述一个或多个处理器中的至少一个生成确定具有高于所述预定阈值的强度值的像素的数据。
11.如权利要求10所述的装置，其中，所述确定具有高于所述预定阈值的强度值的像素的数据被进行分析，以确定具有高于所述预定阈值的强度值的像素簇。
12.如权利要求11所述的装置，其中，所述具有高于所述预定阈值的强度值的像素簇被进行分析，以确定最大簇，其中，所述最大簇的中心定义了所述LED在所述图像内的位置。
13.如前述权利要求中任一项所述的装置，其中，所述三维坐标和所述IMU位置和定向数据在动态加载库中被组合在一起。
14.如前述权利要求中任一项所述的装置，其中，所述一个或多个处理器使用所述三维坐标来校正所述IMU位置和定向数据中的位置数据中的错误。
15.一种与牙科仿真机一起使用的手持件，所述手持件包括：
惯性测量单元(IMU)，其被配置成生成位置和定向数据；和
光源，其被配置成发光；
其中，所述手持件配置成通过检测来自所述光源的光以及来自所述IMU的位置和定向数据能够确定所述光源的位置和定向。
16.如权利要求15所述的手持件，其中，所述手持件包括具有远端和近端的细长壳体，其中，电缆连接到所述壳体的近端，其中，所述电缆使得所述手持件能够连接到所述牙科仿真机。
17.如权利要求16所述的手持件，其中，所述细长壳体的直径小于或等于12mm。
18.如权利要求16所述的手持件，其中，所述细长壳体的长度小于或等于100mm，优选为75mm。
19.如权利要求15至18中任一项所述的手持件，其中，所述手持件的重量小于或等于30克。
20.如权利要求16至19中任一项所述的手持件，其中，所述细长壳体具有基本上圆形的横截面。
21.如权利要求16至20中任一项所述的手持件，其中，当连接到牙科仿真机时，所述LED和IMU通过所述电缆被供电。
22.如权利要求16至21中任一项所述的手持件，其中，来自所述IMU的数据被配置为在通过串行协议连接到所述牙科仿真机时被传输到所述牙科仿真机上的处理器。
23.如权利要求16至22中任一项所述的手持件，其中，所述细长壳体由硬化塑料制成。
24.一种牙科仿真机，包括如权利要求16至23中任一项所述的手持件。
25.一种用于在牙科仿真环境中模拟具有光源和惯性测量单元(IMU)的物体的运动的计算机实现方法，包括：
接收来自至少两台相机的一系列图像，其中，使用所述光源发出的光捕获所述一系列图像；
分析所述一系列图像中的每个图像以确定所述图像的一个或多个区域，其指示所述图像中的所述光源的位置；
确定二维位置数据，所述二维位置数据确定所述图像中的所述光源位置；
从所述IMU接收IMU数据；
基于所述IMU数据和所述二维位置数据来确定三维位置和定向数据，所述三维位置和定向数据确定所述光源的位置和定向；
基于所述三维位置和定向数据生成仿真指令；以及
根据所述仿真指令在显示器上动画显示所述物体的图像。
26.如权利要求25所述的计算机实现方法，其中，所述分析步骤包括，扫描每个图像中的每行像素以确定亮度值高于预定阈值的像素。
27.如权利要求26所述的计算机实现方法，其中，所述确定二维位置数据的步骤，包括确定具有高于所述预定阈值的亮度值的像素簇，并确定簇的中心的坐标。
28.如权利要求25至27中任一项所述的计算机实现方法，其中，将由所述IMU提供的所述位置数据与所述三维坐标进行比较，并且其中，所述三维位置数据周期性地校正来自IMU的位置数据。
29.一种包括指令的机器可读存储介质，所述指令在被处理器执行时促成权利要求25至28中任一项所述的方法。
30.一种用于跟踪手持件的移动的系统，包括：
包含观察屏的仿真机，
通过电缆连接到所述仿真机的手持件；
其中，所述仿真机被配置成光学地跟踪所述手持件的运动，并且
其中，所述仿真机还被配置成根据所述手持件的被跟踪的运动在观察屏上动画显示物体。
31.如权利要求30所述的系统，其中，所述手持件包括主动红外标记，并且其中，所述仿真机被配置成光学地跟踪所述主动红外标记。
32.如权利要求30或31所述的系统，其中，所述手持件还包括惯性测量单元(IMU)，并且其中，所述仿真机使用来自所述IMU的数据来模拟所述手持件的旋转运动。
33.如权利要求30至32中任一项所述的系统，其中，所述仿真机还包括至少两台相机，其中，所述至少两台相机被配置成光学地跟踪所述手持件的主动红外标记。
34.一种用于在牙科仿真环境中动画显示牙医口镜的系统，包括：
用于跟踪包括惯性测量单元(IMU)的手持件的位置和定向的装置，其中所述手持件可由使用者移动；
用于产生所述手持件的位置和定向数据的装置；
用于基于所述手持件的位置和定向数据生成仿真指令的装置；以及
用于根据所述仿真指令显示牙医口镜的动画的装置。
35.一种基本上参考一个或多个附图在此描述的装置、系统、手持件或方法。
CN201780016289.8A 2016-03-10 2017-03-07 运动跟踪和仿真装置和方法 Active CN108780614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1604115.4 2016-03-10
GB1604115.4A GB2548341A (en) 2016-03-10 2016-03-10 Movement tracking and simulation device and method
PCT/EP2017/055339 WO2017153416A1 (en) 2016-03-10 2017-03-07 Movement tracking and simulation device and method

Publications (2)

Publication Number Publication Date
CN108780614A true CN108780614A (zh) 2018-11-09
CN108780614B CN108780614B (zh) 2022-05-31

Family

ID=55952135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780016289.8A Active CN108780614B (zh) 2016-03-10 2017-03-07 运动跟踪和仿真装置和方法

Country Status (9)

Country Link
US (1) US11341867B2 (zh)
EP (1) EP3427245A1 (zh)
JP (1) JP6789310B2 (zh)
KR (1) KR102418773B1 (zh)
CN (1) CN108780614B (zh)
AU (1) AU2017230317B2 (zh)
CA (1) CA3016853A1 (zh)
GB (1) GB2548341A (zh)
WO (1) WO2017153416A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827975A (zh) * 2019-11-11 2020-02-21 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
CN112349167A (zh) * 2020-11-05 2021-02-09 北京众绘虚拟现实技术研究院有限公司 一种双手力反馈的口腔实践技能考试设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US11367192B2 (en) 2019-03-08 2022-06-21 Align Technology, Inc. Foreign object filtering for intraoral scanning
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
WO2021028260A1 (en) * 2019-08-09 2021-02-18 Simtolife B.V. Apparatuses for simulating dental procedures and methods

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274171A1 (en) * 2005-06-03 2006-12-07 Ynjiun Wang Digital picture taking optical reader having hybrid monochrome and color image sensor array
JP2009294326A (ja) * 2008-06-03 2009-12-17 Eped Inc 歯科臨床と教育訓練シミュレーション追跡システム及びその評価方法
CA2849212A1 (en) * 2011-04-28 2012-07-06 Technologies Holdings Corp. Vision system for robotic attacher
CN103443746A (zh) * 2010-12-22 2013-12-11 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
US8716973B1 (en) * 2011-02-28 2014-05-06 Moog Inc. Haptic user interface
US20140320667A1 (en) * 2010-08-31 2014-10-30 Cast Group Of Companies Inc. System and Method for Tracking
US20140347473A1 (en) * 2013-05-22 2014-11-27 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
CN104486987A (zh) * 2012-07-26 2015-04-01 橄榄医疗公司 具有最小面积单片式cmos图像传感器的相机系统
CN105069795A (zh) * 2015-08-12 2015-11-18 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置
CN105392438A (zh) * 2013-03-15 2016-03-09 史赛克公司 能够以多种模式控制外科器械的外科操纵器

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1182541A3 (de) * 2000-08-22 2005-11-30 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
JP3436929B2 (ja) 2001-03-30 2003-08-18 岩手県 ３次元形状計測システム
US20060084050A1 (en) * 2004-01-12 2006-04-20 Haluck Randy S Portable virtual reality medical demonstration and training apparatus
KR100560966B1 (ko) * 2004-10-12 2006-03-15 삼성광주전자 주식회사 로봇 청소기의 자이로 센서 보정방법
GB2451461A (en) * 2007-07-28 2009-02-04 Naveen Chawla Camera based 3D user and wand tracking human-computer interaction system
JP5075659B2 (ja) 2008-02-12 2012-11-21 日本放送協会 物体軌道演算装置及びそのプログラム
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US9563266B2 (en) * 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
JP6204686B2 (ja) * 2013-04-12 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理の実行方法
EP3001219B1 (en) * 2013-08-20 2019-10-02 CureFab Technologies GmbH Optical tracking
US9723300B2 (en) * 2014-03-17 2017-08-01 Spatial Intelligence Llc Stereoscopic display
JP5781667B1 (ja) 2014-05-28 2015-09-24 株式会社モリタ製作所 根管治療用装置
EP2988288A1 (en) * 2014-08-22 2016-02-24 Moog B.V. Medical simulator handpiece

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274171A1 (en) * 2005-06-03 2006-12-07 Ynjiun Wang Digital picture taking optical reader having hybrid monochrome and color image sensor array
JP2009294326A (ja) * 2008-06-03 2009-12-17 Eped Inc 歯科臨床と教育訓練シミュレーション追跡システム及びその評価方法
US20140320667A1 (en) * 2010-08-31 2014-10-30 Cast Group Of Companies Inc. System and Method for Tracking
CN103443746A (zh) * 2010-12-22 2013-12-11 Z空间股份有限公司 用户控制装置的在空间中的三维跟踪
US8716973B1 (en) * 2011-02-28 2014-05-06 Moog Inc. Haptic user interface
CA2849212A1 (en) * 2011-04-28 2012-07-06 Technologies Holdings Corp. Vision system for robotic attacher
CN104486987A (zh) * 2012-07-26 2015-04-01 橄榄医疗公司 具有最小面积单片式cmos图像传感器的相机系统
CN105392438A (zh) * 2013-03-15 2016-03-09 史赛克公司 能够以多种模式控制外科器械的外科操纵器
US20140347473A1 (en) * 2013-05-22 2014-11-27 Cognex Corporation System and method for efficient surface measurement using a laser displacement sensor
CN105069795A (zh) * 2015-08-12 2015-11-18 深圳锐取信息技术股份有限公司 运动对象跟踪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
（意）达尔达里: "《卫星及陆基无线电定位技术》", 30 June 2015, pages: 248 - 249 *
谢广明，何宸光: "《自主视觉组机器鱼竞赛》", 31 July 2013, pages: 86 - 94 *
陈宗海: "《系统仿真技术及其应用 第10卷》", 31 July 2008, pages: 569 - 571 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827975A (zh) * 2019-11-11 2020-02-21 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
CN110827975B (zh) * 2019-11-11 2022-10-14 延边修恩生物科技有限公司 一种口腔扫描装置及其使用方法
CN112349167A (zh) * 2020-11-05 2021-02-09 北京众绘虚拟现实技术研究院有限公司 一种双手力反馈的口腔实践技能考试设备

Also Published As

Publication number Publication date
GB201604115D0 (en) 2016-04-27
AU2017230317A1 (en) 2018-09-27
US20190073924A1 (en) 2019-03-07
KR20180121605A (ko) 2018-11-07
US11341867B2 (en) 2022-05-24
KR102418773B1 (ko) 2022-07-07
EP3427245A1 (en) 2019-01-16
AU2017230317B2 (en) 2022-10-20
JP2019512299A (ja) 2019-05-16
CN108780614B (zh) 2022-05-31
JP6789310B2 (ja) 2020-11-25
GB2548341A (en) 2017-09-20
CA3016853A1 (en) 2017-09-14
WO2017153416A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN108780614A (zh) 运动跟踪和仿真装置和方法
Burdea et al. Virtual reality technology
CA2680462C (en) Method for real time interactive visualization of muscle forces and joint torques in the human body
US8994729B2 (en) Method for simulating operation of object and apparatus for the same
US9936166B2 (en) Method for planning a dental treatment
CN103077633A (zh) 一种立体虚拟培训系统和方法
RU187548U1 (ru) Перчатка виртуальной реальности
Buń et al. Possibilities and determinants of using low-cost devices in virtual education applications
RU179301U1 (ru) Перчатка виртуальной реальности
Buń et al. Application of professional and low-cost head mounted devices in immersive educational application
Lee Research and development of haptic simulator for dental education using virtual reality and user motion
RU2670649C1 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
JP2009087161A (ja) 画像処理装置、画像処理方法
JP2016162117A (ja) カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器
IL251340B (en) Systems and methods for physiotherapy using augmented reality and collecting and processing information from treatment
KR20040084243A (ko) 인공고관절 가상 시술 시뮬레이션 시스템
WO2011005080A1 (en) Three dimensional tracking system and method
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
Bressler A virtual reality training tool for upper limp prostheses
Bianchi Exploration of augmented reality technology for surgical training simulators
RU176660U1 (ru) Перчатка виртуальной реальности
CN116869514A (zh) 步态测试的引导方法、装置、电子设备和可读存储介质
CN109416587A (zh) 用于操作者与技术系统的模型交互的方法
Bergmans An optical tracking system for the integration of input devices into head-mounted virtual reality environments using commodity hardware
Beier The integration of a neurosurgical microscope as an interface to a medical training simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200327

Address after: Kyoto, Japan

Applicant after: Nisin dental products Co., Ltd

Address before: New fennep, the Netherlands

Applicant before: MOOG Inc.

GR01 Patent grant
GR01 Patent grant