CN106687063B - 跟踪系统及利用其的跟踪方法 - Google Patents
跟踪系统及利用其的跟踪方法 Download PDFInfo
- Publication number
- CN106687063B CN106687063B CN201580043386.7A CN201580043386A CN106687063B CN 106687063 B CN106687063 B CN 106687063B CN 201580043386 A CN201580043386 A CN 201580043386A CN 106687063 B CN106687063 B CN 106687063B
- Authority
- CN
- China
- Prior art keywords
- acceleration
- measurement object
- coordinate system
- marker
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0818—Redundant systems, e.g. using two independent measuring systems and comparing the signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Robotics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开可连续跟踪测定对象的位置及姿势的跟踪系统及利用其的跟踪方法。如上所述的跟踪系统包括标记、摄像头部、第一惯性测定部、第二惯性测定部及跟踪处理部。上述标记固定于测定对象，上述摄像头部通过拍摄上述标记来输出标记影像。上述第一惯性测定部固定于上述摄像头部，测定并输出将第一加速度及第一角速度包括在内的第一惯性。上述第二惯性测定部固定于上述测定对象及上述标记中的任意一个，测定并输出包括第二加速度及第二角速度在内的第二惯性。上述跟踪处理部通过上述标记影像第一次抽取上述测定对象的位置及姿势，以及通过上述第一惯性及第二惯性来第二次抽取上述测定对象的位置及姿势。
Description
技术领域
本发明涉及一种跟踪系统及利用其的跟踪方法，更详细地，涉及一种可跟踪如同手术工具等器具的位置的跟踪系统及利用其的跟踪方法。
背景技术
由于手术工具需配置在准确的位置来进行手术，因而需要可准确、实时跟踪上述手术工具的位置及姿势的系统，即跟踪系统。这种跟踪系统有利用立体摄像头的光学跟踪器(Optical tracker)。
这种光学跟踪器为可通过立体摄像头拍摄固定于手术工具的标记(marker)来跟踪手术工具的位置及姿势的装置。但是，若固定于手术工具的标记未被立体摄像头拍摄到，即发生遮挡(Occlusion)问题，则将无法继续用上述光学跟踪器跟踪上述手术工具的位置及姿势。
因此，在近期的部分研究中，着力通过另外设置固定于手术工具或标记的惯性测量单元(IMU，Inertial Measurement Unit)来解决如上所述的问题。这种惯性测量单元属于测定并获取手术工具的加速度及角速度的传感装置，可通过所获取的加速度及角速度来跟踪上述手术工具的位置及姿势。因此，即使立体摄像头发生上述遮挡问题，也可通过上述惯性测量单元进行补偿，因而可连续跟踪上述手术工具的位置及姿势。
但是，在上述惯性测量单元测定的加速度包括基于地球重力的重力加速度及基于移动的移动加速度。此时，只有上述移动加速度用于掌握上述手术工具的位置，因而需从由上述惯性测量装置测定的加速度去除上述重力加速度。因此，为了从由上述惯性测量装置测定的加速度中去除上述重力加速度，需对与重力加速度相对应的地球坐标系及与由上述惯性测量单元测定的加速度相对应的光学跟踪器坐标系之间进行补正。
但是，若完成对地球坐标系与光学跟踪器坐标系之间的补正，则不能移动上述光学跟踪器。若上述光学跟踪器被移动，则因上述光学跟踪器的移动而导致光学跟踪器坐标系发生改变，因而需重新进行坐标系补正。这种坐标系重新补正过程不仅繁琐，而且还有可能在手术过程中光学跟踪器的位置意外发生改变的情况下无法认识到需要进行坐标系补正。
发明内容
(解决的技术问题)
因此，本发明用于解决如上所述的问题，本发明所要实现的一目的在于，提供可与光学跟踪器的移动无关地连续跟踪测定对象的位置及姿势的跟踪系统。
并且，本发明的另一目的在于，提供利用上述跟踪系统的跟踪方法。
(技术方案)
本发明的一实施例的跟踪系统包括标记(marker)、摄像头部、第一惯性测定部、第二惯性测定部及跟踪处理部。
上述标记固定于测定对象。上述摄像头部通过拍摄上述标记来输出标记影像。上述第一惯性测定部固定于上述摄像头部，测定并输出将第一加速度及第一角速度包括在内的第一惯性。上述第二惯性测定部固定于上述测定对象及上述标记中的任意一个，测定并输出包括第二加速度及第二角速度在内的第二惯性。上述跟踪处理部通过上述标记影像第一次抽取上述测定对象的位置及姿势，通过上述第一惯性及第二惯性第二次抽取上述测定对象的位置及姿势。
上述跟踪处理部可通过上述第一加速度及第二加速度抽取上述测定对象的位置，可通过上述第一角速度及第二角速度抽取上述测定对象的姿势。
上述跟踪处理部可在利用从上述第一加速度抽取的重力加速度来从上述第二加速度抽取基于上述测定对象的移动的移动加速度之后，通过上述移动加速度抽取上述测定对象的位置。
上述跟踪处理部可在从上述第一加速度抽取上述重力加速度并将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同之后，利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取移动加速度。
接着，本发明的一实施例的跟踪方法包括：摄像头部对固定于测定对象的标记进行拍摄并输出标记影像的步骤；跟踪处理部从上述标记影像第一次抽取上述测定对象的位置及姿势的步骤；固定于上述摄像头部的第一惯性测定部测定并输出将第一加速度及第一角速度包括在内的第一惯性的步骤；固定于上述测定对象及上述标记中的任意一个的第二惯性测定部测定并输出包括第二加速度及第二角速度在内的第二惯性的步骤；以及上述跟踪处理部通过上述第一惯性及第二惯性第二次抽取上述测定对象的位置及姿势的步骤。
第二次抽取上述测定对象的位置及姿势的步骤可包括：通过上述第一加速度及第二加速度抽取上述测定对象的位置的步骤；以及通过上述第一角速度及第二角速度抽取上述测定对象的姿势的步骤。
抽取上述测定对象的位置的步骤可包括：利用从上述第一加速度抽取的重力加速度来从上述第二加速度抽取基于上述测定对象的移动的移动加速度的步骤；以及通过上述移动加速度抽取上述测定对象的位置的步骤。
抽取上述移动加速度的步骤可包括：从上述第一加速度抽取上述重力加速度的步骤；将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同的步骤；以及利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取移动加速度的步骤。
在上述第一惯性测定部存在第一惯性坐标系，在上述第二惯性测定部存在第二惯性坐标系，将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同的步骤可包括：将基于上述第一惯性坐标系的上述重力加速度转换成上述第二惯性坐标系的步骤；以及从上述第二加速度去除被转换成上述第二惯性坐标系的上述重力加速度来抽取上述移动加速度的步骤。
在上述标记中存在标记坐标系，在上述摄像头部中存在摄像头坐标系，将基于上述第一惯性坐标系的上述重力加速度转换成上述第二惯性坐标系的步骤可包括：将基于上述第一惯性坐标系的上述重力加速度转换成上述摄像头坐标系的步骤；将转换成上述摄像头坐标系的上述重力加速度转换成上述标记坐标系的步骤；以及将转换成上述标记坐标系的上述重力加速度转换成上述第二惯性坐标系的步骤。
在上述摄像头部中存在摄像头坐标系，通过上述移动加速度抽取上述测定对象的位置的步骤可包括：将上述移动加速度转换成上述摄像头坐标系的步骤；以及利用被转换成上述摄像头坐标系的上述移动加速度来抽取上述测定对象的位置的步骤。
另一方面，上述第一加速度与上述重力加速度相同，上述第一角速度可以是0。
(发明效果)
根据如上所述的本发明的跟踪系统及利用其的跟踪方法，可通过第一惯性测定部固定于处于静止状态的摄像头部来测定重力加速度，可通过第二惯性测定部固定于标记或测定对象来测定测定对象的加速度及角速度。之后，可通过从上述测定对象的加速度去除上述重力加速度来抽取上述测定对象的移动加速度，可通过上述移动加速度及上述测定对象的角速度来连续跟踪上述测定对象的位置及姿势。
并且，随着上述第一惯性测定部固定于上述摄像头部，即使上述摄像头部发生移动，也可使上述第一惯性测定部的坐标系及上述摄像头部的坐标系之间的转换关系得到一定地维持。最终，可通过省略基于上述摄像头部的移动的上述重力加速度的坐标系补正，来简化跟踪过程。
附图说明
图1为用于说明本发明的一实施例的跟踪系统的概念图。
图2为用于说明本发明的一实施例的跟踪方法的流程图。
图3为用于说明图2中的跟踪方法中的第二次抽取测定对象的位置及姿势的过程的流程图。
图4为用于说明图3中的抽取测定对象的位置及姿势的过程中的抽取测定对象的位置的过程的流程图。
图5为用于说明图2中的跟踪方法中的各个坐标系的关系及转换过程的概念图。
图6为用于说明图4中的抽取测定对象的位置的过程中的坐标系转换过程的流程图。
具体实施方式
可对本发明实施多种变形，并且本发明可具有多种实施方式，附图中示出本发明的特定实施例，并在本文内容中详细说明本发明。
但是，这并不用于将本发明限定于特定的公开形态，而应理解为包括本发明的思想及技术范围内的所有变形、等同物及代替物。第一、第二等术语可用于说明多种结构要素，但上述结构要素并不受上述术语的限制。上述术语仅用于对一个结构要素和其他结构要素进行区分。例如，在不脱离本发明的权利范围的情况下，第一结构要素可被命名为第二结构要素，相似地，第二结构要素也可被命名为第一结构要素。
本申请中所使用的术语仅用于说明特定实施例，并不用于限定本发明。只要未在上下文中明确表现出其他含义，单数的表达包含复数的表达。应理解的是，在本申请中，“包括”、“具有”等术语仅用于指出本说明书中所记载的特征、数字、步骤、动作、结构要素、部件或它们的组合的存在，而不是事先排除一个或一个以上的其他特征、数字、步骤、结构要素、部件或它们的组合的存在或附加可能性。
以下，参照附图，对本发明的优选实施例进行更详细的说明。
图1为用于说明本发明的一实施例的跟踪系统的概念图。
参照图1，本实施例的跟踪系统作为可跟踪测定对象10的位置及姿势的装置，包括标记(marker)100、摄像头部200、第一惯性测定部300、第二惯性测定部400及跟踪处理部500。此时，例如上述测定对象10可以是手术工具。
另一方面，在本实施例中，“上述测定对象10的位置”是指上述测定对象10的任意位置的三维坐标值，“上述测定对象10的姿势”可指上述测定对象10以垂直的虚拟线为基准来在空间上或平面上倾斜的角度。此时，若上述测定对象10不是完整的球形，即上述测定对象10形成向任意一侧长长地延伸的形状，则上述测定对象10以上述垂直的虚拟线为基准来形成倾斜的角度，因而可通过数值来表示“上述测定对象10的姿势”。
上述标记100配置并固定于上述测定对象10的一侧。因此，在上述测定对象10发生移动的情况下，上述标记100可与上述测定对象100一同移动。上述标记100可包括多个位置点，以用于测定上述测定对象10的位置及姿势。例如，如图1所示，上述标记100可包括四个位置点。另一方面，在上述标记100存在以上述标记100为基准来表示三维位置及移动关系的标记坐标系。
上述摄像头部200通过拍摄上述标记100来输出标记影像。上述摄像头部200可配置或固定于单独的放置单元20，以便于拍摄上述标记100。例如，上述摄像头部200可以是可准确测定空间位置及姿势信息的立体摄像头。另一方面，在上述摄像头部200存在以上述摄像头部200为基准来表示三维位置及移动关系的摄像头坐标系。其中，用于表示上述测定对象10的位置及姿势的基准坐标系可以是摄像头坐标系。
上述第一惯性测定部300配置并固定于上述摄像头部200的一侧。在上述第一惯性测定部300存在以上述第一惯性测定部300为基准来表示三维位置及移动关系的第一惯性坐标系。因此，若上述摄像头部200移动，则上述第一惯性测定部300一同移动，若上述摄像头部静止，则上述第一惯性测定部300一同静止，从而可使上述摄像头坐标系与上述第一惯性坐标系之间的转换关系始终恒定。
上述第一惯性测定部300包括可测定包括加速度及角速度在内的惯性的传感器。例如，上述第一惯性测定部300可以是惯性测量单元。因此，上述第一惯性测定部300测定并输出包括第一加速度及第一角速度在内的第一惯性。另一方面，优选地，当测定上述标记100时，上述摄像头部200处于静止状态。若上述摄像头部100处于静止状态，则上述第一加速度与基于地球重力的重力加速度相同，上述第一角速度的值为0。
上述第二惯性测定部400配置并固定于上述测定对象10及上述标记100中的任意一个。在上述第二惯性测定部400存在以上述第二惯性测定部400为基准来表示三维位置及移动关系的第二惯性坐标系。因此，若上述测定对象10移动，则上述标记100及上述第二惯性测定部400一同移动，若上述测定对象10静止，则上述标记100及上述第二惯性测定部400一同静止，从而可使上述标记坐标系与上述第二惯性坐标系之间的转换关系始终恒定。
上述第二惯性测定部400包括可测定包括加速度及角速度在内的惯性的传感器。例如，上述第二惯性测定部400可以是惯性测量单元。因此，上述第二惯性测定部400测定并输出包括第二加速度及第二角速度在内的第二惯性。此时，上述第二惯性是指基于上述测定对象10的移动的物理量。
上述跟踪处理部500可通过有线通信或无线通信方式与上述摄像头部200、上述第一惯性测定部300及上述第二惯性测定部400收发信号。因此，上述跟踪处理部500可从上述摄像头部200接收上述标记影像，可从上述第一惯性测定部300接收上述第一惯性，可从上述第二惯性测定部400接收上述第二惯性。
首先，上述跟踪处理部500可通过分析上述标记影像来第一次抽取上述测定对象10的位置及姿势。例如，可通过从上述标记影像分析上述标记的位置点的位置及大小等来计算上述测定对象10的位置及姿势。此时，上述测定对象10的位置及姿势可根据上述摄像头坐标系来表示。
接着，上述跟踪处理部500可通过上述第一惯性及第二惯性来第二次抽取上述测定对象10的位置及姿势。其中，“第二次抽取上述测定对象10的位置及姿势”可指“仅在无法进行基于上述标记影像的分析的第一次抽取时，对此进行补充而进行抽取”以及“与基于上述标记影像的分析的第一次抽取无关地单独进行抽取”。并且，“无法进行基于上述标记影像的分析的第一次抽取时，对此进行补充而进行抽取”可指“因被任意物体遮挡而无法拍摄上述标记的情况”和“即使获得上述标记影像也无法进行分析的情况”。
另一方面，若对任意物体的加速度进行二重积分，则可计算出上述物体的相对位置，若对上述物体的角速度进行积分，则可计算出上述物体的相对角度，若知道上述物体的初始位置及初始倾斜角度，则可计算出上述物体的位置及姿势。因此，上述跟踪处理部500可通过如上所述的计算方式第二次抽取上述测定对象10的位置及姿势。即，上述跟踪处理部500可通过上述第一加速度及第二加速度抽取上述测定对象10的位置，可通过上述第一角速度及第二角速度抽取上述测定对象10的姿势。
在通过上述第一加速度及第二加速度抽取上述测定对象10的位置的过程中，上述跟踪处理部500在利用从上述第一加速度抽取的上述重力加速度来从上述第二加速度抽取基于上述测定对象10的移动的移动加速度之后，可通过上述移动加速度抽取上述测定对象10的位置。其中，在抽取基于上述测定对象10的移动的移动加速度的过程中，上述跟踪处理部500从上述第一加速度抽取上述重力加速度并将上述第二加速度及上述重力加速度中的一个转换成坐标系互相相同之后，可利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取移动加速度。
以下，对利用如上所述的上述跟踪系统跟踪上述测定对象的位置及姿势的跟踪方法进行详细说明。
图2为用于说明本发明的一实施例的跟踪方法的流程图。
参照图2，在本实施例的跟踪方法中，首先，上述摄像头部200对固定于上述测定对象10的上述标记100进行拍摄并输出上述标记影像(S100)。
之后，上述跟踪处理部500从由上述摄像头部200所提供的上述标记影像第一次抽取上述测定对象10的位置及姿势(S200)。例如，上述跟踪处理部500可从上述标记影像分析上述标记的多个位置点的位置及大小等来计算出上述测定对象10的位置及姿势。此时，上述测定对象10的位置及姿势可根据上述摄像头坐标系来表示。
另一方面，固定于上述摄像头部200的上述第一惯性测定部300测定并输出包括上述第一加速度及上述第一角速度在内的上述第一惯性(S300)。
并且，固定于上述测定对象10及上述标记100中的任意一个的上述第二惯性测定部400测定并输出包括上述第二加速度及上述第二角速度在内的上述第二惯性(S400)。其中，上述步骤S400可在前后顺序上与上述步骤S300无关地单独进行，即，可与上述步骤S300同时进行，也可在上述步骤S300之前或之后进行。
之后，上述跟踪处理部500通过由上述第一惯性测定部300所提供的上述第一惯性及由上述第二惯性测定部400所提供的上述第二惯性来第二次抽取上述测定对象10的位置及姿势(S500)。
在本实施例中，上述步骤S100及步骤S200可在前后顺序上与上述步骤S300、步骤S400及步骤S500无关地互相单独进行。或者，上述步骤S300、步骤S400及步骤S500可仅在无法通过上述步骤S100及步骤S200抽取上述测定对象10的位置及姿势的情况下选择性地执行。
并且，上述步骤S100、步骤S200、步骤S300、步骤S400及步骤S500可均实时连续执行，但也可留有规定时间间隔断续地、间歇性地或周期性地执行。
图3为用于说明图2中的跟踪方法中的第二次抽取测定对象的位置及姿势的过程的流程图。
参照图3，第二次抽取上述测定对象10的位置及姿势的步骤(S500)可包括：通过上述第一加速度及第二加速度抽取上述测定对象10的位置的步骤(S510)；以及通过上述第一角速度及第二角速度抽取上述测定对象10的姿势的步骤(S520)。此时，上述步骤S510及步骤S520能够以与前后顺序无关的方式互相单独执行。
图4为用于说明图3中的抽取测定对象的位置及姿势的过程中的抽取测定对象的位置的过程的流程图，图5为用于说明图2中的跟踪方法中的各个坐标系的关系及转换过程的概念图。
参照图4及图5，在抽取上述测定对象10的位置的步骤(S510)中，首先从上述第一加速度抽取上述重力加速度(S512)。其中，上述第一加速度包括上述重力加速度及基于上述第一惯性测定部300的移动的加速度，若固定有上述第一惯性测定部300的上述摄像头部200处于静止状态，则上述第一加速度将具有实际上与上述重力加速度相同的值。
接着，将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同(S514)。其中，上述第二加速度根据上述第二惯性坐标系来表示，上述重力加速度根据上述第一惯性坐标系来表示。因此，在上述步骤S514中，通过使上述第二加速度从上述第二惯性坐标系转换成上述第一惯性坐标系，来达到坐标系与上述重力加速度相同，或使上述重力加速度从上述第一惯性坐标系转换成上述第二惯性坐标系，来达到坐标系与上述第二加速度相同，可均将上述第二加速度及上述重力加速度转换成任意坐标系，例如，可转换成上述摄像头坐标系来实现坐标系一致。
另一方面，在本实施例中，优选地，在上述步骤S514中的转换中，为了将转换过程的误差最小化，将上述重力加速度从上述第一惯性坐标系转换成上述第二惯性坐标系，来使坐标系与上述第二加速度相同。这是因为，虽然上述第二加速度是随着时间发生变化的值，但从上述第一加速度抽取的上述重力加速度是几乎恒定的值。
接着，利用坐标系互相相同的上述第二加速度及上述重力加速度抽取基于上述测定对象10的移动的移动加速度(S516)。具体地，上述跟踪处理部500可通过从上述第二加速度去除上述重力加速度来计算出上述移动加速度。
接着，通过上述移动加速度抽取上述测定对象10的位置(S518)。其中，上述移动加速度根据通过上述步骤S514对上述第二加速度及上述重力加速度中的至少一个进行坐标转换来使坐标系变得相同的坐标系(以下称为相同坐标系)进行表示，上述测定对象10的位置可根据上述摄像头坐标系表示。
若上述相同坐标系与上述摄像头坐标系不相同，则抽取上述测定对象10的位置的步骤(S518)可包括：将上述移动加速度从上述相同坐标系转换成上述摄像头坐标系的步骤；以及利用转换成上述摄像头坐标系的上述移动加速度来抽取上述测定对象10的位置的步骤。例如，在上述相同坐标系为上述第二惯性坐标系的情况下，首先，上述跟踪处理部500将上述移动加速度转换成上述标记坐标系，之后再转换成上述摄像头坐标系，之后，可通过对上述移动加速度进行二重积分来计算出上述测定对象10的位置。
另一方面，在上述相同坐标系与上述摄像头坐标系相同的情况下，也可在抽取上述测定对象10的位置的步骤(S518)中，以没有坐标转换的方式直接对上述移动加速度进行二重积分，来计算出上述测定对象10的位置。
另一方面，若上述摄像头部200处于静止状态，则上述第一惯性测定部300也处于静止状态，从而上述第一角速度的值为0。因此，在图3所示的上述步骤S520中，可仅利用上述第二角速度来抽取上述测定对象10的姿势。例如，上述跟踪处理部500可通过对上述第二角速度进行积分来计算出上述测定对象10的倾斜角度。
图6为用于说明图4中的抽取测定对象的位置的过程中的坐标系转换过程的流程图。
参照图5及图6，将基于上述第一惯性坐标系的上述重力加速度转换成上述第二惯性坐标系的过程可包括：第一转换过程，将基于上述第一惯性坐标系的上述重力加速度转换成上述摄像头坐标系；第二转换过程，将转换成上述摄像头坐标系的上述重力加速度转换成上述标记坐标系；以及第三转换过程，将转换成上述标记坐标系的上述重力加速度转换成上述第二惯性坐标系。
在本实施例中，由于上述第一惯性测定部300固定于上述摄像头部200，上述第二惯性测定部400固定于上述标记100或上述测定对象，因而，基于上述第一转换过程的转换行列式和基于上述第三转换过程的转换行列式可分别具有恒定值。因此，上述跟踪处理部500可直接使用初期所给的值来执行坐标转换，而无需为了求得基于上述第一转换步骤及第三转换过程的转换行列式而进行计算。
另一方面，若上述测定对象10在借助上述摄像头部100进行拍摄时发生移动，则上述标记坐标系也发生改变，因此，基于上述第二转换过程的转换行列式也有可能发生改变。因此，上述跟踪处理部500需在执行转换成上述重力加速度的上述第二惯性坐标系之前首先计算出基于上述第二转换过程的转换行列式。
根据如上所述的本发明的实施例，可通过上述第一惯性测定部300固定于处于静止状态的上述摄像头部200来测定上述重力加速度，可通过上述第二惯性测定部400固定于上述标记100或上述测定对象10来测定上述测定对象10的加速度及角速度。之后，可通过从上述测定对象10的加速度去除上述重力加速度来抽取上述测定对象10的移动加速度，可通过上述移动加速度及上述测定对象的角速度来跟踪上述测定对象10的位置及姿势。
并且，随着上述第一惯性测定部300固定于上述摄像头部200，即使上述摄像头部200在拍摄过程中移动，也可使上述第一惯性坐标系与上述摄像头坐标系之间的转换关系得到一定地维持。最终，可通过省略基于上述摄像头部200的移动的上述重力加速度的坐标系补正，来简化跟踪过程。
以上，在本发明的详细说明中参照本发明的优选实施例进行了说明，但只要是本发明所属技术领域的熟练技术人员或本发明所属技术领域的普通技术人员就可以理解，可在不脱离后述的专利权利要求书中所记载的本发明的思想及技术领域的范围内对本发明进行多种修改及变更。
(附图标记的说明)
100：标记 200：摄像头部
300：第一惯性测定部 400：第二惯性测定部
500：跟踪处理部 10：测定对象
20：放置单元
Claims (2)
1.一种跟踪系统，其中，包括：
标记，固定于测定对象；
摄像头部，通过拍摄上述标记来输出标记影像；
第一惯性测定部，固定于上述摄像头部，测定并输出第一加速度及第一角速度；
第二惯性测定部，固定于上述测定对象及上述标记中的任意一个，测定并输出第二加速度及第二角速度；以及
跟踪处理部，通过上述标记影像第一次抽取上述测定对象的位置及姿势；从上述第一加速度抽取重力加速度，并利用上述重力加速度从上述第二加速度抽取基于上述测定对象的移动的移动加速度；通过上述移动加速度及上述测定对象的初始位置，第二次抽取上述测定对象位置；通过上述第一角速度、上述第二角速度以及上述测定对象的初始倾斜角度，第二次抽取上述测定对象的姿势。
2.根据权利要求1所述的跟踪系统，其中，上述跟踪处理部将上述第二加速度及上述重力加速度中的至少一个转换成坐标系互相相同之后，利用坐标系互相相同的上述第二加速度及上述重力加速度来抽取上述移动加速度。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140104889A KR101645392B1 (ko) | 2014-08-13 | 2014-08-13 | 트랙킹 시스템 및 이를 이용한 트랙킹 방법 |
| KR10-2014-0104889 | 2014-08-13 | ||
| PCT/KR2015/008412 WO2016024797A1 (ko) | 2014-08-13 | 2015-08-11 | 트랙킹 시스템 및 이를 이용한 트랙킹 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106687063A CN106687063A (zh) | 2017-05-17 |
| CN106687063B true CN106687063B (zh) | 2020-10-27 |
Family
ID=55304362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580043386.7A Active CN106687063B (zh) | 2014-08-13 | 2015-08-11 | 跟踪系统及利用其的跟踪方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10799299B2 (zh) |
| EP (1) | EP3181085B1 (zh) |
| KR (1) | KR101645392B1 (zh) |
| CN (1) | CN106687063B (zh) |
| WO (1) | WO2016024797A1 (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11253327B2 (en) | 2012-06-21 | 2022-02-22 | Globus Medical, Inc. | Systems and methods for automatically changing an end-effector on a surgical robot |
| US11963755B2 (en) | 2012-06-21 | 2024-04-23 | Globus Medical Inc. | Apparatus for recording probe movement |
| US11864745B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical, Inc. | Surgical robotic system with retractor |
| US11045267B2 (en) | 2012-06-21 | 2021-06-29 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
| US11896446B2 (en) | 2012-06-21 | 2024-02-13 | Globus Medical, Inc | Surgical robotic automation with tracking markers |
| US10799298B2 (en) | 2012-06-21 | 2020-10-13 | Globus Medical Inc. | Robotic fluoroscopic navigation |
| US11399900B2 (en) | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
| US11974822B2 (en) | 2012-06-21 | 2024-05-07 | Globus Medical Inc. | Method for a surveillance marker in robotic-assisted surgery |
| US11857266B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | System for a surveillance marker in robotic-assisted surgery |
| US11298196B2 (en) | 2012-06-21 | 2022-04-12 | Globus Medical Inc. | Surgical robotic automation with tracking markers and controlled tool advancement |
| US10624710B2 (en) | 2012-06-21 | 2020-04-21 | Globus Medical, Inc. | System and method for measuring depth of instrumentation |
| US11317971B2 (en) | 2012-06-21 | 2022-05-03 | Globus Medical, Inc. | Systems and methods related to robotic guidance in surgery |
| US10874466B2 (en) | 2012-06-21 | 2020-12-29 | Globus Medical, Inc. | System and method for surgical tool insertion using multiaxis force and moment feedback |
| US11793570B2 (en) | 2012-06-21 | 2023-10-24 | Globus Medical Inc. | Surgical robotic automation with tracking markers |
| US10758315B2 (en) | 2012-06-21 | 2020-09-01 | Globus Medical Inc. | Method and system for improving 2D-3D registration convergence |
| US11864839B2 (en) | 2012-06-21 | 2024-01-09 | Globus Medical Inc. | Methods of adjusting a virtual implant and related surgical navigation systems |
| US11589771B2 (en) | 2012-06-21 | 2023-02-28 | Globus Medical Inc. | Method for recording probe movement and determining an extent of matter removed |
| US11786324B2 (en) | 2012-06-21 | 2023-10-17 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
| US11857149B2 (en) | 2012-06-21 | 2024-01-02 | Globus Medical, Inc. | Surgical robotic systems with target trajectory deviation monitoring and related methods |
| KR101645392B1 (ko) * | 2014-08-13 | 2016-08-02 | 주식회사 고영테크놀러지 | 트랙킹 시스템 및 이를 이용한 트랙킹 방법 |
| US11883217B2 (en) | 2016-02-03 | 2024-01-30 | Globus Medical, Inc. | Portable medical imaging system and method |
| EP3747389A1 (en) * | 2019-06-05 | 2020-12-09 | Globus Medical, Inc. | Surgical robotic automation with tracking markers |
| US11871998B2 (en) | 2019-12-06 | 2024-01-16 | Stryker European Operations Limited | Gravity based patient image orientation detection |
| CN114521131A (zh) * | 2020-01-06 | 2022-05-20 | 直观外科手术操作公司 | 用于臂间配准的系统和方法 |
| CN111407406B (zh) * | 2020-03-31 | 2022-04-26 | 武汉联影智融医疗科技有限公司 | 头部位置标识系统、术中控制系统及控制方法 |
| EP3912587A1 (en) * | 2020-05-19 | 2021-11-24 | Orthosoft ULC | Stabilization system for navigation camera in computer-assisted surgery |
| EP4212123A1 (en) * | 2022-01-18 | 2023-07-19 | Stryker European Operations Limited | Technique for determining a need for a re-registration of a patient tracker tracked by a camera system |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5592401A (en) | 1995-02-28 | 1997-01-07 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
| WO2000039576A1 (en) * | 1998-12-23 | 2000-07-06 | Image Guided Technologies, Inc. | A hybrid 3-d probe tracked by multiple sensors |
| EP2171688A2 (en) * | 2007-07-10 | 2010-04-07 | Koninklijke Philips Electronics N.V. | Object motion capturing system and method |
| JP5651579B2 (ja) | 2008-03-25 | 2015-01-14 | オーソソフト インコーポレイテッド | 骨への変更を計画／誘導するための方法およびシステム |
| AU2009227956B2 (en) | 2008-03-25 | 2014-04-10 | Orthosoft Inc. | Tracking system and method |
| WO2011001301A1 (en) | 2009-06-29 | 2011-01-06 | Koninklijke Philips Electronics N.V. | Method and apparatus for tracking in a medical procedure |
| JP5704833B2 (ja) | 2010-05-10 | 2015-04-22 | オリンパス株式会社 | 操作入力装置およびマニピュレータシステム |
| US9913693B2 (en) | 2010-10-29 | 2018-03-13 | Medtronic, Inc. | Error correction techniques in surgical navigation |
| DE102011050240A1 (de) | 2011-05-10 | 2012-11-15 | Medizinische Hochschule Hannover | Vorrichtung und Verfahren zur Bestimmung der relativen Position und Orientierung von Objekten |
| US9498231B2 (en) * | 2011-06-27 | 2016-11-22 | Board Of Regents Of The University Of Nebraska | On-board tool tracking system and methods of computer assisted surgery |
| US10157310B2 (en) | 2011-10-13 | 2018-12-18 | Brainlab Ag | Medical tracking system comprising multi-functional sensor device |
| DE102011054730A1 (de) * | 2011-10-21 | 2013-04-25 | Aesculap Ag | Chirurgisches Navigationssystem |
| KR101361805B1 (ko) * | 2012-06-07 | 2014-02-21 | 조춘식 | 의료 영상 보상 방법, 시스템 및 장치 |
| US9008757B2 (en) * | 2012-09-26 | 2015-04-14 | Stryker Corporation | Navigation system including optical and non-optical sensors |
| KR101645392B1 (ko) * | 2014-08-13 | 2016-08-02 | 주식회사 고영테크놀러지 | 트랙킹 시스템 및 이를 이용한 트랙킹 방법 |
-
2014
- 2014-08-13 KR KR1020140104889A patent/KR101645392B1/ko active IP Right Grant
-
2015
- 2015-08-11 CN CN201580043386.7A patent/CN106687063B/zh active Active
- 2015-08-11 WO PCT/KR2015/008412 patent/WO2016024797A1/ko active Application Filing
- 2015-08-11 US US15/503,565 patent/US10799299B2/en active Active
- 2015-08-11 EP EP15832127.3A patent/EP3181085B1/en active Active
-
2020
- 2020-09-17 US US17/024,037 patent/US11730547B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11730547B2 (en) | 2023-08-22 |
| KR20160020065A (ko) | 2016-02-23 |
| US20210000551A1 (en) | 2021-01-07 |
| US20170224425A1 (en) | 2017-08-10 |
| KR101645392B1 (ko) | 2016-08-02 |
| WO2016024797A1 (ko) | 2016-02-18 |
| US10799299B2 (en) | 2020-10-13 |
| CN106687063A (zh) | 2017-05-17 |
| EP3181085A1 (en) | 2017-06-21 |
| EP3181085B1 (en) | 2020-09-16 |
| EP3181085A4 (en) | 2018-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106687063B (zh) | 跟踪系统及利用其的跟踪方法 | |
| US11049280B2 (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
| JP4757142B2 (ja) | 撮影環境校正方法及び情報処理装置 | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| EP1437645B1 (en) | Position/orientation measurement method, and position/orientation measurement apparatus | |
| EP1596333B1 (en) | Calibration for mixed reality | |
| CN107923740B (zh) | 传感器设备、传感器系统以及信息处理设备 | |
| JP2016057108A (ja) | 演算装置、演算システム、演算方法およびプログラム | |
| GB2557465A (en) | Method for calibrating a camera and calibration system | |
| JP2007263669A (ja) | ３次元座標取得装置 | |
| JP6383439B2 (ja) | 認識されたオブジェクトを用いてセンサのキャリブレーションを行うための方法およびシステム | |
| JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| CN107613867B (zh) | 动作显示系统以及记录介质 | |
| KR101896827B1 (ko) | 사용자 자세 추정 장치 및 방법 | |
| CN103900473A (zh) | 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法 | |
| JP5369873B2 (ja) | 判定プログラムおよびキャリブレーション装置 | |
| JP2009294109A (ja) | キャリブレーション装置 | |
| JP2019118090A (ja) | 撮像装置および撮像装置の制御方法 | |
| JP2016138825A (ja) | 測量データ処理装置、測量データ処理方法およびプログラム | |
| JP2010145219A (ja) | 運動推定装置及びプログラム | |
| WO2020175621A1 (ja) | カメラ校正情報取得装置、画像処理装置、カメラ校正情報取得方法および記録媒体 | |
| US9245343B1 (en) | Real-time image geo-registration processing | |
| JP6646133B2 (ja) | 画像処理装置および内視鏡 | |
| US11410329B2 (en) | Information processing device, method performed thereby, and non-transitory computer readable medium | |
| JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea Applicant after: Gaoying Technology Co.,Ltd. Applicant after: KYUNGPOOK NATIONAL University INDUSTRY ACADEMIC COOPERATION FOUNDATION Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea Applicant before: KOH YOUNG TECHNOLOGY Inc. Applicant before: KYUNGPOOK NATIONAL University INDUSTRY ACADEMIC COOPERATION FOUNDATION |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Han Guoshouershi Applicant after: Gaoying Technology Co.,Ltd. Applicant after: KYUNGPOOK NATIONAL University INDUSTRY ACADEMIC COOPERATION FOUNDATION Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea Applicant before: Gaoying Technology Co.,Ltd. Applicant before: KYUNGPOOK NATIONAL University INDUSTRY ACADEMIC COOPERATION FOUNDATION |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |