CN110913789B - 基于颌表面的配准 - Google Patents
基于颌表面的配准 Download PDFInfo
- Publication number
- CN110913789B CN110913789B CN201880048016.6A CN201880048016A CN110913789B CN 110913789 B CN110913789 B CN 110913789B CN 201880048016 A CN201880048016 A CN 201880048016A CN 110913789 B CN110913789 B CN 110913789B
- Authority
- CN
- China
- Prior art keywords
- jaw
- image
- mapping
- sample
- landmark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 claims abstract description 120
- 238000005070 sampling Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000002591 computed tomography Methods 0.000 claims abstract description 39
- 230000001144 postural effect Effects 0.000 claims description 19
- 230000000295 complement effect Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims 6
- 239000000700 radioactive tracer Substances 0.000 claims 1
- 239000000523 sample Substances 0.000 description 68
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 210000004283 incisor Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000012237 artificial material Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229920001169 thermoplastic Polymers 0.000 description 1
- 239000004416 thermosoftening plastic Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/465—Displaying means of special interest adapted to display user selection data, e.g. graphical user interface, icons or menus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/008—Mechanical means or methods, e.g. a contact probe moving over the teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
提供了一种用于将人类颌与定位在图像参考坐标系中并且存储在计算机可读存储器中的该颌的体积计算机断层摄影图像配准的计算机实施的方法和系统。所述方法涉及:将颌标记附接到所述颌,以建立姿势可追踪的颌参考坐标系;使表面采样工具在所述颌的表面的至少一部分之上移动,同时操作姿势追踪系统和计算机处理器以记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本;操作计算机处理器以确定近似初始配准映射;然后从所述近似初始配准映射开始,递增地调整所述配准映射。递增地调整所述配准映射涉及计算通过所述配准映射映射到所述图像的每个样本位置处的边缘接近度值。
Description
优先权
本申请要求享有2017年7月18日提交的第62/533,905号美国临时专利申请的权益,该美国临时专利申请的全部内容通过引用并入本文。
技术领域
所描述的实施方案涉及医学领域,具体涉及牙科导航系统领域。
背景技术
牙科导航系统越来越普遍,并且在商业上可用。许多现有的牙科导航系统(诸如美国专利号9,125,624和美国专利号9,402,691中所描述的牙科导航系统)涉及在对象颌(换言之,患者的正被光学追踪的颌)中的位置和该对象颌的预先获取的体积计算机断层摄影(CT)图像中的同源(homologous)位置之间的三维(3D)坐标映射。
该3D坐标映射的参数通常呈矩阵的形式,表示与该对象颌相关联的参考坐标空间和与CT图像相关联的参考坐标空间之间的刚性3D坐标变换(“配准映射”)。可以使用被称为配准的算法过程来计算该矩阵。
现有的用于配准刚性物体(诸如人类颌)的方法通常基于点-点、点-表面和表面-表面对准的某个组合。使用基准(即,具有可以在图像中被可靠地检测的边界的已知几何形状的人造物体)能够实现高程度的配准可靠性和准确性,但是带来不期望的时间和成本开销。
一些现有技术公开物描述了颌与其图像的无基准配准。例如,美国专利公开号2017/0290554公开了如下一种系统,该系统首先将地标追踪点(landmark trace point)与牙齿的表面对准,并且然后使用迭代最近点(iterative closest point,ICP)算法来改善追踪点与牙齿的表面之间的对准。使用等值面跟随算法(即,“移动立方体(marchingcubes)”)从CT图像提取表面几何形状,并且使用具有球形末端的位置追踪校准探针来收集点。在探针末端校准和可追踪的热塑性固定装置附接到牙齿作为参考之后,使用点对点配准来提供颌与CT图像的初始近似对准。在随后的改善步骤中,操作人员在牙齿的表面之上执行长时间追踪,并且计算机迭代地调整配准映射以减小追踪与先前提取的等值面之间的平均距离。
上文所提到的现有的牙科导航系统和方法在模型上相当好地起作用,但是当应用于患者颌时却经常失败,因为通过等值面分割或应用于通常使用的锥形束CT(CBCT)图像的其他自动化分割算法获得的表面几何形状可能由于各种原因而高度不可靠并且失真。首先,强度的非均匀性可能存在于整个成像场上。其次,条纹伪影常常存在于CT图像的高密度区域附近。同样地,由于变化的牙齿密度或由于先前的牙科治疗引入到嘴的人造材料所引起的非均匀性也可以导致失真。此外,由于从CT扫描到外科手术之间的时间延迟可能是几个月,因此在此时间内可能发生牙齿移动,以致使CT图像的某些部分在外科手术期间不可靠地描绘颌表面。最后,在扫描期间患者的颌的移动也可能导致CT图像中的几何失真。
现有的牙科导航系统和方法的另一个主要挑战是基准到颌的附接,这通常覆盖三个或更多个牙齿。对三个或更多个牙齿的覆盖大幅减少了可用于颌与CT图像的对准的配准的暴露的牙齿表面。
发明内容
本文所描述的各实施方案一般涉及用于将人类颌与定位在图像参考坐标系中并且存储在计算机可读存储器中的该颌的体积计算机断层摄影图像配准的方法(以及被配置为实施所述方法的相关联的系统)。
一种示例方法涉及将姿势可追踪的颌标记刚性地附接到所述颌或与所述颌成刚性几何关系的结构,以建立姿势可追踪的颌参考坐标系;使姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动,同时操作姿势追踪系统和计算机处理器以记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本;操作计算机处理器以确定近似初始配准映射;然后从所述近似初始配准映射开始,操作所述计算机处理器以递增地调整所述配准映射。递增地调整所述配准映射涉及i)使用所述配准映射将所述样本映射到所述图像参考坐标系,以提供映射的样本位置,ii)对于每个映射的样本位置,基于对从所述映射的样本位置导出的多个图像位置处的图像值的分析来计算边缘接近度值,以及iii)基于所述映射的样本位置处的边缘接近度值来调整所述配准映射。
在一些实施方案中,计算所述边缘接近度值可以涉及计算所述多个图像位置处的图像梯度。
在一些实施方案中,计算所述边缘接近度值可以涉及:分析从所述映射的样本位置导出的多个图像位置处的图像值,以选择图像位置;以及计算从所选择的图像位置到从所述映射的样本位置导出的另一个图像位置的距离。
在一些实施方案中,所述姿势可追踪的表面采样工具可以是口内扫描仪。
在一些实施方案中,所述姿势可追踪的表面采样工具可以是具有已知形状的追踪器末端的姿势可追踪的追踪器工具,并且使表面采样工具移动可以涉及在所述颌的表面的至少一部分之上拖曳所述追踪器末端,使得所述追踪器末端接触所述颌的表面。
在一些实施方案中,所述方法还可以涉及在所述图像参考坐标系和所述颌参考坐标系二者中标记至少一个对应的位置。确定近似初始配准映射可以涉及:基于根据所述颌相对于所述颌标记的已知定向估计所述颌在所述颌参考坐标系中的定向,来计算初始旋转映射;以及基于所述初始旋转映射和所述至少一个对应的位置来计算所述初始配准映射。
在一些实施方案中,当所述姿势可追踪的表面采样工具是口内扫描仪时,所述方法还可以涉及在所述图像上标记颌表面上的至少一个地标位置。同样地,可以定位所述口内扫描仪,使得在所述口内扫描仪的捕获区域内的已知位置大致对应于在所述图像上标记的地标位置,并且可以获得在所述捕获区域内的所述已知位置处的样本位置。确定近似初始配准映射可以至少部分地基于在所述图像上标记的所述至少一个地标位置与在所述捕获区域内的所述已知位置处的所述样本位置之间的对应。
在一些实施方案中,所述方法还可以涉及在所述图像上标记颌表面上的至少一个地标位置。同样地,使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动可以开始于对应于在所述图像上标记的地标位置的位置;并且确定近似初始配准映射可以至少部分地基于在所述图像上标记的所述至少一个地标位置与在开始使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应。
在一些实施方案中,所述方法还可以涉及在所述图像上标记颌表面上的至少一个地标位置。同样地,使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动可以结束于对应于在所述图像上标记的地标位置的位置;并且确定近似初始配准映射可以至少部分地基于在所述图像上标记的所述至少一个地标位置与在结束使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应。
在一些实施方案中,所述地标位置可以被标记在沿着所述颌的脊曲线在数学上平坦的颌表面的渲染图上。
在一些实施方案中,使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动可以涉及使所述姿势可追踪的表面采样工具在所述颌的表面的至少三部分之上移动,使得所述样本包括至少三个样本子集,每个样本子集来自在所述颌的表面的至少三部分中的所述颌的表面的不同部分。
在一些实施方案中,操作所述计算机处理器以递增地调整所述配准映射可以进一步包括,对于每个样本子集:操作所述计算机处理器以对于该样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定追踪特定的经调整的配准映射;操作所述计算机处理器以对于所有剩余的样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定互补的经调整的配准映射;以及确定所述追踪特定的经调整的配准映射与所述互补的经调整的配准映射之间的差异,并且当该差异超过最大阈值时,然后进一步操作所述计算机处理器以发送识别该样本子集的通知。
在一些实施方案中,当所述姿势可追踪的表面采样工具是所述姿势可追踪的表面采样工具时,所述方法还可以涉及在确定最终配准之后,执行视觉配准准确性检查。所述准确性检查可以涉及:放置所述追踪器末端与颌表面位置接触;使用所述配准映射将所述追踪器末端映射到所述图像参考坐标系;基于分析从所述追踪器末端的映射的表面导出的多个图像位置处的图像值,选择可能对应于最接近映射的追踪器末端表面的颌表面位置的图像位置;以及显示例示了所选择的图像位置和最靠近所选择的图像位置的映射的追踪器末端表面位置之间的间隙的图像。
在一些实施方案中,当所述姿势可追踪的表面采样工具是姿势可追踪的表面采样工具时,所述追踪器末端的形状可以是基本上球形的,并且在调整所述配准映射的步骤ii)中的所述边缘接近度值的计算中选择所述多个图像位置可以涉及定义从所述追踪器末端的映射中心在不同方向上散发出的多个矢量并且选择沿着每个所述矢量的位置。
一种示例系统包括:姿势可追踪的颌标记,其能够刚性地附接到所述颌或与所述颌成刚性几何关系的结构,以建立姿势可追踪的颌参考坐标系;姿势追踪器,用于追踪所述姿势可追踪的颌标记和姿势可追踪的表面采样工具的姿势;计算机可读存储器,用于存储体积计算机图像;以及计算机处理器。所述计算机处理器操作性地耦合到所述计算机可读存储器和所述姿势追踪器。所述计算机处理器被配置用于:在使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动的同时,记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本;确定近似初始配准映射;然后从所述近似初始配准映射开始,递增地调整所述配准映射。所述计算机处理器被配置为递增地调整所述配准映射可以包括i)使用所述配准映射将所述样本映射到所述图像参考坐标系,以提供映射的样本位置,ii)对于每个映射的样本位置,基于对从所述映射的样本位置导出的多个图像位置处的图像值的分析来计算边缘接近度值,以及iii)基于所述映射的样本位置处的边缘接近度值来调整所述配准映射。
在一些实施方案中,所述计算机处理器被配置用于计算所述边缘接近度值可以包括所述计算机处理器被配置用于计算所述多个图像位置处的图像梯度。
在一些实施方案中,所述计算机处理器被配置用于计算所述边缘接近度值可以包括所述计算机处理器被配置用于:分析从所述映射的样本位置导出的多个图像位置处的图像值,以选择图像位置;以及计算从所选择的图像位置到从所述映射的样本位置导出的另一个图像位置的距离。
在一些实施方案中,所述系统还可以包括所述姿势可追踪的表面采样工具。
在一些实施方案中,所述姿势可追踪的表面采样工具可以包括口内扫描仪。
在一些实施方案中,所述姿势可追踪的表面采样工具可以包括具有已知形状的追踪器末端的姿势可追踪的追踪器工具,所述追踪器末端用于在使所述姿势可追踪的表面采样工具移动时与所述颌的表面接触;并且所述计算机可读存储器还存储所述追踪器末端的形状。
在一些实施方案中,所述计算机处理器还可以被配置用于接收所述图像参考坐标系和颌参考坐标系二者中的至少一个对应的位置;并且所述计算机处理器被配置用于确定近似初始配准映射可以包括所述计算机处理器被配置用于:基于根据所述颌相对于所述颌标记的已知定向估计所述颌在所述颌参考坐标系中的定向,来计算初始旋转映射;以及基于所述初始旋转映射和所述至少一个对应的位置来计算所述初始配准映射。
在一些实施方案中,当所述姿势可追踪的表面采样工具包括口内扫描仪时,所述计算机处理器还可以被配置用于:接收在所述图像上的颌表面上的至少一个地标位置;当所述口内扫描仪被定位使得在捕获区域内的已知位置大致位于在所述图像上标记的地标位置处时,接收在所述口内扫描仪的捕获区域内的已知位置处的样本位置;以及至少部分地基于在所述图像上标记的至少一个地标位置与在所述捕获区域内的已知位置处的样本位置之间的对应,确定近似初始配准映射。
在一些实施方案中,所述计算机处理器还可以被配置用于:接收在所述图像上的颌表面上的至少一个地标位置;当在对应于在所述图像上标记的地标位置的位置开始使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动时,接收样本位置;以及至少部分地基于在所述图像上标记的至少一个地标位置与在开始使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应,确定近似初始配准映射。
在一些实施方案中,所述计算机处理器还被配置用于:接收在所述图像上的颌表面上的至少一个地标位置;当在对应于在所述图像上标记的地标位置的位置停止使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动时,接收样本位置;以及至少部分地基于在所述图像上标记的至少一个地标位置与在结束使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应,确定近似初始配准映射。
在一些实施方案中,其中所述地标位置可以被标记在沿着所述颌的脊曲线数学上平坦的颌表面的渲染图上。
在一些实施方案中,所述计算机处理器被配置用于在使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动的同时记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本可以包括所述计算机处理器被配置用于记录所述颌参考坐标系中指示所述颌的表面的至少三部分的样本,使得所述样本包括至少三个样本子集,每个样本子集来自在所述颌的表面的至少三部分中的所述颌的表面的不同部分。
在一些实施方案中,所述计算机处理器被配置用于递增地调整所述配准映射可以进一步涉及,对于每个样本子集:对于该样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定追踪特定的经调整的配准映射;对于所有剩余的样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定互补的经调整的配准映射;以及确定所述追踪特定的经调整的配准映射与所述互补的经调整的配准映射之间的差异,并且当该差异超过最大阈值时,然后进一步所述计算机处理器还被配置用于发送识别该样本子集的通知。
在一些实施方案中,当所述姿势可追踪的表面采样工具包括姿势可追踪的追踪器工具时,所述系统还可以包括,所述计算机处理器被配置用于在确定最终配准之后,执行视觉配准准确性检查。所述准确性检查可以包括:当追踪器末端与颌表面位置接触时接收所述追踪器末端;使用所述配准映射将所述追踪器末端映射到所述图像参考坐标系;基于分析从所述追踪器末端的映射的表面导出的多个图像位置处的图像值,选择可能对应于最接近映射的追踪器末端表面的颌表面位置的图像位置;以及显示例示了所选择的图像位置和最靠近所选择的图像位置的映射的追踪器末端表面位置之间的间隙的图像。
在一些实施方案中,当所述姿势可追踪的表面采样工具包括姿势可追踪的追踪器工具时,所述追踪器末端的形状可以是基本上球形的,并且所述计算机处理被配置用于在调整所述配准映射的步骤ii)中的所述边缘接近度值的计算中选择所述多个图像位置可以包括所述计算机处理被配置用于定义从所述追踪器末端的映射中心在不同方向上散发出的多个矢量并且选择沿着每个所述矢量的位置。
附图说明
现在将参考附图详细描述几个实施方案,其中:
图1是用于将人类颌与定位在图像参考坐标系中的该颌的体积计算机断层摄影图像配准的系统的框图;
图2是位置追踪工具的球形末端的一个实施例;
图3是人类颌的体积计算机断层摄影图像的示例屏幕截图;
图4A和图4B是用于将人类颌与定位在图像参考坐标系中的该颌的体积计算机断层摄影图像配准的示例方法的流程图;
图5A、图5B、图5C和图5D是例示了根据至少一个实施方案的边缘接近度函数的示例阐述(formulation)的示意图。
图6是例示了根据至少一个实施方案的不太精确的边缘接近度函数的示例阐述的示意图;
图7示出了根据至少一个实施方案的从使用配准方法映射到模型颌的3D渲染视图的三个地标的表面收集的追踪样本的一个实施例;以及
图8示出了用于评估配准准确性的示例图像切片。
提供下文所描述的附图的目的是为了例示而非限制本文所描述的实施方案的各实施例的方面和特征。为了例示的简单和清楚,附图中所示出的元件不一定按比例绘制。为了清楚,一些元件的尺寸可能相对于其他元件被夸大。将理解的是,为了例示的简单和清楚,在认为适当的情况下,附图标记可以在附图中重复以指示对应或相似的元件或步骤。
具体实施方式
应理解,阐述了许多具体细节,以提供对本文所描述的示例实施方案的透彻理解。然而,本领域普通技术人员将理解,可以在没有这些具体细节的情况下实践本文所描述的实施方案。在其他情况下,未详细描述众所周知的方法、过程和部件,以避免不使本文所描述的实施方案模糊。此外,本描述和附图不应被认为以任何方式限制本文所描述的实施方案的范围,而被认为仅描述本文所描述的各实施方案的实施方式。
应注意,当在本文中使用时,诸如“基本上”、“大约”和“近似”的程度术语是指所修饰的术语的合理偏差量,使得最终结果不显著改变。如果此偏差不会否定其修饰的术语的含义,则这些程度术语应被解释为包括所修饰的术语的偏差。
另外,如本文中所使用的,措辞“和/或”意在表示包含-或。换言之,例如“X和/或Y”意在指X或Y或二者。作为另一实施例,“X、Y和/或Z”意在指X或Y或Z或其任何组合。
应注意,本文中所使用的术语“耦合”指示两个元件可以直接彼此耦合或通过一个或多个中间元件彼此耦合。
在实施方案中,本文所描述的方法的方面,诸如下文参考图4A和图4B所描述的方法400,可以硬件或软件或二者的组合来实现。这些实施方案可以在可编程计算机上执行的计算机程序来实现,每个计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其他数据存储元件或其组合)、以及至少一个通信部件。例如且不限于,可编程计算机(下文被称为数据处理器)可以是服务器、网络家电、嵌入式设备、计算机扩展模块、个人计算机、膝上型计算机、个人数据助理、蜂窝电话、智能手机设备、平板计算机、无线设备或任何其他能够被配置为执行本文所描述的方法的计算设备。
在一些实施方案中,通信部件可以是网络通信接口。在其中元件被组合的实施方案中,通信部件可以是软件通信接口,诸如用于进程间通信(IPC)的那些。在其他实施方案中,可以存在被实现为硬件、软件以及其组合的通信部件的组合。
程序代码可以被应用于输入数据以执行本文所描述的功能并且生成输出信息。该输出信息以已知的方式应用于一个或多个输出设备。
可以高级程序上的或面向对象的编程和/或脚本语言或二者来实现每个程序,以与计算机系统通信。然而,如果需要,可以汇编语言或机器语言来实现程序。在任何情况下,该语言都可以是编译语言或解释语言。每个这样的计算机程序可以被存储在由通用或专用可编程计算机可读的存储介质或设备(例如ROM、磁盘、光盘)上,用于当存储介质或设备由计算机读取时配置和操作计算机,以执行本文所描述的过程。该系统的实施方案也可以被认为被实现为被配置有计算机程序的非暂时性计算机可读存储介质,其中如此配置的存储介质使计算机以特定的和预定的方式操作以执行本文所描述的功能。
本申请的主题可以使得牙科导航系统能够获得颌参考坐标系(在下文中“RCS”)与图像RCS之间的配准映射。应注意,术语“RCS”与在与RCS相关联的感兴趣的物体上或内部的参考位置中所使用的三维(3D)坐标系有关。例如,颌RCS与与将是牙科手术的对象的真实颌骨相关联的RCS有关。图像RCS与与将是牙科手术的对象的真实颌骨的计算机断层摄影(CT)体积(3D)图像相关联的RCS有关。图像RCS可以在进行牙科手术的区域内提供小于1毫米的量级的准确性。牙科手术可以包括钻孔或切割颌骨、牙齿、粘膜或锚固到颌骨的其他结构,它们在本文中被认为颌的整体部分。
应注意,术语“配准映射”与两个RCS之间的坐标映射有关。配准映射将两个RCS中的对应的位置紧密对准。术语“刚性配准映射”与具有仅六个自由度(DOF)的配准映射有关,即用于3D转换的三个自由度和用于3D旋转的三个自由度。“刚性配准映射”不校正两个RCS中物体的外观的缩放或翘曲。
首先参考图1,图1是牙科导航系统100的框图。如图1中所示出的,牙科导航系统100包括处理器110,该处理器110操作性地耦合到存储器112和姿势追踪器120。在一些实施方案中,处理器110和存储器112中的每个可以被组合成更少数目的部件或可以被分离成另一些部件。尽管图1中仅示出了一个姿势追踪器120,但是牙科导航系统100可以包括多个姿势追踪器120。系统100可以分布在广阔的地理区域上,并且处理器110可以经由网络(未示出)与存储器112和姿势追踪器120通信。系统100可以包括任何适当的通信部件(未示出),以提供对该网络的访问或实现设备与系统之间的通信。
处理器110可以是可以根据系统100的配置、用途和要求提供足够的处理能力的任何合适的处理器、控制器、数字信号处理器、图形处理单元、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。在一些实施方案中,处理器102可以包括不止一个处理器,其中每个处理器被配置为执行不同的专用任务。
处理器110可以被配置为控制系统100的操作。处理器110可以包括启动并且管理牙科导航系统100的操作的模块。处理器110还可以基于接收的数据、存储的数据和/或用户偏好来确定牙科导航系统100一般可以如何操作。
存储器112可以包括RAM、ROM、一个或多个硬盘驱动器、一个或多个闪存驱动器或一些其他合适的数据存储元件,诸如磁盘驱动器等。例如,存储器112被用来存储操作系统和程序。例如,操作系统为处理器提供多种基本操作过程。程序包括多种用户程序,以使得用户可以与处理器110交互以执行多种功能,诸如但不限于,查看和/或操纵CT图像、配准映射、阈值化、以及边缘接近度计算。CT图像可以是体积CT图像。
在一些实施方案中,存储器112可以存储体积CT图像114和与姿势可追踪的表面采样工具有关的信息,诸如姿势可追踪的追踪器工具的追踪器末端的形状或几何形状以及口内扫描仪的捕获区域内的已知位置。在其他实施方案中,与姿势可追踪的表面采样工具130的形状和尺寸有关的信息被用在由处理器110执行的数学运算中,但是未被明确地或单独地存储在存储器112中。例如,如果姿势可追踪的表面采样工具130具有用于接触颌表面的具有半径R的球形末端,则可以基于该知识来制定由处理器110执行的计算,而无需在存储器112中明确地存储该末端形状和该半径。
在一些实施方案中,处理器110和存储器112可以是计算设备(未示出)的处理器和存储器,该计算设备诸如是电子平板设备、个人计算机、工作站、服务器、便携式计算机、移动设备、个人数字助理、膝上型计算机、智能手机和便携式电子设备、或这些的任何组合。
通信部件可以是使得牙科导航系统100能够与其他设备和系统通信的任何接口。在一些实施方案中,通信部件可以包括串行端口、并行端口或USB端口中的至少一个。通信部件还可以包括互联网、局域网(LAN)、以太网、火线(Firewire)、调制解调器、光纤或数字订户线连接件中的至少一个。这些元件的多种组合可以被并入通信部件内。
例如,通信部件从多种输入设备接收输入,所述多种输入设备诸如是鼠标、键盘、触摸屏、拇指轮(thumbwheel)、追踪板(track pad)、追踪球、读卡器、语音识别软件等,这取决于牙科导航系统100的要求和实施方式。
姿势追踪器120可以是姿势追踪系统,该姿势追踪系统可以足够高的准确性和足够低的延时(latency)来追踪姿势可追踪的颌标记122的姿势,以用于该系统的目标应用。在一些实施方案中,姿势追踪器120可以是光学姿势追踪设备,例如,ClaroNavTMInc.的MicronTrackerTM,并且姿势可追踪的颌标记122可以包括光学可追踪的颌标签。在其他实施方案中,可以使用磁追踪系统,并且标记122可以包含磁场感测线圈。
姿势可追踪的颌标记122可以确保在标签上的追踪标记与待被追踪的颌之间的刚性耦合的方式附接到患者的颌。例如,姿势可追踪的颌标记122可以附接到颌表面或安装在患者的头部上,并且至少部分地通过被按压抵靠患者的鼻根(即,鼻梁)而被保持就位。术语“颌表面”与颌骨或固定到它的任何坚硬的或结实的物体(诸如牙齿、人造冠、牙龈、植入物、基牙或畸齿矫正硬件)上的任何位置。当姿势可追踪的颌标记122刚性地耦合到颌时,与标签相关联的RCS可以被用作颌RCS。换言之,与标签相关联的RCS可以指示颌RCS。
如由图1的虚线所示出的,在一些实施方案中,牙科导航系统100还包括姿势可追踪的表面采样工具130,用于沿着在结实的表面之上追踪的一个路径记录位置。当姿势可追踪的表面采样工具130在颌的表面的至少一部分之上追踪一个路径时,姿势可追踪的表面采样工具130的位置可以由姿势追踪器120追踪。姿势可追踪的表面采样工具130可以是口内扫描仪或姿势可追踪的追踪器工具。
可以使口内扫描仪在颌的表面的至少一部分之上移动而不与颌的表面接触。示例口内扫描仪包括的Carestream的CS 3600和SironaDental Systems的CEREC Omni口内扫描仪可以具有获取金字塔(acquisitionpyramid),其中扫描仪测量从小摄像机到该摄像机前面的表面的范围。各个样本点由三角形拼贴(tile),以形成由扫描仪捕获的“补片(patch)”的连续表面模型。在典型的获取中,当使扫描仪末端在颌表面之上移动时收集的表面补片被“缝合”在一起,以形成大致连续的表面模型。此机制可以被用来收集任意大小的颌表面的区域的密集样本。
当姿势可追踪的表面采样工具130是口内扫描仪时,可以使用先前的校准过程的结果将由扫描仪报告的在它的捕获区域内的位置映射到由姿势追踪器120追踪的口内扫描仪的RCS。在这样的情况下,可以向处理器110实时地报告捕获的瞬时表面补片,或可以使得能够将缝合的表面模型映射到由姿势追踪器120追踪的口内扫描仪RCS的方式向处理器110报告缝合的表面模型。口内扫描仪常常向它们的用户呈现捕获场的2-D视图。该视图内的特定位置(例如,该视图的中心)可能被标记在该视图之上。然后可以将在该位置处捕获的颌表面位置映射到口内扫描仪RCS,并且随后可以使用由姿势追踪器120向处理器110报告的姿势追踪测量值来将在该位置处捕获的颌表面位置映射到颌RCS。
可以使姿势可追踪的追踪器工具在颌的表面的至少一部分之上移动,使得该姿势可追踪的追踪器工具的追踪器末端可以与颌的表面接触。当该追踪器末端的形状是已知的时,由姿势追踪器120记录的姿势可追踪的表面采样工具130的位置与该追踪器末端的一个特定部段有关。例如,当该追踪器末端具有球形形状时,姿势可追踪的表面采样工具130的位置(即,追踪器末端位置)可以与该追踪器末端的球形部段的中心有关。当该追踪器末端具有锥形圆锥形状时,圆锥的顶点可以被记录并且被假设为与末端表面的接触点。更一般地,追踪器工具上的在姿势可追踪的追踪器RCS中具有已知位置的某个位置可以被标记以用于与颌表面接触,然后可以被测量和记录以收集颌表面样本。
可以在人类颌与定位在图像RCS中的该颌的体积CT图像114的配准开始之前的任何时间执行口内扫描仪的捕获区域内的位置或追踪器末端位置的校准。
现在参考图2,其中示出了示例姿势可追踪的追踪器工具230的一部分。姿势可追踪的追踪器工具230包括追踪器末端232。如图2中所示出的,姿势可追踪的追踪器工具230的追踪器末端232可以是球形的。球形的追踪器末端232可以具有在大约0.5毫米至大约1.0毫米之间的范围内的半径。在一些实施方案中,该半径可以是大约0.75毫米。
追踪器末端232可以安装在弯曲的杆234上,类似于牙科研磨器工具。在其他实施方案中,追踪器末端232可以是圆锥形(针状物)追踪器末端(未示出),其实质上是具有接近0毫米的半径的球形追踪器末端。然而,圆锥形末端在实践中使用可能不太方便,因为维持与牙齿的面向不同方向的表面接触要求使追踪器末端来回滚动。同时,在用球体的不同侧触摸大范围的表面定向的同时,球形的追踪器末端可以被保持在大致相同的定向上。此外,尖锐的末端可能在末端不经意地接触患者的牙龈时给患者带来不必要的痛苦。
现在参考图3,其中示出了人类颌的体积CT图像114的视图图像300。体积CT图像114可以存储在存储器110中并且在计算设备(未示出)处的图形用户界面(GUI)中显示。视图图像300可以示出颌表面的外观的3D渲染图。在一些实施方案中,颌表面的渲染图300可以是沿着颌的中心线或脊曲线的数学上平坦的解剖的投影,格式在牙科学中被称为全景。在一些实施方案中,颌表面的视图300可以是从颌的前面、左侧和右侧的表面投影。如图3中所示出的,渲染图300是从颌的颊侧的颌的全景体积渲染图,描绘了两个颌的表面。
如图3中所示出的,2D渲染图300可以示出图像RCS中的颌的单独可识别的结构302、304、306、308、310、312、314、316、318、320、322和324。例如,单独的可识别结构可以是牙齿或与颌成刚性几何关系的物体,诸如人造冠、植入物、基牙或畸齿矫正硬件。常常可以在这样的结构的表面上选择“地标(landmark)”位置。本文中使用的术语“地标”指代在颌RCS和图像RCS中用户可以识别的、在小于大约5毫米的偏差内的、在颌表面上的位置。
当呈现有描绘颌的表面的体积CT图像114的一个或多个视图300时,用户可以使用诸如鼠标或触摸板的通信部件来使光标在该图像中所示出的颌表面之上移动。为了也能够在“深度”方向上看到光标的位置,在光标附近的小窗口342、344、346和348中示出了其在重新格式化的颊-舌截面图像上的位置。
为了选择和定义稍后在真实颌上将容易识别的一个或多个地标位置,用户可以指向并且点击体积CT图像114的2D渲染图300中的颌表面上的一个或多个地标。优选地,用户可以定义沿着颌尽可能远地隔开的地标。当用户点击地标时,截面窗口342、344、346和348可以在所选择的地标上方固定就位,用线示出该表面上的地标。通过选择地标,用户可以定义地标,并且可以将地标在图像RCS中的位置记录在存储器112中。
可以选择一个或多个地标并且将其存储为一个序列。当选择多个地标时,可以将多个所选择的地标存储为一个有索引的序列。在一些实施方案中,处理器110可以自动索引所述多个所选择的地标。如图3中所示出的,用户已经选择了三个牙齿310、314、322和植入物324上的地标,以将它们存储为分别具有如截面窗口342、344、346和348中所示出的索引1、2、3和4的地标。在一些实施方案中,用户可以决定将地标的数目限制到一个、两个或三个,或定义超过四个的附加的地标。
现在参考图4A和图4B,在流程图中示出了用于将人类颌与定位在图像参考坐标系中的该颌的体积计算机断层摄影图像配准的示例方法400。为了帮助方法400的描述,将同时参考图3、图5A至图5D、图6和图7。
在410处,将姿势可追踪的颌标记122刚性地附接到颌或与颌成刚性几何关系的结构,以建立姿势可追踪的颌RCS。可以在420之前的任何时间将姿势可追踪的颌标记122刚性地附接到颌。
在420处,使姿势可追踪的表面采样工具130在该颌的表面的至少一部分之上移动,同时操作姿势追踪器120和处理器110以记录该颌RCS中指示该颌的该表面的所述至少一部分内的位置的样本。可以根据来自处理器110的指令使姿势可追踪的表面采样工具130在该颌的该表面的所述至少一部分之上移动。更具体地,处理器110可以向用户显示存储的地标的序列中的第一地标。该第一地标可以被显示在体积CT图像114的2D渲染图300上。处理器110可以指示用户将姿势可追踪的表面采样工具130放置在真实颌上的与地标位置同源或对应的位置上。
指示了用户将姿势可追踪的表面采样工具130放置在真实颌上的同源的位置上之后,姿势追踪器120可以等待检测姿势可追踪的表面采样工具130在某个阈值时间段内位于静态位置。优选地,静态位置由姿势可追踪的表面采样工具130在大约2-3秒内保持在相同的一般位置来指示。在检测到姿势可追踪的表面采样工具130位于静态位置时,姿势追踪器120可以记录姿势可追踪的表面采样工具130的位置。替代地,用户可以通过操纵诸如脚踏板的开关或提供可由语音识别程序识别的语音命令明确地向处理器110发信号以记录地标位置。然后用户可以被提供有反馈信号,以开始追踪地标附近的颌表面。在一些实施方案中,用以开始追踪该颌表面的反馈信号可以是视觉信号。优选地,该反馈信号是听觉信号,以使得用户不看显示器也可以接收该信号。
为了追踪地标附近的颌表面,用户可以使姿势可追踪的表面采样工具130在地标附近的颌表面上沿着一个路径移动。当姿势可追踪的表面采样工具130沿着该路径移动时,姿势追踪器120可以收集或记录姿势可追踪的表面采样工具130的颌RCS中的位置的地标追踪样本,并且处理器110可以存储所述地标追踪样本。术语“地标追踪样本”指的是在用户使用姿势可追踪的表面采样工具130在地标附近的颌表面的区域之上追踪一个路径时由姿势追踪器120记录的、在颌RCS中的姿势可追踪的表面采样工具130的位置的序列。
在一些实施方案中,姿势追踪器120可以在追踪期间向用户提供反馈信号,以指示正在记录地标追踪样本。再次,该反馈信号优选地是听觉信号,以使得用户可以不看显示器也可以接收该信号。
沿着颌表面追踪的路径可以遍历多个牙齿、牙龈表面和/或除了牙齿以外的结构,诸如在牙龈已经升高以暴露骨表面之后的骨表面。通常,被遍历的颌表面在CT图像中表现为强边缘,如由截面342、344、346、348所例示的。
当追踪该颌表面时,姿势追踪器120可以确定姿势可追踪的表面采样工具130行进的总距离,因为最初检测到同源位置。在一些实施方案中,姿势追踪器120可以将行进的总距离与最小追踪距离的阈值进行比较。当姿势追踪器120确定行进的总距离超过最小追踪距离的阈值时,姿势追踪器120可以停止记录地标追踪样本和/或向用户提供反馈信号以指示行进的总距离是足够的。在一些实施方案中,姿势追踪器120可以提供反馈信号以指示行进的总距离是足够的,并且然后在终止记录地标追踪样本之前等待检测姿势可追踪的表面采样工具130位于静态位置。在一些实施方案中,姿势追踪器120可以停止记录地标追踪样本,而不顾姿势可追踪的表面采样工具130的移动。
该最小追踪距离的阈值可以具有任何适当的值。例如,该最小追踪距离可以是大约10厘米。在一些实施方案中,该最小追踪距离的阈值对于所有地标可以是相同的。在一些实施方案中,该最小追踪距离可以是地标特定的并且在定义地标时被定义。
如果定义了附加的地标,则处理器110可以指示用户追踪在每个附加的地标附近的颌表面。换言之,处理器110可以基于存储的地标的索引顺序来迭代通过存储的地标的序列的每个地标。对于每个地标,处理器110可以在CT图像114的2D渲染图300上显示该地标,指示用户将姿势可追踪的表面采样工具130放置在真实颌上的与该地标位置同源的位置上,并且记录姿势可追踪的表面采样工具130的位置,并且指示用户追踪在该地标附近的颌表面并且当使姿势可追踪的表面采样工具130移动时记录姿势可追踪的表面采样工具130的位置。
在一些实施方案中,每个地标与该颌的表面的不同部分有关。对在地标附近的颌表面的追踪生成该地标的地标追踪样本的子集,换言之,地标追踪。例如,三个地标可以导致地标追踪样本的三个子集。
在一些实施方案中,如果定义了不止一个地标,则姿势追踪器120可以包括附加的要求以确保将适当的结构标记为对应的地标的同源位置。例如,为了减少用户在颌表面上标记附加的地标时将牙齿误认为其邻居的可能性,姿势追踪器120可以仅在正被记录的位置与先前记录的地标的距离在图像RCS中的对应的距离的某个公差(例如,3毫米)内才启动附加的地标的记录。
如上文所提到的,当姿势可追踪的表面采样工具130是口内扫描仪时,由姿势追踪器120记录的姿势可追踪的表面采样工具130的位置可以与向口腔扫描仪的用户示出的动态捕获区域图像中的标记位置有关。因此,标记颌表面上的对应的地标的同源位置涉及定位口内扫描仪,使得该口内扫描仪的捕获区域内的已知位置大致对应于在图像114上标记的地标位置,并且可以在该口内扫描仪的该捕获区域内的该已知位置获得地标追踪样本。
如上所提到的,当姿势可追踪的表面采样工具130是姿势可追踪的追踪器工具时,由姿势追踪器120记录的姿势可追踪的表面采样工具130的位置可以与接触颌表面的追踪器末端位置有关。因此,颌表面上的对应的地标的同源位置可以涉及放置该追踪器末端与对应于在所述图像上标记的地标位置的位置接触。
如上文所描述的,处理器110可以在检测到姿势可追踪的表面采样工具130位于静态位置之后(换言之,在在颌RCS中标记或识别地标之后)记录地标追踪样本。在一些实施方案中,处理器110可以在在颌RCS中识别地标之前记录地标追踪样本。换言之,可以在追踪在地标附近的颌表面之后在颌RCS中识别地标。用户可以使姿势可追踪的表面采样工具130在地标附近的颌表面上沿着一个路径移动,并且然后保持在静态位置以指示地标位置。
当收集了所有地标和追踪样本时,方法400进行到430以开始配准。
在430处,操作处理器110以确定近似初始配准映射。在一些实施方案中,处理器110可以通过将在图像RCS中标记的地标位置与每个地标追踪的颌RCS位置对准来计算颌RCS和图像RCS之间的初始近似刚性配准映射。如上文所提到的,地标位置可以在一个地标追踪的开始处,或在一个地标追踪的结束处。
当操作处理器110以确定具有少于三个地标的近似初始配准映射时,可以基于颌相对于姿势可追踪的颌标记122的已知定向来估计用于映射的3D旋转的三个参数。可以操作处理器110以基于初始旋转映射和至少一个对应的位置来计算近似初始配准映射。
在一些实施方案中,从附加姿势可追踪的颌标记122的方式知道颌相对于姿势可追踪的颌标记122的定向。例如,当姿势可追踪的颌标记122安装在患者的头部上时,知道姿势可追踪的颌标记122相对于颌的定向。在一些实施方案中,可以使用追踪摄像机来检测面部特征(诸如,眼睛和嘴)相对于姿势可追踪的颌标记122的位置。然后,可以使用面部特征相对于姿势可追踪的颌标记122的位置来估计相对于姿势可追踪的颌标记122的颌定向。从图像标头的扫描参数知道颌在图像RCS中的向。可以通过将在颌RCS和图像RCS二者中的颌的三个解剖轴线(例如,左、前、脚)对准来估计用于近似初始配准映射的3D旋转的三个参数。
确定了用于3D旋转的三个参数之后,也可以估计3D转换的三个参数。特别地,可以从一个地标在图像RCS和颌RCS中的位置之间的偏移或差异,或两个地标在图像RCS和颌RCS中的位置之间的差异的平均值估计用于3D转换的三个参数。因此,可以用少于三个地标来确定近似配准映射。更具体地,可以用单个地标确定近似初始配准映射。
虽然可以用单个地标确定近似初始配准映射,但是标记附加的地标常常是期望的。通常,初始定向不能够被足够准确地估计。同样地,需要确保追踪遍历伸展开的多个颌表面区域,以增加最终的配准映射的可靠性或准确性。具有伸展开的不止三个地标可以使得能够从拍摄CT图像114的时间检测结构之间的相对移动。然而,增加地标的数目也增加了标记和追踪时间。同样地,患者可能不具有足够数目的待被标记的有效结构。
当操作处理器110以用三个或更多个地标确定近似初始配准映射时,可以使用诸如霍恩算法(Berthold K.P.Horn,Closed-form solution of absolute orientationusing unit quaternions",Journal of the Optical Society of America A,第4卷,第629-642页,1987年4月)的现有的方法来执行点对点地标配准。特别地,可以在被记录为颌RCS中的同源地标位置和图像RCS中的地标位置的姿势可追踪的表面采样工具130的位置之间执行点对点配准。
当姿势可追踪的表面采样工具130是姿势可追踪的追踪器工具时,可以使图像RCS中的、末端样本被配准到的位置偏移以考虑追踪器末端的形状。例如,当追踪器末端是球形的并且末端样本位置被记录在球体的中心时,在图像RCS中由用户标记的地标在与该地标处的图像梯度相反的方向上(朝向边缘的较暗的侧)偏移末端的半径,以在放置末端与颌RCS中的地标接触时,更好地与末端样本的位置对应。
在440处,操作处理器110以递增地调整配准映射,开始于430的近似初始配准映射。可以改善430的近似初始配准映射以提高刚性配准映射的配准准确性。可以通过迭代地调整映射的六个自由度(换言之,六个控制参数(即,用于旋转的三个参数和用于转换的三个参数))来递增地调整配准映射。可以基于在所有收集的地标追踪样本之上由边缘接近度函数(EPF)返回的边缘接近度(EP)值在440中调整配准映射。
现在参考图4B,其中示出了用于递增地调整配准映射的方法440的流程图。
在442处,操作处理器110以使用配准映射将地标追踪样本映射到图像RCS以提供映射的样本位置。
在444处,操作处理器110以基于对从映射的样本位置导出的多个图像位置处的图像值的分析来为每个映射的样本位置计算一个边缘接近度值。
在446处,操作处理器110以基于在映射的样本位置处的边缘接近度值来调整配准映射。
从映射的地标追踪样本在444处对多个图像位置处的图像值的分析可以与计算边缘接近度函数有关。在一些实施方案中,计算边缘接近度值可以包括多个图像位置处的图像梯度。
边缘接近度函数接收体积CT图像114和图像RCS中的地标追踪样本集合作为输入,并且确定标量EP值。在一些实施方案中,当姿势可追踪的表面采样工具130是姿势可追踪的追踪器工具时,边缘接近度函数也接收基于追踪器末端相对于图像RCS中的地标追踪样本的已知形状(换言之,追踪器末端样本位置到映射的表面的距离)(或其表示)的测量值作为输入。
边缘接近度函数与如下一个EP值有关,对于每个样本点,在保持其他样本点恒定时,该EP值在如下情况下增加:(a)姿势可追踪的追踪器工具的追踪器末端的表面或在使用配准映射从颌RCS映射到图像RCS的口内扫描仪的捕获区域内的已知位置更靠近体积CT图像114中的强边缘区域时,并且(b)当该强边缘区域的大小增大时。
当姿势可追踪的追踪器工具的追踪器末端的表面或每个地标追踪样本周围的口内扫描仪的捕获区域总的来说更靠近体积CT图像114中的颌表面的附近边缘时,并且当体积CT图像114中的颌表面的这些附近边缘的大小总的来说增大时,EP值的大小增大。因此,在446处,可以调整配准映射以使EP值最大化。
可以使用多种EPF阐述。图5A、图5B、图5C和图5D是例示了根据至少一个实施方案的边缘接近度函数的示例阐述的示意图。应注意,为了简单起见,图解500a、500b、500c和500d以二维计算来描绘。然而,本文所公开的EPF涉及三维计算。
图5A例示了EPF的一个实施例500a,该实施例具有邻域(neighbourhood)506,该邻域506包括围绕追踪器末端504的表面的搜索半径(SR)和地标追踪样本点(ti)502。例如,当追踪器工具的末端是球形形状时,追踪器末端504的表面可以由具有半径522的圆表示,并且地标追踪样本点502可以位于追踪器末端504的表面的中心处。
可以将阈值化应用于邻域506内的图像区域,以将该图像区域分离成亮区域和暗区域。在CT图像中,较暗的区域表示较低的密度。可以使用任何适当的阈值化。例如,Otsu阈值化可以将邻域506内的分离图像体素(voxel)的边界表面520定义为在阈值以下和在阈值以上。已知用于将小CT图像区域分割成亮子区域和暗子区域的许多其他方法。例如,当计算资源或时间的可用性允许时,可以使用考虑了梯度大小和分隔表面的平滑度的现有的分割方法来提高准确性。
在定义了边界表面520之后,可以选择表面520上的最接近地标追踪样本点(ti)502的点作为表面点(si)508。如图5A中所示出的,表面点(si)508a在由矢量512a即(ti-si)指示的方向上与追踪样本点(ti)502具有距离522。表面点(si)508a具有图像梯度510a。
在一些实施方案中,EPF可以被定义为所有追踪样本的总和,如在等式(1)中:
其中g(si)是si处的图像梯度大小;
d(ti,si)是接触距离函数;并且
C是常数。
可以以经验为主地选择常数C,以防止在接触距离在0附近时,为每个样本导出的值上升得过高。例如,C可以是0.5。
接触距离函数d(ti,si)可以表示为了使追踪器末端504的表面与表面点(si)508适当地接触而映射到图像RCS(ti)502的追踪器工具的追踪器末端需要平移的估计的距离530a。
如等式(1)中所示出的,EPF可以是图像梯度大小与接触距离函数的比率的和。在其他实施方案中,EPF可以是图像梯度大小与接触距离函数的比率的平均值。
由于预期姿势可追踪的表面采样工具130在在追踪器末端与高密度结构的表面之间的接触点处被追踪的高密度结构外部,因此预期图像梯度510a与追踪器末端530a的表面法线大致对准。换言之,预期图像梯度510径向远离追踪器末端504的中心指向。在数学上,图像梯度510a与追踪器末端530a的表面法线的对准由图像梯度510a和矢量512a之间的点积的符号指示。
图5A和图5B例示了实施例500a、500b,其中图像梯度510a、510b与矢量512a、512b之间的点积的符号为正,并且接触距离530a、530b可以在等式(2)中被计算如下:
d(ti,Si)=|(||ti-Si||-TR)| (2)
其中TR是姿势可追踪的追踪器工具的球形追踪器末端的半径。
图5C和5D例示了实施例500c、500d,其中图像梯度510c、510d和矢量512c、512d之间的点积的符号为负,并且接触距离530c、530d可以在等式(3)中被计算如下:
d(ti,Si)=||ti-Si||+TR (3)
图6是例示了根据至少一个实施方案的不太精确的边缘接近度函数的一个实施例600的示意图。然而,图6中所例示的EPF阐述可以是有利的,因为它是计算强度较低的,并且因此更适合于在使用图5A至图5D的EPF阐述的计算时间是不可接受的长的情况下使用。
类似于图5A至图5D,为了简单起见,实施例600例示了二维计算。然而,本文所公开的EPF涉及三维计算。另外,类似于图5A至图5D中所示的实施例,点502与地标样本点ti有关,并且圆504和506分别表示具有半径TR的球形追踪器末端的表面和围绕该追踪器末端的该表面的搜索半径SR。
在实施例600中,在多个方向上从502投射虚拟“射线”,其中在沿着每个射线的位置对图像值进行采样(使用插值)。图6例示了相隔45度投射八个射线602、612、622、632、642、652、662、672的平面。在3D中,类似的射线分布将导致26个各向同性射线。可以投射更多或更少数目的射线,以根据可用的计算能力和要求的准确性进行调整。
在沿着射线602的每个样本点606,从下一个样本点606处的值减去前一个样本604处的值,以导出投影在射线602上的局部梯度的估计PGM(投影梯度大小)。然后在PGM的绝对值最高的位置选择表面点si,并且然后如关于5A至5D所描述的那样计算接触距离函数d(ti,si),其中PGM的符号取代梯度510和矢量512之间的点积的符号。
图5A至5D和图6中所例示的EPF实施例采取球形追踪器末端。然而,可以使用其他非球形追踪器末端和捕获区域。然而,在这样的情况下,如果追踪器末端的形状不是对称的,则追踪器末端到图像RCS的映射需要包括追踪器末端的定向,并且需要相应地修改追踪器末端504的表面和搜索区域表面506。
在440中的优化迭代可以通过重复地执行在颌RCS中的地标追踪样本与在图像RCS中的它们的对应的最近的表面点si(图5A中的508a)之间的点对点配准直到EPF的值达到峰值为止来进行,或通过诸如梯度下降或单纯形(simplex)的其他已知的迭代优化方法来进行。可以顺序地或混杂地使用多种优化方法。
在一些实施方案中,当使用不止三个地标时,该系统可以评估每个地标追踪的配准映射的质量。该系统可以采用“留一(leave one out)”方法来检测地标追踪未被恰当地执行的情况或在拍摄图像的时间和外科手术之间被追踪的牙齿已经相对于颌的其余部分移动了的情况。该系统可以使用不具有此地标追踪的配准映射,和/或该系统可以通知用户以建议使地标移动到另一个结构或重复对该地标的追踪。
为了评估地标追踪的配准映射的质量,该系统可以为每个地标计算两个附加的配准映射:(1)从先前的(全局优化的)配准映射开始,仅使用地标追踪样本集对其进行进一步优化以产生局部优化的映射,以及(2)使用来自其他地标的互补地标追踪样本集来产生互补优化的映射。换言之,返回参考图4B,处理器110可以对于(1)诸如单个地标的地标追踪样本的子集的样本子集执行步骤442、444和446,以确定该地标的追踪特定的经调整的配准映射,以及(2)对于单个地标之外的所有剩余的样本子集执行步骤442、444和446,以确定互补的经调整的配准映射。
处理器110可以确定追踪特定的经调整的配准映射和互补的经调整的配准映射之间的差异。更具体地,然后可以计算图像RCS中的每个地标追踪在使用局部映射和使用互补优化映射所映射的地标追踪样本之间的平均偏移(距离)。
如果发现该偏移(距离)高于或超过最大阈值(例如,1.0毫米),则可能是路标追踪未被恰当地执行或在拍摄图像的时间和外科手术之间被追踪的牙齿相对于颌的其余部分移动了。然后,处理器110可以使用此地标的互补优化映射作为配准映射(即,系统可以使用不具有地标追踪的配准映射),和/或处理器110可以向用户发送识别导致追踪特定的经调整的配准映射超过最大阈值的样本子集的通知或警报,以及发送使该地标移动到另一个结构或重复对该地标的追踪的建议。
图7示出了根据至少一个实施方案的从使用配准方法映射到模型颌的3D渲染图视图的三个地标的表面收集的追踪样本的一个实施例700。特别地,在实施例700中,三个地标702、704和706中的每个的大约250个地标追踪样本被映射到模型颌。所述地标追踪样本在图7中被示出为小球体。诸如实施例700的映射在模型颌中的追踪样本可以启动随后的可选的质量评估步骤。
在另一个可选的质量评估步骤中,用户可以通过使姿势可追踪的追踪器工具的追踪器末端与颌表面(换言之,颌RCS中的颌结构)接触并且观察追踪器末端的位置是否被正确示出在图像RCS中来检查配准映射准确性。
牙科导航系统100可以将追踪器末端的中心映射到图像(参见例如,图5A中的502),确定该图像中的最近的表面点508,并且渲染图在既包括映射的末端502又包括最近的表面点508的平面上重新格式化的图像。
为了确定最近的表面点508,系统100可以使用与444的EPF算法中的计算相同的计算。换言之,系统100可以使用函数来检测通过配准映射映射到图像RCS的姿势可追踪的表面采样工具130的追踪器末端周围的区域中的图像值,以估计最可能表示最靠近追踪器末端的表面的颌表面位置的图像边缘位置。
然后系统100可以向用户呈现沿着既包含末端位置又包含图像边缘位置的平面重新格式化的图像。该重新格式化平面与追踪器末端形状的交叉点被示出为覆盖在该平面上,这使得用户能够视觉评估该表面位置的配准准确性。
现在参考图8,其中示出了用于评估配准准确性的示例图像切片800。图像切片800示出了人类颌的上切牙810和下切牙812。如图8中所示出的,追踪器末端的形状是球形的,由覆盖在该图像切片上的圆504指示,并且末端位置502被指示在圆504的中心处。图像切片800还例示了追踪器末端504的表面和最可能表示最靠近追踪器末端的表面的颌表面位置的图像边缘位置508之间的不准确间隙806。
为了易于用户查看,优选的是,重新格式化平面类似于熟悉的颊-舌视图。为了实现颊-舌视图,首先计算穿过末端的中心502的颊-舌视图平面,并且然后使该平面围绕穿过点502以包括点508的头部-脚定向的轴线旋转。可以对任何数目的颌表面迭代地执行此质量评估步骤。
本文仅通过实施例的方式描述了多个实施方案。在不脱离本发明的精神和范围的前提下,可以对这些示例实施方案做出多种改型和变体,本发明的精神和范围仅由所附权利要求来限制。
Claims (29)
1.一种用于将人类颌与定位在图像参考坐标系中并且存储在计算机可读存储器中的该颌的体积计算机断层摄影图像配准的方法,所述方法包括:
将姿势可追踪的颌标记刚性地附接到所述颌或与所述颌成刚性几何关系的结构,以建立姿势可追踪的颌参考坐标系;
使姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动,同时操作姿势追踪系统和计算机处理器以记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本;
操作计算机处理器以确定近似初始配准映射;然后
从所述近似初始配准映射开始,操作所述计算机处理器以通过以下方式递增地调整所述配准映射:
i)使用所述配准映射将所述样本映射到所述图像参考坐标系,以提供映射的样本位置,
ii)对于每个映射的样本位置,基于对从所述映射的样本位置导出的多个图像位置处的图像值的分析来计算边缘接近度值,以及
iii)基于所述映射的样本位置处的边缘接近度值来调整所述配准映射。
2.根据权利要求1所述的方法,其中计算所述边缘接近度值包括计算所述多个图像位置处的图像梯度。
3.根据权利要求1和2中任一项所述的方法,其中计算所述边缘接近度值包括:
分析从所述映射的样本位置导出的多个图像位置处的图像值,以选择图像位置;以及
计算从所选择的图像位置到从所述映射的样本位置导出的另一个图像位置的距离。
4.根据权利要求1至3中任一项所述的方法,其中所述姿势可追踪的表面采样工具包括口内扫描仪。
5.根据权利要求1至3中任一项所述的方法,其中所述姿势可追踪的表面采样工具是具有已知形状的追踪器末端的姿势可追踪的追踪器工具,并且使表面采样工具移动包括在所述颌的表面的至少一部分之上拖曳所述追踪器末端,使得所述追踪器末端接触所述颌的表面。
6.根据权利要求1至5中任一项所述的方法,其中:
所述方法还包括在所述图像参考坐标系和所述颌参考坐标系二者中标记至少一个对应的位置;以及
确定近似初始配准映射包括:
基于根据所述颌相对于所述颌标记的已知定向估计所述颌在所述颌参考坐标系中的定向,来计算初始旋转映射;以及
基于所述初始旋转映射和所述至少一个对应的位置来计算所述初始配准映射。
7.根据权利要求6所述的方法,当权利要求6从属于权利要求4时,其中:
所述方法还包括在所述图像上标记颌表面上的至少一个地标位置;
定位所述口内扫描仪,使得在所述口内扫描仪的捕获区域内的已知位置大致对应于在所述图像上标记的地标位置,并且获得在所述捕获区域内的所述已知位置处的样本位置;以及
确定近似初始配准映射是至少部分地基于在所述图像上标记的所述至少一个地标位置与在所述捕获区域内的所述已知位置处的所述样本位置之间的对应。
8.根据权利要求6所述的方法,其中:
所述方法还包括在所述图像上标记颌表面上的至少一个地标位置;
使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动开始于对应于在所述图像上标记的地标位置的位置;以及
确定近似初始配准映射是至少部分地基于在所述图像上标记的所述至少一个地标位置与在开始使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应。
9.根据权利要求6所述的方法,其中
所述方法还包括在所述图像上标记颌表面上的至少一个地标位置;
使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动结束于对应于在所述图像上标记的地标位置的位置;以及
确定近似初始配准映射是至少部分地基于在所述图像上标记的所述至少一个地标位置与在结束使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应。
10.根据权利要求7至9中任一项所述的方法,其中所述地标位置被标记在沿着所述颌的脊曲线在数学上平坦的颌表面的渲染图上。
11.根据权利要求1至10中任一项所述的方法,其中使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动包括使所述姿势可追踪的表面采样工具在所述颌的表面的至少三部分之上移动,使得所述样本包括至少三个样本子集,每个样本子集来自在所述颌的表面的至少三部分中的所述颌的表面的不同部分。
12.根据权利要求11所述的方法,其中操作所述计算机处理器以递增地调整所述配准映射进一步包括,对于每个样本子集:
操作所述计算机处理器以对于该样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定追踪特定的经调整的配准映射;
操作所述计算机处理器以对于所有剩余的样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定互补的经调整的配准映射;以及
确定所述追踪特定的经调整的配准映射与所述互补的经调整的配准映射之间的差异,并且当该差异超过最大阈值时,然后进一步操作所述计算机处理器以发送识别该样本子集的通知。
13.根据权利要求5至6和8至12中任一项所述的方法,当所述权利要求5至6和8至12中任一项从属于权利要求5时,所述方法还包括,在确定最终配准之后,执行视觉配准准确性检查,所述准确性检查包括:
放置所述追踪器末端与颌表面位置接触;
使用所述配准映射将所述追踪器末端映射到所述图像参考坐标系;
基于分析从所述追踪器末端的映射的表面导出的多个图像位置处的图像值,选择可能对应于最接近映射的追踪器末端表面的颌表面位置的图像位置;以及
显示例示所选择的图像位置和最靠近所选择的图像位置的映射的追踪器末端表面位置之间的间隙的图像。
14.根据权利要求5至6和8至13中任一项所述的方法,当所述权利要求5至6和8至13中任一项从属于权利要求5时,其中所述追踪器末端的形状是基本上球形的,并且在调整所述配准映射的步骤ii)中的所述边缘接近度值的计算中选择所述多个图像位置包括定义从所述追踪器末端的映射中心在不同方向上散发出的多个矢量并且选择沿着每个所述矢量的位置。
15.一种用于将人类颌与定位在图像参考坐标系中的该颌的体积计算机断层摄影图像配准的系统,所述系统包括:
姿势可追踪的颌标记,其能够刚性地附接到所述颌或与所述颌成刚性几何关系的结构,以建立姿势可追踪的颌参考坐标系;
姿势追踪器,用于追踪所述姿势可追踪的颌标记和姿势可追踪的表面采样工具的姿势;
计算机可读存储器,用于存储体积计算机图像;以及
计算机处理器,其操作性地耦合到所述计算机可读存储器和所述姿势追踪器,所述计算机处理器被配置用于:
在使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动的同时,记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本;
确定近似初始配准映射;然后
从所述近似初始配准映射开始,通过以下方式递增地调整所述配准映射:
i)使用所述配准映射将所述样本映射到所述图像参考坐标系,以提供映射的样本位置,
ii)对于每个映射的样本位置,基于对从所述映射的样本位置导出的多个图像位置处的图像值的分析来计算边缘接近度值,以及
iii)基于所述映射的样本位置处的边缘接近度值来调整所述配准映射。
16.根据权利要求15所述的系统,其中所述计算机处理器被配置用于计算所述边缘接近度值包括所述计算机处理器被配置用于计算所述多个图像位置处的图像梯度。
17.根据权利要求15和16中任一项所述的系统,其中所述计算机处理器被配置用于计算所述边缘接近度值包括所述计算机处理器被配置用于:
分析从所述映射的样本位置导出的多个图像位置处的图像值,以选择图像位置;以及
计算从所选择的图像位置到从所述映射的样本位置导出的另一个图像位置的距离。
18.根据权利要求15至17中任一项所述的系统,还包括所述姿势可追踪的表面采样工具。
19.根据权利要求15至18中任一项所述的系统,其中所述姿势可追踪的表面采样工具包括口内扫描仪。
20.根据权利要求15至18中任一项所述的系统,其中:
所述姿势可追踪的表面采样工具包括具有已知形状的追踪器末端的姿势可追踪的追踪器工具,所述追踪器末端用于在使所述姿势可追踪的表面采样工具移动时与所述颌的表面接触;并且
所述计算机可读存储器还存储所述追踪器末端的形状。
21.根据权利要求15至20中任一项所述的系统,其中:
所述计算机处理器还被配置用于接收所述图像参考坐标系和颌参考坐标系二者中的至少一个对应的位置;以及
所述计算机处理器被配置用于确定近似初始配准映射包括所述计算机处理器被配置用于:
基于根据所述颌相对于所述颌标记的已知定向估计所述颌在所述颌参考坐标系中的定向,来计算初始旋转映射;以及
基于所述初始旋转映射和所述至少一个对应的位置来计算所述初始配准映射。
22.根据权利要求21所述的系统,当权利要求21从属于权利要求19时,其中所述计算机处理器还被配置用于:
接收在所述图像上的颌表面上的至少一个地标位置;
当所述口内扫描仪被定位使得在捕获区域内的已知位置大致位于在所述图像上标记的地标位置处时,接收在所述口内扫描仪的捕获区域内的已知位置处的样本位置;以及
至少部分地基于在所述图像上标记的至少一个地标位置与在所述捕获区域内的已知位置处的样本位置之间的对应,确定近似初始配准映射。
23.根据权利要求21所述的系统,其中所述计算机处理器还被配置用于:
接收在所述图像上的颌表面上的至少一个地标位置;
当在对应于在所述图像上标记的地标位置的位置开始使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动时,接收样本位置;以及
至少部分地基于在所述图像上标记的至少一个地标位置与在开始使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应,确定近似初始配准映射。
24.根据权利要求21所述的系统,其中所述计算机处理器还被配置用于:
接收在所述图像上的颌表面上的至少一个地标位置;
当在对应于在所述图像上标记的地标位置的位置停止使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动时,接收样本位置;以及
至少部分地基于在所述图像上标记的至少一个地标位置与在结束使所述姿势可追踪的表面采样工具移动时记录的样本位置之间的对应,确定近似初始配准映射。
25.根据权利要求22和24中任一项所述的系统,其中所述地标位置被标记在沿着所述颌的脊曲线在数学上平坦的颌表面的渲染图上。
26.根据权利要求15至25中任一项所述的系统,其中所述计算机处理器被配置用于在使所述姿势可追踪的表面采样工具在所述颌的表面的至少一部分之上移动的同时记录所述颌参考坐标系中指示在所述颌的表面的所述至少一部分内的位置的样本包括所述计算机处理器被配置用于记录所述颌参考坐标系中指示所述颌的表面的至少三部分的样本,使得所述样本包括至少三个样本子集,每个样本子集来自在所述颌的表面的至少三部分中的所述颌的表面的不同部分。
27.根据权利要求26所述的系统,其中所述计算机处理器被配置用于递增地调整所述配准映射进一步包括,对于每个样本子集:
对于该样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定追踪特定的经调整的配准映射;
对于所有剩余的样本子集执行步骤i)至步骤iii),以调整所述配准映射来确定互补的经调整的配准映射;以及
确定所述追踪特定的经调整的配准映射与所述互补的经调整的配准映射之间的差异,并且当该差异超过最大阈值时,然后进一步所述计算机处理器还被配置用于发送识别该样本子集的通知。
28.根据权利要求20至21和23至27中任一项所述的系统,当所述权利要求20至21和23至27中任一项从属于权利要求20时,所述系统还包括,所述计算机处理器被配置用于在确定最终配准之后,执行视觉配准准确性检查,所述准确性检查包括:
当追踪器末端与颌表面位置接触时接收所述追踪器末端;
使用所述配准映射将所述追踪器末端映射到所述图像参考坐标系;
基于分析从所述追踪器末端的映射的表面导出的多个图像位置处的图像值,选择可能对应于最接近映射的追踪器末端表面的颌表面位置的图像位置;以及
显示例示了所选择的图像位置和最靠近所选择的图像位置的映射的追踪器末端表面位置之间的间隙的图像。
29.根据权利要求20至21和23至28中任一项所述的系统,当所述权利要求20至21和23至28中任一项从属于权利要求20时,其中所述追踪器末端的形状是基本上球形的,并且所述计算机处理被配置用于在调整所述配准映射的步骤ii)中的所述边缘接近度值的计算中选择所述多个图像位置包括所述计算机处理被配置用于定义从所述追踪器末端的映射中心在不同方向上散发出的多个矢量并且选择沿着每个所述矢量的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762533905P | 2017-07-18 | 2017-07-18 | |
US62/533,905 | 2017-07-18 | ||
PCT/CA2018/050864 WO2019014759A1 (en) | 2017-07-18 | 2018-07-17 | ALIGNMENT BASED ON THE SURFACE OF A JAW |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110913789A CN110913789A (zh) | 2020-03-24 |
CN110913789B true CN110913789B (zh) | 2022-08-26 |
Family
ID=65014916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880048016.6A Active CN110913789B (zh) | 2017-07-18 | 2018-07-17 | 基于颌表面的配准 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10410363B2 (zh) |
CN (1) | CN110913789B (zh) |
CA (1) | CA3064956A1 (zh) |
WO (1) | WO2019014759A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11389131B2 (en) | 2018-06-27 | 2022-07-19 | Denti.Ai Technology Inc. | Systems and methods for processing of dental images |
US11676701B2 (en) | 2019-09-05 | 2023-06-13 | Pearl Inc. | Systems and methods for automated medical image analysis |
US10984529B2 (en) * | 2019-09-05 | 2021-04-20 | Pearl Inc. | Systems and methods for automated medical image annotation |
US11055789B1 (en) | 2020-01-17 | 2021-07-06 | Pearl Inc. | Systems and methods for insurance fraud detection |
US10898298B1 (en) | 2020-04-08 | 2021-01-26 | Oxilio Ltd | Systems and methods for determining orthodontic treatment |
US11776677B2 (en) | 2021-01-06 | 2023-10-03 | Pearl Inc. | Computer vision-based analysis of provider data |
CN114027828B (zh) * | 2021-12-15 | 2024-09-06 | 杭州柳叶刀机器人有限公司 | 膝关节间隙测量方法、装置、终端设备和可读存储介质 |
CN117243627B (zh) * | 2023-11-16 | 2024-02-09 | 有方(合肥)医疗科技有限公司 | Cbct图像的处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3693257A (en) * | 1969-02-03 | 1972-09-26 | Josephus Schreinemakers | Method and element to determine the correct depth of the lingual rim of a bite plate during the construction of a denture for a toothless mandible, or to check the correctness of the depth of the lingual rim of a lower denture |
WO2008083874A2 (de) * | 2007-01-11 | 2008-07-17 | Sicat Gmbh & Co. Kg | Bildregistrierung |
CN103494653A (zh) * | 2013-10-17 | 2014-01-08 | 福州大学 | 一种牙颌生长发育规律的数字化测量方法 |
CN104434319A (zh) * | 2014-12-18 | 2015-03-25 | 上海交通大学医学院附属第九人民医院 | 手术导航系统中游离骨块的实时示踪方法 |
EP3094255A1 (en) * | 2014-01-15 | 2016-11-23 | Claronav Inc. | Dental appliance with a registration fiducial |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7080979B2 (en) * | 2001-04-13 | 2006-07-25 | Orametrix, Inc. | Method and workstation for generating virtual tooth models from three-dimensional tooth data |
WO2012068679A1 (en) | 2010-11-23 | 2012-05-31 | Claron Technology Inc. | Method and apparatus for automated registration and pose tracking |
US9402691B2 (en) | 2014-09-16 | 2016-08-02 | X-Nav Technologies, LLC | System for determining and tracking movement during a medical procedure |
US10463321B2 (en) | 2014-12-08 | 2019-11-05 | Claronav Inc. | Appliance for dental navigation |
US11510638B2 (en) | 2016-04-06 | 2022-11-29 | X-Nav Technologies, LLC | Cone-beam computer tomography system for providing probe trace fiducial-free oral cavity tracking |
-
2018
- 2018-07-17 CA CA3064956A patent/CA3064956A1/en active Pending
- 2018-07-17 CN CN201880048016.6A patent/CN110913789B/zh active Active
- 2018-07-17 US US16/037,517 patent/US10410363B2/en active Active
- 2018-07-17 WO PCT/CA2018/050864 patent/WO2019014759A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3693257A (en) * | 1969-02-03 | 1972-09-26 | Josephus Schreinemakers | Method and element to determine the correct depth of the lingual rim of a bite plate during the construction of a denture for a toothless mandible, or to check the correctness of the depth of the lingual rim of a lower denture |
WO2008083874A2 (de) * | 2007-01-11 | 2008-07-17 | Sicat Gmbh & Co. Kg | Bildregistrierung |
CN103494653A (zh) * | 2013-10-17 | 2014-01-08 | 福州大学 | 一种牙颌生长发育规律的数字化测量方法 |
EP3094255A1 (en) * | 2014-01-15 | 2016-11-23 | Claronav Inc. | Dental appliance with a registration fiducial |
CN104434319A (zh) * | 2014-12-18 | 2015-03-25 | 上海交通大学医学院附属第九人民医院 | 手术导航系统中游离骨块的实时示踪方法 |
Also Published As
Publication number | Publication date |
---|---|
US10410363B2 (en) | 2019-09-10 |
WO2019014759A8 (en) | 2019-04-18 |
US20190026910A1 (en) | 2019-01-24 |
WO2019014759A1 (en) | 2019-01-24 |
CA3064956A1 (en) | 2019-01-24 |
CN110913789A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110913789B (zh) | 基于颌表面的配准 | |
JP7289026B2 (ja) | ハイブリッドメッシュセグメンテーションのための方法及び装置 | |
US11191508B2 (en) | Methods, systems, apparatuses, and computer programs for processing tomographic images | |
KR101878467B1 (ko) | 3차원 치아 영상 데이터와 광학식 스캔 치아 모델의 선택적 정합 방법, 장치 및 프로그램 | |
US11058514B2 (en) | Method and system for dentition mesh braces removal | |
US10339649B2 (en) | Method and system for hybrid mesh segmentation | |
JP5849048B2 (ja) | 側弯症評価のための三次元(3d)超音波撮像システム | |
US20170135655A1 (en) | Facial texture mapping to volume image | |
US11045290B2 (en) | Dynamic dental arch map | |
WO2017144934A1 (en) | Guided surgery apparatus and method | |
JP2020516335A (ja) | 動的歯列弓マップ | |
US20220012888A1 (en) | Methods and system for autonomous volumetric dental image segmentation | |
US20220068039A1 (en) | 3d segmentation for mandible and maxilla | |
CN111937038B (zh) | 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪 | |
CN110074810A (zh) | 在全景、计算机化断层摄影或头影测量x射线成像中校正对象的运动的便携式咬合部件 | |
Enciso et al. | Precision, repeatability and validation of indirect 3D anthropometric measurements with light-based imaging techniques | |
EP4404139A1 (en) | Method and system for aligning 3d representations | |
Chaoui et al. | Virtual movements-based calibration method of ultrasound probe for computer assisted surgery | |
BAOPING | Registration of multimodal dental and facial images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |