CN116725662B - 一种基于二维影像的骨折手术规划方法、设备及可存储介质 - Google Patents

一种基于二维影像的骨折手术规划方法、设备及可存储介质 Download PDF

Info

Publication number
CN116725662B
CN116725662B CN202311011873.8A CN202311011873A CN116725662B CN 116725662 B CN116725662 B CN 116725662B CN 202311011873 A CN202311011873 A CN 202311011873A CN 116725662 B CN116725662 B CN 116725662B
Authority
CN
China
Prior art keywords
coordinate system
image
space
registration
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311011873.8A
Other languages
English (en)
Other versions
CN116725662A (zh
Inventor
鲁通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weizhuo Zhiyuan Medical Technology Co ltd
Original Assignee
Visual3d Medical Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual3d Medical Technology Development Co ltd filed Critical Visual3d Medical Technology Development Co ltd
Priority to CN202311011873.8A priority Critical patent/CN116725662B/zh
Publication of CN116725662A publication Critical patent/CN116725662A/zh
Application granted granted Critical
Publication of CN116725662B publication Critical patent/CN116725662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108Computer aided selection or customisation of medical implants or cutting guides

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种基于二维影像的骨折手术规划方法、设备及可存储介质,涉及智能医疗领域。所述方法包括:基于红外光定位系统构建三维的空间定位坐标系;基于影像拍摄装置构建二维的影像坐标系;基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置。本发明方法使用配准装置对三维坐标系进行空间坐标的矫正,准确捕获患者骨折部位、置入器械和配准装置的空间位置,为手术规划提供准确的基础数据,帮助医生更好地评估手术风险和手术难度,提高手术的准确性和安全性。

Description

一种基于二维影像的骨折手术规划方法、设备及可存储介质
技术领域
本发明属于智能医疗领域,更具体地,涉及一种基于二维影像的骨折手术规划方法、设备、计算机可读存储介质及其应用。
背景技术
传统的骨折手术存在许多问题,主要包括以下两点:一是在术前手术规划和术中手术实施过程中,都依赖于医生对骨折部位的熟悉和丰富的临床经验;二是许多骨折部位对医生来讲都是不透明的,造成手术过程复杂,手术创伤大且手术后的恢复时间长。随着科技的进步,骨折手术逐步朝着精密化和微创化发展。近年来,计算机技术、精密仪器和数字图像处理技术等得到了快速的发展,计算机辅助手术(Computer Aided Surgery, CAS)走上了历史舞台。
CAS利用当今医学领域的先进成像设备,如MRI、CT得到患者的多模式图像数据,在计算机的帮助下,对图像数据进行处理如图像分割、图像融合和三维重建等,再根据医生的临床经验以及术前对骨折部位的结构分析,制定合理、定量和微创的手术方案,进行手术模拟,并在适当的图像监控和立体定位装置下,利用相关的引导系统来实施手术。CAS已广泛应用于神经外科、整形外科、骨科、耳鼻喉科等。
医学成像设备发展迅速,但是,我国在高端数字化医疗设备的研发领域极其薄弱,影像处理技术落后,多模态影像融合或应用特殊类型医学影像技术等均需要补充与完善,缺少独立知识产权和自主创新技术,民族品牌产品的市场占有量低,未来需求日益增强,迫切需求技术先进而价格合适的国产化医学成像设备。
发明内容
本申请基于影像获取装置构建二维的影像坐标系,基于红外光定位系统构建三维的空间定位坐标系,所述空间定位坐标系基于配准装置进行矫正,并建立与影像坐标系的映射关系,进一步将患者骨折部位影像在二维的显示屏上输出,为医生的手术规划提供高分辨率、准确可靠的参考,提高了手术规划的安全性与准确性。
本发明公开一种基于二维影像的骨折手术规划方法,所述方法包括:
基于红外光定位系统构建三维的空间定位坐标系,获取患者骨折部位、置入器械、配准装置的空间位置;
基于影像拍摄装置构建二维的影像坐标系,获取患者骨折部位正位、侧位影像,所述正位、侧位影像中含有配准装置的二维影像;
基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置。
进一步,所述方法还包括基于患者骨折部位和置入器械在影像坐标系中的相对位置,规划置入器械的运动路径。
进一步,所述患者骨折部位、置入器械、配准装置的空间位置是采用红外光定位系统捕获的,具体为:所述患者骨折部位、置入器械、配准装置均连接有参考架,所述参考架上具有光学追踪小球,所述光学追踪小球被所述红外光定位系统捕获,进而获得患者骨折部位、置入器械、配准装置在三维的空间定位坐标系的空间位置。
进一步,所述配准装置固定在用于拍摄患者骨折部位正位、侧位影像的影像拍摄装置上,所述配准装置上具有配准小球,拍摄患者骨折部位正位、侧位影像时,得到含有配准小球的二维影像。
进一步,所述配准小球为N小球,每两个或三个小球相连时构成M条连线,M条连线的延长线在不同平面上交汇于一点,其中N、M为大于4的自然数整数,且N大于M。
进一步,所述配准小球为N小球,分布在至少2个相对的平面上,一个平面上小球相连时构成的连线的延长线和另一个平面上小球相连时构成的连线的延长线交汇于一点,和/或不同平面上小球相连时构成的连线的延长线交汇成不同方向上的数个点,其中N大于4的自然数整数。
进一步,所述配准装置上具有配准小球和光学追踪小球,所述光学追踪小球在所述空间定位坐标系中具有空间坐标,所述配准小球在所述影像坐标系中具有影像坐标,所述光学追踪小球和所述配准小球具有固定的空间位置关系,基于所述空间坐标、所述影像坐标和所述空间位置关系构建所述空间定位坐标系与所述影像坐标系之间的映射关系,通过所述映射关系将置入器械的实时空间坐标映射至影像坐标系内。
一种基于二维影像的骨折手术规划系统,所述系统包括:
光学定位单元,用于基于红外光定位系统构建三维的空间定位坐标系,获取患者骨折部位、置入器械、配准装置的空间位置;
图像采集单元,用于基于影像拍摄装置构建二维的影像坐标系,获取患者骨折部位正位、侧位影像,所述正位、侧位影像中含有配准装置的二维影像;
图像配准单元,用于基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置。
一种基于二维影像的骨折手术规划设备,所述设备包括存储器和处理器;
所述存储器用于存储程序指令;
所述处理器用于调用程序指令,当程序指令被执行时,用于执行上述的基于二维影像的骨折手术规划方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的基于二维影像的骨折手术规划方法。
本发明的优点:
1.本发明通过红外光定位系统构建三维的空间定位坐标系,使用配准装置构建的三维坐标系进行空间坐标的矫正,能够准确捕获患者骨折部位、置入器械和配准装置的空间位置,为手术规划提供准确的基础数据,提高手术的准确性。
2.本发明基于配准装置建立空间定位坐标系和影像坐标系之间的空间位姿转换关系,可以将置入器械的空间坐标映射到影像坐标系内,从而在影像上准确显示患者骨折部位和置入器械的相对位置,简化手术过程,提高手术效率。
3.本发明提供的基于二维影像的骨折手术规划方法可以在术前与术中获取患者骨折部位和置入器械的相对位置,帮助医生更好地评估手术风险和手术难度,避免手术中意外情况的发生,提高手术的安全性。
4.本发明提供的基于二维影像的骨折手术规划方法可以将三维空间的信息转换到二维影像,进一步显示在显示屏上,为医生提供直观的骨折手术路径规划图,帮助医生更好地理解和分析患者骨折情况,提高手术的精确性和可控性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他的附图。
图1是一种本发明实施例提供的基于二维影像的骨折手术规划方法流程示意图;
图2是一种本发明实施例提供的基于二维影像的骨折手术规划设备示意图;
图3是一种本发明实施例提供的基于二维影像的骨折手术规划系统示意图;
图4是一种本发明实施例提供的配准装置结构立体示意图;
图5是一种本发明实施例提供的配准装置结构俯视图;
图6是一种本发明实施例提供的配准装置结构底视图;
图7是一种本发明实施例提供的配准装置结构侧视图;
图8是一种本发明实施例提供的基于二维影像的骨折手术规划方法中TAD顶点计算方法示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S101、S102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获取的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的一种基于二维影像的骨折手术规划方法,包括:
S101:基于红外光定位系统构建三维的空间定位坐标系,获取患者骨折部位、置入器械、配准装置的空间位置。
在一个实施例中,所述患者骨折部位、置入器械、配准装置的空间位置是采用红外光定位系统捕获的,具体为:所述患者骨折部位、置入器械、配准装置均连接有参考架,所述参考架上具有光学追踪小球,所述光学追踪小球被所述红外光定位系统捕获,进而获得患者骨折部位、置入器械、配准装置在三维的空间定位坐标系的空间位置。
在一个实施例中,所述配准装置固定在用于拍摄患者骨折部位正位、侧位影像的影像拍摄装置上,所述配准装置上具有配准小球,拍摄患者骨折部位正位、侧位影像时,得到含有配准小球的二维影像。
在一个实施例中,所述配准装置上具有配准小球和光学追踪小球,所述光学追踪小球在所述空间定位坐标系中具有空间坐标,所述配准小球在所述影像坐标系中具有影像坐标,所述光学追踪小球和所述配准小球具有固定的空间位置关系,基于所述空间坐标、所述影像坐标和所述空间位置关系构建所述空间定位坐标系与所述影像坐标系之间的映射关系,通过所述映射关系将置入器械的实时空间坐标映射至影像坐标系内。
在一个实施例中,所述空间定位坐标系与所述影像坐标系之间的映射关系采用的为ICP算法,是一种刚性配准算法,且是手术导航领域应用最为广泛的算法。
刚性配准算法是一种将两个或多个图像或点云进行对齐的方法,它假设变换是刚性的,即不发生形变和缩放。刚性变换包括平移、旋转和镜像。刚性配准算法的目标是找到最佳的变换参数,使得两个或多个图像或点云的特征点或特征区域能够最好地对齐。
ICP算法的本质是基于最小二乘法最小化目标函数。该算法首先假设一个初始的位姿变换矩阵,然后通过最近邻方法匹配对应点对,计算两个点云的最优刚体变换矩阵(即求得最合适的旋转参数R和平移参数T),最后反复迭代直至满足精度误差要求。
在一个具体实施例中,配准装置命名为V-spots,V-spots的空间结构如图4所示,其上分布有4个光学追踪小球和12个配准小球。图5-图7依次展示了V-spots的俯视图、底视图与侧视图,所述12个配准小球在C臂拍摄的正位、侧位影像中均具有相应的二维影像坐标。
在一个实施例中,所述配准小球为N小球,每两个或三个小球相连时构成M条连线,M条连线的延长线在不同平面上交汇于一点,其中N、M为大于4的自然数整数,且N大于M。
在一个实施例中,所述配准小球为N小球,分布在至少2个相对的平面上,一个平面上小球相连时构成的连线的延长线和另一个平面上小球相连时构成的连线的延长线交汇于一点,和/或不同平面上小球相连时构成的连线的延长线交汇成不同方向上的数个点,其中N大于4的自然数整数。
在一个具体实施例中,所述V-spots包括承接板、配准小球和光学追踪小球,配准小球包含用于确定影像三维坐标系的点;光学追踪小球,与配准小球存在确认位置关系,用于被红外光定位系统识别;
通过影像设备同时拍摄所述标定器械与患者需要拍摄的位置,通过配准小球确定的坐标系,并根据坐标系确定真实患者影像图像在坐标系中的位置;通过红外光定位系统识别光学追踪小球在红外光定位系统中的位置,并根据光学追踪小球与标识结构的点的关系,配准影像图像的坐标系与红外光定位系统的坐标系,使两者坐标系统一。
通过此种方式可以快速地将真实患者影像图像位置与红外光定位系统中的坐标系统进行配准,减少配准的难度。提高后续根据影像图像设置导向路径的精准度,保证操作器械随红外光定位系统进入时可以随导向路径进入,减少误差。
配准小球包括有设置在承接板不同空间的点;点设置在两个不同的空间平面内;每个空间平面的点的数目相同,但空间设置不同,一个空间平面内呈现两列,及至少两行点;沿着横向,纵向,垂直向将同一空间同一位置的点构建直线,构建呈3组直线,每组直线汇集呈一个汇集点,3个汇集点在同一坐标系的坐标轴上。通过此种方式可以很好构建成一个确定的坐标系被影像设备识别。当随真实患者拍摄时,可以清楚知晓患者的真实影像图像坐标位置;并将患者的真实影像图像坐标位置与被配准小球对应,实现影像图像坐标与红外光定位系统坐标的配准。
一种配准小球对应的点的实施方式,承接板一端包括两侧板,分别为第一侧板与第二侧板;第一侧板与第二侧板通过连接结构连接,优选通过连接横板连接,第一侧板与第二侧板上设置配准小球的点;第一侧板上设置两列点,每列设置最少2个点且每列点数相同;另一个侧板也设置两列点,每列设置最少2个点且每列点数相同;具体实施时为每个侧板设置两列4点或2列6点,两列6点的方式效果更好。上述点以列,以排及以两侧板间相同位置点,分别构成直线,每个三维方向上的直线汇集成一个点,3个三维方向形成3个在同一坐标系的坐标轴上的3个点;通过3个点有效构建坐标系。
更优选的实施方式,在未连接第一侧板与第二侧板的连接横板下方设置连接板,将连接板固定到过渡的实施例1所述的固定器械上,固定器械的配准结合件与承接板的连接板连接,控制承接板位置不变。此种方式可以有效地实现承接板的固定。
具体为:第一侧板与第二侧板的每列点设置在1条直线上,共形成4条线,4条线能够在一个点实现汇集,此点为第一汇集点;
第一侧板或第二侧板的每列点按照纵向位置与内外侧位置定义为内侧第一点,外侧第一点,内侧第二点与外侧第二点;
其中,第一侧板上的内侧第一点与外侧第一点构成一条直线,内侧第二点与外侧第二点构成一条直线,第二侧板上也对应形成两条直线,形成4条直线,或者,当每列存在3条直线时,形成6条直线,所有直线在一个点实现汇集,此点为第二汇集点;
其中,第一侧板的内侧第一点与第二侧板的内侧第一点形成一条直线,第一侧板的外侧第一点与第二侧板的外侧第一点形成一条直线,第一侧板的内侧第二点与第二侧板的内侧第二点形成一条直线,第一侧板的外侧第二点与第二侧板的外侧第二点形成一条直线;形成4条直线,或者当每列存在3条直线时,形成6条直线;所有直线在一个点实现汇集,此点为第三汇集点;
第一汇集点、第二汇集点与第三汇集点设置在同一坐标系的3个坐标轴上,通过此种方式构建坐标系,进而能够确定影像图像的位置点,也能知晓光学追踪小球的位置坐标情况;进而能够在光学追踪小球被红外光定位系统识别后,将影像图像的位置点与红外光定位系统的坐标配准,保证对影像图像的路径设置及跟踪的坐标统一。
更优选的实施方式为,承接板的另一侧设置光学追踪小球,可以避免拍摄时的干扰及影响。光学追踪小球为能够被红外光定位系统识别的至少三个圆板型识别结构,或者为NDI小球。
更优选的实施方式为,配准小球包括能够及被影像设备拍摄的小球,一个小球对应一个点;小球为小钢球,小钢球容易被影像设备拍摄。
更优选的实施方式为:承接板的第一侧板与第二侧板为不等大且不平行的梯形侧板,第一侧板较第二侧板大,连接第一侧板与第二侧板的连接横板也为梯形板;最终自上下方,左右方及前后方分别观看,用于承接标识结构的承接板部分都为梯形形状。此种形状设置可以有效的在不同空间设置点,形成3个汇集点,构建呈一个有效的坐标系。
更优选的实施方式为,第一侧板较第二侧板大,且第一侧板的投影完全覆盖第二侧板的投影。
更优选的实施方式为:为了实现上述的交汇效果,同一侧板的两列点的上下两点的高度位置并不相同,一列点的投影包含另一列点的投影。此种设置方式为一种有效的汇集设置方式。
在基于二维影像的骨折手术规划方法中,为了按照影像坐标系中的手术规划引导置入器械准确到达病灶靶点,必须将置入器械顶点的坐标信息通过一系列的坐标系转换映射到影像坐标系中,进而在影像坐标系中实时显示。导航方法中坐标转换的过程涉及三个不同的坐标系(包括两个三维空间坐标系和一个二维坐标系):
第一空间定位坐标系,以追踪标定工具(红外光学追踪小球)的全局坐标系系统,主要用于描述置入器械、患者、C臂与追踪标定工具的相对关系,并用以获得置入器械、患者、C臂的第一空间坐标。
第二空间定位坐标系,由V-spots构建的全局坐标系统,用来对第一空间定位坐标系进行矫正,避免第一空间定位坐标系存在系统误差。
影像坐标系,以医学影像为参照的坐标系统,此坐标系的生成和定义与C臂相关,空间定位坐标系的映射及可视化实时检测置入器械位姿都是在这个坐标系统进行的。
基于二维影像的骨折手术规划方法中三个坐标系之间的坐标转换关系并实时地应用于导航过程是该导航的关键技术。具体的转换过程如下:
1.术前将置入器械固定在对应的追踪工具上,通过红外光定位系统捕获追踪工具,进一步确定置入器械在第一空间定位坐标系中的坐标。
2.所述V-spots的光学追踪小球还具有锥度,所述锥度散发的射线在空间中汇集成三点;基于所述三点构建第二空间定位坐标系;基于所述配准小球在所述第一空间定位坐标系中的第一空间坐标和其在所述第二空间定位坐标系中的第二空间坐标构建变换关系,通过所述变换关系实现所述第一空间定位坐标系与所述第二空间定位坐标系之间的数据对齐。
3.所述V-spots的光学追踪小球在所述第一空间定位坐标系中具有空间坐标,在所述影像坐标系中具有影像坐标,基于所述空间坐标与所述影像坐标构建所述第一空间定位坐标系与所述影像坐标系之间的映射关系,在手术导航过程中,通过所述映射关系将置入器械的实时空间坐标映射至影像坐标系内。
这样以红外光定位系统和追踪工具为纽带,通过上述一次坐标配准和一次坐标映射,获得任意时刻置入器械顶点在影像坐标系中的坐标信息,并通过正位、侧位两张影像加以显示,从而实现对手术的实时引导。基于二维影像的骨折手术规划方法把患者术前医学影像数据和术中手术的实际部位通过光学定位装置联系起来,能够准确地显示患者病灶与置入器械之间的位置细节。
所述置入器械和配准装置所处的空间定位坐标系是由红外光学定位系统构建,具体为:由红外相机和带有光学追踪小球的光学追踪定位装置组成红外光学定位系统,由所述红外光学定位系统构建空间定位坐标系,所述光学追踪定位装置分别安装在患者、置入器械、影像拍摄装置、配准装置上,所述红外相机通过识别所述带有光学追踪小球的光学追踪定位装置实时追踪患者、置入器械、影像拍摄装置、配准装置在所述空间定位坐标系中的空间坐标。
在一个具体实施例中,红外光定位系统采用高精度高速双目立体摄像机观察被动或主动目标,然后利用定位算法集散出目标在定位坐标系的空间位置,并由此进一步计算医疗器械的位姿信息。光学定位装置典型的设备包括Northern Digital Inc.(NDI)的Optotrak3020、Polaris、Boulder的Flashpoint5000、Ascension的3D Guidance、Vicon的Vantage、OptiTrack的Prime系列和Atracsys的FusionTrack。这些光学定位装置在医疗、生物科学研究、虚拟现实、动作捕捉等领域都有广泛的应用,并在精度、实时性、灵活性等方面具有不同的特点和优势。
光学定位是当前最为稳定和精确的定位技术,该类设备依靠可以主动发射或者被动反射红外光的小球来进行定位,为了确定目标的位置至少需要三个红外小球。这类设备的精度可以达到毫米以下,而且系统可以达到实时更新的高速帧率,此外根据小球布局不同,光学定位设备可以同时跟踪多个目标。在导航手术进行之前,必须将设备摆位进行校正,将导航视野置于红外定位仪的有效工作范围内。光学定位装置的主要弱点在于它要求摄像头和被照射物体之间不能有光线遮挡,这在手术中极大限制了操作的灵活性。
在一个具体实施例中,光学追踪小球的空间定位流程包括:
第一步,获取所述双目立体摄像机左右相机的各自参数和双目相机之间的相对位置;
第二步,基于阈值分割等图像预处理算法,提取光学追踪小球圆心的像素坐标;
第三步,基于双目相机定位原理,计算得到光学追踪小球的空间位置和姿态。
在一个具体实施例中,光学追踪小球识别是指通过一系列图像算法获取图像坐标系下的球心坐标,主要步骤分为:图像分割、提取光学追踪小球轮廓和计算圆心。具体步骤包括:
第一步,对原始图像进行图像分割,通过设定一个门限值将图像分为背景和目标区域。选用选取阈值时更加灵活的自适应分割方法。根据图像在不同区域亮度不同,计算局部灰度值的均值从而确定其局部阈值。
第二步,提取光学追踪小球轮廓,经过分割的图像中仍有部分不属于光学追踪小球的区域,对后期计算圆心干扰很大。由于光学追踪小球圆轮廓对其识别和定位精度影像很大,不适合使用拟合圆的方法。因此基于面积和圆形度两个指标,提取图片中的光学追踪小球圆形轮廓。
第三步,计算圆心,通过求取圆形区域的质心完成光学追踪小球轮廓圆心的提取。假设图像在像素点(x,y)处的灰度值为f(x,y),将其看作在该点的“质量”。因此可将求取光学追踪小球圆心坐标视作求解图像中圆形区域的质心。
在一个具体实施例中,光学追踪小球定位是通过双目相机定位原理和奇异值分解(SVD)计算得到光学追踪小球的空间位姿。首先通过立体匹配获取该点在左右图像的视差,然后利用三维重建获取该点的空间坐标,最后基于SVD算法求解光学追踪小球的姿态。具体步骤如下。
第一步,立体匹配,通过在左右相机图像中找到对应点并计算其视差,为求取深度系信息建立基础。而匹配算法是否准确往往决定了系统定位的准确性。由于本系统左右相机是水平放置,因此每个光学追踪小球中心的y坐标基本相同,即这四点在左右图像的相对位置关系一定的。
第二步,三维重建计算点坐标,当得到光学追踪小球中心在二维图像中的像素坐标后,基于双目相机空间定位原理以及最小二乘法,可求解出该点的在三维空间中的坐标,
第三步,姿态解析,光学追踪小球的位姿是通过奇异值分解(SVD)方法完成的。由于在手术导航过程中光学追踪小球与手术器械是相对固定的,因此通过求解光学追踪小球的空间位姿即可建立手术器械坐标系与相机坐标系间的转换关系。
S102:基于影像拍摄装置构建二维的影像坐标系,获取患者骨折部位正位、侧位影像,所述正位、侧位影像中含有配准装置的二维影像。
在一个实施例中,影像拍摄装置为C臂,C臂是一种医疗设备,它由一个呈C形的臂部组成,内部装有X射线发射器和探测器,C臂可以在手术过程中提供高质量的实时X射线成像,以引导医生进行手术操作,它具有360度旋转的能力,可以围绕患者在各个角度进行成像,从而提供更全面和准确的影像信息。
在一个实施例中,将患者仰卧于骨科牵引床上;对骨折进行复位,满意后,将患肢内旋10°至15°,内收10°至15°,固定于牵引床上。使用C臂拍摄患者骨折部位的正位、侧位影像,得到患者骨折处正位、侧位的X光片。
S103:基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置。
在一个实施例中,所述方法还包括基于患者骨折部位和置入器械在影像坐标系中的相对位置,规划置入器械的运动路径。
在一个具体实施例中,所述规划置入器械的运动路径包括规划克氏针和/或螺旋刀片的置入方向、置入深度和TAD距离;所述置入方向通过红外光学定位系统捕获克氏针和/或螺旋刀片上带有光学追踪小球的光学追踪定位装置以确定克氏针和/或螺旋刀片的空间位置,将所述空间位置投射到正位、侧位影像并显示在显示屏;所述置入深度为计算显示屏上克氏针和/或螺旋刀片前端与股骨头重合部分的刻度值,并在显示屏中显示;所述TAD距离是是指正位TAD顶点与所述正位置入器械顶点之间的物理距离和侧位TAD顶点与所述侧位置入器械顶点之间的物理距离之和。
TAD(Tip Apex distance)尖顶距,是Baumgaertner于1995年提出的概念,TAD的值是指正侧位X片上拉力螺钉尖至股骨头-颈中轴线与股骨头节面交点的距离之和,基于所述距离的值来预测螺钉切出的风险。Baumgaertner将TAD应用于动力髋螺钉(Dynamic HipScrew, DHS)治疗股骨转子间骨折中,发现:当TAD>30mm时,有27%的几率发生螺钉切出;当25mm<TAD<30mm时,有2%的几率切出;当TAD<25mm时,切出率为0。因此,Baumgaertner认为TAD<25mm才能避免拉力螺钉切出,并强调拉力螺钉在正、侧位均位于正中并打入最深才安全可靠。随后,Baumgaertner报告了外科医生在接受TAD概念后的一项前瞻性研究:实验组118例股骨转子间骨折患者TAD<25mm,无一例患者发生螺钉切出;对照组198例中有16例患者引TAD>25mm而螺钉切出。
在一个实施例中,参考图8,医生可以在显示正位、侧位X光片的显示屏上,于正位、侧位X光片中股骨头的边缘任选三点,基于所选三点成圆并确定圆心点,然后选择股骨颈的中心点,连接所述圆心点与所述股骨颈的中心点得到一条线段,再将所述线段向圆心点一端延长与圆相交,得到的交点即为正位、侧位TAD顶点。
在一个实施例中,在确定克氏针的入针点时,可选择使用追踪工具大体确定入针方向和入针深度,所述追踪工具可以被红外光定位系统捕获其位姿,并在二维正位、侧位影像中显示其打入深度值与打入方向。
TAD距离的计算公式为:
其中,Xap指正位X光片上所测的从置入器械钉尖到TAD顶点的距离;Dture指置入器械的真实直径;Dap指正位X光片上所测置入器械的直径;指正位X光片上需矫正的放大倍数;Xlat指侧位X光片上所测的从置入器械钉尖到TAD顶点的距离;Dlat指侧位X光片上所测置入器械的直径;/>指侧位X光片上需矫正的放大倍数。
在一个实施例中,在TAD距离规划上,克氏针与螺旋刀片推进器在确定入针点与入针方向时,可以通过追踪工具大体确定入针点和入针方向,所述追踪工具可以被红外光定位系统捕获其位姿,并在二维正位、侧位影像中显示建议克氏针打入刻度值与螺旋刀片推进器刻度值。
在一个具体实施例中,基于二维影像的粗隆间骨折的手术规划过程如下所示:
第一步,调整患者体位:将患者仰卧于骨科牵引床上。
第二步,患者骨折复位:对患者患侧骨折处进行复位,满意后,将患肢内旋10°至15°,内收10°至15°,固定于牵引床上。
第三步,确定髓内钉长度和直径:将测量尺放在股骨正前方,所述测量尺用于测量患者股骨干的直径与长度,近端置于髓内钉入钉点处,远端位于预期位置,直接读出髓内钉长度,根据测量尺上的读数预测直径。
第四步,手术入路及确定入针点:由大粗隆顶点水平切开5~6cm,正确入点为侧位上大粗隆顶点的前方1/3和后方2/3交界处,正位上粗隆顶点。
第五步,打开髓腔及扩髓:将空心开口锥沿入针点以适当的力量打开髓腔,克氏针沿空心开口锥尾部插入,克氏针顶点到达预定深度,移除其余装置,保留克氏针,放置软组织护板;使用软扩穿过克氏针扩髓,软扩从直径9mm开始,逐渐增加,近端扩髓时,放置保护套筒,使用近端空心钻扩髓,当扩髓完毕后,移除近端空心钻和保护套筒,保留克氏针。
第六步,植入髓内钉:将准备好的髓内钉用连接螺栓固定在手把上,用连接螺栓万向扳手将其拧紧,套入球头导针,轻微摆动手把插入,如需敲击打入时,在手把上的恰槽内先安装主钉打入器,用开口扳手将其拧紧,再连接主钉打入/取出杆,滑锤轻轻敲击,植入髓内钉,移除打入装置及克氏针。
第七步,近端锁定:将近端导杆安装在手把上并固定,刀片钉组合套筒插入近端导杆刀片钉孔内直至软组织皮肤,在正下方作约1cm切口,再插入直达骨皮质,并与瞄准臂锁定,移除直径3.2定位针,钻入直径3.2导针,使用基于二维影像的骨折术中规划方法监视放置状态,用导针测深器测量直径3.2导针在骨内的实际长度,移除测深器及直径3.2导针套管,再改用近端限位空心钻钻入,用刀片钉连接锁定起子,逆时针安装PFNA刀片钉,套入直径3.2导针插入,再用打入锤轻轻敲击打入锁定起子置限深处,红外光定位系统放置状态位置正确后,顺时针旋转,打入锁定起子,如果间隙闭合,表示PFNA刀片钉已锁紧,此时移除近端非植入装置,保留手把与连接螺栓。
第八步,远端锁定:把手把上安装远端导杆240并固定,把远端锁定组合套筒插入最远端的240mm,动态锁定孔内,在正下方作0.5cm切口,再插入直达骨皮质,改用直径4.3钻头钻孔,直径4.3钻头钻透第一层骨质,到达对侧髓腔内壁时,用小L形扳手调整限位器,与远端锁定钻头距离约1cm,目的保护对侧软组织,继续钻透对侧骨质,保证远端锁定套筒紧贴骨皮质,用测深器测量骨直径,再用远端锁钉扳手安装测量的直径4.7全螺纹锁钉拧入,不用过分拧紧。最后,使用基于二维影像的骨折术中规划方法监视放置状态,远端锁定完毕。植入尾帽,移除所有非植入装置,将患者股骨内收,远端锁钉扳手安装合适的尾帽,沿主钉尾部先顺时针再逆时针拧入,不要过分拧紧。
第九步,PFNA股骨髓内钉的取出:将直径3.2导针插入PFNA刀片钉中心孔内,并沿直径3.2导针套入刀片钉,打入取出器,然后逆时针旋转,连接固定PFNA刀片钉,将其取出。用远端锁钉扳手移除尾帽,安装主钉取出杆,再用远端锁钉扳手取出远端锁钉,最后用滑锤将主钉取出。
图2是本发明实施例提供的一种基于二维影像的骨折手术规划设备,包括:存储器、处理器、输入装置和输出装置。
存储器、处理器、输入装置和输出装置可以通过总线或者其他方式连接。图2所示的是以总线连接方式为例;其中,存储器用于存储程序指令;处理器用于调用程序指令,当程序指令被执行时,用于执行上述基于二维影像的骨折手术规划方法。
图3是本发明实施例提供的一种基于二维影像的骨折手术规划系统,包括:
S301:光学定位单元,用于基于红外光定位系统构建三维的空间定位坐标系,获取患者骨折部位、置入器械、配准装置的空间位置;
S302:图像采集单元,用于基于影像拍摄装置构建二维的影像坐标系,获取患者骨折部位正位、侧位影像,所述正位、侧位影像中含有配准装置的二维影像;
S303:图像配准单元,用于基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于二维影像的骨折手术规划方法。
本验证实施例的验证结果表明,为适应症分配固有权重相对于默认设置来说可以适度改善本方法的性能。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的一种计算机设备进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于二维影像的骨折手术规划方法,其特征在于,所述方法包括:
基于红外光定位系统构建三维的空间定位坐标系,获取患者骨折部位、置入器械、配准装置的空间位置;
基于影像拍摄装置构建二维的影像坐标系,获取患者骨折部位正位、侧位影像,所述正位、侧位影像中含有配准装置的二维影像;
基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置,所述配准装置上具有配准小球;所述配准小球为N小球,每两个或三个小球相连时构成M条连线,M条连线的延长线在不同平面上交汇于一点,其中N、M为大于4的自然数整数,且N大于M。
2.根据权利要求1所述的基于二维影像的骨折手术规划方法,其特征在于,所述方法还包括基于患者骨折部位和置入器械在影像坐标系中的相对位置,规划置入器械的运动路径。
3.根据权利要求1所述的基于二维影像的骨折手术规划方法,其特征在于,所述患者骨折部位、置入器械、配准装置的空间位置是采用红外光定位系统捕获的,具体为:所述患者骨折部位、置入器械、配准装置均连接有参考架,所述参考架上具有光学追踪小球,所述光学追踪小球被所述红外光定位系统捕获,进而获得患者骨折部位、置入器械、配准装置在三维的空间定位坐标系的空间位置。
4.根据权利要求1所述的基于二维影像的骨折手术规划方法,其特征在于,所述配准装置固定在用于拍摄患者骨折部位正位、侧位影像的影像拍摄装置上,拍摄患者骨折部位正位、侧位影像时,得到含有配准小球的二维影像。
5.根据权利要求1所述的基于二维影像的骨折手术规划方法,其特征在于,所述配准小球为N小球,分布在至少2个相对的平面上,一个平面上小球相连时构成的连线的延长线和另一个平面上小球相连时构成的连线的延长线交汇于一点,和/或不同平面上小球相连时构成的连线的延长线交汇成不同方向上的数个点,其中N大于4的自然数整数。
6.根据权利要求4所述的基于二维影像的骨折手术规划方法,其特征在于,所述配准装置上具有配准小球和光学追踪小球,所述光学追踪小球在所述空间定位坐标系中具有空间坐标,所述配准小球在所述影像坐标系中具有影像坐标,所述光学追踪小球和所述配准小球具有固定的空间位置关系,基于所述空间坐标、所述影像坐标和所述空间位置关系构建所述空间定位坐标系与所述影像坐标系之间的映射关系,通过所述映射关系将置入器械的实时空间坐标映射至影像坐标系内。
7.一种基于二维影像的骨折手术规划系统,其特征在于,所述系统包括:
光学定位单元,用于基于红外光定位系统构建三维的空间定位坐标系,获取患者骨折部位、置入器械、配准装置的空间位置;
图像采集单元,用于基于影像拍摄装置构建二维的影像坐标系,获取患者骨折部位正位、侧位影像,所述正位、侧位影像中含有配准装置的二维影像;
图像配准单元,用于基于配准装置在所述空间定位坐标系与所述影像坐标系之间建立空间位姿转换关系,将处于空间定位坐标系下的置入器械的空间坐标映射至影像坐标系内,得到患者骨折部位和置入器械在影像坐标系中的相对位置,所述配准装置上具有配准小球;所述配准小球为N小球,每两个或三个小球相连时构成M条连线,M条连线的延长线在不同平面上交汇于一点,其中N、M为大于4的自然数整数,且N大于M。
8.一种基于二维影像的骨折手术规划设备,其特征在于,所述设备包括存储器和处理器;
所述存储器用于存储程序指令;
所述处理器用于调用程序指令,当程序指令被执行时,用于执行权利要求1-6任意一项所述的基于二维影像的骨折手术规划方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任意一项所述的基于二维影像的骨折手术规划方法。
CN202311011873.8A 2023-08-11 2023-08-11 一种基于二维影像的骨折手术规划方法、设备及可存储介质 Active CN116725662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311011873.8A CN116725662B (zh) 2023-08-11 2023-08-11 一种基于二维影像的骨折手术规划方法、设备及可存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311011873.8A CN116725662B (zh) 2023-08-11 2023-08-11 一种基于二维影像的骨折手术规划方法、设备及可存储介质

Publications (2)

Publication Number Publication Date
CN116725662A CN116725662A (zh) 2023-09-12
CN116725662B true CN116725662B (zh) 2023-11-03

Family

ID=87909955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311011873.8A Active CN116725662B (zh) 2023-08-11 2023-08-11 一种基于二维影像的骨折手术规划方法、设备及可存储介质

Country Status (1)

Country Link
CN (1) CN116725662B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
CN111588467A (zh) * 2020-07-24 2020-08-28 成都金盘电子科大多媒体技术有限公司 基于医学影像的三维空间坐标转换为影像二维坐标的方法
CN113349930A (zh) * 2021-06-18 2021-09-07 云南微乐数字医疗科技有限公司 一种骨科骨折复位手术导航系统
CN116236278A (zh) * 2023-05-08 2023-06-09 江苏省人民医院(南京医科大学第一附属医院) 一种骨隧道建立系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782287B2 (en) * 2000-06-27 2004-08-24 The Board Of Trustees Of The Leland Stanford Junior University Method and apparatus for tracking a medical instrument based on image registration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110946654A (zh) * 2019-12-23 2020-04-03 中国科学院合肥物质科学研究院 一种基于多模影像融合的骨科手术导航系统
CN111588467A (zh) * 2020-07-24 2020-08-28 成都金盘电子科大多媒体技术有限公司 基于医学影像的三维空间坐标转换为影像二维坐标的方法
CN113349930A (zh) * 2021-06-18 2021-09-07 云南微乐数字医疗科技有限公司 一种骨科骨折复位手术导航系统
CN116236278A (zh) * 2023-05-08 2023-06-09 江苏省人民医院(南京医科大学第一附属医院) 一种骨隧道建立系统

Also Published As

Publication number Publication date
CN116725662A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN110946654B (zh) 一种基于多模影像融合的骨科手术导航系统
EP4159149A1 (en) Surgical navigation system, computer for performing surgical navigation method, and storage medium
JP7280967B2 (ja) 手術位置合わせ用のシステム及び方法
WO2018010040A1 (zh) 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
JP4439393B2 (ja) 整形外科的インサートと併用するロボット
US9320569B2 (en) Systems and methods for implant distance measurement
US7831096B2 (en) Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US20080089566A1 (en) Systems and methods for implant virtual review
US20080154120A1 (en) Systems and methods for intraoperative measurements on navigated placements of implants
US20210196404A1 (en) Implementation method for operating a surgical instrument using smart surgical glasses
CN116712171B (zh) 一种粗隆间骨折导航方法、设备及可存储介质
WO2021046455A1 (en) Fast and automatic pose estimation using intraoperatively located fiducials and single-view fluoroscopy
CN116849809B (zh) 一种骨折导航系统用导航套件
US20080119724A1 (en) Systems and methods for intraoperative implant placement analysis
Otake et al. An image-guided femoroplasty system: development and initial cadaver studies
CN116725662B (zh) 一种基于二维影像的骨折手术规划方法、设备及可存储介质
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
Xie et al. A small-scaled intraoperative 3d visualization navigation system for femoral head repair surgery
Neatpisarnvanit et al. Intramedullary nail distal hole axis estimation using Blob analysis and Hough transform
Zheng et al. Reality-augmented virtual fluoroscopy for computer-assisted diaphyseal long bone fracture osteosynthesis: a novel technique and feasibility study results
EP4275641A1 (en) Technique for visualizing a planned implant
Zhao et al. A Surgical Navigation System Based on Augmented Reality
US20230015717A1 (en) Anatomical scanning, targeting, and visualization
Abbasi et al. Clinical fluoroscopic fiducial-based registration of the vertebral body in spinal neuronavigation
Zheng et al. A novel parameter decomposition based optimization approach for automatic pose estimation of distal locking holes from single calibrated fluoroscopic image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100082, 9th Floor, Building 1, No. 32 Xizhimen North Street, Haidian District, Beijing 1004A23

Patentee after: Beijing Weizhuo Zhiyuan Medical Technology Co.,Ltd.

Country or region after: China

Address before: 100082, 9th Floor, Building 1, No. 32 Xizhimen North Street, Haidian District, Beijing 1004A23

Patentee before: VISUAL3D MEDICAL TECHNOLOGY DEVELOPMENT Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address