CN106580471A - 图像导航定位系统及方法 - Google Patents
图像导航定位系统及方法 Download PDFInfo
- Publication number
- CN106580471A CN106580471A CN201510673908.3A CN201510673908A CN106580471A CN 106580471 A CN106580471 A CN 106580471A CN 201510673908 A CN201510673908 A CN 201510673908A CN 106580471 A CN106580471 A CN 106580471A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- selling
- goal
- navigation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明涉及计算机图像处理领域，尤其涉及一种图像导航定位系统及方法。所述图像导航定位系统包括通信模块、图像定位模块、图像处理模块及图像配准模块。所述通信模块用于获取预设目标的二维图像：所述图像定位模块用于追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息：所述图像处理模块用于对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型：所述图像配准模块用于将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。本发明的图像导航定位系统及方法定位精确且定位效率高。
Description
【技术领域】
本发明涉及计算机图像处理领域，尤其涉及一种图像导航定位系统及方法。
【背景技术】
近年来计算机辅助技术已应用于各种不同的领域，例如智能制造，智能物流等。此外，在外科领域中，在现有的医疗条件下，治疗骨伤病情时，多采用术前、术后X光照射手段来判断手术是否成功，诸如此类手术中往往有赖于医生工作经验进行。而进行侵入式手术时多采用内窥镜技术进行实时观测，但也存在一定的风险，采用内窥镜需两名医生配合默契，一位进行手术操刀，一位负责图像采集；另一个限制因素是内窥镜为单目成像，无法进行有效的距离判断，存在二次伤害的危险。
【发明内容】
本发明要解决的技术问题是提供一种定位精确且定位效率高的图像导航定位系统及方法。
为解决上述技术问题，本发明提供以下技术方案。
一方面，本发明提供一种图像导航定位系统，包括：
通信模块，用于获取预设目标的二维图像；
图像定位模块，用于追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息；
图像处理模块，用于对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型；
图像配准模块，用于将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。
在一些实施例中，所述系统还包括：畸变校正模块，用于对通信模块获取的预设目标的二维图像进行畸变校正；图像显示模块，用于显示所述三维导航图像，所述三维导航图像用于导航。
在一些实施例中，所述机械手臂用于跟踪操作所述预设目标。
另一方面，本发明提供一种图像导航定位方法，其特征在于，所述方法包括：
获取预设目标的二维图像；
追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息；
对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型；
将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。
在一些实施例中，所述获取预设目标的二维图像之后还包括：对所述二维图像进行畸变校正。
在一些实施例中，所述机械手臂用于跟踪操作所述预设目标。
在一些实施例中，所述方法还包括：显示所述三维导航图像，所述三维导航图像用于导航。
本发明的有益效果在于通过建立一种图像导航定位系统及方法，获得三维导航图像用于导航，其定位精确且定位效率高。
【附图说明】
图1示出了本发明实施例提供的一种图像导航定位系统的结构框图；
图2示出了本发明实施例提供的一种图像导航定位方法的流程图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
如图1所示，本发明实施例提供了一种图像导航定位系统，由计算机组成，所述系统包括：通信模块100、畸变校正模块200、图像定位模块300、图像处理模块400、图像配准模块500及图像显示模块600。
本实施例中，将所述图像导航定位系统具体应用于医用导航中，当然，可以理解的是，本发明的系统还可以应用于其他需要图像导航定位的应用场景中，例如智能制造、智能物流等领域。下面对本实施例作具体说明：
所述通信模块100，用于获取预设目标的二维图像。其中，所述预设目标可以是患者的手术部位，所述通信模块100获取患者手术部位的二维图像可以通过C型臂来获得，具体的，通过C型臂上安装的X射线装置发射X射线来拍摄患者手术部位的透视图像，所述透视图像通过C型臂传输到计算机从而传输给通信模块100，所述透视图像即所述通信模块100获取的二维图像。
所述畸变校正模块200，用于对通信模块100获取的预设目标的二维图像进行畸变校正。
上述预设目标的二维图像可以是患者手术部位的二维的图像，由于C型臂影像增强器的固有属性，导致图像产生明显的畸变证精度，就必须对获得的X光图像进行畸变校正，即对所述透视图像进行畸变校正，图像畸变校正方法步骤包括：标准图像投影成像；提取特征点；畸变图像特征点与标准图像对应特征点之间建立映射模型；对畸变图像进行校正。
优选地，所述标准图像可设计一薄圆盘来代替，所述圆盘中央是一直径为4.2毫米的圆孔，直径为3.1毫米的圆孔均匀分布在所述圆盘上，所有圆孔的圆心都均匀分布在间距6毫米的网格上，所述圆盘被安装在C型臂影像增强器表面。
优选地，所述提取特征点的具体步骤为，对圆盘投影所产生的畸变图像进行增强和二值化；使用种子填充法计算图像中每个圆孔投影的形心；利用大量的形心及与之对应的圆盘上的圆孔中心将畸变图像和标准图像分成许多的四边形区域；假定畸变图像中每个四边形的顶点坐标为(Pij，Qij)，与之对应的圆盘上圆孔中心的坐标为(x，y)，这些点之间的几何对应关系可由一阶多项式来描述，如下：
每一对四边形区域可列出8个方程，由此求出参数Pij和Qij，其中方程系数u、v为已知，通过该系数可建立起将四边形区域内的所有点进行空间映射的公式，然后把每个区域对应的8个系数存到一个表格中，用于整幅图像的校正。
优选地，由于得到的畸变坐标可能是小数，而数字图像中不存在小数，因此需要结合灰度插值得到标准图像在该像素坐标处的灰度值，从而得到校正后的图像，可利用B样条函数来进行灰度插值。
所述图像定位模块300，用于追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息。具体的，即追踪患者手术部位和常用的手术操作器械的形状、位置和/或运动轨迹的三维信息，所述手术操作器械结合对患者手术部位拍摄的二维图像来模拟术中操作步骤，从而获取所述手术操作器械的形状、位置和/或运动轨迹的三维信息。所述常用的手术操作器械包括螺丝刀、尖钻、动力钻等。
图像处理模块400，用于对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型。具体的，对拍摄的患者手术部位的经过畸变校正后的二维图像及患者手术部位和常用手术操作器械的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型。对拍摄的患者手术部位的经过畸变校正后的二维图像建立虚拟三维模型，即从上述C型臂拍摄的X光图像中进行距离面积的测量。对患者手术部位和常用手术操作器械的形状、位置和/或运动轨迹的三维信息建立虚拟三维模型，即所述手术操作器械结合对患者手术部位拍摄的二维图像来模拟术中操作步骤，从而获取所述手术操作器械的形状、位置和/或运动轨迹的三维信息并建立虚拟三维模型。
图像配准模块500，用于将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。所述虚拟三维模型包括术前对患者手术部位拍摄的二维图像建立的虚拟三维模型，还包括所述二维图像结合常用手术操作器械的形状、位置和/或运动轨迹的三维信息建立的虚拟三维模型，其中，所述二维图像经过畸变校正模块200进行了校正。将两个虚拟三维模型通过同一坐标系来进行配准，所述坐标系为国际通用坐标系，可使用最近点迭代算法将上述两个虚拟三维模型的三维数据同一于同一坐标系中。
图像显示模块600，用于显示所述三维导航图像，所述三维导航图像用于导航。可通过计算机终端显示屏来显示所述的三维导航图像，医务人员通过所述三维导航图像指导手术进行。
本实施例提供了一种图像导航定位系统，通过建立通信模块、图像定位模块、图像处理模块、图像配准模块获得预设目标的三维导航图像，所述三维导航图像可用于导航，具体可应用到医疗手术中，通过匹配出真实的三维手术图像用于术中导航，有利于提高手术的高效性和安全性，避免医疗事故的发生。
实施例2
如图2所示，本发明实施例提供了一种图像导航定位方法，所述方法包括：
S201，获取预设目标的二维图像。
S202，对所述二维图像进行畸变校正。
S203，追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息。
S204，对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型。
S205，将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。
S206，显示所述三维导航图像，所述三维导航图像用于导航。
上述方法可具体应用于医用导航中来，当然，可以理解的是，本发明的方法还可以应用于其他需要图像导航定位的应用场景中，例如智能制造、智能物流等领域。具体的，通过C型臂上安装的X射线装置发射X射线来拍摄患者手术部位的透视图像，所述透视图像通过C型臂传输到计算机从而获取预设目标的二维图像，其中，所述预设目标即患者手术部位，所述透视图像即所述二维图像。
由于C型臂影像增强器的固有属性，导致图像产生明显的畸变证精度，就必须对获得的X光图像进行畸变校正，即对所述透视图像进行畸变校正，也即是对所述二维图像进行畸变校正。
通过获取的患者手术部位的二维图像，再结合常用的手术操作器械进行术前规划，也即是追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息。
对所述预设目标的二维图像建立虚拟三维模型即对获取的患者手术部位的所述二维图像建立虚拟三维模。对所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息建立虚拟三维模型即对患者手术部位和常用手术操作器械的形状、位置和/或运动轨迹的三维信息建立虚拟三维模型，即所述手术操作器械结合对患者手术部位拍摄的二维图像来模拟术中操作步骤，从而获取所述手术操作器械的形状、位置和/或运动轨迹的三维信息并建立虚拟三维模型。
将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。所述虚拟三维模型包括术前对患者手术部位拍摄的二维图像建立的虚拟三维模型，还包括所述二维图像结合常用手术操作器械的形状、位置和/或运动轨迹的三维信息建立的虚拟三维模型，其中，所述二维图像经过了畸变校正。将两个虚拟三维模型通过同一坐标系来进行配准，所述坐标系为国际通用坐标系，可使用最近点迭代算法将上述两个虚拟三维模型的三维数据同一于同一坐标系中。
显示所述三维导航图像，所述三维导航图像用于导航。可通过计算机终端显示屏来显示所述的三维导航图像，医务人员通过所述三维导航图像指导手术进行。
本实施例提供了一种图像导航定位方法，具体可应用到医疗手术中，通过匹配出真实的三维手术图像用于术中导航，有利于提高手术的高效性和安全性，避免医疗事故的发生。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种图像导航定位系统，其特征在于，包括：
通信模块，用于获取预设目标的二维图像；
图像定位模块，用于追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息；
图像处理模块，用于对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型；
图像配准模块，用于将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。
2.如权利要求1所述的图像导航定位系统，其特征在于，所述系统还包括：畸变校正模块，用于对通信模块获取的预设目标的二维图像进行畸变校正；
图像显示模块，用于显示所述三维导航图像，所述三维导航图像用于导航。
3.如权利要求1所述的图像导航定位系统，其特征在于，所述机械手臂用于跟踪操作所述预设目标。
4.一种图像导航定位方法，其特征在于，所述方法包括：
获取预设目标的二维图像；
追踪所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息；
对所述预设目标的二维图像及所述预设目标和机械手臂的形状、位置和/或运动轨迹的三维信息分别建立虚拟三维模型；
将所述虚拟三维模型在同一坐标系下进行配准融合并得到三维导航图像。
5.如权利要求4所述的图像导航定位方法，其特征在于，所述获取预设目标的二维图像之后还包括：对所述二维图像进行畸变校正。
6.如权利要求4所述的图像导航定位方法，其特征在于，所述机械手臂用于跟踪操作所述预设目标。
7.如权利要求4所述的图像导航定位方法，其特征在于，所述方法还包括：
显示所述三维导航图像，所述三维导航图像用于导航。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510673908.3A CN106580471A (zh) | 2015-10-19 | 2015-10-19 | 图像导航定位系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510673908.3A CN106580471A (zh) | 2015-10-19 | 2015-10-19 | 图像导航定位系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106580471A true CN106580471A (zh) | 2017-04-26 |
Family
ID=58554046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510673908.3A Pending CN106580471A (zh) | 2015-10-19 | 2015-10-19 | 图像导航定位系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106580471A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109176534A (zh) * | 2018-11-27 | 2019-01-11 | 国网山东省电力公司烟台供电公司 | 一种机器人多摄像机实时融合系统及方法 |
| WO2019119194A1 (zh) * | 2017-12-18 | 2019-06-27 | 中国科学院深圳先进技术研究院 | 柔性手术器械跟踪方法、装置、设备及存储介质 |
| CN113040908A (zh) * | 2021-02-02 | 2021-06-29 | 武汉联影智融医疗科技有限公司 | 手术导航的配准方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020176541A1 (en) * | 2001-05-22 | 2002-11-28 | Mario Schubert | Registering image information |
| CN101375805A (zh) * | 2007-12-29 | 2009-03-04 | 清华大学深圳研究生院 | 一种计算机辅助引导电子内窥镜操作的方法和系统 |
| CN102110299A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特（北京）视频技术有限公司 | 在三维模型中应用畸变的投影方法及装置 |
| CN103211655A (zh) * | 2013-04-11 | 2013-07-24 | 深圳先进技术研究院 | 一种骨科手术导航系统及导航方法 |
| CN103473736A (zh) * | 2012-06-06 | 2013-12-25 | 南京普爱射线影像设备有限公司 | 一种c形臂影像增强器实时畸变校正方法 |
| CN103519895A (zh) * | 2013-10-18 | 2014-01-22 | 江苏艾迪尔医疗科技股份有限公司 | 一种骨科手术辅助导引方法 |
| CN104586505A (zh) * | 2014-09-19 | 2015-05-06 | 张巍 | 一种骨科手术导航系统及导航方法 |
-
2015
- 2015-10-19 CN CN201510673908.3A patent/CN106580471A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020176541A1 (en) * | 2001-05-22 | 2002-11-28 | Mario Schubert | Registering image information |
| US6584174B2 (en) * | 2001-05-22 | 2003-06-24 | Brainlab Ag | Registering image information |
| CN101375805A (zh) * | 2007-12-29 | 2009-03-04 | 清华大学深圳研究生院 | 一种计算机辅助引导电子内窥镜操作的方法和系统 |
| CN102110299A (zh) * | 2009-12-25 | 2011-06-29 | 新奥特（北京）视频技术有限公司 | 在三维模型中应用畸变的投影方法及装置 |
| CN103473736A (zh) * | 2012-06-06 | 2013-12-25 | 南京普爱射线影像设备有限公司 | 一种c形臂影像增强器实时畸变校正方法 |
| CN103211655A (zh) * | 2013-04-11 | 2013-07-24 | 深圳先进技术研究院 | 一种骨科手术导航系统及导航方法 |
| CN103519895A (zh) * | 2013-10-18 | 2014-01-22 | 江苏艾迪尔医疗科技股份有限公司 | 一种骨科手术辅助导引方法 |
| CN104586505A (zh) * | 2014-09-19 | 2015-05-06 | 张巍 | 一种骨科手术导航系统及导航方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王田苗，范兴，刘文勇，陈殿生: "C臂X光图像几何失真校正与误差分析", 《高技术通讯》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019119194A1 (zh) * | 2017-12-18 | 2019-06-27 | 中国科学院深圳先进技术研究院 | 柔性手术器械跟踪方法、装置、设备及存储介质 |
| CN109176534A (zh) * | 2018-11-27 | 2019-01-11 | 国网山东省电力公司烟台供电公司 | 一种机器人多摄像机实时融合系统及方法 |
| CN113040908A (zh) * | 2021-02-02 | 2021-06-29 | 武汉联影智融医疗科技有限公司 | 手术导航的配准方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10499992B2 (en) | Method and system for estimating a deflated lung shape for video assisted thoracic surgery in augmented and mixed reality | |
| JP2021154168A (ja) | 蛍光透視法および追跡センサを使用する股関節の外科手術ナビゲーション | |
| US20190142359A1 (en) | Surgical positioning system and positioning method | |
| CN110215284A (zh) | 一种可视化系统和方法 | |
| CN109864806A (zh) | 基于双目视觉的动态补偿功能的穿刺机器人导航系统 | |
| JP2016512973A (ja) | 身体に対して対象を追跡するための追跡装置 | |
| CN102413756A (zh) | 从单目内窥镜图像估计实时深度 | |
| CN109692050A (zh) | 一种牙科种植导航手术的标定、追踪方法和装置 | |
| CN204655073U (zh) | 一种骨科手术导航系统 | |
| CN106164981B (zh) | 外科手术中为手术器械插入显示计时信号的方法和系统 | |
| CN107049488A (zh) | 一种单平面手术定位方法及模型 | |
| CN106255465A (zh) | 用于外科手术器械的具有位置和方向校准的引导和追踪方法和系统 | |
| CN110215285A (zh) | 手术导航的纠偏方法及系统 | |
| CN109498156A (zh) | 一种基于三维扫描的头部手术导航方法 | |
| US20220296193A1 (en) | Fast and automatic pose estimation using intraoperatively located fiducials and single-view fluoroscopy | |
| CN111627521A (zh) | 增强现实在放疗中的应用 | |
| CN110916799A (zh) | 基于5g网络的穿刺机器人导航系统 | |
| CN106580471A (zh) | 图像导航定位系统及方法 | |
| CN115153835A (zh) | 基于特征点配准与增强现实的髋臼假体放置引导系统及方法 | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| CN116883471B (zh) | 面向胸腹部经皮穿刺的线结构光无接触点云配准方法 | |
| CN114027985A (zh) | 一种用于骨关节置换手术的机器人 | |
| CN113274130A (zh) | 用于光学手术导航系统的无标记手术注册方法 | |
| Grupp et al. | Fast and automatic periacetabular osteotomy fragment pose estimation using intraoperatively implanted fiducials and single-view fluoroscopy | |
| CN115868999A (zh) | 射线成像系统的定位方法、定位装置和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Hunnan New District Jinhui street in Shenyang of Liaoning province 110168 City No. 16 Applicant after: Shenyang Xinsong Robert Automation Co., Ltd. Applicant after: Chinese Academy of Sciences Holdings Limited Address before: Hunnan New District Jinhui street in Shenyang of Liaoning province 110168 City No. 16 Applicant before: Shenyang Xinsong Robert Automation Co., Ltd. Applicant before: State owned Assets Management Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170426 |
|
| RJ01 | Rejection of invention patent application after publication |