CN109907824A - 一种智能针刀治疗系统 - Google Patents

一种智能针刀治疗系统 Download PDF

Info

Publication number
CN109907824A
CN109907824A CN201910179109.9A CN201910179109A CN109907824A CN 109907824 A CN109907824 A CN 109907824A CN 201910179109 A CN201910179109 A CN 201910179109A CN 109907824 A CN109907824 A CN 109907824A
Authority
CN
China
Prior art keywords
needle knife
image
threedimensional model
treatment system
dimensional grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910179109.9A
Other languages
English (en)
Other versions
CN109907824B (zh
Inventor
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Red Cross Hospital
Original Assignee
Hangzhou Red Cross Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Red Cross Hospital filed Critical Hangzhou Red Cross Hospital
Priority to CN201910179109.9A priority Critical patent/CN109907824B/zh
Publication of CN109907824A publication Critical patent/CN109907824A/zh
Application granted granted Critical
Publication of CN109907824B publication Critical patent/CN109907824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开的智能针刀治疗系统，包括工作台和设于工作台上的机器人手臂、针刀盒、医学摄像仪和控制模块，机器人手臂用于实施针刀手术；针刀盒用于储存和输出各种型号的针刀；医学摄像仪用于摄制和采集病症部位所需的图像数据；控制模块，基于医学摄像仪所采集的图像数据来控制机器人手臂的针刀操作；所述的控制模块包括三维模型构建单元和显示确认单元，三维模型构建单元基于采集的病症部位的图像数据融合得到病症三维模型，对比人体对应的标准三维模型后，获取针刀的针刺位置和针刺深度数据信息，模拟针刀在三维模型中的导航结果来确定机器人手臂的针刀手术路径。本发明可以实现精准治疗，提高了针刀治疗的安全性和有效性。

Description

一种智能针刀治疗系统
技术领域
本发明涉及一种机器视觉的智能化针刀治疗技术领域。
背景技术
小针刀疗法是一种介于手术方法和非手术疗法之间的闭合性松解术。是在切开性手术方法的基础上结合针刺方法形成的。小针刀疗法操作的特点是在治疗部位刺入深部到病变处进行轻松的切割，剥离有害的组织，以达到止痛祛病的目的。其适应症主要是软组织损伤性病变和骨关节病变。小针刀疗法的优点是治疗过程操作简单，不受任何环境和条件的限制。治疗时切口小，不用缝合，对人体组织的损伤也小，且不易引起感染，无不良反应，病人也无明显痛苦和恐惧感，术后无需休息，治疗时间短，疗程短，患者易于接受。
然而，现有针刀治疗过程中建立的患者病症部位的三维模型精度低，影响观察治疗；同时，现有针刀手术安全性和有效程度取决于术者对疾病的主观认识和施术部位解剖位置的掌握程度。因此针刀疗法在推广应用的过程中，由于操作者水平的参差不齐，产生副作用和并发症的机率比较大，有时还会产生一些不可逆的损伤。
发明内容
本发明的目的就在于提供一种机器视觉的针刀治疗系统，以解决现有技术中的上述问题。
为达到上述目的，本发明采用的技术方案是：
一种智能针刀治疗系统，包括工作台和设于工作台上的机器人手臂、针刀盒、医学摄像仪和控制模块，
所述的机器人手臂用于实施针刀手术；
所述的针刀盒用于储存和输出各种型号的针刀；
所述的医学摄像仪用于摄制和采集病症部位所需的图像数据；
所述的控制模块，基于医学摄像仪所采集的图像数据来控制机器人手臂的针刀操作；所述的控制模块包括三维模型构建单元和显示确认单元，
所述的三维模型构建单元基于采集的病症部位的图像数据融合得到病症三维模型，对比人体对应的标准三维模型后，获取针刀的针刺位置和针刺深度数据信息，模拟针刀在三维模型中的导航结果来确定机器人手臂的针刀手术路径。
进一步，所述的三维模型构建单元，其病症三维模型建模方法包括：
(1)通过医学摄像仪获取包含患者病症部位各个局部的深度图像；
(2)将步骤(1)得到的各个局部的深度图像进行动态融合，获得各个局部的三维网格；
(3)利用标准模型匹配各个局部的三维网格，求取形态参数和关节变换矩阵；
(4)根据形态参数和关节变换矩阵，获取三维模型。
进一步，上述的步骤(2)包括：
a.建立参考TSDF体，将第一幅深度图像融合到TSDF体中，得到初始三维网格；
b.对于后续获取的每一幅深度图像，获取已有三维网格到深度图像之间的匹配点对；
根据匹配点对求取网格的非刚性运动场；
c.根据非刚性运动场，将深度图像融合到TSDF体中，得到新的三维网格；
d.重复上步，直至所有深度图像全部融合到TSDF体中，得到最终的三维网格。
进一步，上述的步骤(3)包括：
a.将SMPL人体模型进行形态变化和姿态变化，匹配各个局部的三维网格；建立能量函数，求取各个三维网格下的初始形态参数和初始关节变换矩阵；
b.将所述各个三维网格下的初始形态参数进行平均，获得最终的形态参数；
c.根据所述初始关节变换矩阵以及SMPL人体模型与三维网格的匹配结果，将各个局部的三维网格反变换至标准姿态三维网格；依据标准姿态三维网格，对初始关节变换矩阵进行优化，获得最终的关节变换矩阵。
进一步，所述的三维模型构建单元，还包括导航模拟单元，其根据最终确立的三维模型和预设的针刀选择标准，确定出模拟针刀在所述三维模型中的模拟导航结果，最后将所述模拟导航结果进行三维渲染显示。
进一步，所述的显示确认单元输出显示三维模型构建单元的三维模拟导航结果，获得人工操作确认后反馈到控制模块，控制模块依据三维模拟导航结果控制针刀盒内的针刀型号输出和机器人手臂拿取针刀后的手术操作。
进一步，所述的智能针刀治疗系统，还包括红外温度传感器，为控制模块提供病症部位温度数据以判断是否发热和炎症。
进一步，所述的医学摄像仪获取患者病症部位深度图像是指X光学图像数据或MR光学图像数据。
进一步，所述的针刀盒内设有紫外灭菌管。
本发明的有益效果：
本发明通过三维模型构建单元利用标准模型，求取所获取病症部位深度图像中的形态参数和关节变换矩阵；通过所获取的形态参数和关节变换矩阵，可使最终获得的三维模型精确度高、鲁棒性好，便于针刀治疗时三维模型清晰观察；同时，通过导航模拟单元根据预设的针刀导航要求预先三维渲染显示模拟针刀在三维模型中的模拟导航结果，以使术者提前了解针刀的针刺位置和针刺深度等情况，提高针刀治疗的安全性和有效性，避免临床不良事件的发生。
本发明通过实时磁定位及追踪确定所述数据点集中的目标数据点集，使用5x5的BoxFilter对输入图像I进行平滑滤波，得到Is；以Is为最底层构造图像金字塔k∈{1，2，...，v}，v是金字塔层数，即将每一级图像的长宽缩小为原来的0.5，分别得到v幅图像；其中是最底层的原图，是最顶层；在图像金字塔的顶层上以网格分布为规律生成均匀分布的种子点后，得到目标数据点集分割信息，再进行图像空间及物理空间的配准，得到所述模拟针刀在所述三维模型中的模拟导航结果。
综上，本发明提供的机器视觉的智能针刀治疗系统可以实现精准治疗，提高了针刀治疗的安全性和有效性。同时，这种智能化治疗系统也缓解了医疗资源的短缺，提高了医疗效率。
附图说明
图1为本发明智能针刀治疗系统优化的模块之一示意图。
具体实施方式
下面将结合本发明实施例及附图，对本发明的技术方案进行实例性地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种智能针刀治疗系统，包括工作台(图1中未示出)和设于工作台上的机器人手臂1、针刀盒2、医学摄像仪3、红外温度传感器4和控制模块5，
所述的机器人1手臂用于实施针刀手术；
所述的针刀盒2用于储存和输出各种型号的针刀；
所述的医学摄像仪3用于摄制和采集病症部位所需的图像数据；
所述的控制模块5，基于医学摄像仪所采集的图像数据来控制机器人手臂的针刀操作；所述的控制模块包括三维模型构建单元501和显示确认单元502，
所述的三维模型构建单元501基于采集的病症部位的图像数据融合得到病症三维模型，对比人体对应的标准三维模型后，获取针刀的针刺位置和针刺深度数据信息，模拟针刀在三维模型中的导航结果来确定机器人手臂的针刀手术路径。
作为优选的方式之一，所述的三维模型构建单元，其病症三维模型建模方法包括：
(1)通过医学摄像仪获取包含患者病症部位各个局部的深度图像；
(2)将步骤(1)得到的各个局部的深度图像进行动态融合，获得各个局部的三维网格；
(3)利用标准模型匹配各个局部的三维网格，求取形态参数和关节变换矩阵；
(4)根据形态参数和关节变换矩阵，获取三维模型。
进一步作为优选的方式之一，上述的步骤(2)包括：
a.建立参考TSDF体，将第一幅深度图像融合到TSDF体中，得到初始三维网格；
b.对于后续获取的每一幅深度图像，获取已有三维网格到深度图像之间的匹配点对；
根据匹配点对求取网格的非刚性运动场；
c.根据非刚性运动场，将深度图像融合到TSDF体中，得到新的三维网格；
d.重复上步，直至所有深度图像全部融合到TSDF体中，得到最终的三维网格。
进一步作为优选的方式之二，上述的步骤(3)包括：
a.将SMPL人体模型进行形态变化和姿态变化，匹配各个局部的三维网格；建立能量函数，求取各个三维网格下的初始形态参数和初始关节变换矩阵；
b.将所述各个三维网格下的初始形态参数进行平均，获得最终的形态参数；
c.根据所述初始关节变换矩阵以及SMPL人体模型与三维网格的匹配结果，将各个局部的三维网格反变换至标准姿态三维网格；依据标准姿态三维网格，对初始关节变换矩阵进行优化，获得最终的关节变换矩阵。
作为优选的方式之二，所述的三维模型构建单元，还包括导航模拟单元，其根据最终确立的三维模型和预设的针刀选择标准，确定出模拟针刀在所述三维模型中的模拟导航结果，最后将所述模拟导航结果进行三维渲染显示。
作为进一步优选的方式之三，确定所述模拟针刀在所述三维模型中的模拟导航结果，具体包括：
根据预设的针刀导航要求，确定所述模拟针刀在所述三维模型的特征区域，并在所述特征区域内交互式提取数据点集；
通过实时磁定位及追踪确定所述数据点集中的目标数据点集，根据迭代最近点算法ICP方法进行图像空间及物理空间的配准，得到所述模拟针刀在所述三维模型中的模拟导航结果。
作为一种优选的实施方式，通过实时磁定位及追踪确定所述数据点集中的目标数据点集，使用5x5的BoxFilter对输入图像I进行平滑滤波，得到Is；以Is为最底层构造图像金字塔k∈{1，2，...，v}，v是金字塔层数，即将每一级图像的长宽缩小为原来的0.5，分别得到v幅图像；其中是最底层的原图，是最顶层；在图像金字塔的顶层上以网格分布为规律生成均匀分布的种子点后，得到目标数据点集分割信息，再进行图像空间及物理空间的配准，得到所述模拟针刀在所述三维模型中的模拟导航结果。
作为一种优选的实施方式，在图像金字塔的顶层上以网格分布为规律生成均匀分布的种子点后，还需进行：
围绕聚类中心对本层像素进行聚类，并利用紧凑性敏感的最小障碍距离作为聚类的距离测度，具体是，为最小障碍距离引入一个空间约束项，即：
F(I,τ)＝B(I,τ)+α×d(τ0,τt)；
其中，F(I，τ)即是提出的距离测度，I是图像，τ是图像中一个2D路径，B(I，τ)是最小障碍距离，d(τ0，τt)是路径τ的起始点到终点的欧式距离，α是紧凑性因子；
对所述图像金字塔依次从顶层到底层逐层进行聚类，每层的聚类中心是上一层聚类结果的加权中心在本层的对应位置；具体的加权方式是利用在聚类过程中得到的每个像素离其最近的聚类中心的距离作为每个像素的权重，进行加权求和，并乘以金字塔缩放因子的倒数后得到下一层的新的聚类中心；
对金字塔最底层的聚类结果中的每一类做不同的标记后，即是目标数据点集的分割结果。
所述的显示确认单元输出显示三维模型构建单元的三维模拟导航结果，获得人工操作确认后反馈到控制模块，控制模块依据三维模拟导航结果控制针刀盒内的针刀型号输出和机器人手臂拿取针刀后的手术操作。
作为一种优选的实施方式，所述的智能针刀治疗系统，还包括红外温度传感器，为控制模块提供病症部位温度数据以判断是否发热和炎症。
所述的医学摄像仪获取患者病症部位深度图像是指X光学图像数据或MR光学图像数据。
作为一种优选的实施方式，所述的针刀盒内设有紫外灭菌管。

Claims (10)

1.一种智能针刀治疗系统，包括工作台和设于工作台上的机器人手臂、针刀盒、医学摄像仪和控制模块，
所述的机器人手臂用于实施针刀手术；
所述的针刀盒用于储存和输出各种型号的针刀；
所述的医学摄像仪用于摄制和采集病症部位所需的图像数据；
所述的控制模块，基于医学摄像仪所采集的图像数据来控制机器人手臂的针刀操作；所述的控制模块包括三维模型构建单元和显示确认单元，
所述的三维模型构建单元基于采集的病症部位的图像数据融合得到病症三维模型，对比人体对应的标准三维模型后，获取针刀的针刺位置和针刺深度数据信息，模拟针刀在三维模型中的导航结果来确定机器人手臂的针刀手术路径。
2.如权利要求1所述的智能针刀治疗系统，其特征在于：所述的三维模型构建单元，其病症三维模型建模方法包括：
(1)通过医学摄像仪获取包含患者病症部位各个局部的深度图像；
(2)将步骤(1)得到的各个局部的深度图像进行动态融合，获得各个局部的三维网格；
(3)利用标准模型匹配各个局部的三维网格，求取形态参数和关节变换矩阵；
(4)根据形态参数和关节变换矩阵，获取三维模型。
3.如权利要求2所述的智能针刀治疗系统，其特征在于：所述的步骤(2)包括：
a.建立参考TSDF体，将第一幅深度图像融合到TSDF体中，得到初始三维网格；
b.对于后续获取的每一幅深度图像，获取已有三维网格到深度图像之间的匹配点对；
根据匹配点对求取网格的非刚性运动场；
c.根据非刚性运动场，将深度图像融合到TSDF体中，得到新的三维网格；
d.重复上步，直至所有深度图像全部融合到TSDF体中，得到最终的三维网格。
4.如权利要求2所述的智能针刀治疗系统，其特征在于：所述的步骤(3)包括：
a.将SMPL人体模型进行形态变化和姿态变化，匹配各个局部的三维网格；建立能量函数，求取各个三维网格下的初始形态参数和初始关节变换矩阵；
b.将所述各个三维网格下的初始形态参数进行平均，获得最终的形态参数；
c.根据所述初始关节变换矩阵以及SMPL人体模型与三维网格的匹配结果，将各个局部的三维网格反变换至标准姿态三维网格；依据标准姿态三维网格，对初始关节变换矩阵进行优化，获得最终的关节变换矩阵。
5.如权利要求1所述的智能针刀治疗系统，其特征在于：所述的三维模型构建单元，还包括导航模拟单元，其根据最终确立的三维模型和预设的针刀选择标准，确定出模拟针刀在所述三维模型中的模拟导航结果，最后将所述模拟导航结果进行三维渲染显示。
6.如权利要求1所述的智能针刀治疗系统，其特征在于：所述的显示确认单元输出显示三维模型构建单元的三维模拟导航结果，获得人工操作确认后反馈到控制模块，控制模块依据三维模拟导航结果控制针刀盒内的针刀型号输出和机器人手臂拿取针刀后的手术操作。
7.如权利要求5所述的智能针刀治疗系统，其特征在于：确定所述模拟针刀在所述三维模型中的模拟导航结果包括如下步骤：
根据预设的针刀导航要求，确定所述模拟针刀在所述三维模型的特征区域，并在所述特征区域内交互式提取数据点集；
通过实时磁定位及追踪确定所述数据点集中的目标数据点集，使用5x5的BoxFilter对输入图像I进行平滑滤波，得到Is；以Is为最底层构造图像金字塔k∈{1，2，...，v}，v是金字塔层数，即将每一级图像的长宽缩小为原来的0.5，分别得到v幅图像；其中是最底层的原图，是最顶层；在图像金字塔的顶层上以网格分布为规律生成均匀分布的种子点后，得到目标数据点集分割信息，再进行图像空间及物理空间的配准，得到所述模拟针刀在所述三维模型中的模拟导航结果。
8.如权利要求7所述的智能针刀治疗系统，其特征在于：在图像金字塔的顶层上以网格分布为规律生成均匀分布的种子点后，还需进行：
围绕聚类中心对本层像素进行聚类，并利用紧凑性敏感的最小障碍距离作为聚类的距离测度，具体是，为最小障碍距离引入一个空间约束项，即：
F(I，τ)＝B(I，τ)+α×d(τ0，τt)；
其中，F(I，τ)即是提出的距离测度，I是图像，τ是图像中一个2D路径，B(I，τ)是最小障碍距离，d(τ0，τt)是路径τ的起始点到终点的欧式距离，α是紧凑性因子；
对所述图像金字塔依次从顶层到底层逐层进行聚类，每层的聚类中心是上一层聚类结果的加权中心在本层的对应位置；具体的加权方式是利用在聚类过程中得到的每个像素离其最近的聚类中心的距离作为每个像素的权重，进行加权求和，并乘以金字塔缩放因子的倒数后得到下一层的新的聚类中心；
对金字塔最底层的聚类结果中的每一类做不同的标记后，即是目标数据点集的分割结果。
9.如权利要求1所述的智能针刀治疗系统，其特征在于：还包括红外温度传感器，为控制模块提供病症部位温度数据以判断是否发热和炎症。
10.如权利要求1所述的智能针刀治疗系统，其特征在于：所述的针刀盒内设有紫外灭菌管。
CN201910179109.9A 2019-03-11 2019-03-11 一种智能针刀治疗系统 Active CN109907824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910179109.9A CN109907824B (zh) 2019-03-11 2019-03-11 一种智能针刀治疗系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910179109.9A CN109907824B (zh) 2019-03-11 2019-03-11 一种智能针刀治疗系统

Publications (2)

Publication Number Publication Date
CN109907824A true CN109907824A (zh) 2019-06-21
CN109907824B CN109907824B (zh) 2020-12-22

Family

ID=66964200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179109.9A Active CN109907824B (zh) 2019-03-11 2019-03-11 一种智能针刀治疗系统

Country Status (1)

Country Link
CN (1) CN109907824B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204814184U (zh) * 2015-06-17 2015-12-02 杨明华 一种可自动换刀医疗手术机器人手臂
CN205268287U (zh) * 2015-12-21 2016-06-01 宋丹丹 一种智能的麻醉工具承载装置
CN106023212A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于金字塔逐层传播聚类的超像素分割方法
CN107622528A (zh) * 2017-09-20 2018-01-23 艾瑞迈迪医疗科技（北京）有限公司 一种可视化针刀导航模拟方法及装置
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN108272502A (zh) * 2017-12-29 2018-07-13 战跃福 一种ct三维成像引导的消融针导向手术方法及系统
CN108392269A (zh) * 2017-12-29 2018-08-14 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204814184U (zh) * 2015-06-17 2015-12-02 杨明华 一种可自动换刀医疗手术机器人手臂
CN205268287U (zh) * 2015-12-21 2016-06-01 宋丹丹 一种智能的麻醉工具承载装置
CN106023212A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于金字塔逐层传播聚类的超像素分割方法
CN107622528A (zh) * 2017-09-20 2018-01-23 艾瑞迈迪医疗科技（北京）有限公司 一种可视化针刀导航模拟方法及装置
CN108053437A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于体态的三维模型获取方法及装置
CN108272502A (zh) * 2017-12-29 2018-07-13 战跃福 一种ct三维成像引导的消融针导向手术方法及系统
CN108392269A (zh) * 2017-12-29 2018-08-14 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人

Also Published As

Publication number Publication date
CN109907824B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
JP5797352B1 (ja) ３次元物体を追跡するための方法
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
CN106887039A (zh) 一种基于医学影像的器官和病灶的三维成像方法及系统
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN110459301A (zh) 基于热力图和面部关键点的脑部神经外科导航配准方法
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
de San Roman et al. Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses
CN107016685A (zh) 一种实时匹配的手术场景增强现实投射方法
CN109785399B (zh) 合成病变图像的生成方法、装置、设备及可读存储介质
CN109730768A (zh) 一种基于虚拟现实的心胸外科手术辅助控制系统及方法
CN110215285A (zh) 手术导航的纠偏方法及系统
CN107595390A (zh) 一种超声影像与ct影像的实时匹配融合方法
CN105631931B (zh) 一种低复杂度的心脏表面三维形态在线建模系统及方法
CN106127783A (zh) 一种基于深度学习的医疗影像识别系统
CN113096137A (zh) 一种oct视网膜图像领域适应分割方法及系统
CN115049806B (zh) 基于蒙特卡洛树搜索的人脸增强现实标定方法及装置
CN106845138A (zh) 一种手术术前预演方法
CN106934810A (zh) 一种脊椎矫正装置
CN106897564B (zh) 一种基于医学影像的病案图像建模系统
CN107198568A (zh) 一种腹部外科精准手术引导系统及方法
CN109934798A (zh) 体内目标物信息标注方法及装置、电子设备、存储介质
CN114565554A (zh) 一种基于超声冠状面图像的x光图像配准方法及装置
CN109907824A (zh) 一种智能针刀治疗系统
CN115954096B (zh) 一种基于图像数据处理的腔镜vr成像系统
WO2002003304A2 (en) Predicting changes in characteristics of an object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant