CN115317794A - 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质 - Google Patents

基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质 Download PDF

Info

Publication number
CN115317794A
CN115317794A CN202210955083.4A CN202210955083A CN115317794A CN 115317794 A CN115317794 A CN 115317794A CN 202210955083 A CN202210955083 A CN 202210955083A CN 115317794 A CN115317794 A CN 115317794A
Authority
CN
China
Prior art keywords
coordinate
face characteristic
target point
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210955083.4A
Other languages
English (en)
Inventor
杜广龙
申婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Longest Science & Technology Co ltd
South China University of Technology SCUT
Original Assignee
Guangzhou Longest Science & Technology Co ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Longest Science & Technology Co ltd, South China University of Technology SCUT filed Critical Guangzhou Longest Science & Technology Co ltd
Priority to CN202210955083.4A priority Critical patent/CN115317794A/zh
Publication of CN115317794A publication Critical patent/CN115317794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00—Magnetotherapy
    • A61N2/004—Magnetotherapy specially adapted for a specific therapy
    • A61N2/006—Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00—Magnetotherapy
    • A61N2/02—Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例公开了一种基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质。本发明涉及经颅磁刺激医疗技术领域，其包括：获取深度相机拍摄的深度图像，并对深度图像进行人脸特征点提取得到图像人脸特征点；提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；对图像人脸特征点及模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；对真实靶点坐标进行估计得到目标靶点坐标，并根据目标靶点坐标通过改进的人工势场法规划最佳路径，根据最佳路径对机械手的移动进行自动导航。本申请实施例可提高靶点坐标定位的精准度及经颅磁刺激导航时的安全性。

Description

基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质
技术领域
本发明涉及经颅磁刺激医疗技术领域，尤其涉及一种基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质。
背景技术
经颅磁刺激(Transcranial Magnetic Stimulation,TMS)是一种通过经颅磁线圈作用于人体神经中枢，影响大脑神经元兴奋的非侵入性的、无痛的脑刺激方式。在现有技术中，许多研究人员提出了将机器人及视觉定位系统应用于经颅磁刺激系统中，例如，通过红外光学相机加Marker定位标记的方式来定位患者的头部和经颅磁线圈的位置，然而，将光学定位标记物附着在患者头部也会使患者感到不自在、且存在标定过程繁琐以及成本较高等问题。此外也有通过摄像头来定位患者的头部位置，但获得的位置信息不精准，机械手的末端携带TMS线圈按照规划路径的指引到达患者头部进行治疗时容易碰撞患者头颅。
发明内容
本发明实施例提供了一种基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质，旨在解决现有经颅磁刺激导航时靶点坐标精准度较低及安全性较低的问题。
第一方面，本发明实施例提供了一种基于动态跟踪的经颅磁刺激导航方法，其包括：
获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；
通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；
对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；
通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
第二方面，本发明实施例还提供了一种基于动态跟踪的经颅磁刺激导航装置，其包括：
第一提取单元，用于获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；
第二提取单元，用于通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；
配准转换单元，用于对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；
规划导航单元，用于通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明实施例提供了一种基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质。其中，所述方法包括：获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。本发明实施例的技术方案，通过坐标转换矩阵对预设标定模型靶点坐标进行坐标转换，以对靶点坐标进行动态跟踪，可提高靶点坐标定位的精准度；根据目标靶点坐标通过改进的人工势场法规划最佳路径，根据最佳路径对机械手的移动进行自动导航，可避免机械手的末端携带TMS线圈碰撞患者头颅，可在一定程度上提高经颅磁刺激导航时的安全性。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航方法的场景示意图；
图2为本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航方法的流程示意图；
图3为本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航方法的子流程示意图；
图4为本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航方法的子流程示意图；
图5为本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航装置的示意性框图；以及
图6为本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航方法的场景示意图。本发明实施例的基于动态跟踪的经颅磁刺激导航方法可应用于终端中，例如可通过配置于终端上的软件程序来实现所述基于动态跟踪的经颅磁刺激导航方法，从而提高靶点坐标定位的精准度及经颅磁刺激导航时的安全性。如图1所述，本发明实施例中的经颅磁刺激导航系统包括控制模块、视觉定位模块、机械手控制模块以及经颅磁刺激模块，其中，所述视觉定位包括深度相机；所述经颅磁刺激模块包括经颅磁治疗仪及TMS线圈；所述机械手控制模块包括力传感器及机器手；所述控制模块为终端。需要说的是，在本发明实施例中，机械手的末端连接有力传感器，力传感器的下方设置有经颅磁治疗仪，而TMS线圈通过经颅磁线圈接口自行插拔至经颅磁治疗仪上；所述机械手为六自由度机械手；所深度相机用于对患者进行人脸识别及定位；常见的TMS线圈包括圆形线圈、“8”字形线圈以及“H”形线圈。还需要说的是，在本发明实施例中，配置于终端上的软件程序是通过模型-视图-控制架构实现的，该架构包括View对象、Model对象以及Controller类，其中，View对象负责实现图像的可视化，以及界面的交互；Model对象下包含了相机控制类、机器人控制类和力传感器控制类等，其中，相机控制类负责维护深度相机的状态，获取深度相机的深度图像；机器人控制类负责封装机器人的控制接口，实现机器人各轴的连续运动控制和点动控制、暂停、示教、以及更高层级的轨迹跟踪规划等；力传感器控制类负责维护力传感器的状态，实时读取力传感器的数值；Controller类负责协调Model对象和View对象之间的数据交互，包括响应View对象的事件、将绘图数据发送给View对象、调用Model对象对应的处理函数以及接收Model对象的反馈信息。
请参阅图2，图2是本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航方法的流程示意图。如图2所示，该方法包括以下步骤S100-S130。
S100、获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的。
在本发明实施例中，患者在进行经颅磁刺激过程中，深度相机对患者人脸进行拍摄得到深度图像，相机控制类获取该深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的。可理解地，所述PFLD(Practical Facial LandmarkDetector)网络包括MobileNet-V2主干网络及多尺度全连接层。需要说明的是，在本发明实施例中，之所以采用深度相机对患者人脸进行拍摄，是因为深度相机相比于普通相机具有精准定位、稳定可靠等优点。还需要说明的是，在本发明实施例中，对于所述深度相机的台数不作具体限定，可根据实际情况而定。
请参阅图3，在一实施例中，例如在本发明实施例中，所述步骤S100包括如下步骤S101-S106。
S101、在PFLD网络的主干网络中增加一个用于分类的卷积神经网络以对所述PFLD网络进行改进得到目标PFLD网络；
S102、对训练样本集进行打标签得到Ground Truth标签图像，并通过所述GroundTruth标签图像对所述目标PFLD网络进行训练；
S103、利用测试样本集对训练后的所述目标PFLD网络进行测试以得到平均分类准确率；
S104、判断所述平均分类准确率是否大于预设分类准确率，若所述平均分类准确率大于所述预设分类准确率，则执行步骤S105，否则执行步骤S106；
S105、将训练后的所述目标PFLD网络作为所人脸特征点检测模型；
S106、返回执行所述通过所述Ground Truth标签图像对所述目标PFLD网络进行训练的步骤，直至得到所述人脸特征点检测模型。
在本发明实施例中，在PFLD网络的MobileNet-V2主干网络中增加一个用于分类的卷积神经网络以对所述PFLD网络进行改进得到目标PFLD网络；对训练样本集进行打标签得到Ground Truth标签图像，打标签的具体过程如下，不包含人脸图像的标签为(1,0,0)，包含人脸但人脸被遮挡的标签为(0,1,0)，人脸未被遮挡的标签为(0,0,1)，并通过所述Ground Truth标签图像对所述目标PFLD网络进行训练，可理解地，训练时，可设置训练次数，当到达训练次数时，就停止训练；训练完成之后，利用测试样本集对训练后的所述目标PFLD网络进行测试以得到包含人脸分类准确率、遮挡分类准确率以及人脸未被遮挡分类准确率，计算所述包含人脸分类准确率、所述遮挡分类准确率以及所述人脸未被遮挡分类准确率的平均值以得到平均分类准确率；判断所述平均分类准确率是否大于预设分类准确率；若所述平均分类准确率大于所述预设分类准确率，表明模型的分类准确率较高，则将训练后的所述目标PFLD网络作为所人脸特征点检测模型；反之，表明模型的分类准确率较低，返回执行所述通过所述Ground Truth标签图像对所述目标PFLD网络进行训练的步骤，直至得到所述人脸特征点检测模型。需要说明的是，在本发明实施例中，在对所述目标PFLD网络进行训练过程中，使用交叉熵损失函数进行训练，训练的环境为NVIDIA RTX3090，设置的批处理大小为256，权重衰减为1e-6，最大迭代次数为64000次，初始学习率为1e-4。
S110、通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点。
在本发明实施例中，核磁共振图像是通过核磁共振仪对患者的目标部位例如头部，进行一层一层的断面扫描后形成的图像，即所述核磁共振图像是在核磁共振时形成的图像。先根据核磁共振图像通过移动立方体算法创建三维头部模型，然后再通过所述PFLD网络提取所述三维头部模型的模型人脸特征点。需要说明的是，在本发明实施例中，之所以采用PFLD网络提取人脸特征点，是因为PFLD网络精度高、速度快，而所述移动立方体算法为现有算法，在此不再赘述。还需要说明的是，在本发明实施例中，采用VTK可视化交互库对三维模型进行可视化处理，也获取核磁共振图像。
S120、对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标。
在本发明实施例中，定义了真实头部坐标系{Head}，相机头部坐标系{Camera}，模型坐标系{Model}以及模型空间头部坐标系{V}，基于上述定义的坐标系，将所述图像人脸特征点从真实头部坐标系映射至相机头部坐标系得到第一坐标转换矩阵
Figure BDA0003790967230000071
将所述模型人脸特征点从模型坐标系映射至模型空间头部坐标系得到第二坐标转换矩阵
Figure BDA0003790967230000072
将所述第一坐标转换矩阵
Figure BDA0003790967230000073
与所述第二坐标转换矩阵
Figure BDA0003790967230000074
相乘得到坐标转换矩阵
Figure BDA0003790967230000075
得到将模型坐标系转换至相机头部坐标系的坐标转换矩阵
Figure BDA0003790967230000076
根据所述坐标转换矩阵
Figure BDA0003790967230000077
对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标，其中，预设标定模型靶点坐标为患者头颅中待刺激区域的坐标。需要说明的是，在本发明实施例中，通过将预设标定模型靶点坐标进行坐标转换得到真实靶点坐标的过程，即为将创建的三维头部模型与实际的头部进行重合，重合的基准为左眼特征点、右眼特征点以及鼻子特征点等相重合。
S130、通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
在本发明实施例中，通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，其中，所述最优估计算法为卡尔曼滤波估计，可理解地，通过所述卡尔曼滤波估计可对所述真实靶点坐标的最优位置进行估计；根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，其中，所述人工势场法(Artificial Potential Fields，简称APF)是由Khatib等提出的一种势场引导的方法，其原理是让障碍物对机器人产生斥力场，目标点对障碍物产生引力，通过对整体势场的梯度下降求导，得到机器人的路径规划轨迹。根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。需要说明的是，所述人工势场法通过两种势场的叠加场对机器人路径进行规划，包括目标点形成的引力场(Attractive Field)，以及障碍物形成的斥力场(RepulsiveFiled)。
请参阅图4，在一实施例中，例如在本发明实施例中，所述步骤S130包括如下步骤S131-S132。
S131、获取TMS线圈当前坐标，并根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场，其中，所述改进的人工势场法是在所述人工势场法的基础上增加了一个自定义的高度场；
S132、采用梯度下降法求解所述人工势能场的轨迹点得到多个路径规划点，并根据所述多个路径规划点得到最佳路径。
在本发明实施例中，首先在所述人工势场的基础上增加一个自定义的高度场，即改进的人工势场法包括引力场Uatt(p)、斥力场Urep(p)以及高度场Ulift(p)，其中，自定义的高度场如公式(1)所示，在公式(1)中，η是高度场的调节因子，用于调整高度场大小；d0为预设距离，d(p，ptarget)表示所述当前坐标位置与所述目标靶点位置之间的距离，当d(p，ptarget)小于预设距离时，表明无需将机械手抬头，则高度场等于0，反之则需要计算高度场。终端机器人控制类获取TMS线圈当前坐标，并根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算引力场、势力场以及高度场，将所述引力场、所述势力场以及所述高度场相加得到人工势能场，其中，所述人工势能场的公式为U(p)＝Uatt(p)+Urep(p)+Ulift(p)。采用梯度下降法求解所述人工势能场的轨迹点得到多个路径规划点，并根据所述多个路径规划点得到最佳路径。需要说明的是，在本发明实施例中，在根据所述最佳路径对机械手的移动进行自动导航过程中，力传感器控制类会检测力传感器的受力值是否超过预设受力值；若所述受力值超过预设受力值，表明所述TMS线圈与患者头部贴的太紧或者发生了碰撞，则向所述机械手发送回退指令，以使所述TMS线圈沿着法向量的方向回退预设距离，其中，所述法向量的方向为与所述TMS线圈中心点垂直的方向；
根据回退的所述预设距离计算所TMS线圈当前坐标，并返回执行所述根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场的步骤，以将TMS线圈移动至与所述目标靶点坐标相对应的位置处对患者进行磁刺激。可理解地，若所述受力值未超过预设受力值，表明所述TMS线圈未与患者头部贴紧或者未发生碰撞，则继续按照最佳路径对机械手进行导航，直至将TMS线圈移动至与所述目标靶点坐标相对应的位置处为止。
Figure BDA0003790967230000091
图5是本发明实施例提供的一种基于动态跟踪的经颅磁刺激导航装置200的示意性框图。如图5所示，对应于以上基于动态跟踪的经颅磁刺激导航方法，本发明还提供一种基于动态跟踪的经颅磁刺激导航装置200。该基于动态跟踪的经颅磁刺激导航装置200包括用于执行上述基于动态跟踪的经颅磁刺激导航方法的单元，该装置可以被配置于终端。具体地，请参阅图5，该基于动态跟踪的经颅磁刺激导航装置200包括第一提取单元201、第二提取单元202、配准转换单元203以及规划导航单元204。
其中，所述第一提取单元201用于获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；所述第二提取单元202用于通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；所述配准转换单元203用于对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；所述规划导航单元204用于通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
在某些实施例，例如本实施例中，所述第一提取单元201包括第一检测单元、特征提取单元、改进单元、训练单元、测试单元、判断单元以及作为单元。
其中，所述第一检测单元用于通过人脸特征点检测模型对所述深度图像进行分类检测得到图像分类结果；所述特征提取单元用于若所述分类结果为人脸不受遮挡，则对所述深度图像进行人脸特征点提取得到图像人脸特征点；所述改进单元用于在PFLD网络的主干网络中增加一个用于分类的卷积神经网络以对所述PFLD网络进行改进得到目标PFLD网络；所述训练单元用于对训练样本集进行打标签得到Ground Truth标签图像，并通过所述Ground Truth标签图像对所述目标PFLD网络进行训练；所述测试单元用于利用测试样本集对训练后的所述目标PFLD网络进行测试以得到平均分类准确率；所述判断单元用于判断所述平均分类准确率是否大于预设分类准确率；所述作为单元用于若所述平均分类准确率大于所述预设分类准确率，则将训练后的所述目标PFLD网络作为所人脸特征点检测模型。
在某些实施例，例如本实施例中，所述配准转换单元203包括第一转换单元、第二转换单元以及第一计算单元。
其中，所述第一转换单元用于将所述图像人脸特征点从真实头部坐标系映射至相机头部坐标系得到第一坐标转换矩阵；所述第二转换单元用于将所述模型人脸特征点从模型坐标系映射至模型空间头部坐标系得到第二坐标转换矩阵；所述第一计算单元用于将所述第一坐标转换矩阵与所述第二坐标转换矩阵相乘得到坐标转换矩阵。
在某些实施例，例如本实施例中，所述规划导航单元204包括第二计算单元、第三计算单元、第二检测单元、回退单元以及返回执行单元。
其中，所述第二计算单元用于获取TMS线圈当前坐标，并根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场，其中，所述改进的人工势场法是在所述人工势场法的基础上增加了一个自定义的高度场；所述第三计算单元用于采用梯度下降法求解所述人工势能场的轨迹点得到多个路径规划点，并根据所述多个路径规划点得到最佳路径；所述第二检测单元用于根据所述最佳路径对机械手的移动进行自动导航过程中，检测力传感器的受力值是否超过预设受力值；所述回退单元用于若所述受力值超过预设受力值，则向所述机械手发送回退指令，以使所述TMS线圈沿着法向量的方向回退预设距离；所述返回执行单元用于根据回退的所述预设距离计算所TMS线圈当前坐标，并返回执行所述根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场的步骤，以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
在某些实施例，例如本实施例中，所述第二计算单元包括第四计算单元及第五计算单元。
其中，所述第四计算单元用于根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标计算引力场、势力场以及高度场；所述第五计算单元用于将所述引力场、所述势力场以及所述高度场相加得到人工势能场。
本发明实施例的基于动态跟踪的经颅磁刺激导航装置200的具体实现方式与上述基于动态跟踪的经颅磁刺激导航方法相对应，在此不再赘述。
上述基于动态跟踪的经颅磁刺激导航装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为终端。
参阅图6，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。
该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于动态跟踪的经颅磁刺激导航方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于动态跟踪的经颅磁刺激导航方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述目标靶点坐标通过改进的人工势场法规划最佳路径的步骤时，具体实现如下步骤：获取TMS线圈当前坐标，并根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场，其中，所述改进的人工势场法是在所述人工势场法的基础上增加了一个自定义的高度场；采用梯度下降法求解所述人工势能场的轨迹点得到多个路径规划点，并根据所述多个路径规划点得到最佳路径。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场的步骤时，具体实现如下步骤：根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标计算引力场、势力场以及高度场；将所述引力场、所述势力场以及所述高度场相加得到人工势能场。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处的步骤时，具体实现如下步骤：根据所述最佳路径对机械手的移动进行自动导航过程中，检测力传感器的受力值是否超过预设受力值；若所述受力值超过预设受力值，则向所述机械手发送回退指令，以使所述TMS线圈沿着法向量的方向回退预设距离；根据回退的所述预设距离计算所TMS线圈当前坐标，并返回执行所述根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场的步骤，以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
在某些实施例，例如本实施例中，处理器302在实现所述通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点的步骤时，具体实现如下步骤：通过人脸特征点检测模型对所述深度图像进行分类检测得到图像分类结果；若所述分类结果为人脸不受遮挡，则对所述深度图像进行人脸特征点提取得到图像人脸特征点。
在某些实施例，例如本实施例中，处理器302在实现所述通过对改进后的PFLD网络进行训练得到所述人脸特征点检测模型的步骤时，具体实现如下步骤：在PFLD网络的主干网络中增加一个用于分类的卷积神经网络以对所述PFLD网络进行改进得到目标PFLD网络；对训练样本集进行打标签得到Ground Truth标签图像，并通过所述Ground Truth标签图像对所述目标PFLD网络进行训练；利用测试样本集对训练后的所述目标PFLD网络进行测试以得到平均分类准确率；判断所述平均分类准确率是否大于预设分类准确率；若所述平均分类准确率大于所述预设分类准确率，则将训练后的所述目标PFLD网络作为所人脸特征点检测模型。
在某些实施例，例如本实施例中，处理器302在实现所述对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵的步骤时，具体实现如下步骤：将所述图像人脸特征点从真实头部坐标系映射至相机头部坐标系得到第一坐标转换矩阵；将所述模型人脸特征点从模型坐标系映射至模型空间头部坐标系得到第二坐标转换矩阵；将所述第一坐标转换矩阵与所述第二坐标转换矩阵相乘得到坐标转换矩阵。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于动态跟踪的经颅磁刺激导航方法的任意实施例。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于动态跟踪的经颅磁刺激导航方法，其特征在于，包括：
获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；
通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；
对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；
通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标靶点坐标通过改进的人工势场法规划最佳路径的步骤，包括：
获取TMS线圈当前坐标，并根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场，其中，所述改进的人工势场法是在所述人工势场法的基础上增加了一个自定义的高度场；
采用梯度下降法求解所述人工势能场的轨迹点得到多个路径规划点，并根据所述多个路径规划点得到最佳路径。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场的步骤，包括：
根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标计算引力场、势力场以及高度场；
将所述引力场、所述势力场以及所述高度场相加得到人工势能场。
4.根据权利要求1所述的方法，其特征在于，所述根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处的步骤，包括：
根据所述最佳路径对机械手的移动进行自动导航过程中，检测力传感器的受力值是否超过预设受力值；
若所述受力值超过预设受力值，则向所述机械手发送回退指令，以使所述TMS线圈沿着法向量的方向回退预设距离；
根据回退的所述预设距离计算所TMS线圈当前坐标，并返回执行所述根据所述当前坐标、所述目标靶点坐标以及预设障碍点坐标通过所述改进的人工势场法计算人工势能场的步骤，以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
5.根据权利要求1所述的方法，其特征在于，所述通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点的步骤，包括：
通过人脸特征点检测模型对所述深度图像进行分类检测得到图像分类结果；
若所述分类结果为人脸不受遮挡，则对所述深度图像进行人脸特征点提取得到图像人脸特征点。
6.根据权利要求1所述的方法，其特征在于，通过对改进后的PFLD网络进行训练得到所述人脸特征点检测模型的步骤，包括：
在PFLD网络的主干网络中增加一个用于分类的卷积神经网络以对所述PFLD网络进行改进得到目标PFLD网络；
对训练样本集进行打标签得到Ground Truth标签图像，并通过所述Ground Truth标签图像对所述目标PFLD网络进行训练；
利用测试样本集对训练后的所述目标PFLD网络进行测试以得到平均分类准确率；
判断所述平均分类准确率是否大于预设分类准确率；
若所述平均分类准确率大于所述预设分类准确率，则将训练后的所述目标PFLD网络作为所人脸特征点检测模型。
7.根据权利要求1所述的方法，其特征在于，所述对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵的步骤，包括：
将所述图像人脸特征点从真实头部坐标系映射至相机头部坐标系得到第一坐标转换矩阵；
将所述模型人脸特征点从模型坐标系映射至模型空间头部坐标系得到第二坐标转换矩阵；
将所述第一坐标转换矩阵与所述第二坐标转换矩阵相乘得到坐标转换矩阵。
8.一种基于动态跟踪的经颅磁刺激导航装置，其特征在于，包括：
第一提取单元，用于获取深度相机拍摄的深度图像，并通过人脸特征点检测模型对所述深度图像进行人脸特征点提取得到图像人脸特征点，其中，所述人脸特征点检测模型是通过对改进后的PFLD网络进行训练得到的；
第二提取单元，用于通过所述PFLD网络提取基于核磁共振图像创建的三维头部模型的模型人脸特征点；
配准转换单元，用于对所述图像人脸特征点及所述模型人脸特征点进行坐标系配准得到坐标转换矩阵，并根据所述坐标转换矩阵对预设标定模型靶点坐标进行坐标转换得到真实靶点坐标；
规划导航单元，用于通过最优估计算法对所述真实靶点坐标进行估计得到目标靶点坐标，并根据所述目标靶点坐标通过改进的人工势场法规划最佳路径，根据所述最佳路径对机械手的移动进行自动导航以将TMS线圈移动至与所述目标靶点坐标相对应的位置处。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210955083.4A 2022-08-10 2022-08-10 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质 Pending CN115317794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210955083.4A CN115317794A (zh) 2022-08-10 2022-08-10 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210955083.4A CN115317794A (zh) 2022-08-10 2022-08-10 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115317794A true CN115317794A (zh) 2022-11-11

Family

ID=83922582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210955083.4A Pending CN115317794A (zh) 2022-08-10 2022-08-10 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115317794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630382A (zh) * 2023-07-18 2023-08-22 杭州安劼医学科技有限公司 神经调控图像监测配准系统和控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630382A (zh) * 2023-07-18 2023-08-22 杭州安劼医学科技有限公司 神经调控图像监测配准系统和控制方法
CN116630382B (zh) * 2023-07-18 2023-10-03 杭州安劼医学科技有限公司 神经调控图像监测配准系统和控制方法

Similar Documents

Publication Publication Date Title
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
EP2919194B1 (en) Image data processing device and transcranial magnetic stimulation apparatus
EP2684519B1 (en) Position and orientation algorithm for a single axis sensor
CN107809955B (zh) 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位
CN111657947B (zh) 一种神经调控靶区的定位方法
KR102493021B1 (ko) 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템
CN115317794A (zh) 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质
US10675479B2 (en) Operation teaching device and transcranial magnetic stimulation device
CN115429430A (zh) 配准方法、信息显示方法、手术导航系统、装置及设备
CN103220970B (zh) 导航参考点偏移检测方法和系统
EP3292835B1 (en) Ent image registration
CN112990101A (zh) 基于机器视觉的面部器官定位方法及相关设备
CN115154907A (zh) 一种经颅磁刺激线圈定位控制方法、系统及电子设备
CN115116113A (zh) 一种光学导航方法
CN116580820B (zh) 基于多模态医学图像的经会阴前列腺穿刺智能麻醉系统
Giannarou et al. Tissue deformation recovery with gaussian mixture model based structure from motion
CN116563297B (zh) 颅脑靶点定位方法、装置及存储介质
Tuna et al. Differential image based robot to MRI scanner registration with active fiducial markers for an MRI-guided robotic catheter system
EP4335358A1 (en) Registering an anatomical model to a reference anatomical model
Xiao et al. Cortexbot: 3d visual fusion of robotic neuronavigated tms system
EP4064213A1 (en) Utility vehicle and corresponding apparatus, method and computer program for a utility vehicle
CN115316972A (zh) 柔性电极的植入方法、装置和电子设备
CN114037738A (zh) 一种人类视觉驱动的上肢辅助机器人控制方法
CN114288559A (zh) 经颅磁刺激导航方法、系统及计算机设备
CN116650113A (zh) 基于光学导航的经颅磁刺激手部热点自动搜索系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination