CN114190922A - Tms头动检测方法 - Google Patents

Tms头动检测方法 Download PDF

Info

Publication number
CN114190922A
CN114190922A CN202010987015.7A CN202010987015A CN114190922A CN 114190922 A CN114190922 A CN 114190922A CN 202010987015 A CN202010987015 A CN 202010987015A CN 114190922 A CN114190922 A CN 114190922A
Authority
CN
China
Prior art keywords
image
face feature
dimensional
feature pixel
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010987015.7A
Other languages
English (en)
Other versions
CN114190922B (zh
Inventor
黄晓琦
幸浩洋
龚启勇
李静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010987015.7A priority Critical patent/CN114190922B/zh
Publication of CN114190922A publication Critical patent/CN114190922A/zh
Application granted granted Critical
Publication of CN114190922B publication Critical patent/CN114190922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00—Magnetotherapy
    • A61N2/02—Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00—Magnetotherapy
    • A61N2/004—Magnetotherapy specially adapted for a specific therapy
    • A61N2/006—Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Neurology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开TMS头动检测方法，步骤s1：扫描获得病患的磁共振图像，通过深度相机获得病患的头部深度图及其rgb平面图；步骤s2：通过病患的头部深度图及其rgb平面图所对应的关系得到人脸特征像素点对应的三维坐标；步骤s3：使用marching cubes面绘制算法结合Vtk工具包实现步骤s1中所获得的磁共振图像的三维重建；步骤s4：使用MTCNN算法获取二维截图的人脸特征像素点的二维坐标；步骤s5：根据Vtk坐标系转换关系算得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标；步骤s6：将步骤s2与步骤s5所得到的两组三维坐标通过LandMark经典算法仿射配准。本发明能根据深度相机获取的图像，实时检测患者的头动状况，实现在计算机中同步显示患者的头动情况。

Description

TMS头动检测方法
技术领域
本发明涉及医用图像处理技术领域，尤其涉及TMS头动检测方法。
背景技术
TMS是Transcranial Magnetic Stimulation的缩写，即经颅磁刺激技术，该技术是一种利用脉冲磁场作用于中枢神经系统(主要是大脑)，改变皮层神经细胞的膜电位，使之产生感应电流，影响脑内代谢和神经电活动，从而引起一系列生理生化反应的磁刺激技术。
现有技术基于TMS进行头部配准大多为静态配准，无法实现在计算机中动态进行配准，即使能够进行动态配准，也需要较大的场地和大型的动态捕捉装置才能完成，成本昂贵。
发明内容
本发明旨在提供一种检测病患在进行TMS调控时头动情况的方法。
为达到上述目的，本发明是采用以下技术方案实现的：
TMS头动检测方法，包括以下步骤：
步骤s1：扫描获得病患的磁共振图像，通过深度相机获得病患的头部深度图及其rgb平面图，使用MTCNN算法获取rgb平面图上第一个抓取到的病患的人脸特征像素点的二维坐标，所述人脸特征像素点包括左眼、右眼、鼻子、左嘴角及右嘴角所对应的5个点位；
步骤s2：通过病患的头部深度图及其rgb平面图所对应的关系得到人脸特征像素点对应的三维坐标；
步骤s3：使用marching cubes面绘制算法结合Vtk工具包实现步骤s1中所获得的磁共振图像的三维重建，得到重建三维图像；
步骤s4：获取所述重建三维图像的视角为正前方的二维截图，再使用MTCNN算法获取所述二维截图的人脸特征像素点的二维坐标；
步骤s5：根据Vtk坐标系转换关系算得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标；
步骤s6：将步骤s2与步骤s5所得到的两组三维坐标通过LandMark经典算法仿射配准，使病患所在的物理坐标与Vtk世界坐标系统一，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
优选的，所述步骤s1包括以下步骤：
步骤s101：对输入的rgb平面图的每一帧图像进行多尺度变换，制作成不同尺度的图像金字塔；
步骤s102：将金字塔图像输入P-Net卷积神经网络，获得候选窗体和边界回归向量。同时，候选窗体根据边界框进行校准。然后利用非极大值抑制去除重叠窗体，输出得到人脸图像。
步骤s103：将P-Net网络输出得到的人脸图像输入R-Net卷积神经网络，利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体，输出得到人脸图像。此时的到的人脸检测框更加精准；
步骤s104：将R-Net网络输出得到的人脸图像输入O-net卷积神经网络，对人脸检测框坐标进行进一步的细化，该网络比R-Net多一层卷积层，功能与R-Net类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。
优选的，在步骤s2中，在所述头部深度图中检索步骤s1中所得人脸特征像素点，获取其所对应的像素值，并将所述像素值作为所对应的人脸特征像素点的深度值，从而得到步骤s1中所得人脸特征像素点对应的三维坐标。
优选的，所述步骤s3的marching cubes面绘制算法包括以下步骤：
步骤s301：将步骤s1中扫描得到的磁共振图像分层读入内存；
步骤s302：扫描两层数据，逐个构造体素，每个体素中的8个角点取自相邻的两层；
步骤s303：将体素每个角点的函数值与根据病患情况所给定的等值面值c做比较，根据比较结果，构造该体素的状态表；
步骤s304：根据状态表，得出将与等值面有交点的边界体素；
步骤s305：通过线性插值方法计算出体素棱边与等值面的交点；
步骤s306：利用中心差分方法，求出体素各角点处的法向量，再通过线性插值方法，求出三角面片各顶点处的法向；
步骤s307：根据各三角面片上各顶点的坐标及法向量绘制等值面图像，从而获得磁共振图像的重建三维图像。
优选的，所述步骤s5包括以下步骤：
步骤s501：算取步骤s4中所获人脸特征像素点坐标值距离步骤s4中所获二维截图最中心像素的中心值的比率r；
步骤s502：根据比率r能分别求出重建三维图像的人脸特征像素点在Vtk三维视图中的view坐标系的坐标值；
步骤s503：根据view坐标系的值可以分别求出重建三维图像的人脸特征像素点在Vtk三维视图中的display坐标系的坐标值；
步骤s504：用Vtk面片拾取的方式模拟一条起点是人脸特征像素点的display坐标点且与显示屏垂直的向量，算取第一个相交于所述向量的的体素坐标点，从而分别获得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标。
优选的，所述步骤s6包括以下步骤：
步骤s601：将经过步骤s1及步骤s2后所得到的人脸特征像素点设为源点集；
步骤s602：将经过步骤s3、步骤s4及步骤s5后所得的重建三维图像的人脸特征像素点设为目标点集；
步骤s603：算得包括平移、旋转和放缩变换的原始配准矩阵，使得前述两个点集在配准后的平均距离最小；
步骤s604：将所述目标点集乘上所述原始配准矩阵，完成第一次配准；
步骤s605：将在每一帧所获取的rgb平面图都按步骤s1及步骤s2操作，获取每帧rgb平面图对应的人脸特征像素点的三维坐标；
步骤s606：将每帧rgb平面图的人脸特征像素点的三维坐标与步骤s2中所获得的三维坐标再次用LandMark算法进行配准，获取每帧rgb平面图对应的二次配准矩阵；
步骤s607：将二次配准矩阵后乘所述原始配准矩阵，得到除第一帧图像外的每帧图像的真实配准矩阵，在Vtk中将除第一帧图像外的目标点集乘上原始配准矩阵，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
本发明具有以下有益效果：
本发明利用TMS装置及深度相机，结合深度神经网络及算法，以相对低廉的成本在计算机中较高精度地实时模拟患者在现实世界中的头动情况，为针对头部的医学实验以及治疗技术开发提供便利条件。
附图说明
图1为本发明输出结果截图a；
图2为本发明输出结果截图b。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
TMS头动检测方法，包括以下步骤：
步骤s1：扫描获得病患的磁共振图像，通过深度相机获得病患的头部深度图及其rgb平面图，使用MTCNN算法获取rgb平面图上第一个抓取到的病患的人脸特征像素点的二维坐标，所述人脸特征像素点包括左眼、右眼、鼻子、左嘴角及右嘴角所对应的5个点位。需要注意的是，一张图片上可能有多张人脸，按从图片左上到右下的顺序遍历像素，步骤s1中只抓取第一张识别到的人脸。
具体地，所述步骤s1包括以下步骤：
步骤s101：对输入的rgb平面图的每一帧图像进行多尺度变换，制作成不同尺度的图像金字塔。
步骤s102：将金字塔图像输入P-Net卷积神经网络，获得候选窗体和边界回归向量。所述P-Net卷积神经网络，即Proposal Network。
同时，候选窗体根据边界框进行校准。然后利用非极大值抑制去除重叠窗体，输出得到人脸图像。
步骤s103：将P-Net网络输出得到的人脸图像输入R-Net(Refine Network)卷积神经网络，利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体，输出得到人脸图像。此时的到的人脸检测框更加精准。所述R-Net卷积神经网络，即RefineNetwork。
步骤s104：将R-Net网络输出得到的人脸图像输入O-net(Output Network)卷积神经网络，对人脸检测框坐标进行进一步的细化，该网络比R-Net多一层卷积层，功能与R-Net类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。所述O-net卷积神经网络，即Output Network。
步骤s2：通过病患的头部深度图及其rgb平面图所对应的关系得到人脸特征像素点对应的三维坐标。
在步骤s2中，在所述头部深度图中检索步骤s1中所得人脸特征像素点，获取其所对应的像素值，并将所述像素值作为所对应的人脸特征像素点的深度值，从而得到步骤s1中所得人脸特征像素点对应的三维坐标。其中，检索人脸特征像素点，获取其对应的像素值是图像处理领域的常规技术手段。
步骤s3：使用marching cubes面绘制算法结合Vtk工具包实现步骤s1中所获得的磁共振图像的三维重建，得到重建三维图像。
具体地，所述步骤s3的marching cubes面绘制算法包括以下步骤：
步骤s301：将步骤s1中扫描得到的磁共振图像分层读入内存；
步骤s302：扫描两层数据，逐个构造体素，每个体素中的8个角点取自相邻的两层；
步骤s303：将体素每个角点的函数值与根据病患情况所给定的等值面值c做比较，根据比较结果，构造该体素的状态表；
步骤s304：根据状态表，得出将与等值面有交点的边界体素；
步骤s305：通过线性插值方法计算出体素棱边与等值面的交点；
步骤s306：利用中心差分方法，求出体素各角点处的法向量，再通过线性插值方法，求出三角面片各顶点处的法向；
步骤s307：根据各三角面片上各顶点的坐标及法向量绘制等值面图像，从而获得磁共振图像的重建三维图像。
在步骤s303中，等值面的c值，是根据不同病人的具体情况而给定的。在该步骤中调用代码的时候，会向该步骤所应用的marching cubes面绘制算法传输参数，该参数即是等值面的c值。根据不同的需求c值可以定义的不同，并且根据不同品牌的扫描仪器生成的磁共振图像所需的c值也是不同的，所以c值需要根据具体的病人给出的图像而定。
步骤s4：获取所述重建三维图像的视角为正前方的二维截图，再使用MTCNN算法获取所述二维截图的人脸特征像素点的二维坐标。
步骤s5：根据Vtk坐标系转换关系算得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标。
具体地，所述步骤s5包括以下步骤：
步骤s501：算取步骤s4中所获人脸特征像素点坐标值距离步骤s4中所获二维截图最中心像素的中心值的比率r；
步骤s502：根据比率r能分别求出重建三维图像的人脸特征像素点在Vtk三维视图中的view坐标系的坐标值；
步骤s503：根据view坐标系的值可以分别求出重建三维图像的人脸特征像素点在Vtk三维视图中的display坐标系的坐标值；
步骤s504：用Vtk面片拾取的方式模拟一条起点是人脸特征像素点的display坐标点且与显示屏垂直的向量，算取第一个相交于所述向量的的体素坐标点，从而分别获得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标。
步骤s6：将步骤s2与步骤s5所得到的两组三维坐标通过LandMark经典算法仿射配准，使病患所在的物理坐标与Vtk世界坐标系统一，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
具体地，所述步骤s6包括以下步骤：
步骤s601：将经过步骤s1及步骤s2后所得到的人脸特征像素点设为源点集；
步骤s602：将经过步骤s3、步骤s4及步骤s5后所得的重建三维图像的人脸特征像素点设为目标点集；
步骤s603：算得包括平移、旋转和放缩变换的原始配准矩阵，使得前述两个点集在配准后的平均距离最小；
步骤s604：将所述目标点集乘上所述原始配准矩阵，完成第一次配准；
步骤s605：将在每一帧所获取的rgb平面图都按步骤s1及步骤s2操作，获取每帧rgb平面图对应的人脸特征像素点的三维坐标；
步骤s606：将每帧rgb平面图的人脸特征像素点的三维坐标与步骤s2中所获得的三维坐标再次用LandMark算法进行配准，获取每帧rgb平面图对应的二次配准矩阵；
步骤s607：将二次配准矩阵后乘所述原始配准矩阵，得到除第一帧图像外的每帧图像的真实配准矩阵，在Vtk中将除第一帧图像外的目标点集乘上原始配准矩阵，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
如图1、2为计算机中显示的截图，操作人员通过本发明实现了在计算机中实时模拟显示真实物理世界中患者的头动情况。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.TMS头动检测方法，其特征在于，包括以下步骤：
步骤s1：扫描获得病患的磁共振图像，通过深度相机获得病患的头部深度图及其rgb平面图，使用MTCNN算法获取rgb平面图上第一个抓取到的病患的人脸特征像素点的二维坐标，所述人脸特征像素点包括左眼、右眼、鼻子、左嘴角及右嘴角所对应的5个点位；
步骤s2：通过病患的头部深度图及其rgb平面图所对应的关系得到人脸特征像素点对应的三维坐标；
步骤s3：使用marching cubes面绘制算法结合Vtk工具包实现步骤s1中所获得的磁共振图像的三维重建，得到重建三维图像；
步骤s4：获取所述重建三维图像的视角为正前方的二维截图，再使用MTCNN算法获取所述二维截图的人脸特征像素点的二维坐标；
步骤s5：根据Vtk坐标系转换关系算得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标；
步骤s6：将步骤s2与步骤s5所得到的两组三维坐标通过LandMark经典算法仿射配准，使病患所在的物理坐标与Vtk世界坐标系统一，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
2.根据权利要求1所述的TMS头动检测方法，其特征在于：所述步骤s1包括以下步骤：
步骤s101：对输入的rgb平面图的每一帧图像进行多尺度变换，制作成不同尺度的图像金字塔；
步骤s102：将金字塔图像输入P-Net卷积神经网络，获得候选窗体和边界回归向量，候选窗体根据边界框进行校准，然后利用非极大值抑制去除重叠窗体，输出得到人脸图像；
步骤s103：将P-Net网络输出得到的人脸图像输入R-Net卷积神经网络，利用边界框向量微调候选窗体，最后还是利用非极大值抑制算法去除重叠窗体，输出得到人脸图像；
步骤s104：将R-Net网络输出得到的人脸图像输入O-net卷积神经网络，对人脸检测框坐标进行进一步的细化，该网络比R-Net多一层卷积层，功能与R-Net类似，只是在去除重叠候选窗口的同时标定5个人脸关键点位置。
3.根据权利要求1所述的TMS头动检测方法，其特征在于：在步骤s2中，在所述头部深度图中检索步骤s1中所得人脸特征像素点，获取其所对应的像素值，并将所述像素值作为所对应的人脸特征像素点的深度值，从而得到步骤s1中所得人脸特征像素点对应的三维坐标。
4.根据权利要求1所述的TMS头动检测方法，其特征在于：所述步骤s3的marchingcubes面绘制算法包括以下步骤：
步骤s301：将步骤s1中扫描得到的磁共振图像分层读入内存；
步骤s302：扫描两层数据，逐个构造体素，每个体素中的8个角点取自相邻的两层；
步骤s303：将体素每个角点的函数值与根据病患情况所给定的等值面值c做比较，根据比较结果，构造该体素的状态表；
步骤s304：根据状态表，得出将与等值面有交点的边界体素；
步骤s305：通过线性插值方法计算出体素棱边与等值面的交点；
步骤s306：利用中心差分方法，求出体素各角点处的法向量，再通过线性插值方法，求出三角面片各顶点处的法向；
步骤s307：根据各三角面片上各顶点的坐标及法向量绘制等值面图像，从而获得磁共振图像的重建三维图像。
5.根据权利要求1所述的TMS头动检测方法，其特征在于：所述步骤s5包括以下步骤：
步骤s501：算取步骤s4中所获人脸特征像素点坐标值距离步骤s4中所获二维截图最中心像素的中心值的比率r；
步骤s502：根据比率r能分别求出重建三维图像的人脸特征像素点在Vtk三维视图中的view坐标系的坐标值；
步骤s503：根据view坐标系的值可以分别求出重建三维图像的人脸特征像素点在Vtk三维视图中的display坐标系的坐标值；
步骤s504：用Vtk面片拾取的方式模拟一条起点是人脸特征像素点的display坐标点且与显示屏垂直的向量，算取第一个相交于所述向量的的体素坐标点，从而分别获得步骤s4中所得的人脸特征像素点在Vtk世界坐标系中的三维坐标。
6.根据权利要求1所述的TMS头动检测方法，其特征在于：所述步骤s6包括以下步骤：
步骤s601：将经过步骤s1及步骤s2后所得到的人脸特征像素点设为源点集；
步骤s602：将经过步骤s3、步骤s4及步骤s5后所得的重建三维图像的人脸特征像素点设为目标点集；
步骤s603：算得包括平移、旋转和放缩变换的原始配准矩阵，使得前述两个点集在配准后的平均距离最小；
步骤s604：将所述目标点集乘上所述原始配准矩阵，完成第一次配准；
步骤s605：将在每一帧所获取的rgb平面图都按步骤s1及步骤s2操作，获取每帧rgb平面图对应的人脸特征像素点的三维坐标；
步骤s606：将每帧rgb平面图的人脸特征像素点的三维坐标与步骤s2中所获得的三维坐标再次用LandMark算法进行配准，获取每帧rgb平面图对应的二次配准矩阵；
步骤s607：将二次配准矩阵后乘所述原始配准矩阵，得到除第一帧图像外的每帧图像的真实配准矩阵，在Vtk中将除第一帧图像外的目标点集乘上原始配准矩阵，从而在计算机中实时模拟显示真实物理世界中患者的头动情况。
CN202010987015.7A 2020-09-18 2020-09-18 Tms头动检测方法 Active CN114190922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010987015.7A CN114190922B (zh) 2020-09-18 2020-09-18 Tms头动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010987015.7A CN114190922B (zh) 2020-09-18 2020-09-18 Tms头动检测方法

Publications (2)

Publication Number Publication Date
CN114190922A true CN114190922A (zh) 2022-03-18
CN114190922B CN114190922B (zh) 2023-04-21

Family

ID=80645000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010987015.7A Active CN114190922B (zh) 2020-09-18 2020-09-18 Tms头动检测方法

Country Status (1)

Country Link
CN (1) CN114190922B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101912668A (zh) * 2010-07-26 2010-12-15 香港脑泰科技有限公司 一种导航经颅磁刺激治疗系统
WO2012121341A1 (ja) * 2011-03-09 2012-09-13 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
WO2013172981A1 (en) * 2012-05-16 2013-11-21 Beth Israel Deaconess Medical Center, Inc. Identifying individual target sites for transcranial magnetic stimulation applications
KR20160044183A (ko) * 2014-10-15 2016-04-25 나기용 인지 기능 향상을 위한 tms 시스템
CN109731227A (zh) * 2018-10-23 2019-05-10 四川大学华西医院 一种经颅磁刺激的系统
WO2020036898A1 (en) * 2018-08-13 2020-02-20 Magic Leap, Inc. A cross reality system
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN111657947A (zh) * 2020-05-21 2020-09-15 四川大学华西医院 一种神经调控靶区的定位方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101912668A (zh) * 2010-07-26 2010-12-15 香港脑泰科技有限公司 一种导航经颅磁刺激治疗系统
WO2012121341A1 (ja) * 2011-03-09 2012-09-13 国立大学法人大阪大学 画像データ処理装置および経頭蓋磁気刺激装置
EP2919194A1 (en) * 2011-03-09 2015-09-16 Osaka University Image data processing device and transcranial magnetic stimulation apparatus
WO2013172981A1 (en) * 2012-05-16 2013-11-21 Beth Israel Deaconess Medical Center, Inc. Identifying individual target sites for transcranial magnetic stimulation applications
KR20160044183A (ko) * 2014-10-15 2016-04-25 나기용 인지 기능 향상을 위한 tms 시스템
WO2020036898A1 (en) * 2018-08-13 2020-02-20 Magic Leap, Inc. A cross reality system
CN109731227A (zh) * 2018-10-23 2019-05-10 四川大学华西医院 一种经颅磁刺激的系统
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN111657947A (zh) * 2020-05-21 2020-09-15 四川大学华西医院 一种神经调控靶区的定位方法

Also Published As

Publication number Publication date
CN114190922B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
Pishchulin et al. Building statistical shape spaces for 3d human modeling
Magee et al. An augmented reality simulator for ultrasound guided needle placement training
US8363048B2 (en) Methods and apparatus for visualizing data
CN109166133A (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
US8861891B2 (en) Hierarchical atlas-based segmentation
CN109389590A (zh) 结肠图像数据处理系统及方法
EP3841559A1 (en) Salient visual explanations of feature assessments by machine learning models
CN101814191B (zh) 基于二维传递函数的三维图像可视化方法
CN107221029A (zh) 一种三维图像重建方法
CN106327479A (zh) 血管造影中介下先心病术中血管辨识的装置及方法
CN107256575A (zh) 一种基于双目立体视觉的三维舌像重建方法
CN117974740B (zh) 基于聚合式窗口自注意力机制的穴位定位方法及机器人
CN107590858A (zh) 基于ar技术的医学样品展示方法和计算机设备、存储介质
CN113470162B (zh) 三维头部模型的构建方法、装置、系统及存储介质
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法
CN107945203A (zh) Pet图像处理方法及装置、电子设备、存储介质
CN115457220B (zh) 基于动态视点的模拟器多屏幕视景模拟方法
CN114190922B (zh) Tms头动检测方法
CN102074051B (zh) 一种体绘制平行投影的数据包围体快速定位方法
Andreadis et al. MOREA: a GPU-accelerated Evolutionary Algorithm for Multi-Objective Deformable Registration of 3D Medical Images
CN112002019B (zh) 一种基于mr混合现实的模拟人物阴影的方法
Bhatla et al. Development of Anatomy Learning System based on Augmented Reality
CN111768494A (zh) 一种用于关节脱位的手法复位训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant