CN110337696B - 一种基于摄像头的经颅磁刺激诊疗头模建模系统 - Google Patents
一种基于摄像头的经颅磁刺激诊疗头模建模系统 Download PDFInfo
- Publication number
- CN110337696B CN110337696B CN201980001190.XA CN201980001190A CN110337696B CN 110337696 B CN110337696 B CN 110337696B CN 201980001190 A CN201980001190 A CN 201980001190A CN 110337696 B CN110337696 B CN 110337696B
- Authority
- CN
- China
- Prior art keywords
- head
- patient
- camera
- intelligent terminal
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011491 transcranial magnetic stimulation Methods 0.000 title claims abstract description 28
- 238000003745 diagnosis Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 41
- 210000003625 skull Anatomy 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 210000004556 brain Anatomy 0.000 claims abstract description 6
- 230000001815 facial effect Effects 0.000 claims description 34
- 210000004209 hair Anatomy 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000013013 elastic material Substances 0.000 claims description 3
- 241001635598 Enicostema Species 0.000 claims 1
- 230000000638 stimulation Effects 0.000 abstract description 48
- 230000008569 process Effects 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 210000003128 head Anatomy 0.000 description 187
- 238000013519 translation Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 10
- 208000028017 Psychotic disease Diseases 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 206010001497 Agitation Diseases 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 239000003814 drug Substances 0.000 description 4
- 208000020016 psychiatric disease Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N2/00—Magnetotherapy
- A61N2/004—Magnetotherapy specially adapted for a specific therapy
- A61N2/006—Magnetotherapy specially adapted for a specific therapy for magnetic stimulation of nerve tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N2/00—Magnetotherapy
- A61N2/02—Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开一种基于摄像头的经颅磁刺激诊疗头模建模系统，包括3D扫描仪、定位帽和智能终端，所述3D扫描仪和智能终端电连接；所述头模建模系统的建模方法为：通过摄像头从各个方向采集患者头部的3D图像数据，并对这些图像数据进行整合得到完整的3D图像数据；再结合MNI脑空间坐标，将MNI空间的脑向3D扫描得到的颅骨模型映射到患者的3D头模数据上，得到与患者真实头部高度匹配的头模，从而提高了后续对患者头部磁刺激磁刺激点定位的精确度，进而大大提升TMS磁刺激治疗的效果。本发明只需通过3D摄像头采集患者头部3D数据，并通过智能终端对采集到的数据进行处理即可得到患者的头模，成本低廉，且操作比较简单，自动化程度高。
Description
技术领域
本发明属于经颅磁刺激医疗技术领域，具体是一种基于摄像头的经颅磁刺激诊疗头模建模系统。
背景技术
据中国疾病预防控制中心精神卫生中心统计，目前我国精神疾病患者总数已超过1亿，但公众对精神疾病的知晓率不足5成，就诊率更低。目前这些精神病人得到及时救治的约20％，有80％的精神病人得不到及时救治，甚至得不到最基本的救治，症精神疾病患者人数更是高达1600万人。根据IMS health的最新统计数据，全球精神疾病用药已经超过360亿美元，占药品销售总额的5％。不过，就国内而言，目前的精神疾病用药市场规模仍相对较小，大约占医院销售总额的1.5％左右。我国精神病专科医院已经超过600家，但与日益增长的精神病发病率相比，在数量和质量上与精神病患者需求之间还存在较大差距，仍有为数众多的精神病患者不能得到专业、系统、有效的治疗。
经颅磁刺激(Transcranial Magnetic Stimulation，TMS)，是一种通过脉冲磁场在局部大脑皮层中产生电流以暂时激活或抑制该皮层的技术。在如今现有的医疗设备领域，关于经颅磁刺激治疗设备的操作都是通过人为操作或支架固定控制TMS线圈，来对患者进行治疗。人工操作很不方便，需要长时间手持线圈或者利用支架固定一个特定角度；患者的体验感不好，坐着保持姿势不敢乱动；也有一些自动化操作设备是通过智能终端控制机械臂夹持TMS线圈对患者头部进行磁刺激治疗，通过自动化操作设备对患者进行治疗的首要步骤是要构建患者的头部模型，并将患者的头部模型与患者真实的头部在3D空间坐标系中进行匹配，再在空间坐标系中对机械手的移动路径进行规划；其中至关重要的步骤就是构建患者的头模，一旦构建的头模与患者真实的头部不匹配，就无法进行后续的治疗；现有的构建头模的方法大多数是直接通过软件(例如YAMA)构建头模，然而，通过软件直接构建的头模是大众化的，不能匹配所有患者的头部，从而降低了匹配的准确性，以致对患者头部磁刺激磁刺激点的定位不准确，大大地降低了磁刺激治疗的效果。
还有一种头模建模方法(如公开号为CN109102894A的中国专利于2018年12月28日公开的一种“结合皮层兴奋性的各向异性电导率头模型建模方法及装置”)是通过建立基于MRI和DTI图像的各向异性电导率头模型，再通过阵列磁刺激点TMS实验获取个体皮层兴奋性综合指标；最后根据所述各向异性电导率头模型和所述个体皮层兴奋综合指标，构建含有皮层兴奋性的各向异性电导率头模型；这种方法操作比较复杂，且成本较高。
发明内容
本发明的目的是针对现有技术存在的问题，提供一种基于摄像头的经颅磁刺激诊疗头模建模系统，通过3D摄像头从各个方向采集患者头部的3D图像数据，并对这些图像数据进行整合得到与患者真实头部匹配的完整的3D图像数据。本发明的建模系统成本较低、自动化强，不需要人工过多的操作，且构建的头部与患者本身的头部贴合度高，能有效提高后续的磁刺激磁刺激点定位精度，从而提高治疗效果；本发明的头模建模方法解决了现有技术中通过软件建头模导致的头模与患者头部不匹配，从而降低了刺刺激治疗效果的问题；同时也解决了现有技术中根据各向异性电导率头模型和个体皮层兴奋综合指标，构建含有皮层兴奋性的各向异性电导率头模型所带来的高成本、高操作难度的问题。
为实现上述目的，本发明采用的技术方案是：
一种基于摄像头的经颅磁刺激诊疗头模建模系统，包括3D扫描仪、定位帽和智能终端，所述3D扫描仪和智能终端电连接；所述头模建模系统的建模方法包括以下步骤：
S1，患者佩戴好所述定位帽，启动所述智能终端，通过所述3D扫描仪从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
S3，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模。
具体地，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。
具体地，所述3D扫描仪还可以包括若干个3D摄像头和一个固定支架，所述若干个3D摄像头均安装在固定支架上；采集患者头部的3D图像数据时，通过智能终端控制所述若干个3D摄像头同时从不同方向采集患者头部的3D图像数据。
进一步地，所述3D摄像头拍摄到的图像数据包括彩色图像、深度图像和3D点云图像。所述3D摄像头设置在患者面部上方且能够将其面部完全纳入拍摄范围的位置。
具体地，步骤S1中，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；因为3D扫描仪无法扫描黑色无热量的头发，故需要通过所述白色头罩遮住毛发，露出患者五官及额头，并对特征点(眉心、鼻尖等)做标记；该定位帽具有弹性，适用人群广，佩戴方便；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。
具体地，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。
具体地，步骤S3中，所述映射方法为，通过选取患者头部NZ、CZ、AL、AR四点与颅骨模型上这四个点进行比对，得到颅骨模型转换矩阵，再将MNI空间中的点乘以该转换矩阵得到患者头模坐标点；其中，NZ表示鼻根，AL表示左耳，AR表示右耳，CZ表示鼻根与枕骨隆突的连线相交于左耳与右耳连线的交点。
本发明还提供了一种基于摄像头的经颅磁刺激诊疗检测系统，用于在上述建立的3D头模的基础上对患者头部磁刺激点的空间位置进行定位；所述检测系统包括：3D摄像头、躺式床、头枕和智能终端；所述3D摄像头用于拍摄患者的面部图像，并通过所述智能终端将患者面部图像与3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。所述检测系统的检测方法包括以下步骤：
S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；
S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行头部建模，建立患者头部的3D头模；
S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在空间中的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。
优选地，所述检测方法还包括：在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部磁刺激点的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位。
本发明还提供了一种基于摄像头的经颅磁刺激诊疗导航系统，用于在检测到患者头部磁刺激点的空间坐标后，对机械手的移动路径进行规划；所述导航系统包括：3D摄像头、躺式床、头枕、机械手、TMS线圈和智能终端；所述机械手、TMS线圈分别与智能终端电连接，所述导航系统的导航方法包括以下步骤：
S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；
S2，采用所述3D摄像头和智能终端对患者头部进行建模；
S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；
S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；
S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。
进一步地，步骤S3中，将患者的头模的位置与患者头部的实际位置进行匹配的方法包括以下步骤：
S31，在患者头模上标出用于配准的面部特征点；
S32，通过3D摄像头识别出患者面部的特征点；
S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；
S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。
进一步地，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模后，需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：
S41,在机械手模型上标出用于配准的特征点；
S42，通过3D摄像头识别出机械手处于初始位置时的特征点；
S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；
S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；
S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。
优选地，所述导航方法还包括跟随定位步骤，所述跟随定位步骤包括：通过所述智能终端对患者头部模型的空间位姿进行微调，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。
与现有技术相比，本发明的有益效果是：(1)本发明通过摄像头从各个方向采集患者头部的3D图像数据，并对这些图像数据进行整合得到完整的3D图像数据；再结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到与患者真实头部高度匹配的头模，从而提高了后续对患者头部磁刺激磁刺激点定位的精确度，进而大大提升TMS磁刺激治疗的效果。(2)本发明只需通过3D摄像头采集患者头部3D数据，并通过智能终端对采集到的数据进行处理即可得到患者的3D头模，成本低廉，且操作比较简单，自动化程度高。
附图说明
图1为本发明一种基于摄像头的经颅磁刺激诊疗头模建模系统的建模方法流程图；
图2为本发明一实施方式的一种基于摄像头的经颅磁刺激诊疗头模建模系统的结构示意图；
图3为本发明另一实施方式的一种基于摄像头的经颅磁刺激诊疗头模建模系统的结构示意图；
图4为本发明另一实施方式的摄像头安装位的布置示意图；
图5为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗检测系统的结构示意图；
图6为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗检测系统的检测方法流程图；
图7为本发明又一实施方式的一种基于摄像头的经颅磁刺激诊疗导航系统的导航方法流程图；
图中：图中：1、躺式床；2、头枕；3、3D摄像头；4、机械手；5、TMS线圈；6、旋转支架；7、电机；8、3D扫描仪；9、智能终端；10、座椅；11、摄像头安装位；12、固定支架。
具体实施方式
下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
本发明中，术语“安装、”“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
作为本发明的一实施方式，本实施例提供了一种基于摄像头的经颅磁刺激诊疗头模建模系统，包括3D扫描仪、定位帽、座椅和智能终端，所述3D扫描仪和智能终端电连接；所述智能终端可以为计算机；
如图1所示，该头模建模系统的建模方法包括以下步骤：
S1，患者坐在所述座椅上并佩戴好所述定位帽，启动所述智能终端，通过所述3D扫描仪从各个方向采集患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
S3，利用所述3D头模数据，结合医学常用的MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模。
具体地，如图2所示，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。
具体地，步骤S1中，所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；因为3D扫描仪无法扫描黑色无热量的头发，故需要通过所述白色头罩遮住毛发，露出患者五官及额头，并对特征点(眉心、鼻尖等)做标记；该定位帽具有弹性，适用人群广，佩戴方便；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据。
具体地，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。
进一步地，对头部进行建模需要通过3D摄像头采集患者头部的3D扫描数据，3D摄像头每拍照一次会产生彩色图、深度图和3D点云图，这3幅图是同时产生的，所以各个图像上的点有固定的对应关系，这个对应关系是已知的，是通过摄像头的标定得到的；3D扫描就是围绕患者头部拍摄一系列的图像，然后将这些图像拼接成一个完整的图像，而图像拼接要找到两幅图像中相同的部分并进行匹配；在3D摄像头中头发无法得到3D点云，而在医学治疗头模需要颅骨的3D数据(不要头发)，故在头模扫描时患者需要戴上特定的定位帽，为了使匹配更准确，帽子上一般会设一些mark点；3D扫描最终需要对3D点云进行拼接，拼接时需要每一幅图像点云之间的旋转平移关系，点云的拼接主要依靠ICP算法，ICP算法有时会失败，故需要先做粗匹配。
进一步地，点云的拼接步骤如下：
S21，先在彩色图中通过OpenCV中cv::FeatureDetector和cv::DescriptorExtractor计算“关键点”，并对这些关键点周围的像素计算其“描述子”，再通过cv::DMatch对上述的描述子进行匹配，然后调用OpenCV里的SolvePnPRansac函数求解PnP得到两幅图像的位移和旋转的信息；
S22，使用上面计算得到的位移和旋转的信息作为ICP算法的初始粗匹配的结果对两幅点云数据进行计算得到更加精准的位移和旋转数据；
S23，使用上述位移和旋转数据得到位移和旋转矩阵，并对上一幅点云图中的点全部进行旋转和平移，将计算的到的新点云添加到当前点云图中，得到一个更大的点云，完成两幅点云的整合；
S24，重复步骤S21至S23，将所有点云图整合成一个更大的点云图，再对此点云图进行滤波平滑处理，抽样减少点的数量，拟合得到3D曲面数据；即得到患者头部完整的3D数据。
具体地，步骤S3中，所述映射方法为，通过选取患者头部NZ、CZ、AL、AR四点与颅骨模型上这四个点进行比对，得到颅骨模型转换矩阵，再将MNI空间中的点乘以该转换矩阵得到患者头模坐标点；其中，NZ表示鼻根，AL表示左耳，AR表示右耳，CZ表示鼻根与枕骨隆突的连线相交于左耳与右耳连线的交点。
作为本发明的另一实施方式，如图3所示，本实施例提供了一种基于摄像头的经颅磁刺激诊疗头模建模系统，本实施例中所述3D扫描仪包括3个3D摄像头和一个固定支架。
具体地，如图4所示，所述固定支架上设有3个摄像头安装位，相邻两个摄像头安装位之间的夹角均为120度，所述3个3D摄像头分别安装在所述3个摄像头安装位上；
采集患者头部的3D图像数据时，通过智能终端控制所述3个3D摄像头同时从三个方向采集患者头部的3D图像数据。
本实施中，通过3个3D摄像头同时采集患者头部的3D图像数据，并将采集到的数据发送至智能终端进行头部建模，实时性较好。
作为本发明的又一实施方式，如图5所示，提供一种基于摄像头的经颅磁刺激诊疗检测系统，用于在上述建立的3D头模的基础上对患者的头部进行磁刺激治疗；所述检测系统包括：3D摄像头、躺式床、头枕和智能终端；所述3D摄像头用于拍摄患者的面部图像，并通过所述智能终端将患者面部图像与3D头模进行匹配，得到用于经颅磁刺激诊疗的磁刺激点定位信息。所述智能终端可选择计算机、笔记本、平板电脑等。
所述躺式床为卧式平移平台，可以前后移动，用于调整患者头部与摄像头的相对位置。
所述头枕2主要起到托架作用，支撑位点为头骨，还包括颈部，起到的作用是限制病人的移动，且不会造成病人的不适，并且不能阻碍头部的磁刺激。
所述3D摄像头用于获取患者的头部姿态数据及实时的面部姿态数据，在进行治疗前，采用3D摄像头获取患者的头部姿态数据，结合智能终端进行头部3D建模；在开始治疗后，采用3D摄像头获取患者的实时面部数据，结合智能终端对实时面部数据进行处理，将已建模的3D头模与实时面部图像进行匹配。
所述3D摄像头还用于获取机械手和TMS线圈的的空间位姿，从而利用机械手进行导航，将TMS线圈夹持到磁刺激点位置。
所述机械手还用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗。
如图6所示，所述检测系统的检测方法包括以下步骤：
S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；
S2，治疗开始前，采用所述3D摄像头拍摄患者头部的图像数据，采用所述智能终端进行建模，建立患者头部的3D头模；
S3，治疗开始，采用所述3D摄像头拍摄患者的实时面部图像，采用所述智能终端进行位姿匹配，将所述实时面部图像与已建立的3D头模进行位置匹配，进一步包括：在所述3D头模中标出用于匹配的面部特征点，该面部特征点是在建模过程中由摄像头自动识别的；通过所述3D摄像头自动识别出患者的实时面部图像的面部特征点；通过特征点匹配进行仿射变换得到转换矩阵，计算出患者的实时面部图像与已建立的3D头模的转换关系；计算所述3D头模在摄像头坐标系下的位置；计算所述3D头模上的磁刺激点在空间中的位置坐标。
具体地，步骤S3中，3D摄像头实时拍摄的3D图像只有患者的面部信息，没有头部信息，所以要将S2中建好的头模与实时拍摄的面部数据进行位置的配准，由于ICP算法计算量较大，无法满足实时检测的要求，位置配准方法是先在头模中标出用于配准的面部特征点(眼角、鼻尖等)，再在实时图像中自动识别出面部特征点，通过特征点匹配计算出实时画面与头模的转换关系，并计算出头模在空间的位置，再计算出头模上的磁刺激点在空间中的位置坐标。
所述转换关系包括患者的实时面部图像与所述3D头模在摄像头坐标系下的旋转、平移关系，根据所述旋转、平移关系对所述3D头模进行旋转、平移操作，将所述3D头模匹配到患者的实时面部图像上。
优选地，所述检测方法还包括：在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部磁刺激点的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位。
作为本发明的又一实施方式，如图7所示，提供一种基于摄像头的经颅磁刺激诊疗导航系统。用于在检测到患者头部磁刺激点的空间坐标后，对机械手的移动路径进行规划；所述导航系统包括：3D摄像头、躺式床、头枕、机械手、TMS线圈和智能终端；所述机械手、TMS线圈分别与智能终端电连接；
所述3D摄像头用于获取患者头部和机械手的空间位姿，从而对机械手进行导航；
所述机械手用于夹持TMS线圈对患者头部刺激磁刺激点进行磁刺激治疗；
如图8所示，所述导航系统的导航方法包括以下步骤：
S1，患者平躺在所述躺式床上，调节所述躺式床的前后位置，使所述躺式床到达治疗位置；
S2，采用所述3D摄像头和智能终端对患者头部进行建模；
S3，通过所述3D摄像头和智能终端将患者的头模的位置与患者头部的实际位置进行匹配，确定患者头模上待磁刺激磁刺激点的空间位置；
S4，通过所述智能终端对机械手、TMS线圈和3D摄像头进行建模；
S5，将步骤S4中建好的设备模型与步骤S2中建好的患者头模放在同一个空间坐标系中；再通过所述智能终端计算出TMS线圈模型到达头模上待磁刺激磁刺激点的最佳路径，所述智能终端再根据该最佳路径对机械手的移动进行自动导航，最终将所述TMS线圈移动至患者头部待磁刺激磁刺激点进行治疗。
具体地，步骤S3中，3D摄像头实时拍摄的3D图像只有患者的面部信息，没有头部信息，所以要将S2中建好的头模与实时拍摄的面部数据进行位置的配准，由于ICP算法计算量较大，无法满足实时检测的要求，位置配准方法是先在头模中标出用于配准的面部特征点(眉心、耳垂、眼角、鼻尖、嘴角和下巴)，再在实时图像中自动识别出面部特征点，通过特征点匹配计算出实时画面与头模的转换关系，并计算出头模在空间的位置，再计算出头模上的磁刺激点在空间中的位置坐标；具体步骤如下：
S31，在患者头模上标出用于配准的面部特征点；
S32，通过3D摄像头识别出患者面部的特征点；
S33，将步骤S31中标出的面部特征点与步骤S32中识别出的面部特征点进行匹配计算，得到患者头部与患者头模的旋转、平移关系；
S34，根据所述旋转、平移关系对患者头模进行旋转、平移操作，使患者头模的位置与患者头部的实际位置匹配上。
具体地，步骤S4中，对所述机械手、TMS线圈和3D摄像头建模可采用SolidWorks软件进行建模，建模完成后需要将机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置进行匹配；具体匹配方法为：
S41,在机械手模型上标出用于配准的特征点；
S42，通过3D摄像头识别出机械手处于初始位置时的特征点；
S43，将步骤S41中标出的特征点与步骤S42中识别出的特征点进行匹配计算，得到机械手模型与机械手的旋转、平移关系；
S44，根据机械手处于初始位置时所述3D摄像头、TMS线圈与机械手的相对位置是固定的原理，得到3D摄像头模型、TMS线圈模型分别与3D摄像头、TMS线圈的旋转、平移关系；
S45，根据步骤S43和步骤S44中的旋转、平移关系，对所述机械手模型、TMS线圈模型、3D摄像头模型进行旋转、平移操作，使所述机械手模型、TMS线圈模型、3D摄像头模型的空间位置分别与机械手、TMS线圈、3D摄像头的实际空间位置匹配上。
具体地，步骤S5中，一般机械手的移动路径规划算法比较复杂，由于本实施例中的模型、障碍和路径都是已知的，故采用手动规划路径的方法，在距离头模较远(大于30mm)的位置使用直线路径，在头模附近(小于/等于30mm)使用圆弧路径，使TMS线圈围绕头部运动到下一个磁刺激磁刺激点；由于头模的3D数据是已知的，故可将头模数据放大从而留出运行的安全距离，计算出头模上两点的最短弧线路径。
本发明通过自动对机械手的移动进行导航，避免了人为因素对治疗效果造成的影响，同时提升了患者的体验感。
作为本发明的又一实施方式，本发明还具有跟随定位功能。在对机械手进行导航的过程中，或者在进行人脸检测的过程中，即使患者头部姿态发生变化，也能通过3D摄像头对患者头部的姿态进行实时跟随定位，保证治疗的精准性，提高治疗效果和患者的体验感。
具体地，在对患者头部进行磁刺激治疗的过程中，所述智能终端还通过3D摄像头对患者头部进行跟随定位；在治疗过程中会记录每次定位完成时患者头部的位置信息，若下一时刻由于患者头部运动造成当前时刻与上一时刻的磁刺激点位置距离超过5mm，则启动跟随定位；若不超过5mm，则不启动跟随定位；若患者头部转动次数较多，则暂停3D摄像头和机械手的跟随，并同时暂停TMS线圈的磁刺激；若患者不在3D摄像头的可调整范围内或离开，则停止机械手和线圈的磁刺激动作。
进一步地，所述跟随定位的步骤为：通过所述智能终端对患者头部模型的空间位姿进行微调，使患者头部模型的空间位姿与患者头部当前的实际空间位姿进行匹配，然后在头部模型上重新定位最新的磁刺激点，最后重新规划机械手的移动路径，将TMS线圈移动到最新的磁刺激点进行治疗。
本发明通过摄像头拍摄患者头部的视频图像数据，对患者的头部进行建模，并根据建模数据以及拍摄的人脸视频图像对患者的人脸姿态进行检测估计，得到患者的人脸姿态数据，然后根据人脸姿态数据进行机器人导航，调整TMS治疗磁刺激点，在无需佩戴导光球定位的情况下保证每次治疗时磁刺激点定位的精准，解决了TMS定位及重复定位的问题。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (4)
1.一种基于摄像头的经颅磁刺激诊疗头模建模系统，其特征在于，包括3D扫描仪、定位帽和智能终端，所述3D扫描仪和智能终端电连接，所述3D扫描仪包括若干个3D摄像头和一个固定支架，所述若干个3D摄像头均安装在固定支架上；采集患者头部的3D图像数据时，通过智能终端控制所述若干个3D摄像头同时从不同方向采集患者头部的3D图像数据；所述定位帽为弹性材质做成的白色头罩，用于遮住患者头发；所述定位帽上设有若干Mark点，便于3D摄像头采集图像数据；所述头模建模系统的建模方法包括以下步骤：
S1，启动所述智能终端，所述3D扫描仪从各个方向采集佩戴有所述定位帽的患者头部的3D图像数据，并将采集到的3D图像数据发送给所述智能终端；
S2，通过所述智能终端将3D扫描仪从各个方向采集到的3D图像数据进行整合，得到患者头部完整的3D点云图像，再通过抽样、平滑、平面拟合处理后得到患者头部完整的3D头模数据；
S3，利用所述3D头模数据，结合MNI脑空间坐标，将MNI空间的颅骨3D数据映射到患者的3D头模数据上，得到患者的3D头模；映射方法为，通过选取患者头部NZ、CZ、AL、AR四点与颅骨模型上这四个点进行比对，得到颅骨模型转换矩阵，再将MNI空间中的点乘以该转换矩阵得到患者头模坐标点；其中，NZ表示鼻根，AL表示左耳，AR表示右耳，CZ表示鼻根与枕骨隆突的连线相交于左耳与右耳连线的交点。
2.根据权利要求1所述的一种基于摄像头的经颅磁刺激诊疗头模建模系统，其特征在于，所述3D扫描仪包括一个3D摄像头和一个旋转支架，所述3D摄像头安装在旋转支架上，所述旋转支架由电机驱动旋转，所述电机与智能终端电连接；采集患者头部的3D图像数据时，通过智能终端控制电机驱动旋转支架匀速转动，从而使3D摄像头匀速绕患者头部做圆周运动，从各个方向采集患者头部的3D图像数据。
3.根据权利要求1或2所述的一种基于摄像头的经颅磁刺激诊疗头模建模系统，其特征在于，所述3D摄像头拍摄到的图像数据包括彩色图像、深度图像和3D点云图像。
4.根据权利要求1所述的一种基于摄像头的经颅磁刺激诊疗头模建模系统，其特征在于，步骤S2中，对所述从各个方向采集到的3D图像数据进行整合的方法为：通过识别各个方向采集到的图像中的面部特征点计算出各个图像之间的匹配关系，再通过3D点云的ICP算法得到各个方向采集到的点云图像之间的空间位置关系，最后根据所述匹配关系和空间位置关系将所有的点云图像数据进行旋转和平移操作，得到患者头部完整的3D点云图像。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/076101 WO2020172780A1 (zh) | 2019-02-26 | 2019-02-26 | 一种基于摄像头的经颅磁刺激诊疗头模建模系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110337696A CN110337696A (zh) | 2019-10-15 |
| CN110337696B true CN110337696B (zh) | 2023-05-23 |
Family
ID=68150220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980001190.XA Active CN110337696B (zh) | 2019-02-26 | 2019-02-26 | 一种基于摄像头的经颅磁刺激诊疗头模建模系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11948247B2 (zh) |
| EP (1) | EP3905256A4 (zh) |
| CN (1) | CN110337696B (zh) |
| WO (1) | WO2020172780A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111249622B (zh) * | 2020-01-17 | 2024-04-09 | 上海市精神卫生中心（上海市心理咨询培训中心） | 基于增强现实的精准经颅磁刺激在线导航方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011113421A (ja) * | 2009-11-29 | 2011-06-09 | Emi Yasui | ３次元モデリングシステム |
| CN102814002A (zh) * | 2012-08-08 | 2012-12-12 | 深圳先进技术研究院 | 经颅磁刺激导航系统及经颅磁刺激线圈定位方法 |
| CN109173063A (zh) * | 2018-09-21 | 2019-01-11 | 武汉资联虹康科技股份有限公司 | 一种3d扫描的经颅磁刺激系统及经颅磁刺激方法 |
| CN109260593A (zh) * | 2018-09-27 | 2019-01-25 | 武汉资联虹康科技股份有限公司 | 一种经颅磁刺激治疗方法及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8265910B2 (en) * | 2007-10-09 | 2012-09-11 | Cervel Neurotech, Inc. | Display of modeled magnetic fields |
| WO2015120479A1 (en) * | 2014-02-10 | 2015-08-13 | Neuronetics, Inc. | Head modeling for a therapeutic or diagnostic procedure |
| CN109102894B (zh) | 2018-10-18 | 2021-09-07 | 中国医学科学院生物医学工程研究所 | 结合皮层兴奋性的各向异性电导率头模型建模方法及装置 |
-
2019
- 2019-02-26 EP EP19916884.0A patent/EP3905256A4/en not_active Withdrawn
- 2019-02-26 WO PCT/CN2019/076101 patent/WO2020172780A1/zh unknown
- 2019-02-26 CN CN201980001190.XA patent/CN110337696B/zh active Active
- 2019-02-26 US US17/283,539 patent/US11948247B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011113421A (ja) * | 2009-11-29 | 2011-06-09 | Emi Yasui | ３次元モデリングシステム |
| CN102814002A (zh) * | 2012-08-08 | 2012-12-12 | 深圳先进技术研究院 | 经颅磁刺激导航系统及经颅磁刺激线圈定位方法 |
| CN109173063A (zh) * | 2018-09-21 | 2019-01-11 | 武汉资联虹康科技股份有限公司 | 一种3d扫描的经颅磁刺激系统及经颅磁刺激方法 |
| CN109260593A (zh) * | 2018-09-27 | 2019-01-25 | 武汉资联虹康科技股份有限公司 | 一种经颅磁刺激治疗方法及设备 |
Non-Patent Citations (1)
| Title |
|---|
| Farrokh Mansouri等.Development and validation of a 3D-printed neuronavigation headset for therapeutic brain stimulation.2018,说明书第5页第1栏第4段. * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210390771A1 (en) | 2021-12-16 |
| CN110337696A (zh) | 2019-10-15 |
| WO2020172780A1 (zh) | 2020-09-03 |
| EP3905256A1 (en) | 2021-11-03 |
| EP3905256A4 (en) | 2022-02-09 |
| US11948247B2 (en) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110896611B (zh) | 一种基于摄像头的经颅磁刺激诊疗导航系统 | |
| CN110300993B (zh) | 一种用于经颅磁刺激诊疗的摄像系统 | |
| EP3858432B1 (en) | Transcranial magnetic stimulation-based diagnosis and treatment apparatus | |
| CN110896609B (zh) | 一种用于经颅磁刺激治疗的tms定位导航方法 | |
| EP2130491B1 (en) | Method and apparatus for radiographic imaging | |
| CN110382046B (zh) | 一种基于摄像头的经颅磁刺激诊疗检测系统 | |
| CN109173062B (zh) | 一种高效的tms重复定位方法 | |
| WO2015098155A1 (ja) | 操作教示装置および経頭蓋磁気刺激装置 | |
| CN110337696B (zh) | 一种基于摄像头的经颅磁刺激诊疗头模建模系统 | |
| CN111729200B (zh) | 基于深度相机和磁共振的经颅磁刺激自动导航系统和方法 | |
| CN113081013B (zh) | 定位片扫描方法、装置及系统 | |
| CN115006737A (zh) | 基于深度相机的放射治疗体位监测系统 | |
| CN110896610A (zh) | 一种经颅磁刺激诊疗设备 | |
| CN112843499A (zh) | 一种用于质子重离子放射治疗眼球肿瘤患者定位平台系统 | |
| CN216091910U (zh) | 一种用于质子重离子放射治疗眼球肿瘤患者定位平台系统 | |
| KR102367904B1 (ko) | 코일 위치 안내용 네비게이션 장치, 이를 포함하는 뇌 자극 장치 및 바이오 네비게이션 로봇 시스템 | |
| US20240041415A1 (en) | Chest x-ray system and method | |
| WO2024069042A1 (en) | A dental x-ray imaging system and a method for dental x-ray imaging of a patient | |
| Shin et al. | Development of stereo camera module using webcam for navigation Transcranial Magnetic Stimulation system | |
| CN116688365A (zh) | 一种脑刺激导向装置、系统及应用 | |
| CN115008753A (zh) | 一种3d打印精准定位导航经颅磁刺激头模及制作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |