CN115227979A - 一种经颅磁刺激设备的控制装置、系统和设备 - Google Patents

一种经颅磁刺激设备的控制装置、系统和设备 Download PDF

Info

Publication number
CN115227979A
CN115227979A CN202210841553.4A CN202210841553A CN115227979A CN 115227979 A CN115227979 A CN 115227979A CN 202210841553 A CN202210841553 A CN 202210841553A CN 115227979 A CN115227979 A CN 115227979A
Authority
CN
China
Prior art keywords
head
target point
point cloud
magnetic stimulation
transcranial magnetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210841553.4A
Other languages
English (en)
Inventor
何永正
马登伟
张�杰
王亚威
黎俊
闻丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangyu Medical Co ltd
Original Assignee
Xiangyu Medical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangyu Medical Co ltd filed Critical Xiangyu Medical Co ltd
Priority to CN202210841553.4A priority Critical patent/CN115227979A/zh
Publication of CN115227979A publication Critical patent/CN115227979A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00Magnetotherapy
    • A61N2/004Magnetotherapy specially adapted for a specific therapy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N2/00Magnetotherapy
    • A61N2/02Magnetotherapy using magnetic fields produced by coils, including single turn loops or electromagnets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Magnetic Treatment Devices (AREA)

Abstract

本发明公开了一种经颅磁刺激设备的控制装置、系统和设备,涉及医疗器械领域,包括存储器和处理器,其中,处理器首先通过第一深度相机和第二深度相机获取关于使用者头部的深度图像和RGB图像,并且第一深度相机和第二深度相机分别设置于使用者头部上方的左右两侧,能够保证深度相机采集到的图像的全面性,然后基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图,最终基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置,不需要进行额外的准备操作且使用方式简单。

Description

一种经颅磁刺激设备的控制装置、系统和设备
技术领域
本发明涉及医疗器械领域,特别是涉及一种经颅磁刺激设备的控制装置、系统和设备。
背景技术
经颅磁刺激是一种通过脉冲磁场在局部大脑皮层中产生感应电流使大脑功能暂时兴奋或抑制的技术。现有技术中的经颅磁刺激治疗设备,需要通过使用者的核磁共振CT(Computed Tomography,电子计算机断层))扫描图像重建使用者的头部三维图像,然后再利用头部三维图像进行靶点定位,但是这种方式需要使用者先进行核磁共振,然后才能基于核磁共振的图像进行三维重建,准备时间长且操作繁琐。
发明内容
本发明的目的是提供一种经颅磁刺激设备的控制装置、系统和设备,使用经颅磁刺激设备之前不需要进行额外的准备操作且使用方式简单。
为解决上述技术问题,本发明提供了一种经颅磁刺激设备的控制装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如下的步骤:
获取第一深度相机和第二深度相机采集到的深度图像和RGB图像,其中,所述第一深度相机和所述第二深度相机分别设置于使用者头部上方的左右两侧;
基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图;
基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置。
优选的,在基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图之前,还包括:
判断所述RGB图像中是否包含所述使用者头部对应的图像;
若是,则进入基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图的步骤。
优选的,基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图,包括:
将所述深度图像和所述RGB图像进行三维重建,得到所述使用者头部对应的头部点云图;
提取所述头部点云图中与所述靶点标记对应的靶点点云图。
优选的,在提取所述头部点云图中与所述靶点标记对应的靶点点云图之前,还包括:
对所述头部点云图进行滤波,并对滤波后的头部点云图进行图像二值化处理;
对当前的头部点云图进行边缘检测和形态学图片处理,得到所述靶点标记对应的原始靶点点云图;
在所述原始靶点点云图发生变形时,对所述原始靶点点云图进行校正。
优选的,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置,包括:
基于所述靶点点云图得到所述靶点标记在深度相机坐标系下的第一靶点坐标;
将所述第一靶点坐标进行坐标转换,得到所述靶点标记在所述经颅磁刺激设备的机械臂坐标系下的第二靶点坐标;
基于所述靶点点云图确定所述靶点标记的空间姿态;
控制所述经颅磁刺激设备上的治疗头移动至所述第二靶点坐标,且所述治疗头的空间姿态与所述靶点标记的空间姿态一致。
优选的,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置之后,还包括:
在所述治疗头启动时,获取所述治疗头的实际治疗时长;
在所述实际治疗时长达到预设治疗时长阈值时,控制所述治疗头停止工作。
优选的,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置之后,还包括:
通过设置于所述治疗头上的力传感器获取所述治疗头与所述使用者头部之间的接触力;
在所述接触力大于预设接触力阈值时,控制移动所述治疗头的机械臂停止移动。
优选的,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置之后,还包括:
判断所述使用者头部是否贴近所述治疗头或远离所述治疗头;
若所述使用者头部贴近所述治疗头,则控制所述治疗头远离所述使用者头部;
若所述使用者头部远离所述治疗头,则进入获取第一深度相机和第二深度相机采集到的深度图像和RGB图像的步骤,以便所述治疗头重新移动至所述使用者头部。
为解决上述技术问题本发明还提供了一种经颅磁刺激设备的控制系统,包括:
获取单元,用于获取第一深度相机和第二深度相机采集到的深度图像和RGB图像,其中,所述第一深度相机和所述第二深度相机分别设置于使用者头部上方的左右两侧;
靶点点云图确定单元,用于基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图;
移动单元,用于基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置。
为解决上述技术问题本发明还提供了一种经颅磁刺激设备,包括上述经颅磁刺激设备的控制装置,还包括第一深度相机和第二深度相机。
本发明提供了一种经颅磁刺激设备的控制装置、系统和设备,包括存储器和处理器,其中,处理器首先通过第一深度相机和第二深度相机获取关于使用者头部的深度图像和RGB图像,并且第一深度相机和第二深度相机分别设置于使用者头部上方的左右两侧,能够保证深度相机采集到的图像的全面性,然后基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图,最终基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置,不需要进行额外的准备操作且使用方式简单。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种经颅磁刺激设备的控制装置的结构示意图;
图2为本发明提供的一种经颅磁刺激设备的控制装置的控制流程图;
图3为本发明提供的一种经颅磁刺激设备的控制装置的靶点点云图处理流程图;
图4为本发明提供的一种经颅磁刺激设备的控制装置中的深度相机内参标定的棋盘格模型图;
图5为本发明提供的一种经颅磁刺激设备的控制装置中机械臂坐标系的框架图;
图6为本发明提供的一种经颅磁刺激设备的控制装置中跟踪控制器的控制框图;
图7为本发明提供的一种经颅磁刺激设备的控制装置中末端位置控制器的控制框图;
图8为本发明提供的一种经颅磁刺激设备的控制系统的结构示意图。
具体实施方式
本发明的目的是提供一种经颅磁刺激设备的控制方法及相关组件,使用经颅磁刺激设备之前不需要进行额外的准备操作且使用方式简单。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1为本发明提供的一种经颅磁刺激设备的控制装置的结构示意图,该经颅磁刺激设备的控制装置包括:
存储器11,用于存储计算机程序;
处理器12,用于执行所述计算机程序时实现如下的步骤:
S1、获取第一深度相机和第二深度相机采集到的深度图像和RGB图像,其中,第一深度相机和第二深度相机分别设置于使用者头部上方的左右两侧;
S2、基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图;
S3、基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置。
现有技术中利用影像导航的经颅磁刺激设备需要使用者先提前进行核磁共振CT扫描,并获取MRI(Magnetic Resonance Imaging,核磁共振)进行头部形状的三维重建,然后结合人脸识别来实现靶点标记的定位。但是上述方式操作过于繁琐,需要使用者提前进行核磁共振,准备时间比较长。并且基于核磁共振进行三维重建得到的头部形状与使用者实际的头部形状之间存在偏差,难以为治疗头提供精准的定位。
在本申请中首先利用深度相机拍摄包括使用者头部的区域的图像,深度相机是一种相机传感器,能够模拟人类视觉获取拍摄场景的深度图像和RGB图像,深度图像内包含深度相机拍摄区域内每一点相对相机原点的距离数据。并且,本申请在经颅磁刺激设备上设置有第一深度相机和第二深度相机,且第一深度相机和第二深度相机设置于使用者头部上方的左右两侧,因此第一深度相机和第二深度相机能够拍摄到包含使用者头部形状的画面,并且保证了拍摄画面的全面性。第一深度相机和第二深度相机还可以在患者头部上方呈左右对称布置,相机视角为斜向下45°。
此外,在开始获取第一深度相机和第二深度相机采集到的深度图像和RGB图像之前,可以先对第一深度相机和第二深度相机进行内参标定和手眼标定。相机内参标定用于对采集图像的深度相机进行标定,得到深度相机的内参数,保证获得图像的准确性,相机内参标定主要是基于OpenCV使用棋盘标定法进行标定。首先固定相机,准备一个棋盘格模板,请参照图4,图4为本发明提供的一种经颅磁刺激设备的控制方法中的深度相机内参标定的棋盘格模型图,将棋盘格定标板进行移动变换不同的位置,然后对其进行拍摄,获得一系列二维图像和三维图像。标定时需要获得图像中用于标定的三维点和与其对应的图像上的二维点对,在黑白相间的棋盘格上,二维图像点很容易通过角点检测找到,通过OpenCV内的角点检测算法cv2.findChessboardCorners获得棋盘格角点,然后使用cv2.cornerSubPix可以得到更为准确的角点像素坐标。得到了用于标定的三维点和对应的二维点对后,使用cv2.calibrateCamera进行标定,从而获得标定结果、相机的内参数矩阵、畸变系数、旋转矩阵和平移向量。
通过视觉算法获得目标靶点在深度相机坐标系下的坐标后,需要将其转换为机械臂可以使用的坐标,因此需要采用手眼标定,获得转换矩阵。在本申请中深度相机固定在用于移动治疗头的机械臂旁边,不随机械臂移动,属于“眼在手外”,通过获得几个固定点在深度相机坐标系和机械臂坐标系的坐标,根据坐标系转换公式得到变换矩阵。
此外,在本申请中获取第一深度相机和第二深度相机采集到的深度图像和RGB图像之后,可以将第一深度相机拍摄到的图像与第二深度相机拍摄的图像进行整合以便后续处理,本申请对此不作特别限定。
在对使用者进行经颅磁刺激之前,可以先让使用者佩戴治疗帽,治疗帽的材质为橡胶弹性材质,在包裹头部的同时,可有效减少头发的影响。然后在治疗帽上与使用者头部靶点对应的位置张贴靶点标记,该靶点标记可以为二维码或者颜色亮片。在使用者头部存在多个靶点需要进行经颅磁刺激的情况时,可以选择二维码作为靶点标记,每个二维码对应一个编号,在对使用者进行经颅磁治疗时可以通过扫描二维码信息获取对应的编号,进而控制治疗头按照预设编号顺序依次对各个靶点标记的位置进行经颅磁刺激。
靶点标记可以为硬纸片或者pcb材质的二维码,大小尺寸为10mmx10mm,在满足深度相机的精度要求的同时且不会对磁场穿透造成影响。
在获取到深度相机拍摄的深度图像和RGB图像之后,基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图。具体的,在获取到深度相机拍摄的深度图像和RGB图像的全视角图像后,可以先基于全视角图像得到全视角点云图,然后再从全视角点云图中提取出靶点点云图,靶点点云图的具体提取方式本申请不作特别限定。
最后基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置,以便治疗头产生脉冲刺激作用于靶点标记对应的大脑皮层,以对大脑皮层起到暂时的兴奋或抑制的效果。由于使用者头部是立体的,治疗头也是立体的,为了确保经颅磁刺激效果,可以控制治疗头移动至靶点标记后的空间姿态与靶点标记的空间姿态保持一致,以确保治疗头的治疗效果。
此外,可以通过机械臂将治疗头移动至靶点标记的位置,机械臂可以为六轴机械臂或其它种类的机械臂,在机械臂移动之前可以先根据靶点标记的位置计算出机械臂最佳运动轨迹,避免机械臂与支架或使用者头部产生碰撞。开始时机械臂夹持治疗头快速由起始位运动到距离靶点标记的切面法线方向安全点处,之后在减速缓慢运动到靶点标记处,最终实现夹持治疗头到达靶点标记位置的功能。
综上,本发明提供了一种经颅磁刺激设备的控制装置,首先通过第一深度相机和第二深度相机获取关于使用者头部的深度图像和RGB图像,并且第一深度相机和第二深度相机分别设置于使用者头部上方的左右两侧,能够保证深度相机采集到的图像的全面性,然后基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图,最终基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置,不需要进行额外的准备操作且使用方式简单。此外,本申请还提高了经颅磁刺激治疗靶点定位的准确性和可重复性,并减轻医护人员的压力,消除经颅磁刺激治疗过程中由手持线圈或固定治疗线圈引起的操作误差。
在上述实施例的基础上:
作为一种优选的实施例,在基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图之前,还包括:
S4、判断RGB图像中是否包含使用者头部对应的图像;
若是,则进入S2。
考虑到实际使用过程中可能会出现使用者头部不在深度相机的拍摄区域内,或者使用者头部只有部分位于深度相机的拍摄区域的情况,在上述情况下可能无法得到靶点标记的靶点点云图。
请参照图2,图2为本发明提供的一种经颅磁刺激设备的控制装置的控制流程图,在本实施例中,在基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图之前,首先判断深度相机拍摄的RGB图像中是否包含使用者头部对应的图像,若是,则证明深度相机可以完全拍摄到使用者头部的图像,可以进入后续基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图的步骤。因此,通过上述步骤避免了使用者头部不在深度相机的拍摄区域内,或者使用者头部只有部分位于深度相机的拍摄区域的情况对治疗过程造成的延误,提高了治疗效率。
作为一种优选的实施例,基于深度图像和RGB图像得到位于使用者头部的靶点标记的靶点点云图,包括:
将深度图像和RGB图像进行三维重建,得到使用者头部对应的头部点云图;
提取头部点云图中与靶点标记对应的靶点点云图。
在本实施例中,由于深度图像内包含深度相机拍摄区域内每一点相对相机原点的距离数据,因此为了得到靶点标记的靶点点云图,可以首先将深度图像和RGB图像进行三维重建,三维重建的图像中包含深度相机拍摄的全视角范围内所有物体的立体图形,也即能够得到使用者头部对应的头部点云图,然后基于头部点云图提取位于使用者头部的靶点标记对应的靶点点云图,以便确定靶点标记的实际位置后控制治疗头移动至靶点标记的位置。
作为一种优选的实施例,在提取头部点云图中与靶点标记对应的靶点点云图之前,还包括:
对头部点云图进行滤波,并对滤波后的头部点云图进行图像二值化处理;
对当前的头部点云图进行边缘检测和形态学图片处理,得到靶点标记对应的原始靶点点云图;
在原始靶点点云图发生变形时,对原始靶点点云图进行校正。
考虑到深度相机拍摄的深度图像和RGB图像中可能会存在对靶点标记的定位产生干扰的因素,例如图像中存在噪声或者图像发生变形等情况。
请参照图3,图3为本发明提供的一种经颅磁刺激设备的控制装置的靶点点云图处理流程图。
为解决上述技术问题,本实施例中在得到头部点云图后,先对头部点云图进行滤波,并对滤波后的头部点云图进行图像二值化处理,以避免噪声对提取靶点点云图的影响。实现滤波的具体方式可以为:选取合适的滑动窗口,该窗口沿着头部点云图的行方向逐像素滑动,在每次滑动期间,窗口中的所有像素按照灰度值进行排序,数据的中值作为输出替代原来窗口的中心位置像素的灰度值。
图像二值化处理有利于对图像的进一步处理,能够使图像变得简单,而且数据量减小,能凸显出的目标区域的轮廓。实现图像二值化处理时可以自适应选取最大的类间方差值作为图像二值化处理的阈值,本申请对此不作特别限定。
在对头部点云图进行滤波和图像二值化处理之后,继续对当前的头部点云图进行边缘检测和形态学图片处理,以便对靶点标记进行初步定位得到靶点标记对应的原始靶点点云图。具体的,如果靶点标记是二维码的形式,由于二维码的边缘是图像灰度值发生突变的像素的集合,边缘处图像灰度值的一阶导数和二阶导数都会有明显的变化,从而利用变化可以求得图像的边缘位置,并通过高斯拉普拉斯算子进行边缘检测,实现对靶点标记的初步定位。
对头部点云图进行形态学图片处理能够进一步消除干扰因素对提取靶点点云图的影响,例如,在靶点标记为二维码时,通过形态学算法可以消除二维码内部的干扰点,识别二维码图像中的连通区域,进而实现对二维码形式的靶点标记的初步定位。
此外,考虑到靶点标记张贴于使用者头部,不一定正对第一深度相机和第二深度相机的拍摄视角,因此可能上述边缘检测和形态学图片处理时可能会出现变形,对后续提取靶点点云图造成影响,因此需要对原始靶点点云图进行变形检测和校正。具体的,可以利用直线检测模块和校正模块对原始靶点点云图进行处理,以靶点标记为二维码的情况为例,直线检测模块利用hough变换进行二维码直线检测,校正模块用于二维码的旋转校正。设任意一条直线在直角坐标系中的方程为:设一条直线l在直角坐标系中的方程为:y=kx+b,那么直线l的参数方程可以表示为:ρ=xcosθ+ysinθ,其中,ρ表示原点到直线的距离,θ表示该直线与x轴的夹角,统计出极坐标系中经过每个交点的曲线个数,找到个数最多的点即对应的是某条直线;假设旋转前二维码的像素坐标为(x0,y0),用极坐标表示为(rcosa,rsina),旋转θ角度后像素坐标为(x1,y1),旋转后的极坐标表示为(rcos(a-θ),rsin(a-θ)),那么有:
Figure BDA0003751279890000101
Figure BDA0003751279890000102
通过上述方法即可实现二维码的旋转校正。
综上所述,在本实施例中通过对头部点云图进行滤波、图像二值化处理、边缘检测、形态学图片处以及在原始靶点点云图发生变形时对原始靶点点云图进行校正的操作,进一步保证了提取靶点点云图的准确度,以及后续控制治疗头移动至靶点标记的准确性,保证了经颅磁治疗的精确性。
作为一种优选的实施例,基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置,包括:
基于靶点点云图得到靶点标记在深度相机坐标系下的第一靶点坐标;
将第一靶点坐标进行坐标转换,得到靶点标记在经颅磁刺激设备的机械臂坐标系下的第二靶点坐标;
基于靶点点云图确定靶点标记的空间姿态;
控制经颅磁刺激设备上的治疗头移动至第二靶点坐标,且治疗头的空间姿态与靶点标记的空间姿态一致。
在本实施例中,为控制治疗头移动至靶点标记的位置,首先基于靶点点云图得到靶点标记在深度相机坐标系下的第一靶点坐标,深度相机拍的深度图像中包含的是相机视角内每个点相对于相机原点的距离数据,但是控制机械臂移动至靶点标记所在位置之间的距离需要得知靶点标记相对于机械臂原点的距离,因此,在得到第一靶点坐标之后需要对第一靶点坐标进行坐标系转换,得到靶点标记在经颅磁刺激设备的机械臂坐标系下的第二靶点坐标,也即得到了靶点标记在空间中的实际位置。
此外,考虑到靶点标记在使用者头部张贴是立体的形状,并且治疗头也是立体的,为了确保治疗效果,需要让治疗头在靶点标记处的空间姿态与靶点标记本身的空间姿态保持一致。因此,在本申请中还基于靶点点云图得到了靶点标记的空间姿态。
此外,计算靶点标记的空间姿态可以利用三角形相似的性质,以靶点标记为二维码标记为例,在获得了正方形二维码图案后,根据二维码三个顶点,获得这三个像素点在对应深度图像中的位置及深度数据,并求解出投影点在深度相机坐标系下的3D坐标,并获得二维码中心点的坐标,为协作机械臂提供目标定位信息。
同时在获得了正方形二维码图案后,根据该图案在图像中的区域位置获得靶点点云图,然后利用PCL(Point Cloud Library,点云库)中的ICP(Iterative Closest Point,迭代最近点)算法,将该靶点点云图与模板二维码点云进行位姿估计,获得位姿变换矩阵,从而确定治疗头在该位置处的空间姿态。
综上,在本实施例中得到了靶点标记在机械臂坐标系下的第二靶点坐标以及靶点标记的空间姿态,然后再控制治疗头移动至第二靶点坐标,且治疗头在靶点标记处的空间姿态与靶点标记的空间姿态保持一致,进一步保证了经颅磁刺激的准确性。
作为一种优选的实施例,基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置之后,还包括:
S5、在治疗头启动时,获取治疗头的实际治疗时长;
在实际治疗时长达到预设治疗时长阈值时,控制治疗头停止工作。
请参照图2,图2为本发明提供的一种经颅磁刺激设备的控制装置的控制流程图。在本实施例中,考虑到经颅磁刺激每次的持续时长一般在30分钟左右,由其他人员巡视是否到达治疗时长比较麻烦,因此,在本申请中在治疗启动后,获取治疗头的实际治疗时长,并在实际治疗时长达到预设治疗时长阈值时,控制治疗头停止工作,实现对经颅磁刺激的治疗时长的自动控制,无需人工巡视,且控制准确。
此外,获取治疗头的实际治疗时长可以为实时获取或者周期性获取,本申请对比不作特别限定。预设治疗时长阈值可根据实际情况进行设定,本申请对此也不作特别限定。
此外,若使用者头部有多个治疗靶点时,当其中一个治疗靶点对应的实际治疗时长达到预设治疗时长阈值时,可按照预设顺序对其他治疗靶点进行经颅磁刺激。
作为一种优选的实施例,基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置之后,还包括:
S6、通过设置于治疗头上的力传感器获取治疗头与使用者头部之间的接触力;
在接触力大于预设接触力阈值时,控制移动治疗头的机械臂停止移动。
请参照图2,图2为本发明提供的一种经颅磁刺激设备的控制装置的控制流程图。考虑到控制治疗头的机械臂或者控制装置可能会出现异常,甚至可能会对使用者造成伤害,因此在本实施例中通过设置于治疗头上的力传感器获取治疗头与使用者头部之间的接触力,并在接触力大于预设接触力阈值时控制移动治疗头的机械臂停止移动,从而确保使用者的安全。
此外,控制机械臂移动治疗头到达靶点标记的位置时,需要在速度和位移层面上获得机械臂工作空间与关节空间之间的转换关系,并在此基础上对末端工具进行重力补偿,并针对头部跟踪控制模式和接触力调节模式分别设计跟踪控制器和末端位置控制器。
机械臂运动学分析包括正运动学分析、逆运动学分析和雅可比矩阵分析。其中正运动学是在已知关节变量后求解机械臂末端的位置和姿态,即确定机械臂从关节空间映射到任务空间的关系。正运动学通过D-H参数法求解,请参照图5,图5为本发明提供的一种经颅磁刺激设备的控制装置中机械臂坐标系的框架图,图5中(X0,Y0,Z0)至(X6,Y6,Z6)为机械臂对应的6个坐标系,d1、a2、a3、d4及d5分别表示每一个轴关节所在坐标系原点间的距离,d为Z轴方向和Y轴方向之间的距离,a为X轴之间的距离。逆运动学在已知末端位姿的情况下求解各关节角度。机械臂工作空间速度与关节空间的速度关系由雅可比矩阵决定,采用矢量积法对雅可比矩阵进行求解,在速度层面建立起机械臂末端与各驱动关节的转换关系。
在治疗过程中机械臂末端连接着治疗头,为了准确地获得治疗头与使用者头部的接触力,需要对末端工具进行重力补偿以消除工具重力对力传感器测量值的影响。末端工具主要包含铝合金夹具、治疗头以及连接在治疗头上的冷却管。分别建立基座标系{0}、传感器坐标系{Sensor}、工具坐标系{Tool}。其中传感器坐标系X、Y、Z轴方向与末端坐标系相同且Z轴相互重合,工具坐标系X、Y、Z轴方向与传感器坐标系的方向相同。
在治疗过程中,跟踪控制器将机械臂末端目标位姿作为输入,最终获得末端速度,实现对患者头部的实时跟踪。考虑到跟踪过程中人机交互的安全问题,将在速度层面对机械臂进行控制。为了使机械臂末端往目标方向运行,在每一个检测周期内,将机械臂末端的当前位姿Xcurrent和机械臂末端的目标位姿Xtarget作差,以轴角形式表示,并通过PD参数与末端速度X建立关系。请参照图6,图6为本发明提供的一种经颅磁刺激设备的控制装置中跟踪控制器的控制框图,图6中Xtarget是根据算法计算得到的机械臂末端目标位姿,kp和kd分别为电机控制中的参数,其中kp为比例控制参数,比例控制是一种最简单的控制方法,其控制器的输出和输入误差信号成比例关系,当有比例控制系统输出存在稳态误差。Kd为微分控制参数,在微分控制中,控制器的输出与输入误差信号的微分(即误差的变化率)成正比关系。具有比例加微分的控制器,就能够提前使抑制误差的控制作用等于零,甚至为负值,从而避免了被控量的严重超调。d/dt为积分,q为末端速度。
在接触力调节模式中,在力传感器坐标系的X,Y,Z轴方向设定安全的接触力数值,使得治疗线圈能够紧密地贴合头部,并且当接触力过大时线圈能往反方向运动。针对该模式设计末端位置控制器,通过安装在机械臂末端的力传感器实时检测治疗线圈与头部之间的接触力,并采用阻抗控制策略,将病人头部与机械臂相互作用等效为弹簧-阻尼-质量模型。请参照图7,图7为本发明提供的一种经颅磁刺激设备的控制装置中末端位置控制器的控制框图,图7中Xcurrent为实时位姿,可通过角度求解器将位姿解算为机械臂各个轴的角度,q为末端运动速度,Fmeasure是测量的实时接触力,Fcontact为实际接触力经过重力补偿后的轴向接触力,Ftarget为系统内设定好的接触力阈值,ΔF为接触力与阈值相减后的差值,ΔX为力差值经过反向姿态解算后的位姿差值,并对实时位姿Xcurrent进行补偿。
此外,预设接触力阈值可根据实际情况进行设定,获取治疗头与使用者头部之间的接触力可以为周期性获取或实时获取,本申请对此均不作特别限定。
此外,由于经颅磁刺激每次治疗时间持续30分钟以上,治疗线圈重量超过3公斤。在这种情况下,现有技术通过人工手持和使用静态定位系统来固定治疗线圈的方式不可能持续跟踪使用者头部靶点处的运动轨迹,也不可能补偿在使用期间使用者头部的非自愿运动造成的“脱靶”导致的无效刺激。因此,为保证经颅磁刺激的效果需要在使用者头部发生移动时相适应的控制治疗头移动。例如,当使用者头部远离治疗头时控制治疗头重新移动至新的靶点标记的位置,当使用者头部太贴近治疗头时控制治疗头远离使用者头部。
作为一种优选的实施例,基于靶点点云图控制经颅磁刺激设备上的治疗头移动至靶点标记的位置之后,还包括:
判断使用者头部是否贴近治疗头或远离治疗头;
若使用者头部贴近治疗头,则控制治疗头远离使用者头部;
若使用者头部远离治疗头,则进入获取第一深度相机和第二深度相机采集到的深度图像和RGB图像的步骤,以便治疗头重新移动至使用者头部。
在本实施例中,考虑到由于经颅磁刺激每次刺激时间持续30分钟以上,治疗头重量超过3公斤。在这种情况下,现有技术通过人工手持和使用静态定位系统来固定治疗线圈的方式不可能持续跟踪使用者头部靶点处的运动轨迹,也不可能补偿在刺激期间使用者头部的非自愿运动造成的“脱靶”导致的无效刺激。
因此,在本实施例中为保证经颅磁刺激的效果需要在使用者头部发生移动时相适应的控制治疗头移动,具体的,首先判断使用者头部是否贴近或远离治疗头。例如,考虑到当使用者头部贴近治疗头时可能不会有明显的位移,因此可以通过力矩传感器检测治疗头所受的力矩,当治疗头所受力矩大于预设阈值时判定使用者头部贴近治疗头。例如,当使用者头部远离治疗头时可以通过第一深度相机和第二深度相机拍摄到的图像判断使用者头部是否发生移动,例如使用帧间差分算法实现。然后当使用者头部远离治疗头时控制治疗头重新移动至新的靶点标记的位置,当使用者头部太贴近治疗头时控制治疗头远离使用者头部,实现治疗头实时跟踪使用者头部进行移动的目的,保证经颅磁刺激设备的治疗效果。
请参照图8,图8为本发明提供的一种经颅磁刺激设备的控制系统的结构示意图,该控制系统包括:
获取单元21,用于获取第一深度相机和第二深度相机采集到的深度图像和RGB图像,其中,所述第一深度相机和所述第二深度相机分别设置于使用者头部上方的左右两侧;
靶点点云图确定单元22,用于基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图;
移动单元23,用于基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置。
对于本发明提供的一种经颅磁刺激设备的控制系统的相关介绍请参照上述经颅磁刺激设备的控制方法的实施例,在此不做赘述。
本发明还提供了一种经颅磁刺激设备,包括上述经颅磁刺激设备的控制装置,还包括第一深度相机和第二深度相机。
对于本发明提供的一种经颅磁刺激设备的相关介绍请参照上述经颅磁刺激设备的控制方法的实施例,在此不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种经颅磁刺激设备的控制装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如下的步骤:
获取第一深度相机和第二深度相机采集到的深度图像和RGB图像,其中,所述第一深度相机和所述第二深度相机分别设置于使用者头部上方的左右两侧;
基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图;
基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置。
2.如权利要求1所述的经颅磁刺激设备的控制装置,其特征在于,在基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图之前,还包括:
判断所述RGB图像中是否包含所述使用者头部对应的图像;
若是,则进入基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图的步骤。
3.如权利要求1所述的经颅磁刺激设备的控制装置,其特征在于,基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图,包括:
将所述深度图像和所述RGB图像进行三维重建,得到所述使用者头部对应的头部点云图;
提取所述头部点云图中与所述靶点标记对应的靶点点云图。
4.如权利要求3所述的经颅磁刺激设备的控制装置,其特征在于,在提取所述头部点云图中与所述靶点标记对应的靶点点云图之前,还包括:
对所述头部点云图进行滤波,并对滤波后的头部点云图进行图像二值化处理;
对当前的头部点云图进行边缘检测和形态学图片处理,得到所述靶点标记对应的原始靶点点云图;
在所述原始靶点点云图发生变形时,对所述原始靶点点云图进行校正。
5.如权利要求1所述的经颅磁刺激设备的控制装置,其特征在于,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置,包括:
基于所述靶点点云图得到所述靶点标记在深度相机坐标系下的第一靶点坐标;
将所述第一靶点坐标进行坐标转换,得到所述靶点标记在所述经颅磁刺激设备的机械臂坐标系下的第二靶点坐标;
基于所述靶点点云图确定所述靶点标记的空间姿态;
控制所述经颅磁刺激设备上的治疗头移动至所述第二靶点坐标,且所述治疗头的空间姿态与所述靶点标记的空间姿态一致。
6.如权利要求1所述的经颅磁刺激设备的控制装置,其特征在于,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置之后,还包括:
在所述治疗头启动时,获取所述治疗头的实际治疗时长;
在所述实际治疗时长达到预设治疗时长阈值时,控制所述治疗头停止工作。
7.如权利要求1至6任一项所述的经颅磁刺激设备的控制装置,其特征在于,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置之后,还包括:
通过设置于所述治疗头上的力传感器获取所述治疗头与所述使用者头部之间的接触力;
在所述接触力大于预设接触力阈值时,控制移动所述治疗头的机械臂停止移动。
8.如权利要求1至6任一项所述的经颅磁刺激设备的控制装置,其特征在于,基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置之后,还包括:
判断所述使用者头部是否贴近所述治疗头或远离所述治疗头;
若所述使用者头部贴近所述治疗头,则控制所述治疗头远离所述使用者头部;
若所述使用者头部远离所述治疗头,则进入获取第一深度相机和第二深度相机采集到的深度图像和RGB图像的步骤,以便所述治疗头重新移动至所述使用者头部。
9.一种经颅磁刺激设备的控制系统,其特征在于,包括:
获取单元,用于获取第一深度相机和第二深度相机采集到的深度图像和RGB图像,其中,所述第一深度相机和所述第二深度相机分别设置于使用者头部上方的左右两侧;
靶点点云图确定单元,用于基于所述深度图像和所述RGB图像得到位于所述使用者头部的靶点标记的靶点点云图;
移动单元,用于基于所述靶点点云图控制所述经颅磁刺激设备上的治疗头移动至所述靶点标记的位置。
10.一种经颅磁刺激设备,其特征在于,包括如权利要求1至8任一项所述的经颅磁刺激设备的控制装置,还包括第一深度相机和第二深度相机。
CN202210841553.4A 2022-07-18 2022-07-18 一种经颅磁刺激设备的控制装置、系统和设备 Pending CN115227979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210841553.4A CN115227979A (zh) 2022-07-18 2022-07-18 一种经颅磁刺激设备的控制装置、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210841553.4A CN115227979A (zh) 2022-07-18 2022-07-18 一种经颅磁刺激设备的控制装置、系统和设备

Publications (1)

Publication Number Publication Date
CN115227979A true CN115227979A (zh) 2022-10-25

Family

ID=83672901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210841553.4A Pending CN115227979A (zh) 2022-07-18 2022-07-18 一种经颅磁刺激设备的控制装置、系统和设备

Country Status (1)

Country Link
CN (1) CN115227979A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563297A (zh) * 2023-07-12 2023-08-08 中国科学院自动化研究所 颅脑靶点定位方法、装置及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563297A (zh) * 2023-07-12 2023-08-08 中国科学院自动化研究所 颅脑靶点定位方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN111982072B (zh) 一种基于单目视觉的目标测距方法
CN109035200A (zh) 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN110926330B (zh) 图像处理装置和图像处理方法
CN106625673A (zh) 狭小空间装配系统及装配方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
CN101464132B (zh) 位置确定方法及位置确定装置
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
CN108830906A (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定方法
CN110378182B (zh) 图像解析装置、图像解析方法及记录介质
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN110060304B (zh) 一种生物体三维信息采集方法
CN115205286B (zh) 爬塔机器人机械臂螺栓识别与定位方法、存储介质、终端
CN115227979A (zh) 一种经颅磁刺激设备的控制装置、系统和设备
JP2010133751A (ja) 形状測定装置およびプログラム
CN111544035A (zh) 一种基于增强现实的超声辅助扫查系统及方法
CN112954296B (zh) 基于双目视觉的眼底对焦方法、系统以及存储介质
CN114155300A (zh) 一种车载hud系统投影效果检测方法及装置
US20210004968A1 (en) Method and device for determining the amplitude of a movement performed by a member of an articulated body
CN112911263A (zh) 一种多视角图像采集装置及方法
CN104504678B (zh) 一种室内识别物体棱角并衡量其对移动实体危险程度的方法
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
CN113587895B (zh) 双目测距方法及装置
CN102542563A (zh) 一种移动机器人前向单目视觉的建模方法
CN115239811A (zh) 一种基于双目视觉检测的定位方法、系统、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination