CN116630382B - 神经调控图像监测配准系统和控制方法 - Google Patents
神经调控图像监测配准系统和控制方法 Download PDFInfo
- Publication number
- CN116630382B CN116630382B CN202310876531.6A CN202310876531A CN116630382B CN 116630382 B CN116630382 B CN 116630382B CN 202310876531 A CN202310876531 A CN 202310876531A CN 116630382 B CN116630382 B CN 116630382B
- Authority
- CN
- China
- Prior art keywords
- patient
- host
- coordinate system
- camera
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 47
- 210000005036 nerve Anatomy 0.000 title claims abstract description 46
- 230000004007 neuromodulation Effects 0.000 claims description 29
- 238000005286 illumination Methods 0.000 claims description 5
- 230000001276 controlling effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 38
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003767 neural control Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明提供了一种神经调控图像监测配准系统和控制方法，包括：主机和双目摄像模块，双目摄像模块包括：双目左监视相机和双目右监视相机；双目摄像模块与主机连接；双目摄像模块用于采集患者的二维人脸图像，将二维人脸图像发送至主机；主机用于获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。该方式中，可以通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
Description
技术领域
本发明涉及医学定位技术领域，尤其是涉及一种神经调控图像监测配准系统和控制方法。
背景技术
随着电子技术的发展，人工智能（Artificial Intelligence ，AI）芯片以及加速计算技术等快速发展，结合自动化设备给医疗领域带来了再次的腾飞，神经调控技术可以精准刺激人脑不同区域模块，达到对神经疾病的治疗效果。
然而，目前市场上神经调控的精准监控配准产品形式多样，有些基于标记物进行配准标记，有些依靠红外光学等进行二次定位注册配准，由于患者不固定，以上的系统无法实时追踪，且定位很容易因为患者体位的变化等导致治疗效果大打折扣，并且必须依赖机械臂才能实现实时追踪治疗。
发明内容
有鉴于此，本发明的目的在于提供一种神经调控图像监测配准系统和控制方法，以通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
第一方面，本发明实施例提供了一种神经调控图像监测配准系统，包括：主机和双目摄像模块，双目摄像模块包括：双目左监视相机和双目右监视相机；双目摄像模块与主机连接；双目摄像模块用于采集患者的二维人脸图像，将二维人脸图像发送至主机；主机用于获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。
在本申请可选的实施例中，上述主机用于获取二维人脸图像的第一特征点和头部三维模型的第二特征点；基于第一特征点和第二特征点对头部三维模型进行配准。
在本申请可选的实施例中，上述系统还包括：机械臂，机械臂与主机连接；主机还用于基于配准后的头部三维模型确定患者的治疗靶点，基于患者的治疗靶点确定机械臂的移动轨迹；
机械臂用于基于移动轨迹移动。
在本申请可选的实施例中，上述系统还包括：神经调控模块，神经调控模块与机械臂连接；神经调控模块用于基于机械臂的移动对准患者的治疗靶点，调控作用于患者的治疗靶点。
在本申请可选的实施例中，上述系统还包括：压力传感器，压力传感器与主机连接；压力传感器用于基于神经调控模块与患者的距离确定压力值，将压力值发送至主机；主机还用于基于压力值确定机械臂的移动轨迹。
在本申请可选的实施例中，上述系统还包括：照明模块；照明模块用于发出指定波长的光线对患者的脸部进行照明。
在本申请可选的实施例中，上述系统还包括：主机显示屏和患者显示屏；主机显示屏和患者显示屏均与主机连接；主机显示屏用于显示患者的治疗信息，将医生的控制指令发送至主机；患者显示屏用于显示患者的治疗信息，将患者的控制指令发送至主机；主机还用于基于医生的控制指令或患者的控制指令确定机械臂的移动轨迹。
在本申请可选的实施例中，上述系统还包括：固定支架和支架底座；固定支架和支架底座连接；固定支架和支架底座用于固定患者显示屏、双目左监视相机和双目右监视相机。
在本申请可选的实施例中，上述系统还包括：底座和座椅；底座用于固定主机；座椅用于承载患者。
第二方面，本发明实施例还提供一种神经调控图像监测配准系统的控制方法，应用于神经调控图像监测配准系统，系统包括：主机和双目摄像模块，双目摄像模块包括：双目左监视相机和双目右监视相机；双目摄像模块与主机连接；方法包括：双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机；主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种神经调控图像监测配准系统和控制方法，双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机；主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。该方式中，可以通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种神经调控图像监测配准系统的结构示意图；
图2为本发明实施例提供的另一种神经调控图像监测配准系统的结构示意图；
图3为本发明实施例提供的一种神经调控图像监测配准系统的控制方法的流程图；
图4为本发明实施例提供的一种神经调控图像监测配准系统的控制装置的结构示意图；
图5为本发明实施例提供的一种电子设备的结构示意图。
图标：1000-神经调控图像监测配准系统；1-主机；2-双目摄像模块；21-双目左监视相机；22-双目右监视相机；3-机械臂；4-神经调控模块；5-压力传感器；6-照明模块；7-主机显示屏；8-患者显示屏；9-固定支架；10-支架底座；11-底座；12-座椅；41-二维人脸图像采集模块；42-头部三维模型配准模块；100-存储器；101-处理器；102-总线；103-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着电子技术的发展，人工智能芯片以及加速计算技术等快速发展，结合自动化设备给医疗领域带来了再次的腾飞，神经调控技术可以精准刺激人脑不同区域模块，达到对神经疾病的治疗效果。然而，目前市场上神经调控的精准监控配准产品形式多样，有些基于标记物进行配准标记，有些依靠红外光学等进行二次定位注册配准，由于患者不固定，以上的系统无法实时追踪，且定位很容易因为患者体位的变化等导致治疗效果大打折扣，并且必须依赖机械臂才能实现实时追踪治疗。
基于此，本发明实施例提供一种神经调控图像监测配准系统和控制方法，通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种神经调控图像监测配准系统进行详细介绍。
实施例一：
本发明实施例提供一种神经调控图像监测配准系统，参见图1所示的一种神经调控图像监测配准系统的结构示意图，该神经调控图像监测配准系统1000包括：主机1和双目摄像模块2，双目摄像模块2包括：双目左监视相机21和双目右监视相机22；双目摄像模块2与主机1连接；
双目摄像模块2用于采集患者的二维人脸图像，将二维人脸图像发送至主机1；主机1用于获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。
本实施例中可以利用二维（2D）转三维（3D）人脸识别技术及特有的标志物识别技术，预先根据患者的CT（Computed Tomography，即电子计算机断层扫描）或MRI（MagneticResonance Imaging，磁共振成像）等数据，将患者的颅脑的扫描影像转化为立体三维模型，称为患者的头部三维模型。
本实施例中的双目摄像模块可以采集患者的二维人脸图像，主机识别二维人脸图像的标记物，通过标记物对患者的头部三维模型进行配准，从而对神经调控设备进行监控，得到人脑相对神经调控模块的相对位置。因此不依赖机械臂就可以实现对患者人脸的实时追踪，以对颅脑运动进行实时监测并对患者进行治疗。
此外，本实施例还可以设置机械臂，依托自动化的机械臂对人脸追踪的位移量进行实时的反馈，通过机械臂进行补偿，或者使用监控屏幕，实现未对准时，患者根据屏幕的指示自主的进行补偿对准，以此达到神经调控图像监测配准系统的实时精准配准功能。
本发明实施例提供了一种神经调控图像监测配准系统和控制方法，双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机；主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。该方式中，可以通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
实施例二：
本实施例提供了一种神经调控图像监测配准系统，在上述实施例的基础上实现，可以参见图2所示的另一种神经调控图像监测配准系统的结构示意图。
如图2所示，该神经调控图像监测配准系统包括：主机1，主机可以包含高性能数据处理电脑，并包含机械臂的控制等模块，主要提供数据处理以及机械臂的控制功能。主机可以同时具有配重和稳定整机的功能。
如图2所示，该神经调控图像监测配准系统还包括：双目左监视相机21，双目左监视相机协同配合双目右监视相机进行人脸的拍照功能，将二维人脸图像实时传递给主机的电脑进行位姿跟踪计算。其中，双目左监视相机可以为普通的工业相机。
如图2所示，该神经调控图像监测配准系统还包括：该神经调控图像监测配准系统包括：双目右监视相机22，双目右监视相机协同配合双目左监视相机进行人脸的拍照功能，将二维人脸图像实时传递给主机的电脑进行位姿跟踪计算。其中，双目右监视相机可以为普通的工业相机。
如图2所示，该神经调控图像监测配准系统还包括：机械臂3，机械臂3与主机1连接；主机1还用于基于配准后的头部三维模型确定患者的治疗靶点，基于患者的治疗靶点确定机械臂3的移动轨迹；机械臂3用于基于移动轨迹移动。
本实施例中的机械臂可以为六轴机械臂，机械臂为神经调控模块提供固定、移动寻找治疗靶点按照轨迹移动的作用。其中，机械臂可以被主机控制，基于主机确定的移动轨迹移动。
如图2所示，该神经调控图像监测配准系统还包括：神经调控模块4，神经调控模块4与机械臂3连接；神经调控模块4用于基于机械臂3的移动对准患者的治疗靶点，调控作用于患者的治疗靶点。
本实施例中的神经调控模块可以为经颅磁刺激器对外治疗的模块，这种模块可以有不同的形式，例如：八字形、圆形、蝶形、圆锥形等。神经调控模块可以被机械臂控制，神经调控模块的作用可以产生聚焦的磁场，可以调控作用于需要治疗的颅内靶点。
如图2所示，该神经调控图像监测配准系统还包括：压力传感器5，压力传感器5与主机1连接；压力传感器5用于基于神经调控模块与患者的距离确定压力值，将压力值发送至主机1；主机1还用于基于压力值确定机械臂的移动轨迹。
本实施例中的压力传感器主要的作用为感受神经调控模块中央与患者的头颅的距离，同时传递压力值。主机可以根据压力值计算神经调控模块与头皮的紧贴度，从而确定机械臂的移动轨迹，对患者人脑进行保护，防止受神经调控模块中央与患者的头颅过于紧贴。
如图2所示，该神经调控图像监测配准系统还包括：照明模块6；照明模块6用于发出指定波长的光线对患者的脸部进行照明。
本实施例中的照明模块可以发出指定波长的光线，以使双目相机在采集二维人脸图像的过程中会有更好的信噪比。
如图2所示，该神经调控图像监测配准系统还包括：主机显示屏7和患者显示屏8；主机显示屏7和患者显示屏8均与主机1连接；主机显示屏7用于显示患者的治疗信息，将医生的控制指令发送至主机1；患者显示屏8用于显示患者的治疗信息，将患者的控制指令发送至主机1；主机1还用于基于医生的控制指令或患者的控制指令确定机械臂的移动轨迹。
本实施例中的主机显示屏可以为医生用的触摸显示屏，主要用于显示患者的治疗信息（例如：患者的治疗方案以及治疗结果）。医生还可以通过主机显示屏输入医生的控制指令，主机可以根据医生的控制指令确定机械臂的移动轨迹。
本实施例中的患者显示屏可以为患者用的触摸显示屏，主要用于显示患者的治疗信息（例如：患者在治疗过程中的三维脑与神经调控模块相对位置），以提示患者在治疗过程中保持准确的位置。此外，患者还可以通过主机显示屏输入患者的控制指令，主机可以根据患者的控制指令确定机械臂的移动轨迹。
如图2所示，该神经调控图像监测配准系统还包括：固定支架9和支架底座10；固定支架9和支架底座10连接；固定支架9和支架底座10用于固定患者显示屏8、双目左监视相机21和双目右监视相机22。
本实施例中的固定支架的主要作用为固定患者显示屏、双目左监视相机和双目右监视相机，支架底座用于稳固固定支架和患者显示屏。
如图2所示，该神经调控图像监测配准系统还包括：底座11和座椅12；底座11用于固定主机1；座椅12用于承载患者。
本实施例中的底座可以为主机的车体底座，上述底座可以采用能够锁死的五个万向轮，能够移动和锁死。本实施例中的座椅可以为患者提供一个舒适的位姿，让患者在一个自己认为放松舒适的环境下进行治疗。
其中，本实施例中的神经调控图像监测配准系统的各个模块均可以为常用的设备，双目左监视相机和双目右监视相机均可以为工业相机，具有成本较低的优点。
本实施例中可以通过二维人脸图像对脸部三维模型进行配准，可以提高配准后的脸部三维模型与患者的人脸的重合度，使得神经调控模块与靶区相对位置更加精确。在治疗过程中，配合机械臂的实时自适应修正，或者让病人进行自适应的修正，可以进一步提高治疗精度。
对于主机基于二维人脸图像对预先设置的患者的头部三维模型进行配准的具体流程，在一些实施例中，主机可以用于获取二维人脸图像的第一特征点和头部三维模型的第二特征点；基于第一特征点和第二特征点对头部三维模型进行配准。
其中，可以先获取头部三维模型的N个第二特征点在世界坐标系中的位置，将N个第二特征点从世界坐标系转化为相机坐标系。再获取二维人脸图像的n个第一特征点在相机坐标系中的位置。其中，第一特征点可以与第二特征点一一对应，即N=n。
由于已经将N个第二特征点从世界坐标系转化为相机坐标系，因此，可以将相机坐标系中的N个第二特征点与机坐标系中的n个第一特征点配准。
其中，关于N个第二特征点从世界坐标系转化为相机坐标系，可以称为PnP（Perspective-n-Point）问题：已知N个在世界坐标系下的第二特征点的坐标P1 W、P2 W…PN W，可以通过以下算式计算得到这些第二特征点在相机坐标系下的坐标P1 C、P2 C…PN C：PK C=RCW×PK W+tCW C。
其中，K为第k个第二特征点，1≤K≤N。PK C为第k个第二特征点在相机坐标系下的坐标，PK W为第k个第二特征点在世界坐标系下的坐标，RCW为世界坐标系到相机坐标系的旋转矩阵，即同一个向量在世界坐标系下的表示转化为相机坐标系下的表示。tCW C为相应的平移向量，即从相机坐标系的原点指向世界坐标系的原点的向量在相机坐标系下的表示。
本发明实施例提供的神经调控图像监测配准系统，可以统采用双目人脸2D转3D技术，在使用两个工业相机情况下完成对患者头部的实时追踪，系统简单，成本可控。在使用双目相机完成实时追踪后，可以采用机械臂对经颅磁治疗方案进行路径规划，同时对移动的误差等进行实时的矫正，其中，一种矫正为机械臂自己矫正，另一种矫正为病人自己矫正，可以获得更加精确的定位效果。此外，神经调控图像监测配准系统还可以使用压力传感器进行患者头部的安全保证，防止受神经调控模块中央与患者的头颅过于紧贴，同时提供了精准治疗的部分数据依据。
实施例三：
本实施例提供了一种神经调控图像监测配准系统的控制方法，在上述实施例的基础上实现，应用于神经调控图像监测配准系统，系统包括：主机和双目摄像模块，双目摄像模块包括：双目左监视相机和双目右监视相机；双目摄像模块与主机连接。
基于上述描述，参见图3所示的一种神经调控图像监测配准系统的控制方法的流程图，该方法包括以下步骤：
步骤S302，双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机。
步骤S304，主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。
本发明实施例提供了一种神经调控图像监测配准系统的控制方法，双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机；主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。该方式中，可以通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的神经调控图像监测配准系统的控制方法的具体工作过程，可以参考前述的实施例中的对应过程，在此不再赘述。
实施例四：
对应于上述方法实施例，本实施例提供了一种神经调控图像监测配准系统的控制装置，在上述实施例的基础上实现，应用于神经调控图像监测配准系统，系统包括：主机和双目摄像模块，双目摄像模块包括：双目左监视相机和双目右监视相机；双目摄像模块与主机连接。
基于上述描述，参见图4所示的一种神经调控图像监测配准系统的控制装置的结构示意图，该装置包括：
二维人脸图像采集模块41，用于双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机。
头部三维模型配准模块42，用于主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。
本发明实施例提供了一种神经调控图像监测配准系统的控制装置，双目摄像模块采集患者的二维人脸图像，将二维人脸图像发送至主机；主机获取二维人脸图像，基于二维人脸图像对预先设置的患者的头部三维模型进行配准，以基于配准后的头部三维模型对患者进行治疗。该方式中，可以通过二维人脸图像和三维头部模型自动进行配准，不依赖机械臂就可以实现对患者人脸的实时追踪，便于对患者进行治疗。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的神经调控图像监测配准系统的控制装置的具体工作过程，可以参考前述的实施例中的对应过程，在此不再赘述。
实施例五：
本发明实施例还提供了一种电子设备，用于运行上述神经调控图像监测配准系统的控制方法；参见图5所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述神经调控图像监测配准系统的控制方法。
进一步地，图5所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口103（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述神经调控图像监测配准系统的控制方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的神经调控图像监测配准系统和控制方法，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种神经调控图像监测配准系统，其特征在于，包括：主机和双目摄像模块，所述双目摄像模块包括：双目左监视相机和双目右监视相机；所述双目摄像模块与所述主机连接；所述双目左监视相机和所述双目右监视相机均为工业相机；
所述双目摄像模块用于采集患者的二维人脸图像，将所述二维人脸图像发送至所述主机；
所述主机用于获取所述二维人脸图像，基于所述二维人脸图像对预先设置的所述患者的头部三维模型进行配准，以基于配准后的所述头部三维模型对患者进行治疗；
所述主机用于获取所述二维人脸图像的第一特征点和所述头部三维模型的第二特征点；确定所述第二特征点在世界坐标系中的位置，将所述第二特征点从世界坐标系转化为相机坐标系；确定所述第一特征点在相机坐标系中的位置；将相机坐标系中的所述第二特征点与相机坐标系中的所述第一特征点配准；
通过以下算式将所述第二特征点从世界坐标系转化为相机坐标系：PK C=RCW×PK W+tCW C；其中，K为第k个所述第二特征点，PK C为第k个所述第二特征点在相机坐标系下的坐标，PK W为第k个所述第二特征点在世界坐标系下的坐标，RCW为世界坐标系到相机坐标系的旋转矩阵，tCW C为从相机坐标系的原点指向世界坐标系的原点的向量在相机坐标系下的表示。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：机械臂，所述机械臂与所述主机连接；
所述主机还用于基于配准后的所述头部三维模型确定所述患者的治疗靶点，基于所述患者的治疗靶点确定所述机械臂的移动轨迹；
所述机械臂用于基于所述移动轨迹移动。
3.根据权利要求2所述的系统，其特征在于，所述系统还包括：神经调控模块，所述神经调控模块与所述机械臂连接；
所述神经调控模块用于基于所述机械臂的移动对准所述患者的治疗靶点，调控作用于所述患者的治疗靶点。
4.根据权利要求3所述的系统，其特征在于，所述系统还包括：压力传感器，所述压力传感器与所述主机连接；
所述压力传感器用于基于所述神经调控模块与所述患者的距离确定压力值，将所述压力值发送至所述主机；
所述主机还用于基于所述压力值确定所述机械臂的移动轨迹。
5.根据权利要求1所述的系统，其特征在于，所述系统还包括：照明模块；
所述照明模块用于发出指定波长的光线对所述患者的脸部进行照明。
6.根据权利要求2所述的系统，其特征在于，所述系统还包括：主机显示屏和患者显示屏；所述主机显示屏和所述患者显示屏均与所述主机连接；
所述主机显示屏用于显示所述患者的治疗信息，将医生的控制指令发送至所述主机；
所述患者显示屏用于显示所述患者的治疗信息，将所述患者的控制指令发送至所述主机；
所述主机还用于基于所述医生的控制指令或所述患者的控制指令确定所述机械臂的移动轨迹。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括：固定支架和支架底座；所述固定支架和所述支架底座连接；
所述固定支架和所述支架底座用于固定所述患者显示屏、所述双目左监视相机和所述双目右监视相机。
8.根据权利要求1所述的系统，其特征在于，所述系统还包括：底座和座椅；
所述底座用于固定所述主机；
所述座椅用于承载所述患者。
9.一种神经调控图像监测配准系统的控制方法，其特征在于，应用于神经调控图像监测配准系统，所述系统包括：主机和双目摄像模块，所述双目摄像模块包括：双目左监视相机和双目右监视相机；所述双目摄像模块与所述主机连接；所述双目左监视相机和所述双目右监视相机均为工业相机；所述方法包括：
所述双目摄像模块采集患者的二维人脸图像，将所述二维人脸图像发送至所述主机；
所述主机获取所述二维人脸图像，基于所述二维人脸图像对预先设置的所述患者的头部三维模型进行配准，以基于配准后的所述头部三维模型对患者进行治疗；
基于所述二维人脸图像对预先设置的所述患者的头部三维模型进行配准的步骤，包括：
所述主机用于获取所述二维人脸图像的第一特征点和所述头部三维模型的第二特征点；确定所述第二特征点在世界坐标系中的位置，将所述第二特征点从世界坐标系转化为相机坐标系；确定所述第一特征点在相机坐标系中的位置；将相机坐标系中的所述第二特征点与相机坐标系中的所述第一特征点配准；
通过以下算式将所述第二特征点从世界坐标系转化为相机坐标系：PK C=RCW×PK W+tCW C；其中，K为第k个所述第二特征点，PK C为第k个所述第二特征点在相机坐标系下的坐标，PK W为第k个所述第二特征点在世界坐标系下的坐标，RCW为世界坐标系到相机坐标系的旋转矩阵，tCW C为从相机坐标系的原点指向世界坐标系的原点的向量在相机坐标系下的表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876531.6A CN116630382B (zh) | 2023-07-18 | 2023-07-18 | 神经调控图像监测配准系统和控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876531.6A CN116630382B (zh) | 2023-07-18 | 2023-07-18 | 神经调控图像监测配准系统和控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630382A CN116630382A (zh) | 2023-08-22 |
| CN116630382B true CN116630382B (zh) | 2023-10-03 |
Family
ID=87617330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310876531.6A Active CN116630382B (zh) | 2023-07-18 | 2023-07-18 | 神经调控图像监测配准系统和控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630382B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117258168B (zh) * | 2023-10-16 | 2024-03-22 | 广州驰狐科技有限公司 | 一种超声美容仪的动态智能控制方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020172783A1 (zh) * | 2019-02-26 | 2020-09-03 | 武汉资联虹康科技股份有限公司 | 一种用于经颅磁刺激诊疗的人头姿态跟踪系统 |
| CN111760208A (zh) * | 2020-07-21 | 2020-10-13 | 上海交通大学 | 基于机械臂的人体经颅超声刺激自动定位系统和方法 |
| CN111811462A (zh) * | 2020-06-01 | 2020-10-23 | 广州航海学院 | 极端环境下大构件便携式视觉测距系统及方法 |
| CN114187339A (zh) * | 2021-12-09 | 2022-03-15 | 中国科学院自动化研究所 | 神经导航辅助方法、装置、电子设备及存储介质 |
| CN115317794A (zh) * | 2022-08-10 | 2022-11-11 | 广州龙之杰科技有限公司 | 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015120479A1 (en) * | 2014-02-10 | 2015-08-13 | Neuronetics, Inc. | Head modeling for a therapeutic or diagnostic procedure |
-
2023
- 2023-07-18 CN CN202310876531.6A patent/CN116630382B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020172783A1 (zh) * | 2019-02-26 | 2020-09-03 | 武汉资联虹康科技股份有限公司 | 一种用于经颅磁刺激诊疗的人头姿态跟踪系统 |
| CN111811462A (zh) * | 2020-06-01 | 2020-10-23 | 广州航海学院 | 极端环境下大构件便携式视觉测距系统及方法 |
| CN111760208A (zh) * | 2020-07-21 | 2020-10-13 | 上海交通大学 | 基于机械臂的人体经颅超声刺激自动定位系统和方法 |
| CN114187339A (zh) * | 2021-12-09 | 2022-03-15 | 中国科学院自动化研究所 | 神经导航辅助方法、装置、电子设备及存储介质 |
| CN115317794A (zh) * | 2022-08-10 | 2022-11-11 | 广州龙之杰科技有限公司 | 基于动态跟踪的经颅磁刺激导航方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于正交图像的头部三维模型构建;汪丰;祁长红;刘成;姜伟;倪舟;邹亚;;东南大学学报(自然科学版)(第01期);全文 * |
| 应用深度相机的手术导航注册算法研究;杨智坤;何炳蔚;陈水酉;张雅玲;;机械制造与自动化(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630382A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109464757B (zh) | 一种确定目标对象位置的方法、系统、装置及存储介质 | |
| JP6678565B2 (ja) | 定位手術用の手術ロボット及び定位手術用の手術ロボットの制御方法 | |
| JP6367905B2 (ja) | 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法 | |
| US11103313B2 (en) | Redundant reciprocal surgical tracking system with three optical trackers | |
| US8948472B2 (en) | Automated imaging device and method for registration of anatomical structures | |
| US8280491B2 (en) | Image guided radiosurgery method and apparatus using registration of 2D radiographic images with digitally reconstructed radiographs of 3D scan data | |
| CN110896609B (zh) | 一种用于经颅磁刺激治疗的tms定位导航方法 | |
| CN116630382B (zh) | 神经调控图像监测配准系统和控制方法 | |
| EP2854946A1 (en) | Elasticity imaging-based methods for improved gating efficiency and dynamic margin adjustment in radiation therapy | |
| CN113855287B (zh) | 一种带评估种植精度的口腔种植手术机器人及控制方法 | |
| CN113599718A (zh) | 基于诊断影像的放射治疗定位装置 | |
| CN113647967A (zh) | 一种医学扫描设备的控制方法、装置及系统 | |
| CN106139423A (zh) | 一种基于摄像头的图像引导粒子植入系统 | |
| JP2014212820A (ja) | 放射線治療システム | |
| CN104739434A (zh) | 带有手术定位和线性导航功能的c形臂x光机 | |
| CN113101545A (zh) | 一种放疗模拟定位系统 | |
| CN111603190B (zh) | 借助可移动的医学x射线设备记录检查对象的全景数据组 | |
| CN106055912B (zh) | 一种根据在线影像产生治疗床调整数据的计算机系统 | |
| KR20160057024A (ko) | 마커리스 ３차원 객체추적 장치 및 그 방법 | |
| US20230041251A1 (en) | Control method and device for positioning, radiotherapy system, and storage medium | |
| CN115006737A (zh) | 基于深度相机的放射治疗体位监测系统 | |
| CN116529756A (zh) | 监测方法、装置及计算机存储介质 | |
| KR101923927B1 (ko) | 사용자 신체 맞춤형 트래커를 이용한 영상 정합 시스템 및 방법 | |
| KR20220096157A (ko) | 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치 | |
| CN111127531A (zh) | 一种基于在线影像的放疗患者摆位质量保证软件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |