CN117058197A - 用于神经调控的空间注册方法及装置 - Google Patents

用于神经调控的空间注册方法及装置 Download PDF

Info

Publication number
CN117058197A
CN117058197A CN202310927073.4A CN202310927073A CN117058197A CN 117058197 A CN117058197 A CN 117058197A CN 202310927073 A CN202310927073 A CN 202310927073A CN 117058197 A CN117058197 A CN 117058197A
Authority
CN
China
Prior art keywords
coordinate system
under
face
coordinates
face key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310927073.4A
Other languages
English (en)
Inventor
杨正宜
郎桾侠
戚自辉
贾仕东
卢雪峰
蒋田仔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310927073.4A priority Critical patent/CN117058197A/zh
Publication of CN117058197A publication Critical patent/CN117058197A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种用于神经调控的空间注册方法及装置，该方法包括：利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；将物理空间坐标系下的点云与医学影像坐标系下的点云进行配准，得到空间注册结果。本申请提供的用于神经调控的空间注册方法及装置，使用便携拍摄设备结合人脸关键点检测算法定位各空间中的人脸关键点，在实现高精度空间注册的同时，提升了空间注册的效率。

Description

用于神经调控的空间注册方法及装置
技术领域
本申请涉及计算机视觉和医学图像处理技术领域，尤其涉及一种用于神经调控的空间注册方法及装置。
背景技术
神经调控手术需要在术前依靠神经导航技术对手术靶点定位和导航，引导手术器械移动到手术靶点处进行治疗。神经导航是在神经调控中，利用计算机辅助技术帮助快速确定调控靶点、规划调控刺激器位姿的技术。而物理空间中手术靶点的位置是通过医学影像中规划的手术靶点结合物理空间与医学影像空间注册的结果得到的。因此，空间注册的精度和效率将会影响靶点定位和导航的结果，进而影响神经调控的质量。
传统的由于神经调控的空间注册方法需要在被试头部佩戴标记物，通过手工采集特征点，空间注册的精度受操作人员的采集经验的影响较大，且操作繁琐，时间成本大。有的空间注册方法使用了激光扫描仪对被试面部扫描来获得大规模密集点云，然后与医学影像空间的点云注册，但是这种方法的计算时间较长，导致空间注册的效率低。
发明内容
本申请实施例提供一种用于神经调控的空间注册方法及装置，用以解决现有技术中空间注册效率低下的技术问题。
第一方面，本申请实施例提供一种用于神经调控的空间注册方法，包括：
利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
在一些实施例中，所述基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，包括：
采用人脸关键点检测算法提取所述被试人脸图像中的人脸关键点，并确定所述人脸关键点在像素坐标系下的坐标；
基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标；
基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云；所述尺度因子用于恢复物理空间坐标系下实际的三维坐标尺度。
在一些实施例中，所述基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标，包括：
基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数计算两张被试人脸图像的本质矩阵；
基于所述本质矩阵利用奇异值分解获得两张被试人脸图像的平移矩阵和旋转矩阵；
基于所述平移矩阵和所述旋转矩阵将所述人脸关键点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标。
在一些实施例中，所述基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标之前，还包括：
确定所述被试人脸图像中的方形标记物的四个角点在像素坐标系下的坐标；
基于所述平移矩阵和所述旋转矩阵将所述方形标记物的四个角点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标；
基于所述方形标记物的四个角点在物理空间坐标系下的坐标计算所述方形标记物在物理空间坐标系下的边长；
基于所述方形标记物在物理空间坐标系下的边长与所述方形标记物的实际边长计算尺度因子。
在一些实施例中，所述基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云，包括：
获取目标三维模型的面部的平面图像；所述目标三维模型指由被试脑部的医学影像生成的三维模型；
采用人脸关键点检测算法提取所述平面图像中人脸关键点在图像坐标系下的坐标；
基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云。
在一些实施例中，所述基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云，包括：
通过将所述人脸关键点在图像坐标系下的坐标映射至所述人脸关键点在医学影像坐标系下的坐标，确定满足预设条件的人脸关键点；所述预设条件指人脸关键点满足在图像坐标系下x方向的坐标值与在医学影像坐标系下x方向的坐标值相等，且在图像坐标系下y方向的坐标值与在医学影像坐标系下y方向的坐标值相等；
将满足预设条件的人脸关键点中在医学影像坐标系下z方向的坐标值最大的人脸关键点作为医学影像坐标系下的点云。
在一些实施例中，所述将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果，包括：
采用采样一致性初始配准算法SAC-IA将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行粗配准；
采用迭代最近点算法ICP对粗配准后的物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准；
以最小化目标配准误差TRE为目标更新医学影像坐标系下的点云；
基于更新后的医学影像坐标系下的点云与所述物理空间坐标系下的点云进行配准，得到空间注册结果。
在一些实施例中，所述利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像之后，还包括：
利用张正友标定法对所述便携拍摄设备进行标定，得到所述便携拍摄设备的内部参数和畸变系数；
基于所述内部参数和所述畸变系数对所述被试人脸图像进行校正；
将校正后的被试人脸图像在图像坐标系下的坐标转换为在像素坐标系下的坐标。
第二方面，本申请实施例提供一种用于神经调控的空间注册装置，包括：
第一获取模块，用于利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
第二获取模块，用于基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
配准模块，用于将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的用于神经调控的空间注册方法。
第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的用于神经调控的空间注册方法。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的用于神经调控的空间注册方法。
本申请实施例提供的用于神经调控的空间注册方法及装置，通过使用便携拍摄设备从不同角度拍摄被试人脸得到两张被试人脸图像，并基于人脸关键点检测算法获取物理空间的被试人脸图像中的人脸关键点三维点云，同时利用人脸关键点检测算法获取医学影像空间的人脸关键点三维点云，将两组点云进行配准，完成高精度的空间注册，解决了现有技术因操作繁琐、计算量大导致的空间注册效率低下的问题，在保证空间注册精度的同时，提升了空间注册效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的用于神经调控的空间注册方法的流程示意图；
图2是本申请实施例提供的一种用于神经调控的空间注册装置的结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
神经调控需要依赖神经导航技术，将被试空间与医学影像空间注册，定位被试头部的位置。现有技术中的用于神经调控的空间注册方法依靠在被试头部佩戴标记物，并手工采集特征点，与医学影像空间进行注册。这种方法步骤繁琐，精度依赖于操作人员的采集经验，并且被试需要全程佩戴沉重的标记物，舒适度欠缺。后研发的激光点云注册方法使用激光扫描仪对被试面部扫描，得到大规模密集点云，然后与医学影像空间的点云注册，这种方法由于点云规模庞大，计算时间较长，效率低下。
此外，现有的空间注册方法依靠昂贵的三维相机定位被试的实际位置来进行空间注册，这些方法成本高、操作不灵活，且由于相机对周围光线等环境因素要求较高，易受到干扰，进而会影响空间注册的精度。
而随着小型化便携式神经调控设备的发展，利用手机等便携式拍摄设备替代神经导航摄像头进行空间注册，能够更便捷、高效的实现空间注册，对神经调控的治疗效果起到积极作用。
基于上述技术问题，本申请实施例提出一种用于神经调控的空间注册方法，使用便携式拍摄设备从不同角度拍摄被试人脸得到两张被试人脸图像，并基于人脸关键点检测算法获取物理空间的被试人脸图像中的人脸关键点三维点云，同时利用人脸关键点检测算法获取医学影像空间的人脸关键点三维点云，将两组点云进行配准，完成高精度的空间注册，减少了人工操作带来的误差，并提升了空间注册效率，从而能够实时高效的利用空间注册结果进行精确的手术导航，完成高质量神经调控。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例提供的用于神经调控的空间注册方法的流程示意图，如图1所示，本申请实施例提供一种用于神经调控的空间注册方法，该方法包括：
步骤101、利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像。
具体地，所述便携拍摄设备可以为手机、微单相机或运动相机等。利用便携拍摄设备从不同角度拍摄被试人脸，得到具有不同位姿的两张被试人脸图像。
在本申请实施例中，所述便携拍摄设备在拍摄被试人脸会同时采集标定参考物和方形标记物，所述被试人脸图像中除包含被试人脸外，还至少包含标定参考物如棋盘格，以及方形标记物；所述方形标记物由开源库OpenCV的方形标记合成模块(Aruco模块)生成并打印。
步骤102、基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云。
具体地，所述人脸关键点算法可以为开源库OpenCV的人脸关键点算法。可以选取面部特征点中的左内眼角、左外眼角、右内眼角、右外眼角、鼻根、鼻尖和唇峰作为人脸关键点。
基于人脸关键点检测算法分别检测两幅被试人脸图像中的人脸关键点，通过分析人脸关键点在像素空间中的位置获取人脸关键点在物理空间坐标系下的坐标，从而确定物理空间坐标系下的点云。
例如，采用开源库OpenCV人脸关键点检测算法检测被试人脸图像中的人脸关键点并确定人脸关键点在像素坐标系下的坐标，利用人脸关键点在像素坐标系下的坐标以及便携拍摄设备的相机内参计算两幅被试人脸图像之间的平移矩阵和旋转矩阵，然后基于平移矩阵和旋转矩阵将人脸关键点在像素坐标系下的坐标转换为物理空间坐标系下的坐标，得到物理空间坐标系下的点云。
再例如，采用开源库OpenCV人脸关键点检测算法检测被试人脸图像中的人脸关键点以及方形标记物，并确定人脸关键点在像素坐标系下的坐标以及方形标记物的四个角点在像素坐标系下的坐标。利用人脸关键点在像素坐标系下的坐标以及便携拍摄设备的相机内参计算两幅被试人脸图像之间的平移矩阵和旋转矩阵，然后基于平移矩阵和旋转矩阵将像素坐标系下的坐标转换为物理空间坐标系下的坐标，可以得到人脸关键点在物理空间坐标系下的坐标，以及方形标记物的四个角点在物理空间坐标系下的坐标。用方形标记物的四个角点在物理空间坐标系下的坐标，结合方形标记物的实际边长恢复三维坐标尺度，得到尺度因子，利用尺度因子优化人脸关键点在物理空间坐标系下的坐标，得到最终的物理空间坐标系下的点云。
具体地，基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，从而确定医学影像坐标系下的点云。
例如，获取医学影像三维模型的正面的平面图像，采用开源库OpenCV人脸关键点检测算法检测该平面图像中的人脸关键点在图像坐标系下的二维坐标；并获取人脸关键点在医学影像三维模型上的三维坐标信息。将人脸关键点在图像坐标系下的二维坐标与所述人脸关键点在三维模型坐标系下x、y方向上的坐标值相对应，确定符合预设要求的人脸关键点，将这些点在三维模型坐标系下z方向上的坐标值进行排序，选择值最大的点作为医学影像坐标系下的点云。
步骤103、将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
具体地，将物理空间坐标系下的点云与医学影像坐标系下的点云进行配准，点云配准方法可以选取采样一致性初始配准算法(Sample Consensus Initial Aligment，SAC-IA)和/或迭代最近点算法(Interactive Closest Point，ICP)，得到空间注册结果；所述空间注册结果可以为一个变换矩阵或者其他表现形式。
例如，先采用SAC-IA配准方法对物理空间坐标系下的点云与医学影像坐标系下的点云进行粗配准，然后采用ICP配准方法对物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准，得到医学影像空间的点转换为物理空间对应的点的变换矩阵，即空间注册结果。
再例如，先采用SAC-IA配准方法对物理空间坐标系下的点云与医学影像坐标系下的点云进行粗配准，接着采用ICP配准方法对物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准。用目标配准误差(Target Registration Error，TRE)表示配准误差，分析精配准后的点云中的每一个点，计算该点在医学影像空间中的预设领域内的点的配准误差，用预设领域内配准误差更小的点替换该点重新进行精配准，并更新TRE；继续分析精配准后的点云中的每一个点，并更新医学影像坐标系下的点云直至TRE不再减小，将此时的精配准结果作为最终的空间注册结果。
本申请实施例提供的用于神经调控的空间注册方法，使用便携式拍摄设备从不同角度拍摄被试人脸得到两张被试人脸图像，并基于人脸关键点检测算法获取物理空间的被试人脸图像中的人脸关键点三维点云，同时利用人脸关键点检测算法获取医学影像空间的人脸关键点三维点云，将两组点云进行配准，完成高精度、高效率的空间注册，有利于实时高效地进行神经调控。
在一些实施例中，所述利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像之后，还包括：
利用张正友标定法对所述便携拍摄设备进行标定，得到所述便携拍摄设备的内部参数和畸变系数；
基于所述内部参数和所述畸变系数对所述被试人脸图像进行校正；
将校正后的被试人脸图像在图像坐标系下的坐标转换为在像素坐标系下的坐标。
具体地，在利用便携拍摄设备采集两张被试人脸图像之后，需要通过便携拍摄设备的内参和畸变系数对每幅被试人脸图像进行校正，去除图像畸变。
在本申请实施例中，利用张正友标定法对便携拍摄设备进行标定，获取便携拍摄设备的内部参数和畸变系数，所述畸变系数包括径向畸变系数和切向畸变系数。
对两张被试人脸图像进行校正之后，将校正后的被试人脸图像在图像坐标系下的坐标转换为在像素坐标系下的坐标。
例如，利用张正友标定法对便携拍摄设备进行标定，得到便携拍摄设备的内部参数M、径向畸变系数和切向畸变系数；其中，M由fx、fy，cx和cy组成，fx和fy是便携拍摄设备的焦距，cx和cy是便携拍摄设备的主点坐标；径向畸变系数为k1、k2，切向畸变系数为p1、p2。然后利用内部参数M、径向畸变系数和切向畸变系数对每一被试人脸图像分别进行校正，得到校正后的被试人脸图像在图像坐标系下的坐标，校正公式如下：
其中，x′、y′表示被试人脸图像在图像坐标系下的校正后的坐标；k1、k2表示径向畸变系数；p1、p2表示切向畸变系数；r＝x2+y，x、y表示被试人脸图像在图像坐标系下的校正前的坐标。
然后，将被试人脸图像在图像坐标系下的校正后的坐标转换为像素坐标系下的坐标，转换公式如下：
u＝x′×fx+cx
v＝y′×fy+cy
其中，u、v表示被试人脸图像在像素坐标系下的坐标；x′、y′表示被试人脸图像在图像坐标系下的校正后的坐标；fx和fy表示便携拍摄设备的焦距；cx和cy表示便携拍摄设备的主点坐标。
本申请实施例提供的用于神经调控的空间注册方法，对被试人脸图像整体进行去畸变和坐标转换处理：利用张正友标定法对便携拍摄设备进行标定得到便携拍摄设备的相机内参和畸变系数，利用畸变系数校正被试人脸图像，利用内参获取被试人脸图像在像素坐标系下的坐标，从而在提取到图像中的人脸关键点后可以直接返回人脸关键点在像素坐标系下的坐标。
在一些实施例中，所述基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，包括：
采用人脸关键点检测算法提取所述被试人脸图像中的人脸关键点，并确定所述人脸关键点在像素坐标系下的坐标；
基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标；
基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云；所述尺度因子用于恢复物理空间坐标系下实际的三维坐标尺度。
具体地，采用开源库OpenCV人脸关键点检测算法提取所述被试人脸图像的感兴趣区域中的人脸关键点，获得人脸关键点在像素坐标系下的坐标。然后基于人脸关键点在像素坐标系下的坐标和便携拍摄设备的内部参数计算人脸关键点在物理空间坐标系下的坐标。用尺度因子调整人脸关键点在物理空间坐标系下的坐标，使其恢复正确的三维坐标尺度，从而获得物理空间坐标系下的点云。
例如，确定人脸关键点在两幅被试人脸图像中的像素坐标系下的坐标，基于人脸关键点在像素坐标系下的坐标以及便携拍摄设备的内部参数，计算两幅被试人脸图像的平移矩阵和旋转矩阵。利用平移矩阵、旋转矩阵以及人脸关键点在像素坐标系下的坐标计算人脸关键点在物理空间坐标系下的坐标。同时，确定被试人脸图像中的方形标记物的角点在像素坐标系下的坐标，结合平移矩阵和旋转矩阵计算这些角点在物理空间坐标系下的坐标，从而由角点在物理空间坐标系下的坐标计算得到方形标记物的边长；将测量得到的方形标记物的实际边长与计算得到的边长的比值作为尺度因子，用该尺度因子调整人脸关键点在物理空间坐标系下的坐标，从而获得物理空间坐标系下的点云。
再例如，确定人脸关键点在两幅被试人脸图像中的像素坐标系下的坐标，基于人脸关键点在像素坐标系下的坐标以及便携拍摄设备的内部参数，计算两幅被试人脸图像的平移矩阵和旋转矩阵。利用平移矩阵、旋转矩阵以及人脸关键点在像素坐标系下的坐标计算人脸关键点在物理空间坐标系下的坐标。用预设置的尺度因子调整人脸关键点在物理空间坐标系下的坐标，从而获得物理空间坐标系下的点云。
本申请实施例提供的用于神经调控的空间注册方法，基于便携拍摄设备的内部参数将人脸关键点在像素坐标系下的坐标转换为物理空间坐标系下的坐标，实现像素空间至物理空间的变换，并增加尺度因子对物理空间坐标系下的坐标进行优化调整，使获得更加准确的物理空间三维坐标，从而提高空间注册的准确性，实现高精度神经导航和神经调控。
在一些实施例中，所述基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标，包括：
基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数计算两张被试人脸图像的本质矩阵；
基于所述本质矩阵利用奇异值分解获得两张被试人脸图像的平移矩阵和旋转矩阵；
基于所述平移矩阵和所述旋转矩阵将所述人脸关键点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标。
具体地，所述便携拍摄设备的内部参数包括所述便携拍摄设备的焦距和主点坐标。
基于人脸关键点在像素坐标系下的坐标和便携拍摄设备的内部参数计算两张被试人脸图像的本质矩阵，然后使用奇异值分解求得两张被试人脸图像的平移矩阵和旋转矩阵。
例如，基于人脸关键点在像素坐标系下的坐标和便携拍摄设备的内部参数M计算两张被试人脸图像的本质矩阵E，对E使用奇异值分解求得两张被试人脸图像的平移矩阵t1、t2和旋转矩阵R1、R2。
在获得两张被试人脸图像的平移矩阵和旋转矩阵后，利用双目视觉的成像原理，基于所述平移矩阵和所述旋转矩阵结合便携拍摄设备的内部参数，确定两张被试人脸图像的投影矩阵。然后基于所述投影矩阵将人脸关键点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标。
例如，确定第一幅被试人脸图像中某一人脸关键点在像素坐标系下的坐标为u1、v1，第二幅被试人脸图像中该人脸关键点在像素坐标系下的坐标为u2、v2；两张被试人脸图像的平移矩阵为t1、t2和旋转矩阵为R1、R2。计算两张被试人脸图像的投影矩阵分别为M1、M2，其中，M1＝M[R1 t1]，M2＝M[R2 t2]。基于投影矩阵M1、M2使用最小二乘法求解人脸关键点在物理空间坐标系下的坐标，求解公式如下：
其中，u1、v1为第一幅被试人脸图像中某一人脸关键点在像素坐标系下的坐标；u2、v2为第二幅被试人脸图像中该人脸关键点在像素坐标系下的坐标；m1 ij、m2 ij分别是两幅被试人脸图像的投影矩阵M1、M2中的元素，i、j为正整数且取值范围均为1至3；Xw、Yw、Zw为该人脸关键点在物理空间坐标系下的坐标。同样地，利用上述方式分别求得剩下所有人脸关键点在物理空间坐标系下的坐标。
本申请实施例提供的用于神经调控的空间注册方法，基于双目视觉的成像原理并使用最小二乘法求解将人脸关键点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标，实现像素空间至物理空间的精准变换，提高物理空间坐标系下点云的定位精度。
在一些实施例中，所述基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标之前，还包括：
确定所述被试人脸图像中的方形标记物的四个角点在像素坐标系下的坐标；
基于所述平移矩阵和所述旋转矩阵将所述方形标记物的四个角点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标；
基于所述方形标记物的四个角点在物理空间坐标系下的坐标计算所述方形标记物在物理空间坐标系下的边长；
基于所述方形标记物在物理空间坐标系下的边长与所述方形标记物的实际边长计算尺度因子。
具体地，由于单目相机的三维重建无法确定重建后点云的实际尺度，故需要借助测量的边长信息帮助恢复三维点云的尺度。
在基于尺度因子调整计算得到的人脸关键点在物理空间坐标系下的坐标之前，利用双目视觉的成像原理和最小二乘法，计算被试人脸图像中的方形标记物的角点在物理空间坐标系下的坐标，然后根据角点在物理空间坐标系下的坐标计算方形标记物的边长；通过计算得到的方形标记物的边长和实际测量得到的方形标记物的边长确定尺度因子。
例如，检测两张被试人脸图像中的方形标记物的四个角点，获得四个角点在像素坐标系下的坐标，对每一个角点在像素坐标系下的坐标，利用双目视觉的成像原理和最小二乘法求解该角点在物理空间坐标系下的坐标，求解公式如下：
其中，u3、v3为第一幅被试人脸图像中某一角点在像素坐标系下的坐标；u4、v4为第二幅被试人脸图像中该角点在像素坐标系下的坐标；m1 ij、m2 ij分别是两幅被试人脸图像的投影矩阵M1、M2中的元素，i、j为正整数且取值范围均为1至3；X′W、Y′W、Z′W为该角点在物理空间坐标系下的坐标。
使用上式计算出方形标记物的四个角点在物理空间坐标系下的坐标，利用四个角点在物理空间坐标系下的坐标获得方形标记物三维重建的边长l，结合实际测量得到的方形标记物的边长L，计算出尺度因子k＝L/l；对于人脸关键点的三维坐标Xw、Yw、Zw，分别乘以尺度因子k，从而恢复正确的尺度，得到优化后的人脸关键点在物理空间坐标系下的坐标。
本申请实施例提供的用于神经调控的空间注册方法，根据方形标记物的实际边长和根据重建的三维坐标计算的边长确定尺度因子，来恢复人脸关键点在物理空间坐标系下的正确坐标，进一步提升人脸关键点在物理空间的定位精度，从而提升空间注册的精度。
在一些实施例中，所述基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云，包括：
获取目标三维模型的面部的平面图像；所述目标三维模型指由被试脑部的医学影像生成的三维模型；
采用人脸关键点检测算法提取所述平面图像中人脸关键点在图像坐标系下的坐标；
基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云。
具体地，所述被试脑部的医学影像可以是电子计算机断层扫描(ComputedTomography，CT)影像或磁共振成像(Magnetic Resonance Imaging，MRI)等图像。
获取目标三维模型的面部的平面图像，所述目标三维模型指由被试脑部的医学影像生成的三维模型。
例如，对被试脑部的医学影像进行建模，得到目标三维模型。将目标三维模型旋转至面部正对显示屏，自动截取平面图像。
具体地，采用人脸关键点检测算法提取所述平面图像中人脸关键点在图像坐标系下的二维坐标；所述人脸关键点检测算法可以为开源库OpenCV人脸关键点检测算法。
同时，读取目标三维模型，获取目标三维模型上所有人脸关键点的三维坐标信息，即获取人脸关键点在医学影像坐标系下的坐标。
然后，将所述人脸关键点在图像坐标系下的二维坐标以及所述人脸关键点在医学影像坐标系下的坐标进行映射，确定医学影像坐标系下的点云。
本申请实施例提供的用于神经调控的空间注册方法，将用于被试人脸图像的人脸关键点检测算法应用到医学影像模型的面部特征点检测中，提高了特征点选取的一致性，从而提高点云配准的准确度，提升空间注册的精度。
在一些实施例中，所述基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云，包括：
通过将所述人脸关键点在图像坐标系下的坐标映射至所述人脸关键点在医学影像坐标系下的坐标，确定满足预设条件的人脸关键点；所述预设条件指人脸关键点满足在图像坐标系下x方向的坐标值与在医学影像坐标系下x方向的坐标值相等，且在图像坐标系下y方向的坐标值与在医学影像坐标系下y方向的坐标值相等；
将满足预设条件的人脸关键点中在医学影像坐标系下z方向的坐标值最大的人脸关键点作为医学影像坐标系下的点云。
具体地，将人脸关键点在图像坐标系下的坐标映射至所述人脸关键点在医学影像坐标系下的坐标，即将人脸关键点在图像坐标系下的二维坐标的x、y值与在医学影像坐标系下的x、y值对应。筛选出符合预设条件的人脸关键点，即筛选出在图像坐标系下的二维坐标的x、y值与在医学影像坐标系下的x、y值相等的人脸关键点。
对满足预设条件的人脸关键点在医学影像坐标系下的z值进行排序，确定值最大的人脸关键点，将该人脸关键点作为医学影像坐标系下的点云。
本申请实施例提供的用于神经调控的空间注册方法，将平面图中的人脸关键点映射到原医学脑影像的三维模型空间，获得人脸关键点在医学影像坐标系下的三维点云，基于该医学影像坐标系下的三维点云进行点云配准，提高了空间注册的准确性。
在一些实施例中，所述将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果，包括：
采用采样一致性初始配准算法SAC-IA将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行粗配准；
采用迭代最近点算法ICP对粗配准后的物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准；
以最小化目标配准误差TRE为目标更新医学影像坐标系下的点云；
基于更新后的医学影像坐标系下的点云与所述物理空间坐标系下的点云进行配准，得到空间注册结果。
具体地，先采用SAC-IA算法将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行粗配准，然后采用ICP算法对粗配准后的物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准；用TRE表示配准误差，以最小化TRE为目标更新医学影像坐标系下的点云，基于配准误差更小的医学影像坐标系下的点云进行点云配准，得到误差更小的空间注册结果。
例如，先采用SAC-IA算法将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行粗配准，然后采用ICP算法对粗配准后的物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准；用TRE表示配准误差，配准误差的表达式为：
其中，TRE表示配准误差；N表示参考点云中点的总数，所述参考点云指医学影像坐标系下的点云，N为正整数；pi表示第i个参考点云，qi表示经过空间变换后与pi最近的目标点云，所述目标点云指物理空间坐标系下的点云；i为正整数，且取值范围为1至N。
对精配准结果的点云中的每一个点，在三维模型中搜索以该点为球心、以2mm为半径的球形邻域内的所有点，如果其中有配准误差更小的点，则将其作为新的医学影像坐标系下的配准点进行ICP配准，并更新TRE。
重复上述搜索配准误差更小的点进行配准以及更新TRE的步骤，直至经过一轮遍历之后TRE不再减小，将此时的空间注册结果作为最终的注册结果，得到一个变换矩阵T，变换矩阵T由一个3×3的旋转矩阵R和一个3×1的平移向量t组成。对于医学影像坐标系下的点P1，由P1得到物理空间坐标系下对应的点P2的计算公式可以表示为：
P2＝R×P1+t
其中，P1为医学影像坐标系下的点，P2为P1经空间注册得到的在物理空间坐标系下的点；R为用于空间注册的旋转矩阵；t为用于空间注册的平移向量。
本申请实施例提供的用于神经调控的空间注册方法，通过TRE更新医学影像坐标系下的点云，基于配准误差更小的点云进行匹配注册，减小了空间注册的误差，能有效准确地实现术前空间注册，定位手术靶点，提高了神经导航的精度。
本申请实施例解决了依赖高成本光学传感器的手术空间注册问题，无需使用特定的相机设备，而是使用便携式拍摄设备如民用手机或相机，来进行手术空间注册，也无需操作人员提前使用探针工具在被试面部做标记或手动在医学影像空间选取特征点，提升了空间注册的效率，运行实时高效，从而提高了被试的接受度及临床应用的可行性。
图2是本申请实施例提供的一种用于神经调控的空间注册装置的结构示意图，如图2所示，本申请实施例提供一种用于神经调控的空间注册装置，包括第一获取模块201、第二获取模块202和配准模块203。
第一获取模块201用于利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
第二获取模块202用于基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
配准模块203用于将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
在一些实施例中，所述第二获取模块包括：
第一确定单元，用于采用人脸关键点检测算法提取所述被试人脸图像中的人脸关键点，并确定所述人脸关键点在像素坐标系下的坐标；
第二确定单元，用于基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标；
第一获取单元，用于基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云；所述尺度因子用于恢复物理空间坐标系下实际的三维坐标尺度。
在一些实施例中，所述第二确定单元包括：
计算子单元，用于基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数计算两张被试人脸图像的本质矩阵；
第一获取子单元，用于基于所述本质矩阵利用奇异值分解获得两张被试人脸图像的平移矩阵和旋转矩阵；
第二获取子单元，用于基于所述平移矩阵和所述旋转矩阵将所述人脸关键点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标。
在一些实施例中，所述第二获取模块还包括：
第三确定单元，用于确定所述被试人脸图像中的方形标记物的四个角点在像素坐标系下的坐标；
第二获取单元，用于基于所述平移矩阵和所述旋转矩阵将所述方形标记物的四个角点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标；
第一计算单元，用于基于所述方形标记物的四个角点在物理空间坐标系下的坐标计算所述方形标记物在物理空间坐标系下的边长；
第二计算单元，用于基于所述方形标记物在物理空间坐标系下的边长与所述方形标记物的实际边长计算尺度因子。
在一些实施例中，所述第二获取模块还包括：
第三获取单元，用于获取目标三维模型的面部的平面图像；所述目标三维模型指由被试脑部的医学影像生成的三维模型；
第四获取单元，用于采用人脸关键点检测算法提取所述平面图像中人脸关键点在图像坐标系下的坐标；
第四确定单元，用于基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云。
在一些实施例中，所述第四确定单元包括：
第一确定子单元，用于通过将所述人脸关键点在图像坐标系下的坐标映射至所述人脸关键点在医学影像坐标系下的坐标，确定满足预设条件的人脸关键点；所述预设条件指人脸关键点满足在图像坐标系下x方向的坐标值与在医学影像坐标系下x方向的坐标值相等，且在图像坐标系下y方向的坐标值与在医学影像坐标系下y方向的坐标值相等；
第二确定子单元，用于将满足预设条件的人脸关键点中在医学影像坐标系下z方向的坐标值最大的人脸关键点作为医学影像坐标系下的点云。
在一些实施例中，所述配准模块包括：
第一配准单元，用于采用采样一致性初始配准算法SAC-IA将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行粗配准；
第二配准单元，用于采用迭代最近点算法ICP对粗配准后的物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准；
更新单元，用于以最小化目标配准误差TRE为目标更新医学影像坐标系下的点云；
第三配准单元，用于基于更新后的医学影像坐标系下的点云与所述物理空间坐标系下的点云进行配准，得到空间注册结果。
在一些实施例中，还包括：
第三获取模块，用于利用张正友标定法对所述便携拍摄设备进行标定，得到所述便携拍摄设备的内部参数和畸变系数；
校正模块，用于基于所述内部参数和所述畸变系数对所述被试人脸图像进行校正；
第四获取模块，用于将校正后的被试人脸图像在图像坐标系下的坐标转换为在像素坐标系下的坐标。
具体地，本申请实施例提供的上述用于神经调控的空间注册装置，能够实现上述用于神经调控的空间注册方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是，本申请上述各实施例中对单元/模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
图3是本申请实施例提供的一种电子设备的结构示意图，如图3所示，所述电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器303中的逻辑指令，以执行用于神经调控的空间注册方法，该方法包括：
利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
具体地，处理器301可以是中央处理器(Central Processing Unit，CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)，处理器也可以采用多核架构。
存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在一些实施例中，还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例提供的用于神经调控的空间注册方法，该方法包括：
利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
具体地，本申请实施例提供的上述计算机程序产品，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
在一些实施例中，还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行上述各方法实施例提供的用于神经调控的空间注册方法，该方法包括：
利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
具体地，本申请实施例提供的上述计算机可读存储介质，能够实现上述各方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是：所述计算机可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种用于神经调控的空间注册方法，其特征在于，包括：
利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
2.根据权利要求1所述的用于神经调控的空间注册方法，其特征在于，所述基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，包括：
采用人脸关键点检测算法提取所述被试人脸图像中的人脸关键点，并确定所述人脸关键点在像素坐标系下的坐标；
基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标；
基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云；所述尺度因子用于恢复物理空间坐标系下实际的三维坐标尺度。
3.根据权利要求2所述的用于神经调控的空间注册方法，其特征在于，所述基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数确定所述人脸关键点在物理空间坐标系下的坐标，包括：
基于所述人脸关键点在像素坐标系下的坐标和所述便携拍摄设备的内部参数计算两张被试人脸图像的本质矩阵；
基于所述本质矩阵利用奇异值分解获得两张被试人脸图像的平移矩阵和旋转矩阵；
基于所述平移矩阵和所述旋转矩阵将所述人脸关键点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标。
4.根据权利要求3所述的用于神经调控的空间注册方法，其特征在于，所述基于尺度因子调整所述人脸关键点在物理空间坐标系下的坐标之前，还包括：
确定所述被试人脸图像中的方形标记物的四个角点在像素坐标系下的坐标；
基于所述平移矩阵和所述旋转矩阵将所述方形标记物的四个角点在像素坐标系下的坐标转换为在物理空间坐标系下的坐标；
基于所述方形标记物的四个角点在物理空间坐标系下的坐标计算所述方形标记物在物理空间坐标系下的边长；
基于所述方形标记物在物理空间坐标系下的边长与所述方形标记物的实际边长计算尺度因子。
5.根据权利要求1所述的用于神经调控的空间注册方法，其特征在于，所述基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云，包括：
获取目标三维模型的面部的平面图像；所述目标三维模型指由被试脑部的医学影像生成的三维模型；
采用人脸关键点检测算法提取所述平面图像中人脸关键点在图像坐标系下的坐标；
基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云。
6.根据权利要求5所述的用于神经调控的空间注册方法，其特征在于，所述基于所述人脸关键点在图像坐标系下的坐标以及所述人脸关键点在医学影像坐标系下的坐标确定医学影像坐标系下的点云，包括：
通过将所述人脸关键点在图像坐标系下的坐标映射至所述人脸关键点在医学影像坐标系下的坐标，确定满足预设条件的人脸关键点；所述预设条件指人脸关键点满足在图像坐标系下x方向的坐标值与在医学影像坐标系下x方向的坐标值相等，且在图像坐标系下y方向的坐标值与在医学影像坐标系下y方向的坐标值相等；
将满足预设条件的人脸关键点中在医学影像坐标系下z方向的坐标值最大的人脸关键点作为医学影像坐标系下的点云。
7.根据权利要求1所述的用于神经调控的空间注册方法，其特征在于，所述将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果，包括：
采用采样一致性初始配准算法SAC-IA将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行粗配准；
采用迭代最近点算法ICP对粗配准后的物理空间坐标系下的点云与医学影像坐标系下的点云进行精配准；
以最小化目标配准误差TRE为目标更新医学影像坐标系下的点云；
基于更新后的医学影像坐标系下的点云与所述物理空间坐标系下的点云进行配准，得到空间注册结果。
8.根据权利要求1所述的用于神经调控的空间注册方法，其特征在于，所述利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像之后，还包括：
利用张正友标定法对所述便携拍摄设备进行标定，得到所述便携拍摄设备的内部参数和畸变系数；
基于所述内部参数和所述畸变系数对所述被试人脸图像进行校正；
将校正后的被试人脸图像在图像坐标系下的坐标转换为在像素坐标系下的坐标。
9.一种用于神经调控的空间注册装置，其特征在于，包括：
第一获取模块，用于利用便携拍摄设备从不同角度拍摄被试人脸，得到两张被试人脸图像；
第二获取模块，用于基于人脸关键点检测算法获取所述被试人脸图像中的人脸关键点在物理空间坐标系下的坐标，得到物理空间坐标系下的点云，并基于人脸关键点检测算法获取人脸关键点在医学影像坐标系下的坐标，得到医学影像坐标系下的点云；
配准模块，用于将所述物理空间坐标系下的点云与所述医学影像坐标系下的点云进行配准，得到空间注册结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述用于神经调控的空间注册方法。
CN202310927073.4A 2023-07-26 2023-07-26 用于神经调控的空间注册方法及装置 Pending CN117058197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310927073.4A CN117058197A (zh) 2023-07-26 2023-07-26 用于神经调控的空间注册方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310927073.4A CN117058197A (zh) 2023-07-26 2023-07-26 用于神经调控的空间注册方法及装置

Publications (1)

Publication Number Publication Date
CN117058197A true CN117058197A (zh) 2023-11-14

Family

ID=88663644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310927073.4A Pending CN117058197A (zh) 2023-07-26 2023-07-26 用于神经调控的空间注册方法及装置

Country Status (1)

Country Link
CN (1) CN117058197A (zh)

Similar Documents

Publication Publication Date Title
CN109118545B (zh) 基于旋转轴和双目摄像头的三维成像系统标定方法及系统
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN110021053B (zh) 一种基于坐标转换的图像定位方法、装置、存储介质及设备
CN108245788B (zh) 一种双目测距装置及方法、包括该装置的加速器放疗系统
CN109754396A (zh) 图像的配准方法、装置、计算机设备和存储介质
CN111640145B (zh) 图像配准方法及其相关的模型训练方法、设备、装置
CN112562082A (zh) 一种三维人脸重建方法及系统
CN112382359B (zh) 患者注册方法、装置、电子设备及计算机可读介质
CN110443802B (zh) 图像检测方法和装置、设备及存储介质
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN111627070B (zh) 一种对旋转轴进行标定的方法、装置和存储介质
WO2001057805A2 (en) Image data processing method and apparatus
CN114187339A (zh) 神经导航辅助方法、装置、电子设备及存储介质
CN117058409A (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
CN116883471B (zh) 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN115984203A (zh) 一种眼球突出度测量方法、系统、终端及介质
CN113143459A (zh) 腹腔镜增强现实手术导航方法、装置及电子设备
CN117058197A (zh) 用于神经调控的空间注册方法及装置
Detchev et al. Image matching and surface registration for 3D reconstruction of a scoliotic torso
CN112581460B (zh) 扫描规划方法、装置、计算机设备和存储介质
CN114298986A (zh) 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
CN109587469B (zh) 基于人工智能识别的影像处理方法及装置
CN114511597A (zh) X光图像与ct图像的配准方法
CN114930390A (zh) 用于将活体医学图像与解剖模型配准的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination