CN114187339A - 神经导航辅助方法、装置、电子设备及存储介质 - Google Patents

神经导航辅助方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114187339A
CN114187339A CN202111499263.8A CN202111499263A CN114187339A CN 114187339 A CN114187339 A CN 114187339A CN 202111499263 A CN202111499263 A CN 202111499263A CN 114187339 A CN114187339 A CN 114187339A
Authority
CN
China
Prior art keywords
feature point
target
point set
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111499263.8A
Other languages
English (en)
Inventor
杨正宜
郎桾侠
卢雪峰
蒋田仔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111499263.8A priority Critical patent/CN114187339A/zh
Publication of CN114187339A publication Critical patent/CN114187339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种神经导航辅助方法、装置、电子设备及存储介质，其中，神经导航辅助方法包括：获取第一目标特征点集合，该第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，该第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，第一候选特征点为第一目标特征点集合中的特征点，第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足第一配准结果值。采用本方法，能够提高神经导航辅助精确度。

Description

神经导航辅助方法、装置、电子设备及存储介质
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种神经导航辅助方法、装置、电子设备及存储介质。
背景技术
随着机器视觉的发展，其应用到了众多领域，例如，医学领域，可以利用机器视觉完成目标位置的准确定位，例如，应用于神经导航，神经导航是指利用计算机辅助技术，辅助医生快速确定病灶位置的技术。
现有技术中，神经导航往往通过佩戴外部设备，使用探针工具在患者面部标记，存在精确度低的问题。
发明内容
本发明提供一种神经导航辅助方法、装置、电子设备及存储介质，用以解决现有技术中神经导航辅助精确度低的缺陷，实现提高神经导航辅助精确度的目的。
本发明提供一种神经导航辅助方法，包括：获取第一目标特征点集合，所述第一目标特征点集合包括至少一个第一目标特征点，所述第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，所述第二目标特征点集合包括至少一个第二目标特征点，所述第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，所述第一候选特征点为所述第一目标特征点集合中的特征点，所述第二候选特征点为所述第二目标特征点集合中的特征点，所述第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足所述第一配准结果值。
根据本发明提供的一种神经导航辅助方法，所述方法还包括：在所述第一配准结果值大于误差阈值的情况下，在所述立体模型中，以所述第二候选特征点为中心，基于区域外扩半径，得到目标区域；获取所述目标区域中的特征点集合；利用所述特征点集合中的第三候选特征点与所述第一候选特征点进行配准，得到第二配准结果值；在所述第二配准结果值大于所述第一配准结果值的情况下，利用所述第三候选特征点替换所述第二候选特征点。
根据本发明提供的一种神经导航辅助方法，所述方法还包括：获取目标图像序列，所述目标图像序列中包括至少一个目标图像，所述目标图像中包括所述第一目标特征点集合；在所述目标图像序列中，获取候选目标图像与前向图像之间特征点的第一距离，以及，获取候选目标图像与后向图像之间特征点的第二距离；在各个所述第一距离大于或等于第一距离阈值，且各个所述第二距离大于或等于第二距离阈值的情况下，更新获取到的所述第一目标特征点集合。
根据本发明提供的一种神经导航辅助方法，所述获取第二目标特征点集合包括：获取医学图像；将所述医学图像进行三维重建处理，得到所述医学图像对应的三维模型；根据所述特征类型，在所述三维模型中，获取所述第二目标特征点集合。
根据本发明提供的一种神经导航辅助方法，所述获取第一目标特征点集合包括：获取初始图像，所述初始图像中包括目标对象；获取所述目标对象中的初始特征点集合；在像素坐标系下，对所述初始特征点集合中的各个初始特征点进行坐标确定，得到中间特征点集合；对所述中间特征点集合中的各个中间特征点进行坐标系转换，得到所述第一目标特征点集合，所述第一目标特征点集合中的各个目标特征点的坐标为在相机坐标系下的坐标。
根据本发明提供的一种神经导航辅助方法，所述方法还包括：在所述相机坐标系下，获取图像获取设备的标定参数集合；在所述标定参数集合中，利用候选标定参数对所述初始图像的坐标进行校正，得到中间图像；对所述中间图像进行坐标系转换，得到目标图像；所述目标图像的坐标为像素坐标系下的坐标。
本发明还提供一种神经导航辅助装置，包括：第一处理模块，用于获取第一目标特征点集合，所述第一目标特征点集合包括至少一个第一目标特征点，所述第一目标特征点为位于面部的特征点集合；第二处理模块，用于获取第二目标特征点集合，所述第二目标特征点集合包括至少一个第二目标特征点，所述第二目标特征点为位于立体模型中的特征点集合；第三处理模块，用于对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，所述第一候选特征点为所述第一目标特征点集合中的特征点，所述第二候选特征点为所述第二目标特征点集合中的特征点，所述第一候选特征点和第二候选特征点的特征类型相同；第四处理模块，用于调整神经导航辅助设备的移动位置，直至满足所述第一配准结果值。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述神经导航辅助方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述神经导航辅助方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述神经导航辅助方法的步骤。
本发明提供的神经导航辅助方法、装置、电子设备及存储介质，通过获取第一目标特征点集合，该第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，该第二目标特征点集合包括至少一个第二目标特征点，该第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，上述第一候选特征点为第一目标特征点集合中的特征点，上述第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足所述第一配准结果值。通过对第一目标特征点集合中的第一候选特征点与第二目标特征点集合中特征类型相同的第二候选特征点进行配准，可以根据该第一配准结果值，调整神经导航辅助设备的移动位置，从而得到神经导航辅助设备精确的停止位置，提高了神经导航辅助精确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的神经导航辅助方法的流程示意图之一；
图2是本发明提供的神经导航辅助方法的流程示意图之二；
图3是本发明提供的神经导航辅助方法的流程示意图之三；
图4是本发明提供的神经导航辅助方法的流程示意图之四；
图5是本发明提供的神经导航辅助方法的流程示意图之五；
图6是本发明提供的神经导航辅助方法的流程示意图之六；
图7是本发明提供的神经导航辅助方法的流程示意图之七；
图8是本发明提供的神经导航辅助方法的第一目标特征点集合示意图之一；
图9是本发明提供的神经导航辅助方法的第二目标特征点集合示意图之一；
图10是本发明提供的神经导航辅助装置的结构示意图；
图11是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图7描述本发明的神经导航辅助方法。
在一个实施例中，如图1所示，提供了一种神经导航辅助方法，以该方法应用于服务器为例进行说明，包括以下步骤：
步骤102，获取第一目标特征点集合，该第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合。
其中，特征点是指能够反映对象本质特征的点，例如，在获取的包括有面部的图像中，面部的鼻尖可以认为是能够反映面部的一个特征点。
具体地，服务器可以通过图像获取设备获取到包括有目标对象的图像，获取到该图像中能够反映目标对象本质特点的特征点集合。
在一个实施例中，服务器可以连接图像获取设备，该图像获取设备可以为双目相机，通过双目相机拍摄得到含有人面部的图像，利用人脸特征点检测算法，提取到第一目标特征点集合。
在一个实施例中，含有人面部的图像的获取方法可以为，利用上述双目相机中的左相机拍摄得到第一图像，利用上述双目相机中的右相机拍摄得到第二图像，分别选择第一图像中的右边60％区域和第二图像的左边60％区域获取含有人面部的图像，从而可以提高人脸识别的准确度。
步骤104，获取第二目标特征点集合，该第二目标特征点集合包括至少一个第二目标特征点，该第二目标特征点为位于立体模型中的特征点集合。
其中，立体模型是指对图像进行三维重建之后得到的模型。例如，对MRI(MagneticResonance Imaging)医学图像进行三维重建，得到STL(Standard TessellationLanguage)模型。
具体地，服务器可以利用三维重建方法，对需要获取第二目标特征点集合的图像进行三维重建，得到立体模型，在该立体模型中，选取第二目标特征点集合。
在一个实施例中，以MRI医学图像为例，服务器通过在该MRI医学图像上选择目标区域，得到该目标区域对应的二维分割数据，利用图像处理插件，对上述二维分割数据进行修改，将修改后的二维分割数据进行三维重建，得到对应的三维图像，在该三维图像中，对特征点进行筛选，获取第二目标特征点集合。
步骤106，对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，上述第一候选特征点为上述第一目标特征点集合中的特征点，上述第二候选特征点为第二目标特征点集合中的特征点，上述第一候选特征点和第二候选特征点的特征类型相同。
其中，特征类型是指特征点的类型，例如，在第一目标特征点集合中的第一候选特征点为左内眼角，则在第二目标特征点集合中的第二候选特征点也是左内眼角，两种特征类型相同。配准是指对第一候选特征点与第二候选特征点进行匹配，通过该匹配可以得到第一候选特征点与第二候选特征点之间的相似程度，相似程度大表示配准结果值大，相似程度小表示配准结果值小。
具体地，服务器得到第一目标特征点集合和第二目标特征点集合之后，可以在第一目标特征点集合任意选择一个特征点作为第一候选特征点，同时，在第二目标特征点集合中，选择与第一候选特征点特征类型相同的特征点作为第二候选特征点，对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值。
在一个实施例中，服务器可以通过遍历第一目标特征点集合中的各个第一候选特征点，得到对应的第一配准结果值集合。
步骤108，调整神经导航辅助设备的移动位置，直至满足第一配准结果值。
其中，神经导航辅助设备是指对神经导航起辅助作用的设备，例如，TMS(全脑线圈式经颅磁刺激)线圈，可以通过调整该TMS线圈的位置，确定第一候选特征点与第二候选特征点是否为符合配准标准的特征点。
具体地，服务器得到第一配准结果值之后，不断调整神经导航辅助设备的移动位置，直到满足第一配准结果值。
在一个实施例中，服务器可以发送控制信号到机械臂，控制机械臂，调整神经导航辅助设备的移动位置，直到满足第一配准结果值时，发出位置确定信号，停止调整神经导航辅助设备的移动位置，该停止移动的位置即为所确定的目标位置。
在一个实施例中，服务器可以利用TCP(Tool Center Point)即工具中心点标定法标定TMS线圈在机器人坐标系下的坐标，再利用SVD(Singular Value Decomposition)即奇异值分解算法将机器人坐标系转换到相机坐标系下，以使得该TMS线圈与获取到的含有人面部的图像处于同一坐标系下。
上述神经导航辅助方法中，通过获取第一目标特征点集合，该第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，该第二目标特征点集合包括至少一个第二目标特征点，该第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，上述第一候选特征点为第一目标特征点集合中的特征点，上述第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足第一配准结果值。通过对第一目标特征点集合中的第一候选特征点与第二目标特征点集合中特征类型相同的第二候选特征点进行配准，可以根据该第一配准结果值，调整神经导航辅助设备的移动位置，从而得到神经导航辅助设备精确的停止位置，提高了神经导航辅助精确度。
在一个实施例中，如图2所示，神经导航辅助方法还包括：
步骤202，在第一配准结果值大于误差阈值的情况下，在立体模型中，以第二候选特征点为中心，基于区域外扩半径，得到目标区域。
其中，误差阈值是指误差的临界值，大于等于该临界值表示第一候选特征点和第二候选特征点之间的相似度小，相应的配准结果值小；小于该临界值表示第一候选特征点和第二候选特征点之间的相似度大，相应的配准结果值大。区域外扩半径是指以第二候选特征点为中心，进行区域外扩的半径。例如，假设目标区域为球形，则可以以第二候选特征点为圆心，以10毫米为半径，得到目标区域。
具体地，服务器在第一配准结果值大于误差阈值的情况下，确定第一候选特征点和第二候选特征点之间的配准值并不理想，需要在第二候选特征点邻域内寻找与第一候选特征点配准结果值更加理想的特征点。因此，可以基于区域外扩半径，得到目标区域，在该目标区域中寻找。
步骤204，获取目标区域中的特征点集合。
具体地，服务器得到目标区域后，通过人脸关键点检测算法，例如，SIFT(Scale-invariant feature transform)、SURF(Speeded-Up Robust Features)或者HOG(Histogram of Oriented Gradient)对目标区域中的特征点进行检测，获取到目标区域中的特征点集合。
步骤206，利用特征点集合中的第三候选特征点与第一候选特征点进行配准，得到第二配准结果值。
具体地，服务器获取目标区域中的特征点集合之后，在该目标区域中的特征点集合中，任意选择一个特征点作为第三候选特征点，与第一候选特征点进行配准，得到第二配准结果值。
具体地，服务器通过遍历特征点集合中的所有特征点，得到第二配准结果值集合，对该第二配准结果值集合中的各个第二配准结果值进行筛选，得到误差最小的配准结果值，将该最大的配准结果值，确定为第二配准结果值。
步骤208，在第二配准结果值大于第一配准结果值的情况下，利用第三候选特征点替换第二候选特征点。
具体地，服务器得到第二配准结果值之后，在第二配准结果值大于第一配准结果值的情况下，表示新选择的第三候选特征点和第一候选特征点进行配准时的相似度更大，更加精确，利用该第三候选特征点替换第二候选特征点。例如，第一配准结果值为60％，该结果值为第二候选特征点B与第一候选特征点A进行配准得到的配准结果值，为了提高配准精确度，以在第二候选特征点B为中心，以10毫米为半径的球形邻域内的第三候选特征点C与第一候选特征点A进行配准得到的配准结果值为80％，则利用该第三候选特征点C替换掉第二候选特征点B，将第三候选特征点C确定为所需要的特征点。
本实施例中，通过在第一配准结果值大于误差阈值的情况下，在立体模型中，以第二候选特征点为中心，基于区域外扩半径，得到目标区域，获取目标区域中的特征点集合，利用特征点集合中的第三候选特征点与第一候选特征点进行配准，得到第二配准结果值，在第二配准结果值大于第一配准结果值的情况下，利用第三候选特征点替换第二候选特征点，能够达到精确得到配准精度高的第三候选特征点的目的。
在一个实施例中，如图3所示，神经导航辅助方法还包括：
步骤302，获取目标图像序列，该目标图像序列中包括至少一个目标图像，该目标图像中包括第一目标特征点集合。
具体地，服务器连接图像获取设备，通过该图像获取设备以一定的频率采集图像，得到连续帧的目标图像序列。
在一个实施例中，服务器连接双目相机，双目相机以16HZ的频率采集图像，获取目标图像序列，在该目标图像序列中的每一幅图像中，利用人脸识别算法提取面部特征点，并且利用卡尔曼滤波器使该获取到的目标图像序列的特征点具有稳定性，从而获取到每一幅图像中的第一目标特征点集合。
在一个实施例中，为了提高人体头部运动检测的准确性，在目标图像中不但包括第一目标特征点集合，还包括额外特征点集合。例如，假设第一目标特征点集合包括7个特征点，目标图像中包括22个特征点。
步骤304，在目标图像序列中，获取候选目标图像与前向图像之间特征点的第一距离，以及，获取候选目标图像与后向图像之间特征点的第二距离。
其中，前向图像是指在候选目标图像之前拍摄得到的图像。后向图像是指在候选目标图像之后拍摄得到的图像。
具体地，服务器获取目标图像序列之后，以该目标图像序列中任意一副目标图像作为候选目标图像，利用该候选目标图像与前向图像之间相同特征类型的特征点之间进行欧式距离计算，得到第一距离，以及，利用该候选目标图像与后向图像之间相同特征类型的特征点之间进行欧式距离计算，得到第二距离。
步骤306，在各个第一距离和各个第二距离均大于或等于距离阈值的情况下，更新获取到的第一目标特征点集合。
具体地，服务器得到第一距离和第二距离之后，通过第一距离和第二距离与距离阈值之间的比较，确定佩戴有神经导航辅助设备的头部是否发生移动。在各个第一距离和各个第二距离均大于或等于距离阈值时，认为头部发生了移动，更新获取到的第一目标特征点集合；在各个第一距离和各个第二距离小于距离阈值时，认为头部没有发生移动，不更新获取到的第一目标特征点集合。
在一个实施例中，服务器获取到的目标图像序列中的各个目标图像在二维空间下，距离阈值取值为1.5毫米；在各个第一距离和各个第二距离大于或等于1.5毫米时，认为头部发生了移动，更新获取到的第一目标特征点集合；在各个第一距离和各个第二距离小于1.5毫米时，认为头部没有发生移动，不更新获取到的第一目标特征点集合。并且需要满足服务器获取到的目标图像序列中的各个目标图像在三维空间下，距离阈值取值为2.5毫米；在各个第一距离和各个第二距离大于或等于2.5毫米时，认为头部发生了移动，更新获取到的第一目标特征点集合；在各个第一距离和各个第二距离小于2.5毫米时，认为头部没有发生移动，不更新获取到的第一目标特征点集合。
本实施例中，通过获取目标图像序列，在目标图像序列中，获取候选目标图像与前向图像之间特征点的第一距离，以及，获取候选目标图像与后向图像之间特征点的第二距离，在各个第一距离和各个第二距离大于或等于距离阈值的情况下，更新获取到的第一目标特征点集合，能够达到准确得到第一目标特征点集合的目的。
在一个实施例中，如图4所示，获取第二目标特征点集合包括：
步骤402，获取医学图像。
其中，医学图像是指用于医疗或医学研究的图像。
具体地，服务器连接医学图像获取设备，医学图像获取设备拍摄医学图像，并将医学图像传输给服务器。例如，医学图像获取设备为磁共振设备，磁共振设备获取MRI图像后，将该图像传输给服务器，相应的，服务器接收到该MRI图像。
步骤404，将医学图像进行三维重建处理，得到医学图像对应的三维模型。
具体地，服务器获取医学图像后，利用三维重建方法对该医学图像进行三维重建处理，得到医学图像对应的三维模型。
步骤406，根据特征类型，在三维模型中，获取第二目标特征点集合。
具体地，在服务器在得到三维模型和获取第一目标特征点集合之后，根据该集合中特征点的特征类型，在三维模型中选择特征点，获取第二目标特征点集合。例如，第一目标特征点集合中第一目标特征点包括左内眼角、左外眼角、右内眼角、右外眼角、鼻根、鼻尖和唇峰7个特征点，则在三维模型中，选取左内眼角、左外眼角、右内眼角、右外眼角、鼻根、鼻尖和唇峰7个特征点，作为第二目标特征点集合。
本实施例中，通过获取医学图像，将医学图像进行三维重建处理，得到医学图像对应的三维模型，根据特征类型，在三维模型中，获取第二目标特征点集合。能够达到准确获取第二目标特征点集合的目的。
在一个实施例中，如图5所示，获取第一目标特征点集合包括：
步骤502，获取初始图像，该初始图像中包括目标对象。
其中，目标对象是指在初始图像中，需要有针对性的进行处理的对象。例如，初始图像为包括人脸的图像，并且需要对该人脸进行处理，该人脸即为目标对象。
具体地，服务器可以连接图像获取设备，在图像获取设备获取初始图像之后，将该图像传输给服务器。图像获取设备可以为双目相机。
在一个实施例中，选择双目相机中的左相机为主相机，建立相机坐标系；对于双目相机的左右两个相机，利用利用相机内部参数对图像校正，去除拍摄图像畸变，得到初始图像。
步骤504，获取目标对象中的初始特征点集合。
具体地，服务器获取初始图像之后，利用特征点提取方法提取目标对象中的初始特征点集合。
在一个实施例中，服务器利用开源库OpenCV人脸特征点检测算法，LBF算法提取感兴趣区域中人脸面部特征点，即初始特征点集合。
步骤506，在像素坐标系下，对上述初始特征点集合中的各个初始特征点进行坐标确定，得到中间特征点集合。
具体地，服务器在获取初始特征点集合后，对该初始特征点集合中的各个初始特征点进行坐标提取，得到携带有坐标的各个中间特征点组成的中间特征点集合。携带的该坐标为像素坐标系下的坐标。
步骤508，对中间特征点集合中的各个中间特征点进行坐标系转换，得到第一目标特征点集合，该第一目标特征点集合中的各个目标特征点的坐标为在相机坐标系下的坐标。
具体地，服务器得到中间特征点集合后，对该集合中的候选中间特征点进行坐标转换，得到第一目标特征点集合，该集合中的各个中间特征点的坐标为相机坐标系下的坐标。
在一个实施例中，假设图像获取设备为双目相机，候选中间特征点在双目相机的左相机的相机像素坐标系下坐标表示为(u1，v1)，在双目相机的右相机的相机像素坐标系下坐标表示为(u2，v2)，该候选中间特征点在相机坐标系的三维坐标表示为(Xw，Yw，Zw)，则可以利用最小二乘法进行坐标系转换，表示为公式：
Figure BDA0003402125420000141
Figure BDA0003402125420000142
Figure BDA0003402125420000143
Figure BDA0003402125420000144
其中，
Figure BDA0003402125420000145
和
Figure BDA0003402125420000146
分别表示双目相机投影矩阵M1、M2中的元素，其中，M1＝K1[R1 t1]，M2＝K2[R2 t2]，其中K1和K2表示双目相机的内部参数，R1、R2、t1和t2表示外部参数。
可以理解的，可以利用公式(1)中方法对中间特征点集合中的各个候选中间特征点进行坐标系变换，得到第一目标特征点集合。
本实施例中，通过获取初始图像，获取目标对象中的初始特征点集合，在像素坐标系下，对上述初始特征点集合中的各个初始特征点进行坐标确定，得到中间特征点集合，对中间特征点集合中的各个中间特征点进行坐标系转换，得到第一目标特征点集合，能够达到准确得到相机坐标系下的第一目标特征点集合的目的。
在一个实施例中，如图6所示，神经导航辅助方法还包括：
步骤602，在相机坐标系下，获取图像获取设备的标定参数集合。
具体地，服务器通过参数获取插件或者脚本程序，获取图像获取设备的标定参数集合。其中的图像获取设备包括双目相机、手机或者其他图像采集卡。
步骤604，在标定参数集合中，利用候选标定参数对初始图像的坐标进行校正，得到中间图像。
具体地，服务器在得到标定参数集合后，利用其中的一个或者多个标定参数对上述初始图像的坐标进行校正，得到中间图像。
在一个实施例中，假设图像获取设备是双目相机，标定参数集合包括径向畸变系数k11、k12、k13、k21、k22和k23，切向畸变系数p11、p12、p21和p22，双目相机中左相机拍摄的图像的坐标在坐标校正前表示为(x1，y1)，双目相机中右相机拍摄的图像的坐标在坐标校正前表示为(x2，y2)，双目相机中左相机拍摄的图像的坐标在坐标校正后表示为(x1′，y1′)，双目相机中右相机拍摄的图像的坐标在坐标校正后表示为(x2′，y2′)，则可以表示为公式：
Figure BDA0003402125420000151
Figure BDA0003402125420000152
其中，r1＝x1 2+y1 2，r2＝x2 2+y2 2。
步骤606，对中间图像进行坐标系转换，得到目标图像；该目标图像的坐标为像素坐标系下的坐标。
具体地，服务器得到中间图像之后，由于该中间图像为相机坐标系下的坐标，可以将其转换为像素坐标系下的坐标，在具有像素坐标系下的坐标的图像，确定为目标图像。
在一个实施例中，双目相机的左相机的相机像素坐标系下坐标表示为(u1，v1)，在双目相机的右相机的相机像素坐标系下坐标表示为(u2，v2)，双目相机中左相机拍摄的图像的坐标在坐标校正前表示为(x1，y1)，双目相机中右相机拍摄的图像的坐标在坐标校正前表示为(x2，y2)，双目相机中左相机拍摄的图像的坐标在坐标校正后表示为(x1′，y1′)，双目相机中右相机拍摄的图像的坐标在坐标校正后表示为(x2′，y2′)，则可以表示为：
u1＝x1′*fx1+cx1
v1＝y1′*fy1+cy1
u2＝x2′*fx2+cx2
v2＝y2′*fy2+cy2 (3)
其中，fx1和fy1表示双目相机中左相机的焦距，fx2和fy2为表示双目相机中右相机的焦距，cx1和cy1表示双目相机中左相机的主点坐标，cx2和cy2表示双目相机中右相机的主点坐标。
本实施例中，通过在相机坐标系下，获取图像获取设备的标定参数集合，在标定参数集合中，利用候选标定参数对初始图像的坐标进行校正，得到中间图像，对中间图像进行坐标系转换，得到目标图像，能够达到准确得到目标图像的目的。
在一个实施例中，如图7所示，以双目相机采集双目图像作为第一目标特征点集合的来源，以MRI图像作为第二目标特征点集合的来源为例。利用双目相机采集得到双目图像，对该图像进行畸变校正后，利用人脸识别检测算法，识别得到面部特征点；利用坐标系转换，计算该面部特征点在相机坐标系下的三维坐标，从而得到相机坐标系下的点云，即第一目标特征点集合。同时，获取MRI图像，对该MRI图像进行特征点采集，得到MRI坐标系下的点云，即第二目标特征点集合。将相机坐标系下的点云和MRI坐标系下的点云进行注册或者配准，根据配准的结果，指导TMS线圈的移动到目标位置。根据双目相机获取的连续视频帧，即连续图像的点云是否发生变化，更新面部特征的三维坐标。具体地，选择双目相机中的左相机为主相机，建立相机坐标系；利用张正友标定法对双目相机标定，得到相机的内部参数K1和K2，外部参数R1、R2、t1和t2，径向畸变系数k11、k12、k13、k21、k22和k23，切向畸变系数p11、p12、p21和p22。其中内部参数K1和K2由fx1、fy1、fx2、fy2、cx1、cy1、cx2和cy2组成，fx1、fy1、fx2和fy2是两个相机的焦距，cx1、cy1、cx2和cy2是两个相机的主点坐标，外部参数R1和R2分别是世界坐标系转换到双目相机左右两个相机坐标系的旋转矩阵，描述了世界坐标系的坐标轴相对于相机坐标轴的方向，t1和t2分别是世界坐标系转换到左右两个相机坐标系的平移矩阵，描述了相机坐标系下空间原点的位置；对于双目相机的左右两个相机，利用相机内部参数对图像校正，使用上述公式(2)去除图像畸变。使用上述公式(3)将图像坐标系转换到像素坐标系。如图8所示，双目相机拍摄的人像通常出现在左相机的右半区域和右相机的左半区域，因此选择左图像右边60％的区域，和右图像左边60％的区域作为感兴趣区域，以提高人脸识别的准确度；使用开源库OpenCV人脸特征点检测算法FacemarkLBF提取感兴趣区域中人脸面部特征点在像素坐标系下的坐标，选取面部特征点中的左内眼角、左外眼角、右内眼角、右外眼角、鼻根、鼻尖和唇峰共7个特征点，对每一个特征点利用最小二乘法求解下式，如公式(1)，从而得到相机坐标系下的点云。同时，具体地，MRI医学影像三维重建得到STL模型，如图9所示，在STL模型中选择左内眼角、左外眼角、右内眼角、右外眼角、鼻根、鼻尖和唇峰7个点作为医学影像坐标系下的点云，即MRI坐标系下的点云。
在一个实施例中，上述注册或者配准的具体过程包括：利用VTK(VisualizationToolkit，视觉化工具函式库)中基于标记点的匹配算法vtkLandmarkTransform对相机坐标系下的点云和图像坐标系下的点云进行初始注册，对初始注册结果中误差最大的点，在STL模型中搜索该点半径10mm球形邻域内所有点，若其中有注册误差更小的特征点，将误差最小的特征点作为新的注册点，并更新注册误差，直到注册误差不再减小，再对7个特征点依次进行相同方法的搜索，重新注册，将其结果作为最终注册结果。
在一个实施例中，进行辅助神经导航的方法具体包括：利用TCP标定法标定TMS线圈在机器人坐标系下的坐标；利用SVD算法将机器人坐标系转换到相机坐标系；双目相机以16HZ的频率采集图像，对每一帧图像使用人脸识别算法提取面部特征点，利用卡尔曼滤波器使连续帧图像的特征点稳定，获得每一帧图像下的面部特征点稀疏三维点云，在图像坐标系下选定手术靶点，对每一帧图像的面部特征点点云经过上述注册过程后，确定靶点在相机坐标系下的坐标；控制机械臂，使TMS线圈移动到靶点处，当机械臂末端的力传感器检测到2牛顿的力时，即为线圈和靶点接触。导航过程中，为了保证头部移动检测准确，可以选取面部中央的22个特征点，该22个特征点在导航过程的人脸识别中相对稳定，不会因为头部转动产生遮挡导致出现较大误差。对连续帧的22个特征点坐标变化求欧氏距离，当22个特征点的二维空间的坐标变化欧氏距离均小于1.5mm，并且三维空间的坐标变化欧式距离小于2.5mm时，认为头部没有发生移动，特征点点云坐标不更新；当22个特征点中任意一个特征点的二维空间的坐标变化欧氏距离大于等于1.5mm，或者三维空间的坐标变化欧式距离大于等于2.5mm时，则认为头部发生了移动，更新特征点点云坐标，并继续上述注册过程，获得靶点在相机坐标系下的新坐标，控制TMS线圈移动到新坐标下的靶点位置。
上述方法利用双目立体视觉和基于面部特征点的人脸识别技术，通过双目相机实时捕获面部图像，获得人脸特征点三维空间点云，整合由MRI医学影像重建的患者STL模型的信息，完成高精度的空间注册和神经导航。本方法注册精度可以达到2.16mm，导航精度为4.35mm。并且无需佩戴任何外部设备，也无需提前使用探针工具在患者面部做标记，运行实时高效，提高应用价值。
下面对本发明提供的神经导航辅助装置进行描述，下文描述的神经导航辅助装置与上文描述的神经导航辅助方法可相互对应参照。
在一个实施例中，如图10所示，提供了一种神经导航辅助装置1000，包括：第一处理模块1002、第二处理模块1004、第三处理模块1006和第四处理模块1008，其中：第一处理模块1002，用于获取第一目标特征点集合，第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合；第二处理模块1004，用于获取第二目标特征点集合，第二目标特征点集合包括至少一个第二目标特征点，第二目标特征点为位于立体模型中的特征点集合；第三处理模块1006，用于对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，第一候选特征点为第一目标特征点集合中的特征点，第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；第四处理模块1008，用于调整神经导航辅助设备的移动位置，直至满足第一配准结果值。
在一个实施例中，神经导航辅助装置，用于在第一配准结果值大于误差阈值的情况下，在立体模型中，以第二候选特征点为中心，基于区域外扩半径，得到目标区域；获取目标区域中的特征点集合；利用特征点集合中的第三候选特征点与第一候选特征点进行配准，得到第二配准结果值；在第二配准结果值大于第一配准结果值的情况下，利用第三候选特征点替换第二候选特征点。
在一个实施例中，神经导航辅助装置，用于获取目标图像序列，目标图像序列中包括至少一个目标图像，目标图像中包括第一目标特征点集合；在目标图像序列中，获取候选目标图像与前向图像之间特征点的第一距离，以及，获取候选目标图像与后向图像之间特征点的第二距离；在各个第一距离和各个第二距离均大于或等于距离阈值的情况下，更新获取到的第一目标特征点集合。
在一个实施例中，第二处理模块1004，用于获取医学图像；将医学图像进行三维重建处理，得到医学图像对应的三维模型；根据特征类型，在三维模型中，获取第二目标特征点集合。
在一个实施例中，第一处理模块1002，用于获取初始图像，初始图像中包括目标对象；获取目标对象中的初始特征点集合；在像素坐标系下，对初始特征点集合中的各个初始特征点进行坐标确定，得到中间特征点集合；对中间特征点集合中的各个中间特征点进行坐标系转换，得到第一目标特征点集合，第一目标特征点集合中的各个目标特征点的坐标为在相机坐标系下的坐标。
在一个实施例中，神经导航辅助装置，用于在相机坐标系下，获取图像获取设备的标定参数集合；在标定参数集合中，利用候选标定参数对初始图像的坐标进行校正，得到中间图像；对中间图像进行坐标系转换，得到目标图像；目标图像的坐标为像素坐标系下的坐标。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行神经导航辅助方法，该方法包括：获取第一目标特征点集合，第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，第二目标特征点集合包括至少一个第二目标特征点，第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，第一候选特征点为第一目标特征点集合中的特征点，第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足第一配准结果值。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的神经导航辅助方法，该方法包括：获取第一目标特征点集合，所述第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，第二目标特征点集合包括至少一个第二目标特征点，第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，第一候选特征点为第一目标特征点集合中的特征点，第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足第一配准结果值。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的神经导航辅助方法，该方法包括：获取第一目标特征点集合，第一目标特征点集合包括至少一个第一目标特征点，第一目标特征点为位于面部的特征点集合；获取第二目标特征点集合，第二目标特征点集合包括至少一个第二目标特征点，第二目标特征点为位于立体模型中的特征点集合；对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，第一候选特征点为第一目标特征点集合中的特征点，第二候选特征点为第二目标特征点集合中的特征点，第一候选特征点和第二候选特征点的特征类型相同；调整神经导航辅助设备的移动位置，直至满足第一配准结果值。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种神经导航辅助方法，其特征在于，包括：
获取第一目标特征点集合，所述第一目标特征点集合包括至少一个第一目标特征点，所述第一目标特征点为位于面部的特征点集合；
获取第二目标特征点集合，所述第二目标特征点集合包括至少一个第二目标特征点，所述第二目标特征点为位于立体模型中的特征点集合；
对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，所述第一候选特征点为所述第一目标特征点集合中的特征点，所述第二候选特征点为所述第二目标特征点集合中的特征点，所述第一候选特征点和第二候选特征点的特征类型相同；
调整神经导航辅助设备的移动位置，直至满足所述第一配准结果值。
2.根据权利要求1所述的神经导航辅助方法，其特征在于，所述方法还包括：
在所述第一配准结果值大于误差阈值的情况下，在所述立体模型中，以所述第二候选特征点为中心，基于区域外扩半径，得到目标区域；
获取所述目标区域中的特征点集合；
利用所述特征点集合中的第三候选特征点与所述第一候选特征点进行配准，得到第二配准结果值；
在所述第二配准结果值大于所述第一配准结果值的情况下，利用所述第三候选特征点替换所述第二候选特征点。
3.根据权利要求1所述的神经导航辅助方法，其特征在于，所述方法还包括：
获取目标图像序列，所述目标图像序列中包括至少一个目标图像，所述目标图像中包括所述第一目标特征点集合；
在所述目标图像序列中，获取候选目标图像与前向图像之间特征点的第一距离，以及，获取候选目标图像与后向图像之间特征点的第二距离；
在各个所述第一距离和各个所述第二距离均大于或等于距离阈值的情况下，更新获取到的所述第一目标特征点集合。
4.根据权利要求1所述的神经导航辅助方法，其特征在于，所述获取第二目标特征点集合包括：
获取医学图像；
将所述医学图像进行三维重建处理，得到所述医学图像对应的三维模型；
根据所述特征类型，在所述三维模型中，获取所述第二目标特征点集合。
5.根据权利要求1-4任一项所述的神经导航辅助方法，其特征在于，所述获取第一目标特征点集合包括：
获取初始图像，所述初始图像中包括目标对象；
获取所述目标对象中的初始特征点集合；
在像素坐标系下，对所述初始特征点集合中的各个初始特征点进行坐标确定，得到中间特征点集合；
对所述中间特征点集合中的各个中间特征点进行坐标系转换，得到所述第一目标特征点集合，所述第一目标特征点集合中的各个目标特征点的坐标为在相机坐标系下的坐标。
6.根据权利要求5所述的神经导航辅助方法，其特征在于，所述方法还包括：
在所述相机坐标系下，获取图像获取设备的标定参数集合；
在所述标定参数集合中，利用候选标定参数对所述初始图像的坐标进行校正，得到中间图像；
对所述中间图像进行坐标系转换，得到目标图像；所述目标图像的坐标为像素坐标系下的坐标。
7.一种神经导航辅助装置，其特征在于，包括：
第一处理模块，用于获取第一目标特征点集合，所述第一目标特征点集合包括至少一个第一目标特征点，所述第一目标特征点为位于面部的特征点集合；
第二处理模块，用于获取第二目标特征点集合，所述第二目标特征点集合包括至少一个第二目标特征点，所述第二目标特征点为位于立体模型中的特征点集合；
第三处理模块，用于对第一候选特征点与第二候选特征点进行配准，得到第一配准结果值，所述第一候选特征点为所述第一目标特征点集合中的特征点，所述第二候选特征点为所述第二目标特征点集合中的特征点，所述第一候选特征点和第二候选特征点的特征类型相同；
第四处理模块，用于调整神经导航辅助设备的移动位置，直至满足所述第一配准结果值。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述神经导航辅助方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述神经导航辅助方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述神经导航辅助方法的步骤。
CN202111499263.8A 2021-12-09 2021-12-09 神经导航辅助方法、装置、电子设备及存储介质 Pending CN114187339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111499263.8A CN114187339A (zh) 2021-12-09 2021-12-09 神经导航辅助方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111499263.8A CN114187339A (zh) 2021-12-09 2021-12-09 神经导航辅助方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114187339A true CN114187339A (zh) 2022-03-15

Family

ID=80542957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111499263.8A Pending CN114187339A (zh) 2021-12-09 2021-12-09 神经导航辅助方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114187339A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630382A (zh) * 2023-07-18 2023-08-22 杭州安劼医学科技有限公司 神经调控图像监测配准系统和控制方法
TWI831445B (zh) * 2022-10-27 2024-02-01 新馳科技股份有限公司 影像擷取裝置參數取得方法及系統

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI831445B (zh) * 2022-10-27 2024-02-01 新馳科技股份有限公司 影像擷取裝置參數取得方法及系統
CN116630382A (zh) * 2023-07-18 2023-08-22 杭州安劼医学科技有限公司 神经调控图像监测配准系统和控制方法
CN116630382B (zh) * 2023-07-18 2023-10-03 杭州安劼医学科技有限公司 神经调控图像监测配准系统和控制方法

Similar Documents

Publication Publication Date Title
US20190035080A1 (en) Method and apparatus to generate and track standardized anatomical regions automatically
CN114187339A (zh) 神经导航辅助方法、装置、电子设备及存储介质
CN112382359B (zh) 患者注册方法、装置、电子设备及计算机可读介质
CN109166177A (zh) 一种颅颌面外科手术的术中导航方法
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN110378182B (zh) 图像解析装置、图像解析方法及记录介质
KR101767005B1 (ko) 표면정합을 이용한 영상정합방법 및 영상정합장치
WO2021104153A1 (en) Systems and methods for automated calibration
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN111583342B (zh) 一种基于双目视觉的目标快速定位方法及装置
CN115578320A (zh) 一种骨科手术机器人全自动空间注册方法及系统
CN112800966B (zh) 一种视线的追踪方法及电子设备
CN110348351A (zh) 一种图像语义分割的方法、终端和可读存储介质
CN117481756A (zh) 穿刺引导方法、设备及机器人系统
CN116205952B (zh) 人脸识别与跟踪的方法、装置、电子设备及存储介质
CN115984203A (zh) 一种眼球突出度测量方法、系统、终端及介质
CN114782537A (zh) 基于3d视觉的人体颈动脉定位方法及装置
CN115116113A (zh) 一种光学导航方法
CN110706357B (zh) 导航系统
KR101732807B1 (ko) 3차원 얼굴 비대칭 분석 장치 및 방법
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム
JP2022094744A (ja) 被検体動き測定装置、被検体動き測定方法、プログラム、撮像システム
Kim et al. Multi-modal fundus image registration with deep feature matching and image scaling
CN109328459B (zh) 智能终端及其3d成像方法、3d成像系统
CN115880469B (zh) 一种表面点云数据与三维影像的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination