CN114742869B - 基于图形识别的脑部神经外科配准方法及电子设备 - Google Patents

基于图形识别的脑部神经外科配准方法及电子设备 Download PDF

Info

Publication number
CN114742869B
CN114742869B CN202210671062.XA CN202210671062A CN114742869B CN 114742869 B CN114742869 B CN 114742869B CN 202210671062 A CN202210671062 A CN 202210671062A CN 114742869 B CN114742869 B CN 114742869B
Authority
CN
China
Prior art keywords
value
matrix
sub
image
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210671062.XA
Other languages
English (en)
Other versions
CN114742869A (zh
Inventor
张兰
王星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Medical College of Xian Jiaotong University
Original Assignee
First Affiliated Hospital of Medical College of Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Medical College of Xian Jiaotong University filed Critical First Affiliated Hospital of Medical College of Xian Jiaotong University
Priority to CN202210671062.XA priority Critical patent/CN114742869B/zh
Publication of CN114742869A publication Critical patent/CN114742869A/zh
Application granted granted Critical
Publication of CN114742869B publication Critical patent/CN114742869B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于图形识别的脑部神经外科配准方法及电子设备，该方法利用两个相机对所有脑部神经外科手术器械进行表面图像的采集，通过对表面图像进行数据处理和分析得到相机设备调节参数，根据相机设备调节参数调节相机位姿，利用调整后的相机重新进行表面图像的采集，使得图像匹配下的图像拼接更加完美，在提高检测效率的情况下降低匹配错误带来的漏检现象。

Description

基于图形识别的脑部神经外科配准方法及电子设备
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于图形识别的脑部神经外科配准方法及电子设备。
背景技术
在脑部神经外科临床工作中，需要用到大量的脑部神经外科手术器械，而在手术前需要对脑部神经外科手术器械进行再次清点以及匹配，对医疗脑部神经外科手术器械进行匹配时，由于脑部神经外科手术器械具有高清洗消杀要求，需要拍摄更为清楚的图像用于匹配。
现有通过单相机采集单个或较少个数的脑部神经外科手术器械图像，利用神经网络识别以达到清洗器械清点的目的，但是在对脑部神经外科手术器械进行匹配时，由于手术时间紧迫，而脑部神经外科手术器械过多，对单个或较少个数的脑部神经外科手术器械进行匹配，其效率较低。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图形识别的脑部神经外科配准方法及电子设备，所采用的技术方案具体如下：
第一方面，本发明实施例提供了一种基于图形识别的脑部神经外科配准方法，该方法包括以下步骤：
利用两个相机采集脑部神经外科手术器械的表面图像，所述表面图像包括第一表面图像和第二表面图像；对所述表面图像进行SIFT特征点提取得到SIFT特征点图和所述SIFT特征点图中每个特征点的特征向量；
对所述SIFT特征点图中的任意两个特征点进行连接、且将两个特征点的特征向量之间的差值绝对值作为边权值，得到无向结构图；获取所述第一表面图像对应所述无向结构图的第一子图和所述第二表面图像对应所述无向结构图的第二子图，根据任意两个特征点之间的余弦值和特征向量差值获取所述第一子图和所述第二子图的匹配结果指标，利用所述匹配结果指标以及所述第一子图和所述第二子图中的特征点数量构建模拟退火算法中的目标函数；
根据所述SIFT特征点图中每个特征点的迭代次数和每次迭代过程中的所述匹配结果指标，得到每个特征点的随机扰动概率，所述迭代次数是指组成子图时每个特征点被选中的总次数，根据所述随机扰动概率和所述目标函数得到所述第一表面图像的最优第一子图和所述第二表面图像的最优第二子图；对所述最优第一子图和所述最优第二子图进行特征点匹配得到投影变换矩阵，利用所述投影变化矩阵对所述第一表面图像和所述第二表面图像进行拼接，得到拼接后的重复图像区域，根据所述重复图像区域获取相机设备调节参数；
根据所述相机设备调节参数对所述两个相机中的任意一个相机进行位姿调节，保持另一个相机不变；利用调节后的所述两个相机重新采集所述表面图像，以通过图像匹配完成图像拼接。
进一步地，所述根据任意两个特征点之间的余弦值和特征向量差值获取所述第一子图和所述第二子图的匹配结果指标的方法，包括：
根据所述第一子图中的任意两个特征点之间的特征向量的差值构建第一特征向量差值矩阵，根据所述第一子图中的任意两个特征点的坐标位置计算余弦值，构建第一余弦值矩阵，将所述第一特征向量差值矩阵和所述第一余弦值矩阵进行矩阵重组得到一个第一三维矩阵；
通过PCA算法获取所述第一三维矩阵的第一主成分方向，得到所述第一三维矩阵中每个特征点在所述第一主成分方向上的第一投影值，构成一个一维的第一投影值矩阵；
构建所述第二子图的第二特征向量矩阵和第二余弦值矩阵，将所述第二特征向量矩阵和所述第二余弦值矩阵进行矩阵重组得到一个第二三维矩阵，通过PCA算法获取所述第二三维矩阵的所述第一主成分方向，得到所述第二三维矩阵中每个特征点在所述第一主成分方向上的第二投影值，构成一个一维的第二投影值矩阵；
基于所述第一子图和所述第二子图中的特征点数量，利用第一投影值矩阵和第二投影值矩阵中元素之间的差异得到所述匹配结果指标。
进一步地，所述基于所述第一子图和所述第二子图中的特征点数量，利用第一投影值矩阵和第二投影值矩阵中元素之间的差异得到所述匹配结果指标的方法，包括：
当所述第一子图的特征点数量大于所述第二子图的特征点数量时，计算第一投影值矩阵中第
Figure DEST_PATH_IMAGE002
个特征点的第一投影值分别与第二投影值矩阵中每个特征点的第二投影值之间的投影值差值，获取第
Figure 895382DEST_PATH_IMAGE002
个特征点的最小投影值差值，对所述第一子图中每个特征点的所述最小投影值差值进行累加，将累加值作为所述匹配结果指标；
当所述第一子图的特征点数量小于所述第二子图的特征点数量时，计算第二投影值矩阵中第
Figure 359993DEST_PATH_IMAGE002
个特征点的第二投影值分别与第一投影值矩阵中每个特征点的第一投影值之间的投影值差值，获取第
Figure 670888DEST_PATH_IMAGE002
个特征点的最小投影值差值，对所述第二子图中每个特征点的所述最小投影值差值进行累加，将累加值作为所述匹配结果指标；
当所述第一子图的特征点数量等于所述第二子图的特征点数量时，对所述第二子图或所述第一子图中每个特征点的所述最小投影值差值进行累加，将累加值作为所述匹配结果指标。
进一步地，所述利用所述匹配结果指标以及所述第一子图和所述第二子图中的特征点数量构建模拟退火算法中的目标函数的方法，包括：
对所述第一子图和所述第二子图中的每个特征点设置状态值，根据所述第一子图中每个特征点的状态值进行状态值累加，得到所述第一子图的第一状态值累加值；根据所述第二子图中每个特征点的状态值进行状态值累加，得到所述第二子图的第二状态值累加值；
根据所述第一状态值累加值、所述第二状态值累加值和所述匹配结果指标构建模拟退火算法中的目标函数，目标函数的公式为:
Figure DEST_PATH_IMAGE004
，其中，
Figure DEST_PATH_IMAGE006
为所述第一状态值累加值，
Figure DEST_PATH_IMAGE008
为所述第二状态值累加值，
Figure DEST_PATH_IMAGE010
为所述匹配结果指标。
进一步地，所述随机扰动概率的获取方法，包括：
分别统计当前迭代下所述无向结构图中每个特征点的迭代次数，根据当前迭代下对应所述第一子图和所述第二子图的所述匹配结果指标和每个特征点的所述迭代次数计算每个特征点的所述随机扰动概率，则所述随机扰动概率的计算公式为：
Figure DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE014
为所述随机扰动概率，
Figure DEST_PATH_IMAGE016
为一个特征点的迭代次数，
Figure 584591DEST_PATH_IMAGE010
为所述匹配结果指标。
进一步地，所述根据所述重复图像区域获取相机设备调节参数的方法，包括：
获取所述重复图像区域的区域中心点、所述第一表面图像或所述第二表面图像的图像中心点，根据区域中心点和图像中心点的位置得到目标直线，获取目标直线与所述重复图像区域的边界的两个相交点，通过两点间的距离公式计算相交点之间的距离，将目标直线的斜率的负值和所述距离作为所述第一表面图像或所述第二表面图像对应相机的相机设备调节参数。
进一步地，所述根据所述相机设备调节参数对所述两个相机中的任意一个相机进行位姿调节的方法，包括：
当所述相机设备调节参数属于所述第一表面图像对应的相机时，根据该相机进行世界坐标系和相机坐标系的标定，得到所述距离对应的实际移动距离，且将所述斜率的负值作为该相机的移动方向，根据所述实际移动距离和所述移动方向对所述第一表面图像对应的相机进行位姿调节；
当所述相机设备调节参数属于所述第二表面图像对应的相机时，根据该相机进行世界坐标系和相机坐标系的标定，得到所述距离对应的实际移动距离，且将所述斜率的负值作为该相机的移动方向，根据所述实际移动距离和所述移动方向对所述第二表面图像对应的相机进行位姿调节。
第二方面，本发明实施例还提供了一种基于图形识别的脑部神经外科配准电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于图形识别的脑部神经外科配准方法中任意一项所述方法的步骤。
本发明实施例至少具有如下有益效果：利用两个相机对所有的脑部神经外科手术器械进行表面图像的采集，为了保证表面图像拼接的完整性，基于改进的模拟退火算法，根据每张表面图像对应的SIFT特征点图和SIFT特征点图中每个特征点的特征向量获取高匹配度特征点，进而根据高匹配度特征点得到投影变换矩阵，利用投影变换矩阵完成表面图像的拼接以获取相机设备调节参数，根据相机设备调节参数调节相机位姿，利用调整后的相机重新进行表面图像的采集，使得图像匹配下的图像拼接更加完美，在提高检测效率的情况下降低匹配错误带来的漏检现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例提供的一种基于图形识别的脑部神经外科配准方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图形识别的脑部神经外科配准方法及电子设备，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图形识别的脑部神经外科配准方法及电子设备的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图形识别的脑部神经外科配准方法的步骤流程图，该方法包括以下步骤：
步骤S001，利用两个相机采集脑部神经外科手术器械的表面图像，表面图像包括第一表面图像和第二表面图像；对表面图像进行SIFT特征点提取得到SIFT特征点图和SIFT特征点图中每个特征点的特征向量。
具体的，在检测台的边侧上固定一个支柱，在支柱上端通过机械臂吊有两个相机，且相机的位置能保证将采集到脑部神经外科手术器械的全局表面图像。利用这两个相机采集脑部神经外科手术器械的表面图像， 一个相机采集一张表面图像，为了方便表述，将表面图像分为第一表面图像和第二表面图像。
分别对第一表面图像和第二表面图像进行SIFT特征点提取得到对应的SIFT特征点图和SIFT特征点图中每个特征点的特征向量，同理，第一表面图像对应第一SIFT特征点图、第二表面图像对应第二SIFT特征点图。
步骤S002，对SIFT特征点图中的任意两个特征点进行连接、且将两个特征点的特征向量之间的差值绝对值作为边权值，得到无向结构图；获取第一表面图像对应无向结构图的第一子图和第二表面图像对应无向结构图的第二子图，根据任意两个特征点之间的余弦值和特征向量差值获取第一子图和第二子图的匹配结果指标，利用匹配结果指标以及第一子图和第二子图中的特征点数量构建模拟退火算法中的目标函数。
具体的，在第一SIFT特征点图和第二SIFT特征点图进行特征点匹配时，可以选用SIFT作者Lowe提出的通过比较最近邻距离和次近邻距离的比值，然后对比值设定阈值的SIFT匹配方式进行图像匹配，但是在脑部神经外科手术器械采集的表面图像中会有同一类型的脑部神经外科手术器械在不同的区域，从而导致不同位置的同一类型脑部神经外科手术器械，仅通过特征点对应的特征向量之间的距离会被判定为同一个脑部神经外科手术器械，进而增加误判可能性，并且对比值设定阈值如果设定不佳，则会导致特征点的匹配效果过差，进而导致相机不能拍摄得到所有脑部神经外科手术器械的表面图像，因此结合第一SIFT特征点图和第二SIFT特征点图获取相机的设备调节参数，通过对相机进行调整，降低两个相机之间的重复部分，完成脑部神经外科手术器械所有部分的图像采集，并提高检测效率。
根据第一SIFT特征点图中每个特征点和特征点的特征向量构建第一SIFT特征点图的第一无向结构图，具体构建方法为：将第一SIFT特征点图中的每个特征点作为第一无向结构图的顶点，对任意两个顶点进行连接，然后对第一SIFT特征点图中每个特征点的特征向量进行归一化处理，将任意两个特征点的归一化后的特征向量之间的差值绝对值作为对应两个顶点之间的边权值，进而得到第一无向结构图。同理，根据第二SIFT特征点图中每个特征点和特征点的特征向量构建第二SIFT特征点图的第二无向结构图。
需要说明的是，第一无向结构图和第二无向结构图都表现了SIFT特征点图中所有特征点之间的特征相似关系。
为摆脱误匹配，根据第一无向结构图和第二无向结构图确定最终匹配结果，本发明实施例采用无向结构图的子图来确定最终匹配结果，保证最终匹配结果符合要求，顶点个数越多，则说明子图具有更高的匹配度。同时考虑到顶点个数越多，可变性就越大，误匹配的可能性也越大，匹配结果的匹配度会下降，因此根据模拟退火算法获取第一无向结构图和第二无向结构图的最优子图，以保证误差小，匹配度高。
随机初始第一无向结构图的第一子图和第二无向结构图的第二子图，为第一子图和第二子图中的特征点设置状态值1，表示这些特征点是在SIFT特征点图中被选中的特征点。根据第一子图和第二子图中的边权值和任意两个特征点之间的余弦值获取匹配结果指标，具体方法为：根据第一子图中的任意两个顶点之间的特征向量的差值，构建第一特征向量差值矩阵，其尺寸为
Figure DEST_PATH_IMAGE018
，其中，
Figure DEST_PATH_IMAGE020
为第一子图中的顶点数量，根据第一子图中每个顶点的坐标位置计算任意两个顶点之间的余弦值，构建第一余弦值矩阵，其尺寸也为
Figure 539909DEST_PATH_IMAGE018
，将第一特征向量差值矩阵和第一余弦值矩阵进行矩阵重组得到一个第一三维矩阵，且第一三维矩阵的尺寸为
Figure DEST_PATH_IMAGE022
，同理，构建第二子图的第二特征向量矩阵和第二余弦值矩阵，将第二特征向量矩阵和第二余弦值矩阵进行矩阵重组得到一个第二三维矩阵，且第二三维矩阵的尺寸为
Figure DEST_PATH_IMAGE024
，其中
Figure DEST_PATH_IMAGE026
为第二子图中的顶点数量；通过PCA算法，获取第一三维矩阵的第一主成分方向，然后得到第一三维矩阵中每个顶点在第一主成分方向上的第一投影值，构成一个一维第一投影值矩阵，同理，得到第二三维矩阵的一维第二投影值矩阵；当第一子图的顶点数量大于第二子图的顶点数量时，计算第一投影值矩阵中第
Figure 549322DEST_PATH_IMAGE002
个顶点的第一投影值分别与第二投影值矩阵中每个顶点的第二投影值之间的投影值差值，获取第
Figure 878672DEST_PATH_IMAGE002
个顶点的最小投影值差值，对第一子图中每个顶点的最小投影值差值进行累加，将累加值作为匹配结果指标，反之，当第一子图的顶点数量小于第二子图的顶点数量时，计算第二投影值矩阵中第
Figure 126507DEST_PATH_IMAGE002
个顶点的第二投影值分别与第一投影值矩阵中每个顶点的第一投影值之间的投影值差值，获取第
Figure 592124DEST_PATH_IMAGE002
个顶点的最小投影值差值，对第二子图中每个顶点的最小投影值差值进行累加，将累加值作为匹配结果指标，当第一子图的顶点数量等于第二子图的顶点数量时，对第二子图或第一子图中每个特征点的最小投影值差值进行累加，将累加值作为匹配结果指标。
根据第一子图中每个顶点的状态值进行状态值累加，得到第一子图的第一状态值累加值，同理，根据第二子图中每个顶点的状态值进行状态值累加，得到第二子图的第二状态值累加值。根据第一状态值累加值、第二状态值累加值和匹配结果指标构建模拟退火算法中的目标函数
Figure DEST_PATH_IMAGE028
:
Figure 664116DEST_PATH_IMAGE004
，其中
Figure 480762DEST_PATH_IMAGE006
为第一状态值累加值，
Figure 998200DEST_PATH_IMAGE008
为第二状态值累加值，
Figure 318323DEST_PATH_IMAGE010
为匹配结果指标。
步骤S003，根据SIFT特征点图中每个特征点的迭代次数和每次迭代过程中的匹配结果指标，得到每个特征点的随机扰动概率，根据随机扰动概率和目标函数得到第一表面图像的最优第一子图和第二表面图像的最优第二子图；对最优第一子图和最优第二子图进行特征点匹配得到投影变换矩阵，利用投影变化矩阵对第一表面图像和第二表面图像进行拼接，得到拼接后的重复图像区域，根据重复图像区域获取相机设备调节参数。
具体的，根据步骤S002中构建的模拟退火算法的目标函数，通过不断迭代，可以得到第一无向结构图的最优第一子图和第二无向结构图的最优第二子图，具体为：
（1）根据SIFT特征点图中每个特征点的迭代次数和每次迭代过程中的匹配结果指标，得到每个特征点的随机扰动概率。
具体的，以当前迭代下的第一子图和第二子图为例，根据步骤S002中匹配结果指标的获取方法，得到当前迭代下对应的匹配结果指标，分别统计当前迭代下第一无向结构图和第二无向结构图中每个顶点的迭代次数，迭代次数也即是组成子图时每个顶点被选中的总次数，根据匹配结果指标与每个顶点的迭代次数计算每个顶点的随机扰动概率，则随机扰动概率的计算公式为：
Figure DEST_PATH_IMAGE012A
其中，
Figure 685851DEST_PATH_IMAGE014
为随机扰动概率，
Figure 236131DEST_PATH_IMAGE016
为每个顶点的迭代次数，
Figure 307992DEST_PATH_IMAGE010
为匹配结果指标。
需要说明的是，迭代次数越多，对应的随机扰动概率越小，说明对应顶点在匹配过程中具有高匹配度的顶点；在每次迭代得到每个顶点的随机扰动概率后，都需要对随机扰动概率进行归一化处理。
（2）根据随机扰动概率和目标函数得到第一表面图像的最优第一子图和第二表面图像的最优第二子图。
具体的，之所以对每个顶点计算随机扰动概率，是因为使得在产生扰动时，能够让扰动向着最优解的方向进行调整，并非要随机扰动，这样可以保证在有限的迭代过程中的得到最优解，故利用随机选择算法根据每次迭代时每个顶点的随机扰动概率进行随机顶点的选择，得到不同顶点数量的第一子图和第二子图，然后根据目标函数计算对应F值，通过比较目标函数的F值和设定温度阈值完成模拟退火算法中对F值的最优求解，进而得到最优第一子图和最优第二子图。
进一步地，对最优第一子图和最优第二子图进行特征点匹配，基于匹配结果得到投影变换矩阵，利用投影变化矩阵对第一表面图像和第二表面图像进行拼接以获取相机设备调节参数，则相机设备调节参数的获取方法为：利用投影变化矩阵完成第一表面图像和第二表面图像的图像拼接，得到第一表面图像和第二表面图像之间的重复图像区域，获取重复图像区域的区域中心点和第一表面图像或第二表面图像的图像中心点，根据区域中心点和图像中心点的位置得到目标直线，获取目标直线与重复图像区域的边界相交的两个目标像素点，通过两点间的距离公式计算目标像素点之间的距离L，将目标直线的斜率的负值-k和距离L作为相机设备调节参数（-k，L）。
需要说明的是，当图像中心点属于第一表面图像时，则相机设备调节参数为第一表面图像对应相机的，反之，当图像中心点属于第二表面图像时，则相机设备调节参数为第二表面图像对应相机的。
步骤S004，根据相机设备调节参数对两个相机中的任意一个相机进行位姿调节，保持另一个相机不变；利用调节后的两个相机重新采集表面图像，以通过图像匹配完成图像拼接。
具体的，当相机设备调节参数属于第一表面图像对应的相机时，则根据该相机进行世界坐标系和相机坐标系的标定，得到距离L在现实世界的实际移动距离，也即是相机的实际移动距离，且将斜率负值-k作为该相机的移动方向，进而根据实际移动距离和移动方向对第一表面图像对应的相机进行位姿调节，保持第二表面图像对应的相机位姿不变；当相机设备调节参数属于第二表面图像对应的相机时，则根据该相机进行世界坐标系和相机坐标系的标定，得到距离L在现实世界中的实际移动距离，且将斜率负值-k作为该相机的移动方向，进而根据实际移动距离和移动方向对第二表面图像对应的相机进行位姿调节，保持第一表面图像对应的相机位姿不变。
进一步地，利用调节后的两个相机重新进行脑部神经外科手术器械的表面图像的采集，得到新第一表面图像和新第二表面图像，然后利用图像匹配技术对新第一表面图像和新第二表面图像进行图像匹配以完成图像拼接，进而根据拼接后的图像实现清洗器械的清点。
综上所述，本发明实施例提供了一种基于图形识别的脑部神经外科配准方法，该方法利用两个相机对所有的脑部神经外科手术器械进行表面图像的采集，为了保证表面图像拼接的完整性，根据每张表面图像对应的SIFT特征点图和SIFT特征点图中每个特征点的特征向量获取高匹配度特征点，进而根据高匹配度特征点得到投影变换矩阵，利用投影变换矩阵完成表面图像的拼接以获取相机设备调节参数，根据相机设备调节参数调节相机位姿，利用调整后的相机重新进行表面图像的采集，使得图像匹配下的图像拼接更加完美，在提高检测效率的情况下降低匹配错误带来的漏检现象。
基于与上述方法相同的发明构思，本发明实施例还提供了一种基于图形识别的脑部神经外科配准电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于图形识别的脑部神经外科配准方法中任意一项所述方法的步骤。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于图形识别的脑部神经外科配准方法，其特征在于，该方法包括以下步骤：
利用两个相机采集脑部神经外科手术器械的表面图像，所述表面图像包括第一表面图像和第二表面图像；对所述表面图像进行SIFT特征点提取得到SIFT特征点图和所述SIFT特征点图中每个特征点的特征向量；
对所述SIFT特征点图中的任意两个特征点进行连接、且将两个特征点的特征向量之间的差值绝对值作为边权值，得到无向结构图；获取所述第一表面图像对应所述无向结构图的第一子图和所述第二表面图像对应所述无向结构图的第二子图，根据任意两个特征点之间的余弦值和特征向量差值获取所述第一子图和所述第二子图的匹配结果指标，利用所述匹配结果指标以及所述第一子图和所述第二子图中的特征点数量构建模拟退火算法中的目标函数；
根据所述SIFT特征点图中每个特征点的迭代次数和每次迭代过程中的所述匹配结果指标，得到每个特征点的随机扰动概率，所述迭代次数是指组成子图时每个特征点被选中的总次数，根据所述随机扰动概率和所述目标函数得到所述第一表面图像的最优第一子图和所述第二表面图像的最优第二子图；对所述最优第一子图和所述最优第二子图进行特征点匹配得到投影变换矩阵，利用所述投影变化矩阵对所述第一表面图像和所述第二表面图像进行拼接，得到拼接后的重复图像区域，根据所述重复图像区域获取相机设备调节参数；
根据所述相机设备调节参数对所述两个相机中的任意一个相机进行位姿调节，保持另一个相机不变；利用调节后的所述两个相机重新采集所述表面图像，以通过图像匹配完成图像拼接；
其中，所述根据任意两个特征点之间的余弦值和特征向量差值获取所述第一子图和所述第二子图的匹配结果指标的方法，包括：
根据所述第一子图中的任意两个特征点之间的特征向量的差值构建第一特征向量差值矩阵，根据所述第一子图中的任意两个特征点的坐标位置计算余弦值，构建第一余弦值矩阵，将所述第一特征向量差值矩阵和所述第一余弦值矩阵进行矩阵重组得到一个第一三维矩阵；
通过PCA算法获取所述第一三维矩阵的第一主成分方向，得到所述第一三维矩阵中每个特征点在所述第一主成分方向上的第一投影值，构成一个一维的第一投影值矩阵；
构建所述第二子图的第二特征向量矩阵和第二余弦值矩阵，将所述第二特征向量矩阵和所述第二余弦值矩阵进行矩阵重组得到一个第二三维矩阵，通过PCA算法获取所述第二三维矩阵的所述第一主成分方向，得到所述第二三维矩阵中每个特征点在所述第一主成分方向上的第二投影值，构成一个一维的第二投影值矩阵；
基于所述第一子图和所述第二子图中的特征点数量，利用第一投影值矩阵和第二投影值矩阵中元素之间的差异得到所述匹配结果指标；
所述根据所述重复图像区域获取相机设备调节参数的方法，包括：
获取所述重复图像区域的区域中心点、所述第一表面图像或所述第二表面图像的图像中心点，根据区域中心点和图像中心点的位置得到目标直线，获取目标直线与所述重复图像区域的边界的两个相交点，通过两点间的距离公式计算相交点之间的距离，将目标直线的斜率的负值和所述距离作为所述第一表面图像或所述第二表面图像对应相机的相机设备调节参数；
所述根据所述相机设备调节参数对所述两个相机中的任意一个相机进行位姿调节的方法，包括：
当所述相机设备调节参数属于所述第一表面图像对应的相机时，根据该相机进行世界坐标系和相机坐标系的标定，得到所述距离对应的实际移动距离，且将所述斜率的负值作为该相机的移动方向，根据所述实际移动距离和所述移动方向对所述第一表面图像对应的相机进行位姿调节；
当所述相机设备调节参数属于所述第二表面图像对应的相机时，根据该相机进行世界坐标系和相机坐标系的标定，得到所述距离对应的实际移动距离，且将所述斜率的负值作为该相机的移动方向，根据所述实际移动距离和所述移动方向对所述第二表面图像对应的相机进行位姿调节。
2.如权利要求1所述的一种基于图形识别的脑部神经外科配准方法，其特征在于，所述基于所述第一子图和所述第二子图中的特征点数量，利用第一投影值矩阵和第二投影值矩阵中元素之间的差异得到所述匹配结果指标的方法，包括：
当所述第一子图的特征点数量大于所述第二子图的特征点数量时，计算第一投影值矩阵中第
Figure DEST_PATH_IMAGE001
个特征点的第一投影值分别与第二投影值矩阵中每个特征点的第二投影值之间的投影值差值，获取第
Figure 919018DEST_PATH_IMAGE001
个特征点的最小投影值差值，对所述第一子图中每个特征点的所述最小投影值差值进行累加，将累加值作为所述匹配结果指标；
当所述第一子图的特征点数量小于所述第二子图的特征点数量时，计算第二投影值矩阵中第
Figure 956244DEST_PATH_IMAGE001
个特征点的第二投影值分别与第一投影值矩阵中每个特征点的第一投影值之间的投影值差值，获取第
Figure 484047DEST_PATH_IMAGE001
个特征点的最小投影值差值，对所述第二子图中每个特征点的所述最小投影值差值进行累加，将累加值作为所述匹配结果指标；
当所述第一子图的特征点数量等于所述第二子图的特征点数量时，对所述第二子图或所述第一子图中每个特征点的所述最小投影值差值进行累加，将累加值作为所述匹配结果指标。
3.如权利要求1所述的一种基于图形识别的脑部神经外科配准方法，其特征在于，所述利用所述匹配结果指标以及所述第一子图和所述第二子图中的特征点数量构建模拟退火算法中的目标函数的方法，包括：
对所述第一子图和所述第二子图中的每个特征点设置状态值，根据所述第一子图中每个特征点的状态值进行状态值累加，得到所述第一子图的第一状态值累加值；根据所述第二子图中每个特征点的状态值进行状态值累加，得到所述第二子图的第二状态值累加值；
根据所述第一状态值累加值、所述第二状态值累加值和所述匹配结果指标构建模拟退火算法中的目标函数，目标函数的公式为:
Figure 897710DEST_PATH_IMAGE002
，其中，
Figure DEST_PATH_IMAGE003
为所述第一状态值累加值，
Figure 594402DEST_PATH_IMAGE004
为所述第二状态值累加值，
Figure DEST_PATH_IMAGE005
为所述匹配结果指标。
4.如权利要求1所述的一种基于图形识别的脑部神经外科配准方法，其特征在于，所述随机扰动概率的获取方法，包括：
分别统计当前迭代下所述无向结构图中每个特征点的迭代次数，根据当前迭代下对应所述第一子图和所述第二子图的所述匹配结果指标和每个特征点的所述迭代次数计算每个特征点的所述随机扰动概率，则所述随机扰动概率的计算公式为：
Figure DEST_PATH_IMAGE007
其中，
Figure 444940DEST_PATH_IMAGE008
为所述随机扰动概率，
Figure DEST_PATH_IMAGE009
为一个特征点的迭代次数，
Figure 227082DEST_PATH_IMAGE005
为所述匹配结果指标。
5.一种基于图形识别的脑部神经外科配准电子设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项所述方法的步骤。
CN202210671062.XA 2022-06-15 2022-06-15 基于图形识别的脑部神经外科配准方法及电子设备 Expired - Fee Related CN114742869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210671062.XA CN114742869B (zh) 2022-06-15 2022-06-15 基于图形识别的脑部神经外科配准方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210671062.XA CN114742869B (zh) 2022-06-15 2022-06-15 基于图形识别的脑部神经外科配准方法及电子设备

Publications (2)

Publication Number Publication Date
CN114742869A CN114742869A (zh) 2022-07-12
CN114742869B true CN114742869B (zh) 2022-08-16

Family

ID=82286784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210671062.XA Expired - Fee Related CN114742869B (zh) 2022-06-15 2022-06-15 基于图形识别的脑部神经外科配准方法及电子设备

Country Status (1)

Country Link
CN (1) CN114742869B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543051B (zh) * 2023-06-02 2024-07-02 江苏省人民医院（南京医科大学第一附属医院） 基于计算机视觉技术的神经外科医学影像分析方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540061A (zh) * 2009-04-10 2009-09-23 西北工业大学 基于模拟退火的无序图像拓扑有序化匹配方法
CN103337065A (zh) * 2013-05-22 2013-10-02 西安电子科技大学 小鼠三维ct图像的非刚性配准方法
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
CN104778463A (zh) * 2015-05-04 2015-07-15 福建师范大学 一种基于sift和多子图匹配的遥感影像城区提取方法
CN104867104A (zh) * 2015-05-20 2015-08-26 天津大学 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法
CN106202480A (zh) * 2016-07-19 2016-12-07 淮阴工学院 一种基于K‑means和LDA双向验证的网络行为习惯聚类方法
CN106447601A (zh) * 2016-08-31 2017-02-22 中国科学院遥感与数字地球研究所 一种基于投影‑相似变换的无人机遥感影像拼接方法
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN110133741A (zh) * 2019-05-08 2019-08-16 常州大学 一种多视角匹配和跟踪的自动安检方法
CN110135455A (zh) * 2019-04-08 2019-08-16 平安科技（深圳）有限公司 影像匹配方法、装置及计算机可读存储介质
CN110689485A (zh) * 2019-10-14 2020-01-14 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质
CN111798501A (zh) * 2020-07-02 2020-10-20 中航华东光电有限公司 融入颜色直方图与余弦相似性的优化图像配准方法
CN111833237A (zh) * 2020-01-19 2020-10-27 宁波大学 基于卷积神经网络和局部单应性变换的图像配准方法
CN112070831A (zh) * 2020-08-06 2020-12-11 天津大学 一种基于多平面联合位姿估计的主动相机重定位方法
CN113222878A (zh) * 2021-06-04 2021-08-06 杭州海康威视数字技术股份有限公司 一种图像拼接方法
CN114119553A (zh) * 2021-11-28 2022-03-01 长春理工大学 一种以十字激光为基准的双目视觉异面圆孔检测方法
CN114549861A (zh) * 2022-02-25 2022-05-27 中科芯集成电路有限公司 一种基于特征点及卷积优化计算的目标匹配的方法、存储介质

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540061A (zh) * 2009-04-10 2009-09-23 西北工业大学 基于模拟退火的无序图像拓扑有序化匹配方法
KR101404640B1 (ko) * 2012-12-11 2014-06-20 한국항공우주연구원 영상 매칭 방법 및 이를 수행하는 시스템
CN103337065A (zh) * 2013-05-22 2013-10-02 西安电子科技大学 小鼠三维ct图像的非刚性配准方法
CN104778463A (zh) * 2015-05-04 2015-07-15 福建师范大学 一种基于sift和多子图匹配的遥感影像城区提取方法
CN104867104A (zh) * 2015-05-20 2015-08-26 天津大学 基于xct图像非刚度配准的目标鼠解剖结构图谱获取方法
CN106202480A (zh) * 2016-07-19 2016-12-07 淮阴工学院 一种基于K‑means和LDA双向验证的网络行为习惯聚类方法
CN106447601A (zh) * 2016-08-31 2017-02-22 中国科学院遥感与数字地球研究所 一种基于投影‑相似变换的无人机遥感影像拼接方法
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN110135455A (zh) * 2019-04-08 2019-08-16 平安科技（深圳）有限公司 影像匹配方法、装置及计算机可读存储介质
CN110133741A (zh) * 2019-05-08 2019-08-16 常州大学 一种多视角匹配和跟踪的自动安检方法
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
CN110689485A (zh) * 2019-10-14 2020-01-14 中国空气动力研究与发展中心超高速空气动力研究所 一种应用于大型压力容器红外无损检测的sift图像拼接方法
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质
CN111833237A (zh) * 2020-01-19 2020-10-27 宁波大学 基于卷积神经网络和局部单应性变换的图像配准方法
CN111798501A (zh) * 2020-07-02 2020-10-20 中航华东光电有限公司 融入颜色直方图与余弦相似性的优化图像配准方法
CN112070831A (zh) * 2020-08-06 2020-12-11 天津大学 一种基于多平面联合位姿估计的主动相机重定位方法
CN113222878A (zh) * 2021-06-04 2021-08-06 杭州海康威视数字技术股份有限公司 一种图像拼接方法
CN114119553A (zh) * 2021-11-28 2022-03-01 长春理工大学 一种以十字激光为基准的双目视觉异面圆孔检测方法
CN114549861A (zh) * 2022-02-25 2022-05-27 中科芯集成电路有限公司 一种基于特征点及卷积优化计算的目标匹配的方法、存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Review of Keypoints’ Detection and Feature Description in Image Registration;Cuiyin Liu 等;《Scientific Programming》;20211231;第2021年卷;1-25 *
An Efficient Probabilistic Registration Based on Shape Descriptor for Heritage Field Inspection;Yufu Zang 等;《International Journal of Geo-Information》;20201231;1-23 *
PCA-SIFT特征匹配算法研究;李钦 等;《测绘工程》;20160430;第25卷(第4期);19-24 *
The Research of PCA-SIFT Stereo Matching Method Based on RANSAC;Aoli Liu 等;《Journal of Image and Signal Processing》;20161231;第5卷(第3期);105-111 *
利用PCA-SIFT进行特殊纹理航摄影像匹配;袁修孝 等;《武汉大学学报 信息科学版》;20160930;第41卷(第9期);1137-1144 *
基于模拟退火算法的三维人脸匹配方法;王晓斌 等;《电子科技大学学报》;20150731;第44卷(第4期);584-588 *

Also Published As

Publication number Publication date
CN114742869A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
CN107886529B (zh) 一种用于三维重建的点云配准方法
CN108665491B (zh) 一种基于局部参考点的快速点云配准方法
Guo et al. 3D object recognition in cluttered scenes with local surface features: A survey
CN103310453B (zh) 一种基于子图像角点特征的快速图像配准方法
JP4644248B2 (ja) 多重視野特徴記述子を用いた同時位置決め及びマッピング
US9141871B2 (en) Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
CN112070818A (zh) 基于机器视觉的机器人无序抓取方法和系统及存储介质
Choy et al. High-dimensional convolutional networks for geometric pattern recognition
CN110363800B (zh) 一种基于点集数据与特征信息相融合的精确刚体配准方法
JP2008112211A (ja) 姿勢推定装置及びその方法
CN109886124A (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN110490913A (zh) 基于角点与单线段编组的特征描述算子进行影像匹配方法
Kroemer et al. Point cloud completion using extrusions
CN113674400A (zh) 基于重定位技术的光谱三维重建方法、系统及存储介质
CN114742869B (zh) 基于图形识别的脑部神经外科配准方法及电子设备
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
CN115063526A (zh) 二维图像的三维重建方法、系统、终端设备及存储介质
Luanyuan et al. MGNet: Learning Correspondences via Multiple Graphs
CN112446952B (zh) 三维点云法向量的生成方法、装置、电子设备及存储介质
CN106934395B (zh) 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法
CN117745780A (zh) 一种基于孤立簇去除的室外大场景3d点云配准方法
CN116935013A (zh) 基于三维重建的电路板点云大范围拼接方法及系统
CN116416305B (zh) 一种基于优化采样五维点对特征的多实例位姿估计方法
CN116883463A (zh) 一种基于多域多维特征图的三维配准重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220816