CN113591977A - 点对匹配方法、装置、电子设备和存储介质 - Google Patents

点对匹配方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113591977A
CN113591977A CN202110866180.1A CN202110866180A CN113591977A CN 113591977 A CN113591977 A CN 113591977A CN 202110866180 A CN202110866180 A CN 202110866180A CN 113591977 A CN113591977 A CN 113591977A
Authority
CN
China
Prior art keywords
point
target
coordinate system
feature description
description set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110866180.1A
Other languages
English (en)
Other versions
CN113591977B (zh
Inventor
张哲思
谢强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Original Assignee
Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan United Imaging Zhirong Medical Technology Co Ltd filed Critical Wuhan United Imaging Zhirong Medical Technology Co Ltd
Priority to CN202110866180.1A priority Critical patent/CN113591977B/zh
Publication of CN113591977A publication Critical patent/CN113591977A/zh
Application granted granted Critical
Publication of CN113591977B publication Critical patent/CN113591977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种点对匹配方法、装置、电子设备和存储介质,该方法包括:获取对应于第一坐标系的模板文件;模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;基于第二坐标系中目标点的几何特征构建目标点对应的目标特征描述集;根据初始特征描述集和目标特征描述集对标记点与目标点进行相似性计算,根据相似性计算结果进行点对匹配。通过本申请,无需引入其他测量仪器,无需人工选取或控制对应标记点,方便基于成品的光学导航系统仪器进行点对匹配。

Description

点对匹配方法、装置、电子设备和存储介质
技术领域
本申请涉及手术导航技术领域,特别是涉及一种点对匹配方法、装置、电子设备和存储介质。
背景技术
手术导航技术是结合了计算机技术、立体定向技术和图像处理技术等多门学科综合发展的产物。手术导航技术以术前医学影像数据为基础,在术中引导外科医生进行手术。其中,手术注册是导航系统得以依据术前图像进行导航的一个重要环节,注册的精度直接影响整个手术的精确度。其中,采用光学导航系统的光学定位法定位精度高、使用方便,是当前手术导航的常用方法。
通常,光学导航系统由双目视觉系统和图像工作站组成,在利用双目视觉系统立体定位中,两相机产生的图像点需有正确的特征点匹配才能得到正确被定位的三维空间坐标。然而,如图1所示,一方面在特征点匹配过程中如果出现匹配对的多义性,即当左右两视图上的特征点相似,且多个特征点位于同一极线上,则会出现一对多的匹配情况,无法确定相应特征点的位置,导致图中所示的伪点出现。另一方面,当对特殊波段进行拍摄,如近红外、蓝光、特定波段可见光等进行拍摄定位时,发射或反射近似波段的物体有可能会被导航设备识别,影响实际被定位跟踪的标记点的定位,进而影响了手术注册的精度。
针对干扰点和伪点的滤除问题,现有技术存在多种处理方式:
(1)对于仪器内部算法层,通常利用极平面与光线向量之间的关系进行初始匹配,并结合伪点的突变特性实现自动去除伪匹配,但这需要结合双目相机本身的内外参数进行计算,不适于整机封装的双目导航定位系统。且其中的伪点突变适合在标记点数较少的情况,在使用的实际标记点较多时因相互影响更为复杂,效果不可靠。也有在相机的图像处理中,通过阈值选择、估算基础矩阵等手段剔除伪匹配对,从而达到伪点滤除的目的。该方法基于仪器内部的算法的方式,需结合仪器内部的参数及图像数据进行读出及写入,不适于成品整机仪器的方式。
(2)在仪器构型上,通过增加额外相机或旋转其中一个相机来实现去除。然而该方法需在仪器构型上添加或改变仪器的形态,不适于结构固定的双目形式。
(3)在仪器整机应用层,通过控制采用主动发光器件的发光顺序、发光二极管集成方式、发光时间等单独或组合应用来避免伪点出现。该方法需要控制标记点发光时序与相机拍摄时序同步,不利于成品整机仪器的筛除。
此外,在实际操作中有的通过人工方式去除伪点,即认为遮挡某些点来进行,但会增加仪器使用繁琐度,不适于仪器的便捷使用。
发明内容
本申请实施例提供了一种点对匹配方法、装置、电子设备和存储介质,以至少解决相关技术中光学导航系统的伪点滤除方式繁琐的问题。
第一方面,本申请实施例提供了一种点对匹配方法,包括:
获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配。
在其中一些实施例中,初始特征描述集和所述目标特征描述集包括以下至少之一:
点与点之间的距离集合;
点与点之间的角度集合;
点与点之间所呈三角面片向量集合。
在其中一些实施例中,所述获取对应于第一坐标系的模板文件包括:
获取第一坐标系中所有标记点的坐标信息;
根据各个标记点的坐标信息计算每个坐标点对应的几何特征,将每个标记点的几何特征确定为对应标记点的初始特征描述集;
根据第一坐标系所有标记点的特征描述集,确定对应于第一坐标系的模板文件。
在其中一些实施例中,根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配包括:
根据所述初始特征描述集获取对应于第一坐标系中的所有标记点的几何特征;
根据所述目标特征描述集获取对应于所述第二坐标系中的目标点的几何特征;
将所有标记点的几何特征与目标点的几何特征进行两两相似性计算,得到相似性计算结果;
将相似性最大值对应的第一坐标系中的标记点,确定为所述目标点对应的特征匹配点。
在其中一些实施例中,所述初始特征描述集和所述目标特征描述集包括点与点之间的距离集合,则根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配包括:
根据所述第一坐标系对应的初始特征描述集获取任一标记点的距离集合;所述距离集合包括任一标记点与其他标记点之间的两两距离;
根据所述第二坐标系对应的目标特征描述集获取目标点的距离集合;
将所述标记点的距离集合与目标点的距离集合作差,得到所述标记点对应的距离差值;
循环执行上述步骤得到第一坐标系中所有标记点的差值集合;
将所述差值集合中最小差值对应的标记点确定为所述目标点对应的特征匹配点。
在其中一些实施例中,根据相似性计算结果进行点对匹配之前,还包括:
获取相似性计算结果;
将第一坐标系中相似性值小于第一相似性阈值的标记点进行滤除。
在其中一些实施例中,根据相似性计算结果进行点对匹配之后,还包括:
根据所述相似性计算结果对第一坐标系中的标记点进行相似性排序;
将第一坐标系中相似性值小于第二相似性阈值的标记点,确定为移位过大的标记点。
第二方面,本申请实施例提供了一种点对匹配装置,包括:
模板文件获取单元,用于获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
目标特征描述集构建单元,用于基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
点对匹配单元,用于根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的点对匹配方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的点对匹配方法。
相比于相关技术,本申请实施例提供的点对匹配方法,通过获取对应于第一坐标系的模板文件并基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集,根据模板文件中所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配,可对第一坐标系和第二坐标系中的点序进行自动同步,并且无需引入其他测量仪器,无需人工选取或控制对应标记点,方便基于成品的光学导航系统仪器进行点对匹配。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请其中一个实施例中点对匹配方法的流程示意图;
图2是图1中点对匹配步骤的优选流程示意图;
图3是本申请另一个实施例中点对匹配方法的流程示意图;
图4是本申请又一个实施例中点对匹配方法的流程示意图;
图5是本申请其中一个实施例中点对匹配装置的结构示意图;
图6是本申请其中一个实施例中电子设备的结构示意图。
附图说明:401、模板文件获取单元;402、目标特征描述集构建单元;403、点对匹配单元;50、总线;51、处理器;52、存储器;53、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
手术导航技术是集电子、计算机、微创手术、现代影像与人工智能等技术于一体的医学导航技术。手术导航技术应用于手术导航系统中,可以将病人术前或术中的医学影像(CT、MRI、超声成像、PET等)与手术床上病人的解剖结构准确对应。在术前,医生能够利用手术导航技术并结合医学影像,制定术前计划、进行术前虚拟演示、规划合理的手术路径,确保手术成功率。在术中,利用手术导航技术可以跟踪手术器械,并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示,使医生对手术器械相对病人解剖结构的位置一目了然,使外科手术更快速、更精确、更安全。
本实施例提供的点对匹配方法可以应用于基于标记点进行注册的手术导航系统中,手术导航涉及到定位、成像、手术器械等多个设备,各自拥有独立的坐标系,注册即寻求各个坐标系之间变换关系的过程。通过两个坐标系之间的点对匹配,可以获取两坐标系下一一对应的点,将各个独立的坐标系统一到一个坐标系中,进而实现各个坐标系之间数据的匹配,实现跟踪与导航。
本实施例提供了一种点对匹配方法。图1是根据本申请实施例的点对匹配方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集。
一般地,手术导航系统包括专用的手术工具、辅助定位装置、图像处理工作站以及显示设备等。其中涉及到的多个设备各自拥有独立的坐标系,通过点对匹配可以将不同坐标系之间的点对坐标进行注册配准,得到坐标系之间的空间映射关系。在本实施例中,第一坐标系可以是手术目标所在的坐标系,例如可以是相机坐标系、图像坐标系、手术器械坐标系、工具(即辅助定位装置)坐标系等等,本申请在此不做限定。
在本实施例中,可以基于人体表面的标记点进行注册。具体的,在对手术目标进行术前图像扫描之前,在手术目标的体表表面贴附标记点。由于这些标记点刚刚贴上去,有问题会立即换下,因此可将此时标记点的几何特征作为标准特征,基于几何特征得到初始特征描述集。具体的,在一些实施例中,获取对应于第一坐标系的模板文件包括:获取第一坐标系中所有标记点的坐标信息;根据各个标记点的坐标信息计算每个坐标点对应的几何特征,将每个标记点的几何特征确定为对应标记点的初始特征描述集;最后根据第一坐标系所有标记点的特征描述集,确定对应于第一坐标系的模板文件。可以理解,在其他实施例中,还可以采用其他方式构建初始特征描述集,初始特征描述集的构建只要能基于标记点的几何特征得到对应特征数据即可,本申请在此不做限定。
其中,几何特征为基于标记点所在第一坐标系上的坐标信息计算得到的刚体几何关系。其中,第一坐标系中标记点的坐标信息可通过算法自动识别得到,识别算法为本领域的现有技术,本申请在此不做赘述。可选的,在一些实施例中,初始特征描述集可以是点与点之间的距离集合、点与点之间的角度集合或点与点之间所呈三角面片向量集合等。当然,在其他实施例中,初始特征描述集还可以是基于其它刚体几何关系得到的其它特征描述信息。其中,点与点之间的距离可以是所有标记点与相邻标记点之间的距离集合,也可以是指定标记点与所有其他标记点之间的距离集合等;距离可以是两点之间的欧氏距离,还可以是曼哈顿距离等等;点与点之间的角度集合可以是指定标记点与任意两个标记点所成角度集合,可根据应用场景进行对应扩展,本申请在此不做限定。
步骤S102,基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集。
其中,第二图像坐标系可以是图像坐标系、相机坐标系、手术器械坐标系、工具(即辅助定位装置)坐标系等。需要说明的是,第一图像坐标系第二图像坐标系为手术导航系统中的不同坐标系,可根据实际应用中的点对匹配需求进行适应性设置。
在本实施例中,可以基于第二坐标系中目标点的几何特征构建目标点对应的目标特征描述集,从而基于初始特征描述集和目标特征描述集将第二坐标系中目标点与第一坐标系中标记点进行匹配。初始特征描述集和目标特征描述集中至少有部分子集的内容相匹配,例如:当初始特征描述集为标记点中点与点之间的距离集合时,目标特征描述集也至少包括目标点中点与点之间的距离集合。目标特征描述集与初始特征描述集的构建方法相同,本实施例在此不再赘述。
步骤S103,根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配。
具体的,在本实施例中,可以根据初始特征描述集和目标特征描述集分别获取第一坐标系中标记点的第一几何特征数据,以及第二坐标系中目标点的第二几何特征数据。进而基于标记点的第一几何特征数据和目标点的第二几何特征数据进行相似性计算。可选的,相似性计算可以是基于第一几何特征数据和第二几何特征数据进行的距离差、角度差、向量相似度等。
在本实施例中,当计算得到标记点与目标点进行相似性后,根据相似性计算结果进行点对匹配。具体的,遍历目标点与所有标记点的相似性计算结果,将相似性最大的初始特征描述集对应的标记点确定为目标点对应的特征匹配点。
综上,本申请实施例提供的点对匹配方法,通过获取对应于第一坐标系的模板文件并基于第二坐标系中目标点的几何特征构建目标点对应的目标特征描述集,根据模板文件中初始特征描述集和目标特征描述集对标记点与目标点进行相似性计算,根据相似性计算结果进行点对匹配,可对第一坐标系和第二坐标系中的点序进行自动同步,并且无需引入其他测量仪器,无需人工选取或控制对应标记点,方便基于成品的光学导航系统仪器进行点对匹配。
下面通过优选实施例对本申请实施例进行描述和说明。
在上述实施例的基础上,在其中一些实施例中,根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配包括:首先,根据所述初始特征描述集获取对应于第一坐标系中的所有标记点的几何特征,并根据所述目标特征描述集获取对应于所述第二坐标系中的目标点的几何特征。然后将所有标记点的几何特征与目标点的几何特征进行两两相似性计算,得到相似性计算结果,将相似性最大值对应的第一坐标系中的标记点,确定为所述目标点对应的特征匹配点。
在本实施例中,每一个标记点初始特征描述集和每一个目标点的目标特征描述集都是唯一确定的。可通过获取模板文件中对应第一坐标系中标记点的初始特征描述集以及第二坐标系中目标点的目标特征描述集,根据两个集合获取对应的几何特征,然后采用遍历等方式对两集合的几何特征进行两两相似性计算。将相似性计算的结果作为点对匹配的结果,将相似性最大值对应的第一坐标系中的标记点,确定为与目标点最相似的匹配点,即目标点对应的特征匹配点。
如图2所示,在一些具体的实施方式中,初始特征描述集和目标特征描述集包括点与点之间的距离集合,则根据初始特征描述集和目标特征描述集对标记点与目标点进行相似性计算,根据相似性计算结果进行点对匹配包括:
步骤S1031,根据所述第一坐标系对应的初始特征描述集获取任一标记点的距离集合;所述距离集合包括任一标记点与其他标记点之间的两两距离;
步骤S1032,根据所述第二坐标系对应的目标特征描述集获取目标点的距离集合;
步骤S1033,将所述标记点的距离集合与目标点的距离集合作差,得到所述标记点对应的距离差值;
步骤S1034,循环执行上述步骤步骤S1031-S1033,得到第一坐标系中所有标记点的差值集合;
步骤S1035,将所述差值集合中最小差值对应的标记点确定为所述目标点对应的特征匹配点。
在本实施例中,初始特征描述集和目标特征描述集均至少包括点与点之间的距离集合。示例性的,初始特征描述集中有n个标记点,第1个标记点与其他标记点之间的两两距离可作为第1个标记点的初始特征描述集Gtemplate_1;第2个标记点与其他标记点之间的两两距离可作为第2个标记点的初始特征描述集Gtemplate_2·····第n个标记点与其他标记点之间的两两距离可作为第n个标记点的初始特征描述集Gtemplate_n,第一坐标系的模板文件为Stemplate={Gtemplate_1,Gtemplate_2,…Gtemplate_n}。则首先根据第一坐标系对应的初始特征描述集可以获取任一标记点的距离集合。同理,第二坐标系中也有n个目标点,每个目标点与其他点之间的两两距离可作为该目标点的目标特征描述集Gunknown_i,根据第二坐标系对应的目标特征描述集获取任一目标点的距离集合。接着,根据初始特征描述集和目标特征描述集对标记点与目标点进行相似性计算。具体的,将标记点的距离集合与目标点的距离集合作差,得到标记点对应的距离差值。进而循环执行上述步骤可以得到第一坐标系中所有标记点的差值集合。最后将差值集合中,最小差值对应的第一坐标系中的标记点,确定为与目标点最相似的匹配点,即目标点对应的特征匹配点。例如:与第2个目标点最相似的是第1个标记点,可以将模板文件中的第1个标记点确定为第2个目标点对应的特征匹配点。
需要说明的是,在其他实施例中,当初始特征描述集和目标特征描述集包括基于刚体几何关系得到的其它特征描述信息时,相似性计算方式和点对匹配方法可以具有适应性变化,本申请在此不做限定。
图3是根据本申请实施例的点对匹配方法的优选流程图,如图3所示,该点对匹配方法包括如下步骤:
步骤S201,获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
步骤S202,基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
步骤S203,根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算;
步骤S204,获取相似性计算结果,将第一坐标系中相似性值小于第一相似性阈值的标记点进行滤除;
步骤S205,根据相似性计算结果进行点对匹配。
在本实施例中,步骤S201-S203、步骤S205的实现原理及产生的技术效果和上述实施例相同,为简要描述,可参考上述实施例中的相应内容。
在步骤S204中,可以预设第一相似性阈值,从而根据相似性计算结果,当第一坐标系中标记点与第二坐标系中的目标点之间的相似性小于第一相似性阈值时,判定对应的标记点为伪点并予以滤除,即可实现伪点滤除。其中,第一相似性阈值可根据应用场景中所需求的精度及仪器本身的精度(如双目相机本身的定位精度)进行设置,此处不做限制。
通过上述步骤,在对标记点和目标点进行点对匹配之前,先对所有标记点进行伪点滤除,可以确保后续点对匹配时处理点的实际数量与模板文件对应的数量一致,保证没有光学伪点干扰,有效提高点对匹配的精度和效率。
图4是根据本申请实施例的点对匹配方法的优选流程图,如图4所示,该点对匹配方法包括如下步骤:
步骤S301,获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
步骤S302,基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
步骤S303,根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配;
步骤S304,根据所述相似性计算结果对第一坐标系中的标记点进行相似性排序;
步骤S305,将第一坐标系中相似性值小于第二相似性阈值的标记点,确定为移位过大的标记点。
在本实施例中,步骤S301-S303的实现原理及产生的技术效果和上述实施例相同,为简要描述,可参考上述实施例中的相应内容。
在本实施例中,点对匹配的精度高度依赖于标记点位置的数据精度,如果使用某个本来就发生了位移的标记点,基于该点的点对数据去做注册配准,就会引入很大的注册配准误差。因此如果能将移位大的数据进行剔除,对注册配准是非常有利的。由于在术中可能由于手术目标身体部位的活动、标记点被触碰等情况而发生标记点位置的偏移,从而进一步影响手术导航系统的精确性。因此,需要进行移位监测判断标记点的移位情况,并对移位较大的标记点予以去除。具体的,点对匹配后,在需要进行点对移位的监测的任意时刻,可以预设第二相似性阈值,从而根据相似性计算结果,当第一坐标系中标记点与第二坐标系中的目标点之间的相似性小于第二相似性阈值时,判定对应的标记点为移位过大的标记点并予以滤除,即可实现对移位后的点对的自动处理,提高点对匹配的成功率。其中,第二相似性阈值与第一相似度阈值可以相同也可以不同,具体可根据应用场景中的匹配精度需求进行适应性设置。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种点对匹配装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的点对匹配装置的结构框图,如图5所示,该装置包括:模板文件获取单元401、目标特征描述集构建单元402和点对匹配单元403。
模板文件获取单元401,用于获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
目标特征描述集构建单元402,用于基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
点对匹配单元403,用于根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配。
在其中一些实施例中,初始特征描述集和所述目标特征描述集包括以下至少之一:
点与点之间的距离集合;
点与点之间的角度集合;
点与点之间所呈三角面片向量集合。
在其中一些实施例中,所述模板文件获取单元401包括:标记点坐标获取模块、初始特征描述集确定模块和模板文件构建模块。
标记点坐标获取模块,用于获取第一坐标系中所有标记点的坐标信息;
初始特征描述集确定模块,用于根据各个标记点的坐标信息计算每个坐标点对应的几何特征,将每个标记点的几何特征确定为对应标记点的初始特征描述集;
模板文件构建模块,用于根据第一坐标系所有标记点的特征描述集,确定对应于第一坐标系的模板文件。
在其中一些实施例中,所述点对匹配单元403包括:第一几何特征获取模块、第二几何特征获取模块、相似性计算模块和匹配模块。
第一几何特征获取模块,用于根据所述初始特征描述集获取对应于第一坐标系中的所有标记点的几何特征;
第二几何特征获取模块,用于根据所述目标特征描述集获取对应于所述第二坐标系中的目标点的几何特征;
相似性计算模块,用于将所有标记点的几何特征与目标点的几何特征进行两两相似性计算,得到相似性计算结果;
匹配模块,用于将相似性最大值对应的第一坐标系中的标记点,确定为所述目标点对应的特征匹配点。
在其中一些实施例中,所述初始特征描述集和所述目标特征描述集包括点与点之间的距离集合,则所述点对匹配单元403包括:标记点距离集合获取模块、目标点距离集合获取模块、距离差获取模块、差值集合获取模块和特征匹配点获取模块。
标记点距离集合获取模块,用于根据所述第一坐标系对应的初始特征描述集获取任一标记点的距离集合;所述距离集合包括任一标记点与其他标记点之间的两两距离;
目标点距离集合获取模块,用于根据所述第二坐标系对应的目标特征描述集获取目标点的距离集合;
距离差获取模块,用于将所述标记点的距离集合与目标点的距离集合作差,得到所述标记点对应的距离差值;
差值集合获取模块,用于循环执行上述步骤得到第一坐标系中所有标记点的差值集合;
特征匹配点获取模块,用于将所述差值集合中最小差值对应的标记点确定为所述目标点对应的特征匹配点。
在其中一些实施例中,点对匹配装置还包括:计算结果获取单元和标记点滤除单元。
计算结果获取单元,用于获取相似性计算结果;
标记点滤除单元,用于将第一坐标系中相似性值小于第一相似性阈值的标记点进行滤除。
在其中一些实施例中,点对匹配装置还包括:相似性排序单元和移位监测单元。
相似性排序单元,用于根据所述相似性计算结果对第一坐标系中的标记点进行相似性排序;
移位监测单元,用于将第一坐标系中相似性值小于第二相似性阈值的标记点,确定为移位过大的标记点。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图1描述的本申请实施例点对匹配方法可以由电子设备来实现。图6为根据本申请实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器51以及存储有计算机程序指令的存储器52。
具体地,上述处理器51可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器52可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器52可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器52可在数据处理装置的内部或外部。在特定实施例中,存储器52是非易失性(Non-Volatile)存储器。在特定实施例中,存储器52包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器52可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器51所执行的可能的计算机程序指令。
处理器51通过读取并执行存储器52中存储的计算机程序指令,以实现上述实施例中的任意一种点对匹配方法。
在其中一些实施例中,电子设备还可包括通信接口53和总线50。其中,如图6所示,处理器51、存储器52、通信接口53通过总线50连接并完成相互间的通信。
通信接口53用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口53还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线50包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。总线50包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线50可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(FrontSide Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线50可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该电子设备可以基于获取到的程序指令,执行本申请实施例中的点对匹配方法,从而实现结合图1描述的点对匹配方法。
另外,结合上述实施例中的点对匹配方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种点对匹配方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种点对匹配方法,其特征在于,包括:
获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配。
2.根据权利要求1所述的点对匹配方法,其特征在于,初始特征描述集和所述目标特征描述集包括以下至少之一:
点与点之间的距离集合;
点与点之间的角度集合;
点与点之间所呈三角面片向量集合。
3.根据权利要求1所述的点对匹配方法,其特征在于,所述获取对应于第一坐标系的模板文件包括:
获取第一坐标系中所有标记点的坐标信息;
根据各个标记点的坐标信息计算每个坐标点对应的几何特征,将每个标记点的几何特征确定为对应标记点的初始特征描述集;
根据第一坐标系所有标记点的特征描述集,确定对应于第一坐标系的模板文件。
4.根据权利要求1所述的点对匹配方法,其特征在于,根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配包括:
根据所述初始特征描述集获取对应于第一坐标系中的所有标记点的几何特征;
根据所述目标特征描述集获取对应于所述第二坐标系中的目标点的几何特征;
将所有标记点的几何特征与目标点的几何特征进行两两相似性计算,得到相似性计算结果;
将相似性最大值对应的第一坐标系中的标记点,确定为所述目标点对应的特征匹配点。
5.根据权利要求2所述的点对匹配方法,其特征在于,所述初始特征描述集和所述目标特征描述集包括点与点之间的距离集合,则根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配包括:
根据所述第一坐标系对应的初始特征描述集获取任一标记点的距离集合;所述距离集合包括任一标记点与其他标记点之间的两两距离;
根据所述第二坐标系对应的目标特征描述集获取目标点的距离集合;
将所述标记点的距离集合与目标点的距离集合作差,得到所述标记点对应的距离差值;
循环执行上述步骤得到第一坐标系中所有标记点的差值集合;
将所述差值集合中最小差值对应的标记点确定为所述目标点对应的特征匹配点。
6.根据权利要求1所述的点对匹配方法,其特征在于,根据相似性计算结果进行点对匹配之前,还包括:
获取相似性计算结果;
将第一坐标系中相似性值小于第一相似性阈值的标记点进行滤除。
7.根据权利要求1所述的点对匹配方法,其特征在于,根据相似性计算结果进行点对匹配之后,还包括:
根据所述相似性计算结果对第一坐标系中的标记点进行相似性排序;
将第一坐标系中相似性值小于第二相似性阈值的标记点,确定为移位过大的标记点。
8.一种点对匹配装置,其特征在于,包括:
模板文件获取单元,用于获取对应于第一坐标系的模板文件;所述模板文件包括基于第一坐标系中标记点的几何特征得到的初始特征描述集;
目标特征描述集构建单元,用于基于第二坐标系中目标点的几何特征构建所述目标点对应的目标特征描述集;
点对匹配单元,用于根据所述初始特征描述集和所述目标特征描述集对所述标记点与所述目标点进行相似性计算,根据相似性计算结果进行点对匹配。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的点对匹配方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的点对匹配方法的步骤。
CN202110866180.1A 2021-07-29 2021-07-29 点对匹配方法、装置、电子设备和存储介质 Active CN113591977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110866180.1A CN113591977B (zh) 2021-07-29 2021-07-29 点对匹配方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110866180.1A CN113591977B (zh) 2021-07-29 2021-07-29 点对匹配方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113591977A true CN113591977A (zh) 2021-11-02
CN113591977B CN113591977B (zh) 2024-06-18

Family

ID=78252024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110866180.1A Active CN113591977B (zh) 2021-07-29 2021-07-29 点对匹配方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113591977B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115153837A (zh) * 2022-09-05 2022-10-11 杭州柳叶刀机器人有限公司 光学跟踪工具的标记点排布方法、装置和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008121339A2 (en) * 2007-03-29 2008-10-09 Medtronic Navigation, Inc. Method and apparatus for registering a physical space to image space
CN106529607A (zh) * 2016-12-09 2017-03-22 国家测绘地理信息局四川测绘产品质量监督检验站 图像的同名点获取方法及装置
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN107481276A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种三维医学图像中标记点序列的自动识别方法
CN107708568A (zh) * 2015-06-30 2018-02-16 佳能美国公司 配准的基准标记、系统和方法
US10022192B1 (en) * 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
WO2020020047A1 (zh) * 2018-07-25 2020-01-30 北京达佳互联信息技术有限公司 关键点匹配方法、装置、终端设备以及存储介质
CN110946659A (zh) * 2019-12-25 2020-04-03 武汉中科医疗科技工业技术研究院有限公司 影像空间与实际空间的注册方法及系统
CN111028284A (zh) * 2019-10-31 2020-04-17 浙江未来技术研究院(嘉兴) 一种基于同名标记点的双目视觉立体匹配方法及装置
CN111145259A (zh) * 2019-11-28 2020-05-12 上海联影智能医疗科技有限公司 自动校准的系统和方法
CN111388092A (zh) * 2020-03-17 2020-07-10 京东方科技集团股份有限公司 一种定位跟踪件、配准方法、存储介质及电子设备
CN112862813A (zh) * 2021-03-04 2021-05-28 北京柏惠维康科技有限公司 标记点提取方法、装置、电子设备及计算机存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008121339A2 (en) * 2007-03-29 2008-10-09 Medtronic Navigation, Inc. Method and apparatus for registering a physical space to image space
CN107708568A (zh) * 2015-06-30 2018-02-16 佳能美国公司 配准的基准标记、系统和方法
CN107481276A (zh) * 2016-06-08 2017-12-15 北京天智航医疗科技股份有限公司 一种三维医学图像中标记点序列的自动识别方法
CN106529607A (zh) * 2016-12-09 2017-03-22 国家测绘地理信息局四川测绘产品质量监督检验站 图像的同名点获取方法及装置
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
US10022192B1 (en) * 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
WO2020020047A1 (zh) * 2018-07-25 2020-01-30 北京达佳互联信息技术有限公司 关键点匹配方法、装置、终端设备以及存储介质
CN111028284A (zh) * 2019-10-31 2020-04-17 浙江未来技术研究院(嘉兴) 一种基于同名标记点的双目视觉立体匹配方法及装置
CN111145259A (zh) * 2019-11-28 2020-05-12 上海联影智能医疗科技有限公司 自动校准的系统和方法
CN110946659A (zh) * 2019-12-25 2020-04-03 武汉中科医疗科技工业技术研究院有限公司 影像空间与实际空间的注册方法及系统
CN111388092A (zh) * 2020-03-17 2020-07-10 京东方科技集团股份有限公司 一种定位跟踪件、配准方法、存储介质及电子设备
CN112862813A (zh) * 2021-03-04 2021-05-28 北京柏惠维康科技有限公司 标记点提取方法、装置、电子设备及计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAYTHAM ELHAWARY等: "Multimodality Non-Rigid Image Registration for Planning, Targeting and Monitoring during CT-guided Percutaneous Liver Tumor Cryoablation", 《NIH PUBLIC ACCESS》, pages 1334 *
刘桥等: "基于SURF算法的医学图像特征点匹配", 《电子科技》, vol. 27, no. 5, pages 145 - 148 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115153837A (zh) * 2022-09-05 2022-10-11 杭州柳叶刀机器人有限公司 光学跟踪工具的标记点排布方法、装置和电子设备
CN115153837B (zh) * 2022-09-05 2022-12-16 杭州柳叶刀机器人有限公司 光学跟踪工具的标记点排布方法、装置和电子设备

Also Published As

Publication number Publication date
CN113591977B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
Grasa et al. Visual SLAM for handheld monocular endoscope
CN107918925B (zh) 磁跟踪系统与成像装置的配准
JP2020049211A (ja) 検査位置の調整方法、調整装置、超音波プローブおよび端末
CN112734776B (zh) 一种微创手术器械定位方法和系统
US9342887B2 (en) High accuracy image matching apparatus and high accuracy image matching method using a skin marker and a feature point in a body
US20120177269A1 (en) Detection of Landmarks and Key-frames in Cardiac Perfusion MRI Using a Joint Spatial-Temporal Context Model
KR101645292B1 (ko) 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템
EP3622481B1 (en) Method and system for calibrating a velocimetry system
WO2012064400A1 (en) Image registration system and method for registering images for deformable surfaces
CN115944388B (zh) 手术内窥镜位置引导方法、装置、计算机设备及存储介质
CN110634554A (zh) 脊椎影像注册方法
CN113591977B (zh) 点对匹配方法、装置、电子设备和存储介质
CN108697410B (zh) 超声波拍摄装置、图像处理装置及其方法
CN110310325A (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN113143459B (zh) 腹腔镜增强现实手术导航方法、装置及电子设备
CN116047412B (zh) 标记物的伪影坐标去除方法及相关装置
US20230326251A1 (en) Work estimation device, work estimation method, and non-transitory computer readable medium
CN111223139B (zh) 目标定位方法及终端设备
Wang et al. Real-time robust individual X point localization for stereoscopic tracking
CN116258752A (zh) 配准方法、配准装置、电子设备和计算机可读存储介质
CN111832494B (zh) 信息存储方法及设备
CN115068109A (zh) 面向医疗手术导航的红外标靶识别方法和装置
CN114266831A (zh) 辅助手术的数据处理方法、装置、设备、介质与系统
CN109345632A (zh) 一种获取图像的方法、相关装置及可读存储介质
CN115082373A (zh) 医学影像定位线的测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant