CN115068109A - 面向医疗手术导航的红外标靶识别方法和装置 - Google Patents

面向医疗手术导航的红外标靶识别方法和装置 Download PDF

Info

Publication number
CN115068109A
CN115068109A CN202210660905.6A CN202210660905A CN115068109A CN 115068109 A CN115068109 A CN 115068109A CN 202210660905 A CN202210660905 A CN 202210660905A CN 115068109 A CN115068109 A CN 115068109A
Authority
CN
China
Prior art keywords
target
infrared
relation table
distance
distance relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210660905.6A
Other languages
English (en)
Other versions
CN115068109B (zh
Inventor
孟李艾俐
胡超
徐逸帆
董博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuanhua Intelligent Technology Shenzhen Co ltd
Original Assignee
Yuanhua Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanhua Intelligent Technology Shenzhen Co ltd filed Critical Yuanhua Intelligent Technology Shenzhen Co ltd
Priority to CN202210660905.6A priority Critical patent/CN115068109B/zh
Publication of CN115068109A publication Critical patent/CN115068109A/zh
Application granted granted Critical
Publication of CN115068109B publication Critical patent/CN115068109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例适用于医疗设备技术领域,提供了一种面向医疗手术导航的红外标靶识别方法和装置,所述方法包括:确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;基于采集得到的所述图像,确定各个所述光斑的中心点坐标;根据所述中心点坐标建立各个所述光斑相互之间的距离关系表;删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;根据所述目标距离关系表对各个所述红外标靶进行识别。采用上述方法,可以提高标靶识别时的计算速度。

Description

面向医疗手术导航的红外标靶识别方法和装置
技术领域
本申请实施例属于医疗设备技术领域,特别是涉及一种面向医疗手术导航的红外标靶识别方法和装置。
背景技术
随着医学和计算机科学的迅速发展,计算机辅助手术已成为现代外科手术的研究和应用热点,受到了人们的重视。手术导航系统是计算机辅助手术的一个重要应用方向,它能够帮助医生选择最佳的手术路径,减小手术损伤,提高手术的准确性、快捷性、微创性以及手术的成功率。目前,最常用的手术导航系统是红外定位跟踪仪系统。使用前,需要设计红外标靶。通常,红外标靶由四个红外反光圆形标志物组成,不同的标靶中,四个反光圆形标志物相互之间的距离是不同的,而且是唯一的,这样可以区分不同的标靶。使用时,可以将红外标靶固定在手术器械和病灶上方,导航仪对红外标靶上各个标志物进行实时的跟踪定位,计算出手术器械和病灶的工作位置、方向和运动路径,并在此基础上根据术前设计和规划好的路线与步骤完成手术。
具体地,红外定位跟踪仪由红外光源和红外相机组成。其中,红外光源通常由红外LED阵列组成,布置在红外相机的圆周边。工作时,红外光源发光照射手术器械或病灶上方标靶的四个红外反光圆形标志物,在红外相机图像上形成标靶标志的反射光斑图案。红外相机由相机前加匹配红外光源光谱的红外滤光片实现,可以用于对这些标靶标志物进行拍摄。由于红外标靶周边物体的红外光反射率通常较低,所以在拍摄的图像中,可以得到亮度和对比度较高的标靶标志物光斑图案。通过发现这些标靶标志物的中心坐标即可计算手术器械和病灶的位置及姿态参数,实现定位及手术导航。
在实际应用中,由于手术过程中要确定手术器械和病灶的位置及姿态参数会使用到六个以上的红外标靶,每个红外标靶又将产生至少四个反射光斑图案;同时图像中还可能会有噪声反光点存在,所以拍摄得到的图像中将会出现几十个光斑。在对红外标靶上各个标志物进行实时的跟踪定位时,对每一个标靶进行识别的处理计算量是光斑数量的四次方,所以其总计算量是非常巨大的,计算速度较慢。
发明内容
有鉴于此,本申请实施例提供了一种面向医疗手术导航的红外标靶识别方法和装置,用以提高标靶识别时的计算速度。
本申请实施例的第一方面提供了一种面向医疗手术导航的红外标靶识别方法,包括:
确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
根据所述目标距离关系表对各个所述红外标靶进行识别。
本申请实施例的第二方面提供了一种面向医疗手术导航的红外标靶识别装置,应用所述装置实现:
确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
根据所述目标距离关系表对各个所述红外标靶进行识别。
本申请实施例的第三方面提供了一种面向医疗手术导航的红外标靶识别装置,包括:
红外标靶确定模块,用于确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
图像采集模块,用于控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
中心点坐标确定模块,用于基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
距离关系表建立模块,用于根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
目标距离关系表建立模块,用于删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
红外标靶识别模块,用于根据所述目标距离关系表对各个所述红外标靶进行识别。
本申请实施例的第四方面提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的面向医疗手术导航的红外标靶识别方法。
本申请实施例的第五方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的面向医疗手术导航的红外标靶识别方法。
本申请实施例的第六方面提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述第一方面所述的面向医疗手术导航的红外标靶识别方法。
与现有技术相比,本申请实施例具有以下优点:
本申请实施例,通过确定手术所要使用的多个红外标靶,从而可以确定任一红外标靶具有的标靶模式。在控制红外光源照射多个红外标靶,并通过红外双目相机对多个红外标靶上的标志物反射形成的多个光斑进行图像采集后,可以基于采集得到的图像,确定各个光斑的中心点坐标。在此基础上,可以根据上述中心点坐标建立各个光斑相互之间的距离关系表,该距离关系表中任一单元的值可以用于表示对应的两个光斑的中心点之间的距离;结合任一红外标靶的标靶模式所对应的各个红外反射标志物之间的距离限制条件,可以删除距离关系表中不属于任一红外标靶的目标单元的值,得到目标距离关系表。这样,可以大大减少目标距离关系表中需要计算的单元的量,从而在根据目标距离关系表对各个红外标靶进行识别时,可以大幅提高计算的速度。在手术过程中,当手术器械和人体发生抖动时,红外定位导航仪也就能够快速响应和跟踪这一变化。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种面向医疗手术导航的红外标靶识别方法的示意图;
图2是本申请实施例提供的一种红外标靶的示意图;
图3是本申请实施例提供的一种标靶模式的示意图;
图4是本申请实施例提供的一种红外定位跟踪仪的工作示意图;
图5是本申请实施例提供的一种处理后的红外双目相机采集到的图像的示意图;
图6是本申请实施例提供的一种面向医疗手术导航的红外标靶识别装置的示意图;
图7是本申请实施例提供的一种计算机设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
下面通过具体实施例来说明本申请的技术方案。
参照图1,示出了本申请实施例提供的一种面向医疗手术导航的红外标靶识别方法的示意图,具体可以包括如下步骤:
S101、确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式。
需要说明的是,本方法可以应用于计算机设备,即本申请实施例的执行主体为计算机设备。该计算机设备可以对红外定位跟踪仪采集得到的图像进行处理,识别图像中各个光斑所属的标靶模式。
通常,在手术过程中应用红外标靶对手术器械和病灶进行定位跟踪时,需要使用到多个红外标靶,每个红外标靶上可以包括多个红外反射标志物。一般地,一次手术过程中的定位跟踪,可能使用到6个或更多个的红外标靶,每个红外标靶上可以包括4个红外反射标志物。
如图2所示,是本申请实施例提供的一种红外标靶的示意图。图2所示的红外标靶包括4个圆形的红外反射标志物,即图2中所示的红外反射标志物201-204。这4个红外反射标志物通过支架205连接。通常,每个红外标靶上的各个红外反射标志物的位置可以是经过特殊设计的。这样,多个标志物之间可以形成多个间距,每个红外标靶就可以形成特定且唯一的标靶模式。例如,图2中的4个反射标志物201-204相互之间的距离是特别设计的,且是唯一的,以在工作时探测确定并区分不同的标靶。
在本申请实施例中,每个红外反射标志物可以由反射率高的平面红外反射膜形成。这样有助于在复杂背景中提取出红外标志。并且,这种平面反射膜可以方便地擦洗,以便擦除手术中血迹等赃物对标靶的污染。
在本申请实施例中,确定手术所要使用的多个红外标靶后,可以根据各个红外标靶对应的多个间距生成一维数组并对该一维数组中的各个元素进行排序。
示例性地,在手术前可以选择将要使用的N个红外标靶。若每个标靶上包括4个红外反射标志物,则每个标靶可以形成6个间距。相应地,在后续控制红外光源照射各个标靶时,每个标靶可以形成4个光斑,这4个光斑的中心点之间也可以形成6个间距。因此,N个标靶就有6N个间距元素。
如图3所示,是本申请实施例提供的一种标靶模式的示意图。图3中的红外标靶为包括4个红外反射标志物的标靶,4个红外反射标志物分别为图3中的A、B、C、D四个点。这4个点相互之间可以形成六个间距d1、d2、d3、d4、d5、d6。这样即可形成某红外标靶的标靶模式,该标靶模式可以采用一维矢量形式表示为V=[d1,d2,d3,d4,d5,d6]。
对于N个红外标靶,这6N个间距元素可以形成一个一维数组XN(1:6N),该一维数组中的各个元素也就是N个标靶中某两个红外反射标志物之间的距离。
然后,可以对上述一维数组中的各个元素进行排序。一般地,可以按照每个元素由小到大的顺序对各个元素进行排序。
为了尽可能地缩小数组中元素的数量,可以剔除排序后数值相近的元素。例如,可以将差值不超过1毫米的元素删除。具体地,对于排序后的一维数组,可以将数组中相邻元素的值进行比较,若相邻元素的差值小于预设数值,则表示相邻两个元素的数值相近。此时,可以将小于预设数值的相邻元素删除,得到一个新的一维数组XD(1:M),也就是目标数组。其中,M为缩小后的一维数组中的元素数量。
S102、控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集。
如图4所示,是本申请实施例提供的一种红外定位跟踪仪的工作示意图。图4中所示的红外定位跟踪仪包括红外光源401和红外相机402。其中,红外相机402为红外双目相机,红外光源401由红外LED阵列组成,布置在红外双目相机的圆周边。
在手术过程中,可以控制图4中的红外光源401照射多个红外标靶403。这样,每个红外标靶403上的红外反射标志物可以在红外相机402的图像上形成多个光斑。例如,对于拥有4个红外反射标志物的标靶,其可以在图像上形成4个光斑。
在一种示例中,用于红外定位跟踪仪的红外光源的波长可以选择近红外(如850nm),红外双目相机的透过波长应与红外光源的中心波长严格一致。这样,红外双目相机采集到的图像就能去除大部分背景干扰。
需要说明的是,由于存在干扰,红外双目相机采集到的图像中除包括红外反射标志物形成的光斑外,还包括同样以光斑形式存在的噪声反光点。因此,需要对红外双目相机采集到的图像进行一系列的处理,尽可能地消除噪声反光点对应的光斑。如图5所示,是本申请实施例提供的一种处理后的红外双目相机采集到的图像的示意图。图5中的光斑即是红外反射标志物反射形成的光斑,以及可能的噪声反光点形成的光斑。
S103、基于采集得到的所述图像,确定各个所述光斑的中心点坐标。
在本申请实施例中,通过红外双目相机采集得到的图像的数量为两幅,基于这两幅图像,可以确定各个光斑的中心点坐标,该中心点坐标可以是三维空间上的三维坐标。
在本申请实施例的一种可能的实现方式中,在确定各个光斑的中心点坐标时,可以分别计算每幅图像上各个光斑的中心点的平面二维坐标,然后对两幅图像上的各个光斑进行两两配对,再通过双目视觉相关算法计算配对后的各个光斑的中心点在三维空间上对应的三维坐标。
S104、根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离。
在本申请实施例中,可以根据各个光斑的中心点坐标建立一距离关系表,通过距离关系表中每个单元的值来表示对应的两个光斑的中心点之间的距离。
在具体实现中,可以分别为各个光斑分配编号。例如,M1、M2、……、Mn。然后,可以根据每个光斑的中心点坐标计算两两光斑的中心点之间的距离,从而根据编号和距离建立距离关系表。
如表一所示,是本申请实施例提供的一种距离关系表的示例。表一中每一行或每一列中各个单元eij(i=1、2、……、n;j=1、2、……n)表示光斑Mi的中心点与光斑Mj的中心点之间的距离。
表一:
M<sub>1</sub> M<sub>2</sub> M<sub>3</sub> M<sub>4</sub> M<sub>5</sub> …… M<sub>n</sub>
M<sub>1</sub> 0 e<sub>12</sub> e<sub>13</sub> e<sub>14</sub> e<sub>15</sub> …… e<sub>1n</sub>
M<sub>2</sub> e<sub>21</sub> 0 e<sub>23</sub> e<sub>24</sub> e<sub>25</sub> …… e<sub>2n</sub>
M<sub>3</sub> e<sub>31</sub> e<sub>32</sub> 0 e<sub>34</sub> e<sub>35</sub> …… e<sub>3n</sub>
M<sub>4</sub> e<sub>41</sub> e<sub>42</sub> e<sub>43</sub> 0 e<sub>45</sub> …… e<sub>4n</sub>
M<sub>5</sub> e<sub>51</sub> e<sub>52</sub> e<sub>53</sub> e<sub>54</sub> 0 …… e<sub>5n</sub>
…… …… …… …… …… …… …… ……
M<sub>n</sub> e<sub>n1</sub> e<sub>n2</sub> e<sub>n3</sub> e<sub>n4</sub> e<sub>n5</sub> …… 0
S105、删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表。
在本申请实施例中,在建立如表一所示的距离关系表后,为了减少后续计算的数据量,可以按照不同标靶模式上各个红外反射标志物之间的距离,判断距离关系表中各个单元的元素是否为可能的标志物之间的距离项。如任一单元的值不可能为标志物之间的距离,则可以删除该单元的值。
由前述介绍可知,一维数组XD是按照设计的标靶模式确定的,因此距离关系表中两两光斑中心点之间的距离应当符合XD中的某一元素的值,即距离关系表中某一单元的值与XD中的某一元素的值之间的差值为零。考虑到噪声的存在,该差值计算存在一定的差异,但应当小于某一预设阈值。上述预设阈值可以根据实验设置为2-3毫米。
因此,在具体实现中,可以针对距离关系表中的任一单元,计算该单元的值与目标数组XD中任一元素之间的差值。若该单元的值与目标数组XD中任一元素之间的差值均大于预设阈值,则可以将该单元识别为不属于任一红外标靶的目标单元,并将其值置为零,得到目标距离关系表。这样,目标距离关系表中将会有多个单元的值变为零。
S106、根据所述目标距离关系表对各个所述红外标靶进行识别。
在本申请实施例中,根据目标距离关系表对各个红外标靶进行识别即是根据目标距离关系表中各个单元的值进行排列组合,在n个(M1~Mn)光斑中寻找最为合理的光斑组合。该光斑组合中的光斑数量与红外标靶包括的标志物的数量相等。例如,对于包括4个红外反射标志物的红外标靶,即是从n个光斑中寻找最合理的四个光斑组合(a、b、c、d),该组合也就是标靶模式。
在本申请实施例中,可以基于目标距离关系表,确定待识别的光斑组合。具体地,可以首先查验目标距离关系表中各单元的值是否为零,若值为零则直接跳过该单元对应的光斑并选择下一个单元对应的光斑。然后,对选定的光斑进行配对组合。
示例性地,对于包括4个红外反射标志物的红外标靶,可以对目标距离关系表中的所有M1~Mn点进行排列组合(4个循环)试探,依次在M1~Mn点中选择4个点。这4个点之间可以形成6个距离如c1,c2,c3,c4,c5,c6,这样,可以根据光斑组合中两两光斑的中心点之间的距离确定计算矢量VC=[c1,c2,c3,c4,c5,c6]。
然后,可以根据标靶模式对应的矢量与上述的计算矢量,对各个红外标靶进行识别,以确定被选定的4个光斑是否属于某一标靶模式。
在本申请实施例中,根据标靶模式对应的矢量与上述的计算矢量,对各个红外标靶进行识别时,可以首先确定目标标靶模式,该目标标靶模式可以是手术过程中所要使用的多个红外标靶中的任意一个红外标靶的标靶模式。
然后,可以计算目标标靶模式对应的目标矢量与计算矢量之间的矢量差值。若上述矢量差值小于预设值且矢量差值为全部光斑组合对应的矢量差值的最小值,则可以将计算矢量对应的光斑组合的标靶模式识别为目标标靶模式。
具体地,对于计算矢量VC,可以将其与目标标靶模式对应的目标矢量V进行比较,若|VC-V|<δ(δ为预设值)且|VC-V|是所有组合配对中最小的,即认为找到的四个光斑属于同一标靶模式,也就是上述最小值对应的目标标靶模式。
由于进行排列组合配对计算是n个(M1~Mn)光斑坐标的四次方关系,程序的运行会花费不少时间,本申请实施例通过按照标靶模式的各个红外反射标志物的中心点距离去除距离关系表中不可能出现的距离项,可以极大地提高程序运行速度,从而加快计算的速度。
需要说明的是,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
为了便于理解,下面结合一个具体的示例,对本申请实施例提供的红外标靶识别方法作一介绍。
本示例以手术过程中使用包括4个红外反射标志物的红外标靶进行定位为例进行介绍。这样,在控制红外光源照射多个红外标靶后,每个红外标靶上的标志物可以在红外双目相机采集得到的图像中形成4个光斑。通过计算每个光斑的中心点之间的距离,可以得到如下表二所示的距离关系表。
表二:
M<sub>1</sub> M<sub>2</sub> M<sub>3</sub> M<sub>4</sub> M<sub>5</sub> …… M<sub>n</sub>
M<sub>1</sub> 0 83.1 50.1 120.2 64.3 …… 152.2
M<sub>2</sub> 83.1 0 55.5 101.5 76.6 …… 165.1
M<sub>3</sub> 50.1 55.5 0 88.6 89.1 …… 139.8
M<sub>4</sub> 120.2 101.5 88.6 0 95.1 …… 141.9
M<sub>5</sub> 64.3 76.6 89.1 95.1 0 …… 133.8
…… …… …… …… …… …… …… ……
M<sub>n</sub> 152.2 165.1 139.8 141.9 133.8 …… 0
基于各个红外标靶上的红外反射标志物之间的距离限制,在将不可能出现的单元的值置为零后,可以得到如表三所示的目标距离关系表。
表三:
Figure BDA0003690820820000091
Figure BDA0003690820820000101
相较于表二所示的距离关系表,表三所示的目标距离关系表中有更多个的单元的值为零。
在基于表三所示的目标距离关系表进行红外标靶识别时,可以首先确定待识别的光斑组合。具体地,可以首先判断M1~M4组成的光斑组合中是否任意两个光斑之间的距离均不为零。由表三可知,光斑M1和光斑M4之间的距离为零,不符合要求。跳过光斑M4,选择由光斑M1、M2、M3和M5组成的组合。该组合任意两个光斑之间的距离均不为零,符合要求。此时,由表三可知,该组合之间的计算矢量VC=[c1,c2,c3,c4,c5,c6]=[83.1,50.1,64.3,55.5,76.6,89.1]。
对于一个标靶模式V=[55.2,89.5,50.3,76.3,83.5,64.5],计算|VC-V|=60.1014;设定δ=2,显然|VC-V|>δ,不符合要求。
接下来继续依次进行循环配对,发现M3、M2、M5、M1组合的计算矢量为VC=[55.5,89.1,50.1,76.6,83.1,64.3];计算得到|VC-V|=0.7616,显然|VC-V|<δ,并且该|VC-V|是所有配对中最小的,这样标靶模式即可确定为:M3-M2-M5-M1
需要说明的是,M1-M2-M3-M5与M3-M2-M5-M1是不同的红外反射标志组合,其原因在于前者的各光斑中心距离分布VC=[c1,c2,c3,c4,c5,c6]与标靶模式V(中心点排列)不一致,导致误差δ较大;而后者的VC与标靶模式V相一致,尽管由于噪声,矢量VC与标靶模式V有小的差异,误差δ较小。
参照图6,示出了本申请实施例提供的一种面向医疗手术导航的红外标靶识别装置的示意图,具体可以包括红外标靶确定模块601、图像采集模块602、中心点坐标确定模块603、距离关系表建立模块604、目标距离关系表建立模块605和红外标靶识别模块606,其中:
红外标靶确定模块601,用于确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
图像采集模块602,用于控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
中心点坐标确定模块603,用于基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
距离关系表建立模块604,用于根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
目标距离关系表建立模块605,用于删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
红外标靶识别模块606,用于根据所述目标距离关系表对各个所述红外标靶进行识别。
在本申请实施例中,任一所述红外标靶包括多个标志物,多个所述标志物之间形成多个间距,所述装置还包括目标数组生成模块。所述目标数组生成模块可以用于:根据各个所述红外标靶对应的多个所述间距生成一维数组,并对所述一维数组中的各个元素进行排序;若排序后的所述一维数组中相邻元素的差值小于预设数值,则将小于所述预设数值的所述相邻元素删除,得到新的目标数组。
在本申请实施例中,所述目标距离关系表建立模块605具体可以用于:针对所述距离关系表中的任一单元,计算所述单元的值与所述目标数组中任一元素之间的差值;若所述单元的值与所述目标数组中任一元素之间的差值均大于预设阈值,则将所述单元识别为不属于任一所述红外标靶的目标单元,并将所述目标单元的值置为零,得到所述目标距离关系表。
在本申请实施例中,所述距离关系表建立模块604具体可以用于:分别为各个所述光斑分配编号;根据所述中心点坐标计算两两所述光斑的中心点之间的距离;根据所述编号和所述距离建立所述距离关系表。
在本申请实施例中,通过红外双目相机采集得到的所述图像的数量为两幅,所述中心点坐标为三维坐标,所述中心点坐标确定模块603具体可以用于:分别计算每幅所述图像上各个所述光斑的中心点的平面二维坐标;对两幅所述图像上的各个所述光斑进行两两配对;计算配对后的各个所述光斑的中心点在三维空间上对应的三维坐标。
在本申请实施例中,所述标靶模式以矢量形式表示,所述红外标靶识别模块606具体可以用于:基于所述目标距离关系表,确定待识别的光斑组合,所述光斑组合中的光斑数量与所述红外标靶包括的标志物的数量相等;根据所述光斑组合中两两光斑的中心点之间的距离确定计算矢量;根据所述标靶模式对应的所述矢量与所述计算矢量,对各个所述红外标靶进行识别。
在本申请实施例中,所述红外标靶识别模块606还可以用于:确定目标标靶模式;计算所述目标标靶模式对应的目标矢量与所述计算矢量之间的矢量差值;若所述矢量差值小于预设值且所述矢量差值为全部所述光斑组合对应的矢量差值的最小值,则将所述计算矢量对应的所述光斑组合的标靶模式识别为所述目标标靶模式。
本申请实施例还提供了一种面向医疗手术导航的红外标靶识别装置,应用该装置可以实现前述各个方法实施例中介绍的步骤。
对于各个装置实施例而言,由于其与方法实施例基本相似,所以描述得比较简单,相关之处参见前述各个方法实施例部分的说明即可。
参照图7,示出了本申请实施例提供的一种计算机设备的示意图。如图7所示,本申请实施例中的计算机设备700包括:处理器710、存储器720以及存储在所述存储器720中并可在所述处理器710上运行的计算机程序721。所述处理器710执行所述计算机程序721时实现上述面向医疗手术导航的红外标靶识别方法各个实施例中的步骤,例如图1所示的步骤S101至S106。或者,所述处理器710执行所述计算机程序721时实现上述各装置实施例中各模块/单元的功能,例如图6所示模块601至606的功能。
示例性的,所述计算机程序721可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器720中,并由所述处理器710执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段可以用于描述所述计算机程序721在所述计算机设备700中的执行过程。例如,所述计算机程序721可以被分割成红外标靶确定模块、图像采集模块、中心点坐标确定模块、距离关系表建立模块、目标距离关系表建立模块和红外标靶识别模块,各模块具体功能如下:
红外标靶确定模块,用于确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
图像采集模块,用于控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
中心点坐标确定模块,用于基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
距离关系表建立模块,用于根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
目标距离关系表建立模块,用于删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
红外标靶识别模块,用于根据所述目标距离关系表对各个所述红外标靶进行识别。
所述计算机设备700可以是桌上型计算机、云端服务器等计算设备。所述计算机设备700可包括,但不仅限于,处理器710、存储器720。本领域技术人员可以理解,图7仅仅是计算机设备700的一种示例,并不构成对计算机设备700的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机设备700还可以包括输入输出设备、网络接入设备、总线等。
所述处理器710可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器720可以是所述计算机设备700的内部存储单元,例如计算机设备700的硬盘或内存。所述存储器720也可以是所述计算机设备700的外部存储设备,例如所述计算机设备700上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等等。进一步地,所述存储器720还可以既包括所述计算机设备700的内部存储单元也包括外部存储设备。所述存储器720用于存储所述计算机程序721以及所述计算机设备700所需的其他程序和数据。所述存储器720还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还公开了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如前述各个实施例所述的面向医疗手术导航的红外标靶识别方法。
本申请实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如前述各个实施例所述的面向医疗手术导航的红外标靶识别方法。
本申请实施例还公开了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行前述各个实施例所述的面向医疗手术导航的红外标靶识别方法。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制。尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种面向医疗手术导航的红外标靶识别方法,其特征在于,包括:
确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
根据所述目标距离关系表对各个所述红外标靶进行识别。
2.根据权利要求1所述的方法,其特征在于,任一所述红外标靶包括多个所述标志物,多个所述标志物之间形成多个间距,在确定手术所要使用的多个红外标靶之后,还包括:
根据各个所述红外标靶对应的多个所述间距生成一维数组,并对所述一维数组中的各个元素进行排序;
若排序后的所述一维数组中相邻元素的差值小于预设数值,则将小于所述预设数值的所述相邻元素删除,得到新的目标数组。
3.根据权利要求2所述的方法,其特征在于,所述删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表,包括:
针对所述距离关系表中的任一单元,计算所述单元的值与所述目标数组中任一元素之间的差值;
若所述单元的值与所述目标数组中任一元素之间的差值均大于预设阈值,则将所述单元识别为不属于任一所述红外标靶的目标单元,并将所述目标单元的值置为零,得到所述目标距离关系表。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,包括:
分别为各个所述光斑分配编号;
根据所述中心点坐标计算两两所述光斑的中心点之间的距离;
根据所述编号和所述距离建立所述距离关系表。
5.根据权利要求4所述的方法,其特征在于,通过红外双目相机采集得到的所述图像的数量为两幅,所述中心点坐标为三维坐标,所述基于采集得到的所述图像,确定各个所述光斑的中心点坐标,包括:
分别计算每幅所述图像上各个所述光斑的中心点的平面二维坐标;
对两幅所述图像上的各个所述光斑进行两两配对;
计算配对后的各个所述光斑的中心点在三维空间上对应的三维坐标。
6.根据权利要求1-3或5任一项所述的方法,其特征在于,所述标靶模式以矢量形式表示,所述根据所述目标距离关系表对各个所述红外标靶进行识别,包括:
基于所述目标距离关系表,确定待识别的光斑组合,所述光斑组合中的光斑数量与所述红外标靶包括的标志物的数量相等;
根据所述光斑组合中两两光斑的中心点之间的距离确定计算矢量;
根据所述标靶模式对应的所述矢量与所述计算矢量,对各个所述红外标靶进行识别。
7.根据权利要求6所述的方法,其特征在于,所述根据所述标靶模式对应的所述矢量与所述计算矢量,对各个所述红外标靶进行识别,包括:
确定目标标靶模式;
计算所述目标标靶模式对应的目标矢量与所述计算矢量之间的矢量差值;
若所述矢量差值小于预设值且所述矢量差值为全部所述光斑组合对应的矢量差值的最小值,则将所述计算矢量对应的所述光斑组合的标靶模式识别为所述目标标靶模式。
8.一种面向医疗手术导航的红外标靶识别装置,其特征在于,包括:
红外标靶确定模块,用于确定手术所要使用的多个红外标靶,任一所述红外标靶具有相应的标靶模式;
图像采集模块,用于控制红外光源照射多个所述红外标靶,并通过红外双目相机对多个所述红外标靶上的标志物反射形成的多个光斑进行图像采集;
中心点坐标确定模块,用于基于采集得到的所述图像,确定各个所述光斑的中心点坐标;
距离关系表建立模块,用于根据所述中心点坐标建立各个所述光斑相互之间的距离关系表,所述距离关系表中任一单元的值表示对应的两个光斑的中心点之间的距离;
目标距离关系表建立模块,用于删除所述距离关系表中不属于任一所述红外标靶的目标单元的值,得到目标距离关系表;
红外标靶识别模块,用于根据所述目标距离关系表对各个所述红外标靶进行识别。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的面向医疗手术导航的红外标靶识别方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的面向医疗手术导航的红外标靶识别方法。
CN202210660905.6A 2022-06-13 2022-06-13 面向医疗手术导航的红外标靶识别方法和装置 Active CN115068109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210660905.6A CN115068109B (zh) 2022-06-13 2022-06-13 面向医疗手术导航的红外标靶识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210660905.6A CN115068109B (zh) 2022-06-13 2022-06-13 面向医疗手术导航的红外标靶识别方法和装置

Publications (2)

Publication Number Publication Date
CN115068109A true CN115068109A (zh) 2022-09-20
CN115068109B CN115068109B (zh) 2023-07-28

Family

ID=83251216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210660905.6A Active CN115068109B (zh) 2022-06-13 2022-06-13 面向医疗手术导航的红外标靶识别方法和装置

Country Status (1)

Country Link
CN (1) CN115068109B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116889470A (zh) * 2023-08-11 2023-10-17 骨圣元化机器人(深圳)有限公司 截骨控制系统、截骨控制方法和截骨设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499343A (zh) * 2013-09-25 2014-01-08 武汉海达数云技术有限公司 基于三维激光反射强度的道路标线点云自动分类识别方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航系统及方法
CN110222612A (zh) * 2019-05-27 2019-09-10 北京交通大学 用于无人机自主降落的动态标靶识别与跟踪方法
CN209972611U (zh) * 2019-05-08 2020-01-21 深圳诗航智能科技有限公司 可跟踪led靶标的自动跟随运输车
CN111281541A (zh) * 2020-03-09 2020-06-16 中国人民解放军总医院 检测手术中导航标志物移动的方法和装置
US20200246079A1 (en) * 2019-02-01 2020-08-06 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
CN112190332A (zh) * 2020-10-22 2021-01-08 苏州微创畅行机器人有限公司 手术操作工具的校验方法及校验系统
JP6951811B1 (ja) * 2021-03-31 2021-10-20 国立大学法人 岡山大学 穿刺ロボットシステム
US20220020165A1 (en) * 2018-10-30 2022-01-20 Honor Device Co., Ltd. Method for Obtaining Depth Information and Electronic Device
CN114549879A (zh) * 2022-04-25 2022-05-27 四川省公路规划勘察设计研究院有限公司 一种隧道车载扫描点云的标靶识别及中心点提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499343A (zh) * 2013-09-25 2014-01-08 武汉海达数云技术有限公司 基于三维激光反射强度的道路标线点云自动分类识别方法
CN107874832A (zh) * 2017-11-22 2018-04-06 合肥美亚光电技术股份有限公司 骨科手术器械导航系统及方法
US20220020165A1 (en) * 2018-10-30 2022-01-20 Honor Device Co., Ltd. Method for Obtaining Depth Information and Electronic Device
US20200246079A1 (en) * 2019-02-01 2020-08-06 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
CN209972611U (zh) * 2019-05-08 2020-01-21 深圳诗航智能科技有限公司 可跟踪led靶标的自动跟随运输车
CN110222612A (zh) * 2019-05-27 2019-09-10 北京交通大学 用于无人机自主降落的动态标靶识别与跟踪方法
CN111281541A (zh) * 2020-03-09 2020-06-16 中国人民解放军总医院 检测手术中导航标志物移动的方法和装置
CN112190332A (zh) * 2020-10-22 2021-01-08 苏州微创畅行机器人有限公司 手术操作工具的校验方法及校验系统
JP6951811B1 (ja) * 2021-03-31 2021-10-20 国立大学法人 岡山大学 穿刺ロボットシステム
CN114549879A (zh) * 2022-04-25 2022-05-27 四川省公路规划勘察设计研究院有限公司 一种隧道车载扫描点云的标靶识别及中心点提取方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116889470A (zh) * 2023-08-11 2023-10-17 骨圣元化机器人(深圳)有限公司 截骨控制系统、截骨控制方法和截骨设备

Also Published As

Publication number Publication date
CN115068109B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
US7561733B2 (en) Patient registration with video image assistance
EP3281600B1 (en) Marker for optical tracking, optical tracking system, and optical tracking method
Zou et al. Coslam: Collaborative visual slam in dynamic environments
US20180220883A1 (en) Image-based global registration system and method applicable to bronchoscopy guidance
US9622824B2 (en) Method for automatically identifying instruments during medical navigation
JP5950122B2 (ja) キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
CN107481276B (zh) 一种三维医学图像中标记点序列的自动识别方法
US20080107305A1 (en) Integrated mapping system
US9342887B2 (en) High accuracy image matching apparatus and high accuracy image matching method using a skin marker and a feature point in a body
US20230252643A1 (en) Locating tumors using structured light scanning
JP2002505412A (ja) 複数の物体の空間位置と方向とを検出するシステム
CN113223078B (zh) 标志点的匹配方法、装置、计算机设备和存储介质
Morgan et al. Hand-eye calibration for surgical cameras: a procrustean perspective-n-point solution
CN115068109A (zh) 面向医疗手术导航的红外标靶识别方法和装置
KR20220096157A (ko) 마커리스 기반의 3차원 영상 정합 방법 및 이를 이용한 3차원 객체 추적 방법 및 장치
EP2854685A1 (en) Improving the accuracy of navigating a medical device
JP2016507340A (ja) トラッキングシステム及びこれを用いたトラッキング方法
CN109410277B (zh) 一种虚拟标记点过滤方法及系统
Watanabe et al. A new 2D depth-depth matching algorithm whose translation and rotation freedoms are separated
CN111110348B (zh) 定位方法、定位装置、定位系统及计算机可读存储介质
CN111437034B (zh) 一种定位标尺及标志点定位方法
CN113591977A (zh) 点对匹配方法、装置、电子设备和存储介质
Liu et al. A novel marker tracking method based on extended Kalman filter for multi-camera optical tracking systems
CN114027974B (zh) 一种多病灶点的内窥镜路径规划方法、装置及终端
CN114549605B (zh) 基于点云匹配的图像优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant