CN116350352B - 手术机器人标志位识别定位方法、装置及设备 - Google Patents

手术机器人标志位识别定位方法、装置及设备 Download PDF

Info

Publication number
CN116350352B
CN116350352B CN202310189590.6A CN202310189590A CN116350352B CN 116350352 B CN116350352 B CN 116350352B CN 202310189590 A CN202310189590 A CN 202310189590A CN 116350352 B CN116350352 B CN 116350352B
Authority
CN
China
Prior art keywords
line
line segment
line segments
points
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310189590.6A
Other languages
English (en)
Other versions
CN116350352A (zh
Inventor
张宸
吴斌
穆思雨
赵国祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Natong Medical Robot Technology Co ltd
Original Assignee
Beijing Natong Medical Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Natong Medical Robot Technology Co ltd filed Critical Beijing Natong Medical Robot Technology Co ltd
Priority to CN202310189590.6A priority Critical patent/CN116350352B/zh
Publication of CN116350352A publication Critical patent/CN116350352A/zh
Application granted granted Critical
Publication of CN116350352B publication Critical patent/CN116350352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)

Abstract

本公开涉及手术机器人标志位识别定位方法、装置及设备，包括：获取透过预设的标定标尺拍摄的手术图像；基于手术图像进行特征点检测，得到目标点集合；将目标点集合中满足三点共线排列的特征点进行组合，得到第一直线集合；根据标定标尺获取线段模板；将第一直线集合中的线段与线段模板中具有长度比例的样本线段进行匹配，将第一直线集合中匹配误差在第一误差范围内的线段存入第二直线集合；根据线段中特征点的半径以及特征点与标志位之间的位置比对结果，从第二直线集合中筛选线段加入第三直线集合；基于第三直线集合提取与线段模板中多个标志位相对应的多个目标标志点。本公开能够提高标志位识别定位的准确性。

Description

手术机器人标志位识别定位方法、装置及设备
技术领域
本公开涉及手术机器人技术领域，尤其涉及一种手术机器人标志位识别定位方法、装置及设备。
背景技术
手术机器人需要利用医学影像进行手术定位，其原理主要是利用医学成像设备拍摄病人在手术中的医学影像，并根据医学影像上特定的标志位计算手术机器人与手术空间之间的映射关系，从而进行精准的手术路径规划，进而协助医生实现透视辐射少、手术精度高且手术效果优良的机器人辅助手术。其中，如何实现医学影像上特定标志位的自动有效识别是影响手术时间和效果的关键步骤。
发明内容
为了解决上述技术问题，本公开提供了一种手术机器人标志位识别定位方法、装置及设备。
根据本公开的一方面，提供了一种手术机器人标志位识别定位方法，包括：
获取透过预设的标定标尺拍摄的手术图像；
基于所述手术图像进行特征点检测，得到包括多个特征点的目标点集合；
将所述目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合；
根据所述标定标尺获取线段模板；其中，所述线段模板包括以指定分布方式排列的多个标志位以及多条由共线的所述标志位组成的样本线段，所述标志位之间具有预设的半径比例，所述样本线段之间具有预设的长度比例；
将所述第一直线集合中的所述线段与所述线段模板中具有所述长度比例的所述样本线段进行匹配，将所述第一直线集合中匹配误差在第一误差范围内的所述线段存入第二直线集合；
根据所述线段中所述特征点的半径以及所述特征点与所述标志位之间的位置比对结果，从所述第二直线集合中筛选线段加入第三直线集合；
基于所述第三直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点，所述目标标志点用于手术机器人定位。
根据本公开的另一方面，还提供了一种手术机器人标志位识别定位装置，包括：
图像获取模块，用于获取透过预设的标定标尺拍摄的手术图像；
点集合获取模块，用于基于所述手术图像进行特征点检测，得到包括多个特征点的目标点集合；
第一直线集合获取模块，用于将所述目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合；
模板获取模块，用于根据所述标定标尺获取线段模板；其中，所述线段模板包括以指定分布方式排列的多个标志位以及多条由共线的所述标志位组成的样本线段，所述标志位之间具有预设的半径比例，所述样本线段之间具有预设的长度比例；
第二直线集合获取模块，用于将所述第一直线集合中的所述线段与所述线段模板中具有所述长度比例的所述样本线段进行匹配，将所述第一直线集合中匹配误差在第一误差范围内的所述线段存入第二直线集合；
第三直线集合获取模块，用于根据所述线段中所述特征点的半径以及所述特征点与所述标志位之间的位置比对结果，从所述第二直线集合中筛选线段加入第三直线集合；
标志点提取模块，用于基于所述第三直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点，所述目标标志点用于手术机器人定位。
根据本公开的另一方面，还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供一种手术机器人标志位识别定位方法、装置及设备，该方法包括：获取透过预设的标定标尺拍摄的手术图像；基于手术图像进行特征点检测，得到包括多个特征点的目标点集合；将目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合；根据标定标尺获取线段模板；将第一直线集合中的线段与线段模板中具有长度比例的样本线段进行匹配，将第一直线集合中匹配误差在第一误差范围内的线段存入第二直线集合；根据线段中特征点的半径以及特征点与标志位之间的位置比对结果，从第二直线集合中筛选线段加入第三直线集合；基于第三直线集合提取与线段模板中多个标志位相对应的多个目标标志点，目标标志点用于手术机器人定位。在本公开中，线段模板中具有作为匹配标准的样本线段和标志位，在此情况下，一方面，利用样本线段之间的长度比例对线段进行匹配计算，因此不但能够兼容各种不同型号的成像设备，可以让成像设备与标定标尺的角度没有太大限制；而且，对不同成像质量的手术图像上的特征点均能够准确、有效识别；以及，利用样本线段之间的长度比例进行匹配计算，还可以避免现有技术中利用特征三角形计算中由于投射而产生的角度误差，从而能够提高定位识别的准确性。另一方面，利用标志位提取用于手术机器人定位的目标标志点，进一步提高定位识别的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例所述的一种手术机器人标志位识别定位方法流程图；
图2为本公开实施例所述标定标尺的示意图；
图3为本公开实施例所述线段模板的示意图；
图4为本公开实施例所述的另一种手术机器人标志位识别定位方法流程图；
图5为本公开实施例所述的手术机器人标志位识别定位过程示意图；
图6为本公开实施例所述的一种手术机器人标志位识别定位装置的结构框图；
图7为本公开实施例所述电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
手术机器人通常需要利用诸如二维X线透视图像等医学影像进行手术定位，在该过程中，如何实现医学影像上特定标志位的自动有效识别是影响手术时间和效果的关键步骤。在一些方法中，标志位自动识别方法是先通过计算标志位之间的距离和垂直度，来识别符合既定设置的标志位；再对有限阈值限制范围内能够搜索到的标志位进行识别并排序和编号。但是，该方法存在如下两种缺陷：一是该方法容易受到图像灰度分布、导针和骨头等背景因素的干扰，从而使得无法检测到有效的候选点或者检测到过多的候选点而无法正确识别出有效标志位；二是该方法应用于不同型号医学成像设备(如C型臂)输出医学影像时，会因为受到医学影像大小等的限制，而需要设置不同的识别阈值，所以该方法不能兼容不同型号的成像设备。针对上述问题，本公开实施例提供一种手术机器人标志位识别定位方法、装置及设备。为便于理解，以下对本公开实施例展开描述。
图1为本公开实施例提供的一种手术机器人标志位识别定位方法的流程图，该方法可以由手术机器人标志位识别定位装置执行，该装置可以采用软件和/或硬件实现。如图1所示，本实施例提供的手术机器人标志位识别定位方法可以包括如下步骤。
步骤S101，获取透过预设的标定标尺拍摄的手术图像。
本实施例可以利用C型臂等医学成像设备，透过预设的标定标尺拍摄病人在手术中的X线透视图像，得到手术图像。标定标尺可以包括以指定分布方式排列的多个标志位，如图2所示，展示了一种正视角度下的标定标尺的示例。该标定标尺中的标志位可以为具有预设半径的圆形点，按照排列位置，多个标志位的半径可以相同或者不同；以三点共线排列的一组标志位可以组成一条样本线段，在标定标尺中，可以存在多条上述由三点共线的标志位组成的样本线段。
步骤S102，基于手术图像进行特征点检测，得到包括多个特征点的目标点集合。
在一种实现方式中，可以对手术图像进行特征点检测，得到包括多个特征点的第一点集合；由此得到的第一点集合能够更全面、完整地覆盖手术图像中的特征点，避免遗漏特征点。以及，对手术图像进行预处理，并对预处理后的手术图像进行特征点检测，得到包括多个特征点的第二点集合；上述预处理诸如对手术图像进行灰度迭代拉伸、高斯滤波等处理。基于预处理后的手术图像得到的第二点集合，能够增加特征点的准确性和清晰度，有利于提高后续处理的准确性。而后，将第一点集合和第二点集合进行合并，得到目标点集合。本实施例在对手术图像或预处理后的手术图像进行特征点检测时，具体可以根据blob算法、findContours算法和Houghcircles算法等图像处理技术对以上图像进行特征点检测。
步骤S103，将目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合。
本实施例根据三点共线原理，让目标点集合中每三个特征点进行组合，再利用向量积判断组合的三个特征点是否共线，以得到第一直线集合。在具体实现时，可以计算组合结果中三个特征点组成的候选线段的向量积；向量积越小，表示候选线段越接近直线，于是，可以在候选线段的向量积为小于预设值的情况下，将候选线段加入第一直线集合。上述预设值例如可以设置为零，也即将向量积为零的候选线段加入到第一直线集合。
步骤S104，根据标定标尺获取线段模板；其中，线段模板包括以指定分布方式排列的多个标志位以及多条由共线的标志位组成的样本线段，标志位之间具有预设的半径比例，样本线段之间具有预设的长度比例。
可以理解，根据标定标尺获取的线段模板，能够准确表现标定标尺的标定特征，标定特征可以包括：标志位的个数、排列分布方式、标志位之间的半径比例、相对位置关系、位置坐标、由共线的标志位组成的样本线段、样本线段之间的长度比例等。
如图3的示例，是根据图2中的标定标尺获取的线段模板；为便于理解，可以为各个标志位确定唯一编码，如数字1、2、3……。在一种具体方式中，线段模板中的样本线段包括第一线段、第二线段、第三线段和第四线段，第一线段、第二线段、第三线段和第四线段之间的长度比例为1：2：3：4，各样本线段包括三个标志位。如图3中，由编号为1、2、3的三个共线标志位组成第一线段，由编号为4、5、6的三个共线标志位组成第二线段，由编号为7、8、9的三个共线标志位组成第三线段，由编号为7、11、10的三个共线标志位组成第四线段。同时，为了便于识别各条样本线段，可以将样本线段的中间标志位的半径设置为其他标志位的半径的二倍。
步骤S105，将第一直线集合中的线段与线段模板中具有长度比例的样本线段进行匹配，将第一直线集合中匹配误差在第一误差范围内的线段存入第二直线集合。
具体的，将第一直线集合中的任一线段与线段模板中的每条样本线段进行匹配，该匹配包括：当前样本线段相对其他样本线段的长度比例、摆放位置和角度等匹配计算，通过匹配计算得到该任一线段分别与多条样本线段对应的多个匹配误差，利用该方式得到第一直线集合中的每条线段对应的匹配误差。进而，将第一直线集合中匹配误差在第一误差范围内的线段存入第二直线集合。第一误差范围如小于或等于0.15，当匹配误差在0.15以内时，可以认为该线段能够与某一条样本线段相匹配，这样，该线段有较高可能包含准确的特征点，从而将其存入第二直线集合以待进一步处理。
步骤S106，根据线段中特征点的半径以及特征点与标志位之间的位置比对结果，从第二直线集合中筛选线段加入第三直线集合。
本实施例的实现过程可以包括：对第二直线集合中的每条线段，判断在当前线段中半径最大的特征点是否仅为一个；在仅为一个的情况下，将半径最大的特征点的相对位置与线段模板中各标志位的相对位置进行比对，并判断是否存在比对一致的标志位；在存在比对一致的标志位的情况下，将当前线段加入第三直线集合。
根据以上步骤S105和步骤S106，先利用线段之间的匹配误差筛选第二直线集合，再利用线段中特征点之间的半径和位置比对结果的匹配度，能够进一步筛选更准确、有效的线段加入第三直线集合。在上述匹配筛选过程中，利用样本线段之间的长度比例进行匹配计算，因此不但能够兼容各种不同型号的成像设备，可以让成像设备与标定标尺的角度没有太大限制；而且，对不同成像质量的手术图像(也即X线透视图像)上的特征点均能够准确、有效识别；以及，利用样本线段之间的长度比例进行匹配计算，还可以避免现有技术中利用特征三角形计算中由于投射而产生的角度误差，从而能够提高定位识别的准确性。
步骤S107，基于第三直线集合提取与线段模板中多个标志位相对应的多个目标标志点，目标标志点用于手术机器人定位。
本实施例可以直接从第三直线集合中提取与线段模板中多个标志位一一对应的多个目标标志点；或者，为了更高的准确性，也可以再对第三直线集合做进一步的筛选，并利用比第三直线集合更准确的直线集合进行目标标志点的提取。
基于此，本实施例基于第三直线集合提取与线段模板中多个标志位相对应的多个目标标志点的一种实现方式可参照如下内容。
判断在第三直线集合中是否存在多条长度比例相同的线段；可以理解，第三直线集合中线段之间的长度比例，应该与线段模板中样本线段之间的长度比例相同，即也满足长度比例为1：2：3：4的关系。然而，可能由于误差，导致第三直线集合中有多条线段均对应于同一样本线段，那么，上述多条长度比例相同的线段都与其他线段之间的长度比例相同。在此情况下，需要从上述多条线段中筛选一条最准确，也即与样本线段匹配度最高的线段。从而，在第三直线集合中存在多条长度比例相同的线段的情况下，从多条长度比例相同的线段中选择向量积最小的线段；具体的，针对长度比例相同的线段，分别计算该线段与对应的样本线段之间的向量积，向量积越小，表示该线段与样本线段越匹配；基于此，将向量积最小的线段加入第四直线集合。
利用向量积在第三直线集合的基础上筛选出的第四直线集合，去除了不准确的干扰线段，保留了与样本线段匹配度最高的一条线段，不但从准确性上有了提升，而且还减少了后续处理线段的数量。
接下来，从第四直线集合中提取与线段模板中多个标志位相对应的多个候选特征点；判断候选特征点与标志位是否一一对应；候选特征点与标志位一一对应，是指个数相同且排列分布方式相同。如果一一对应，表示候选特征点个数完整且位置匹配，在此情况下，将多个候选特征点确定为手术图像中用于手术机器人定位的目标标志点，并输出目标标志点。
当然，如果候选特征点与标志位不一一对应，表示候选特征点的个数有缺失，和/或候选特征点的位置存在偏移，针对该情况，在此提供另一种实施例，参照图4和图5所示。
在本实施例中，手术机器人标志位识别定位方法可以包括如下内容。
步骤S201，获取透过预设的标定标尺拍摄的手术图像。
步骤S202，基于手术图像进行特征点检测，得到包括多个特征点的目标点集合。
步骤S203，将目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合。
步骤S204，根据标定标尺获取线段模板。
接下来，可以参照图5，按照不同的误差范围将第一直线集合中的线段加入不同的集合，如以下步骤所示。
步骤S205，将第一直线集合中的线段与线段模板中具有长度比例的样本线段进行匹配，得到匹配误差；本实施例可以根据匹配误差和预设的不同的误差范围，将第一直线集合中的线段分别存入不同的直线集合。
步骤S206，将第一直线集合中匹配误差在第一误差范围内的线段存入第二直线集合。例如，第一误差范围为小于0.15，将匹配误差在(0.00-0.15)的线段存入第二直线集合，可将第二直线集合表示为A。
步骤S207，根据线段中特征点的半径以及特征点与标志位之间的位置比对结果，从第二直线集合中筛选线段加入第三直线集合。第三直线集合可表示为A+。
步骤S208，从第三直线集合中筛选有效线段并加入第四直线集合。具体的，判断在第三直线集合中是否存在多条长度比例相同的线段；在存在的情况下，从多条长度比例相同的线段中选择向量积最小的线段；将向量积最小的线段加入第四直线集合。第四直线集合可表示为A++。
步骤S209，将第一直线集合中匹配误差在第二误差范围内的线段存入第五直线集合；第二误差范围大于第一误差范围。第二误差范围为(0.15-0.3)，将匹配误差在(0.15-0.3)的线段存入第五直线集合，可将第五直线集合表示为B。
步骤S210，根据线段中特征点的半径以及特征点与标志位之间的位置比对结果，对第五直线集合进行线段筛选，将筛选出的线段加入对应的第六直线集合。第六直线集合可表示为B+。
步骤S211，从第六直线集合中筛选有效线段并加入第七直线集合。第七直线集合可表示为B++。本步骤的实现方式可参照前述实施例中的步骤S207，在此不再具体说明。
步骤S212，从第四直线集合中提取与线段模板中多个标志位相对应的多个候选特征点，以及判断候选特征点与标志位是否一一对应；如果一一对应，则执行如下步骤S213；如果不一一对应，则执行如下步骤S214。
步骤S213，将多个候选特征点确定为手术图像中用于手术机器人定位的目标标志点；而后可以输出目标标志点。
步骤S214，基于第七直线集合提取与线段模板中多个标志位相对应的多个目标标志点。
本实施例在基于第三直线集合提取到的目标标志点有缺失的情况下，基于第七直线集合提取与线段模板中多个标志位相对应的多个目标标志点。具体是指，从基于第三直线集合筛选后的第四直线集合中提取与线段模板中多个标志位相对应的多个候选特征点；在候选特征点与标志位不是一一对应的情况下，可以认为目标标志点有缺失，从而，基于第七直线集合提取与线段模板中多个标志位相对应的多个目标标志点。
本实施例基于第七直线集合提取与线段模板中多个标志位相对应的多个目标标志点的实现方式，可参照前述从第三直线集合提取目标标志点的实现方式，在此不再展开详细描述。
对于从第四直线集合A++中提取出的目标标志点和从第七直线集合B++中提取出的目标标志点，可以将以上两部分目标标志点进行合并和去重，从而得到用于手术机器人定位的最终的目标标志点，而后可以输出目标标志点；通过本实施例得到的目标标志点能够更加全面、准确，避免遗漏。
另外可以理解的是，本实施例所提供的手术机器人标志位识别定位方法，其中部分步骤的实现原理及产生的技术效果和前述方法实施例相同，为简要描述，相关步骤未提及之处，可参考前述方法实施例中相应内容。
综上，本公开实施例提供的手术机器人标志位识别定位方法，先基于手术图像得到目标点集合，再基于三点共线原理从目标点集合中组合得到包括多个线段的第一直线集合；接下来，利用线段模板中具有长度比例的所述样本线段，以第一直线集合为基础，对集合中的线段进行多次匹配计算，从而不断筛选更准确的线段；在至少筛选得到第三直线集合后，基于第三直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点，所述目标标志点用于手术机器人定位。
在上述技术方案中，线段模板中具有作为匹配标准的样本线段和标志位，在此情况下，一方面，利用样本线段之间的长度比例对线段进行匹配计算，因此不但能够兼容各种不同型号的成像设备，可以让成像设备与标定标尺的角度没有太大限制；而且，对不同成像质量的手术图像(也即X线透视图像)上的特征点均能够准确、有效识别；以及，利用样本线段之间的长度比例进行匹配计算，还可以避免现有技术利用特征三角形计算中由于投射而产生的角度误差，从而能够提高定位识别的准确性。另一方面，利用标志位提取用于手术机器人定位的目标标志点，进一步提高定位识别的准确性。
图6为本公开实施例提供的一种手术机器人标志位识别定位装置的结构框图，该装置可以用于实现上述手术机器人标志位识别定位方法，该装置可以采用软件和/或硬件实现。如图6所示，本实施例提供的手术机器人标志位识别定位装置可以包括：
图像获取模块301，用于获取透过预设的标定标尺拍摄的手术图像；
点集合获取模块302，用于基于所述手术图像进行特征点检测，得到包括多个特征点的目标点集合；
第一直线集合获取模块303，用于将所述目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合；
模板获取模块304，用于根据所述标定标尺获取线段模板；其中，所述线段模板包括以指定分布方式排列的多个标志位以及多条由共线的所述标志位组成的样本线段，所述标志位之间具有预设的半径比例，所述样本线段之间具有预设的长度比例；
第二直线集合获取模块305，用于将所述第一直线集合中的所述线段与所述线段模板中的所述样本线段进行匹配，将所述第一直线集合中匹配误差在第一误差范围内的所述线段存入第二直线集合；
第三直线集合获取模块306，用于根据所述线段中所述特征点的半径以及所述特征点与所述标志位之间的位置比对结果，从所述第二直线集合中筛选线段加入第三直线集合；
标志点提取模块307，用于基于所述第三直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点，所述目标标志点用于手术机器人定位。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
图7为本公开实施例提供的一种电子设备的结构示意图。如图7所示，电子设备400包括一个或多个处理器401和存储器402。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的手术机器人标志位识别定位方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置403还可以包括例如键盘、鼠标等等。
该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。
进一步，本实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述手术机器人标志位识别定位方法。
本公开实施例所提供的一种手术机器人标志位识别定位方法、装置、电子设备及介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种手术机器人标志位识别定位方法，其特征在于，包括：
获取透过预设的标定标尺拍摄的手术图像；
基于所述手术图像进行特征点检测，得到包括多个特征点的目标点集合；
将所述目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合；该步骤包括：计算组合结果中三个特征点组成的候选线段的向量积；在所述候选线段的向量积为小于预设值的情况下，将所述候选线段加入第一直线集合；
根据所述标定标尺获取线段模板；其中，所述线段模板包括以指定分布方式排列的多个标志位以及多条由共线的所述标志位组成的样本线段，所述标志位之间具有预设的半径比例，所述样本线段之间具有预设的长度比例；
将所述第一直线集合中的所述线段与所述线段模板中具有所述长度比例的所述样本线段进行匹配，将所述第一直线集合中匹配误差在第一误差范围内的所述线段存入第二直线集合；
根据所述线段中所述特征点的半径以及所述特征点与所述标志位之间的位置比对结果，从所述第二直线集合中筛选线段加入第三直线集合；该步骤包括：对所述第二直线集合中的每条线段，判断在当前线段中半径最大的特征点是否仅为一个；在仅为一个的情况下，将所述半径最大的特征点的相对位置与所述线段模板中各所述标志位的相对位置进行比对，并判断是否存在比对一致的标志位；在存在比对一致的标志位的情况下，将所述当前线段加入第三直线集合；
基于所述第三直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点，所述目标标志点用于手术机器人定位；该步骤包括：从所述第三直线集合中或者从对所述第三直线集合做筛选后的直线集合中，提取与所述线段模板中多个所述标志位一一对应的多个目标标志点。
2.根据权利要求1所述的方法，其特征在于，所述从对所述第三直线集合做筛选后的直线集合中，提取与所述线段模板中多个所述标志位一一对应的多个目标标志点，包括：
判断在所述第三直线集合中是否存在多条长度比例相同的线段；
在存在的情况下，从所述多条长度比例相同的线段中选择向量积最小的线段；
将所述向量积最小的线段加入第四直线集合；
从所述第四直线集合中提取与所述线段模板中多个所述标志位相对应的多个候选特征点；
判断所述候选特征点与所述标志位是否一一对应；
如果是，则将多个所述候选特征点确定为所述手术图像中用于手术机器人定位的目标标志点，并输出所述目标标志点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第一直线集合中匹配误差在第二误差范围内的所述线段存入第五直线集合；所述第二误差范围大于所述第一误差范围；
根据所述线段中所述特征点的半径以及所述特征点与所述标志位之间的位置比对结果，对所述第五直线集合进行线段筛选，将筛选出的线段加入对应的第六直线集合；
从所述第六直线集合中筛选有效线段并加入第七直线集合。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在基于所述第三直线集合提取到的目标标志点有缺失的情况下，基于所述第七直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点。
5.根据权利要求1所述的方法，其特征在于，所述基于所述手术图像进行特征点检测，得到包括多个特征点的目标点集合，包括：
对所述手术图像进行特征点检测，得到包括多个特征点的第一点集合；
对所述手术图像进行预处理，并对预处理后的手术图像进行特征点检测，得到包括多个特征点的第二点集合；
将所述第一点集合和所述第二点集合进行合并，得到目标点集合。
6.根据权利要求1所述的方法，其特征在于，所述线段模板中的样本线段包括第一线段、第二线段、第三线段和第四线段，所述第一线段、第二线段、第三线段和第四线段之间的长度比例为1：2：3：4，各所述样本线段包括三个所述标志位。
7.一种手术机器人标志位识别定位装置，其特征在于，包括：
图像获取模块，用于获取透过预设的标定标尺拍摄的手术图像；
点集合获取模块，用于基于所述手术图像进行特征点检测，得到包括多个特征点的目标点集合；
第一直线集合获取模块，用于将所述目标点集合中满足三点共线排列的特征点进行组合，基于组合结果得到包括多个线段的第一直线集合；该第一直线集合获取模块包括：计算组合结果中三个特征点组成的候选线段的向量积；在所述候选线段的向量积为小于预设值的情况下，将所述候选线段加入第一直线集合；
模板获取模块，用于根据所述标定标尺获取线段模板；其中，所述线段模板包括以指定分布方式排列的多个标志位以及多条由共线的所述标志位组成的样本线段，所述标志位之间具有预设的半径比例，所述样本线段之间具有预设的长度比例；
第二直线集合获取模块，用于将所述第一直线集合中的所述线段与所述线段模板中具有所述长度比例的所述样本线段进行匹配，将所述第一直线集合中匹配误差在第一误差范围内的所述线段存入第二直线集合；
第三直线集合获取模块，用于根据所述线段中所述特征点的半径以及所述特征点与所述标志位之间的位置比对结果，从所述第二直线集合中筛选线段加入第三直线集合；该第三直线集合获取模块包括：对所述第二直线集合中的每条线段，判断在当前线段中半径最大的特征点是否仅为一个；在仅为一个的情况下，将所述半径最大的特征点的相对位置与所述线段模板中各所述标志位的相对位置进行比对，并判断是否存在比对一致的标志位；在存在比对一致的标志位的情况下，将所述当前线段加入第三直线集合；
标志点提取模块，用于基于所述第三直线集合提取与所述线段模板中多个所述标志位相对应的多个目标标志点，所述目标标志点用于手术机器人定位；该标志点提取模块包括：从所述第三直线集合中或者从对所述第三直线集合做筛选后的直线集合中，提取与所述线段模板中多个所述标志位一一对应的多个目标标志点。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6中任一所述的方法。
CN202310189590.6A 2023-02-23 2023-02-23 手术机器人标志位识别定位方法、装置及设备 Active CN116350352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310189590.6A CN116350352B (zh) 2023-02-23 2023-02-23 手术机器人标志位识别定位方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310189590.6A CN116350352B (zh) 2023-02-23 2023-02-23 手术机器人标志位识别定位方法、装置及设备

Publications (2)

Publication Number Publication Date
CN116350352A CN116350352A (zh) 2023-06-30
CN116350352B true CN116350352B (zh) 2023-10-20

Family

ID=86912827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310189590.6A Active CN116350352B (zh) 2023-02-23 2023-02-23 手术机器人标志位识别定位方法、装置及设备

Country Status (1)

Country Link
CN (1) CN116350352B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102754128A (zh) * 2009-11-25 2012-10-24 登塔尔图像科技公司 X射线图像中的标志识别和处理
CN104123540A (zh) * 2014-07-15 2014-10-29 北京天智航医疗科技股份有限公司 手术机器人定位标志点自动识别方法
CN105232161A (zh) * 2015-10-16 2016-01-13 北京天智航医疗科技股份有限公司 一种手术机器人标志点识别定位方法
CN109363770A (zh) * 2018-12-06 2019-02-22 安徽埃克索医疗机器人有限公司 一种手术导航机器人标志点自动识别定位方法
CN110796701A (zh) * 2019-10-21 2020-02-14 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
CN111437034A (zh) * 2020-04-21 2020-07-24 北京罗森博特科技有限公司 一种定位标尺及标志点定位方法
WO2022156425A1 (zh) * 2021-01-21 2022-07-28 中国科学院深圳先进技术研究院 一种微创手术器械定位方法和系统
CN115631342A (zh) * 2022-08-15 2023-01-20 苏州微创畅行机器人有限公司 医学影像特征点识别方法、识别系统及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395126B2 (en) * 2015-08-11 2019-08-27 Honda Motor Co., Ltd. Sign based localization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102754128A (zh) * 2009-11-25 2012-10-24 登塔尔图像科技公司 X射线图像中的标志识别和处理
CN104123540A (zh) * 2014-07-15 2014-10-29 北京天智航医疗科技股份有限公司 手术机器人定位标志点自动识别方法
CN105232161A (zh) * 2015-10-16 2016-01-13 北京天智航医疗科技股份有限公司 一种手术机器人标志点识别定位方法
CN109363770A (zh) * 2018-12-06 2019-02-22 安徽埃克索医疗机器人有限公司 一种手术导航机器人标志点自动识别定位方法
CN110796701A (zh) * 2019-10-21 2020-02-14 深圳市瑞立视多媒体科技有限公司 标记点的识别方法、装置、设备及存储介质
CN111437034A (zh) * 2020-04-21 2020-07-24 北京罗森博特科技有限公司 一种定位标尺及标志点定位方法
WO2022156425A1 (zh) * 2021-01-21 2022-07-28 中国科学院深圳先进技术研究院 一种微创手术器械定位方法和系统
CN115631342A (zh) * 2022-08-15 2023-01-20 苏州微创畅行机器人有限公司 医学影像特征点识别方法、识别系统及可读存储介质

Also Published As

Publication number Publication date
CN116350352A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US11657518B2 (en) Method for deformable 3D-2D registration using multiple locally rigid registrations
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
JP5334692B2 (ja) 制約されたマージナル空間学習を使用して３ｄ解剖学的オブジェクトを検出するための方法およびシステム
JP4682091B2 (ja) 心臓境界、胸郭境界及び横隔膜境界を検出する方法、装置及び記憶媒体
US8285013B2 (en) Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns
EP2472473B1 (en) Image analysis device
CN111080573B (zh) 肋骨图像检测方法、计算机设备和存储介质
Zamora et al. Hierarchical segmentation of vertebrae from x-ray images
US9940545B2 (en) Method and apparatus for detecting anatomical elements
US20190333221A1 (en) Image processing apparatus, image processing method, and storage medium
US11847730B2 (en) Orientation detection in fluoroscopic images
CN112102294A (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
US20190392552A1 (en) Spine image registration method
US8073229B2 (en) Image analysis of tube tip positioning
CN114092480A (zh) 一种内窥镜调整装置、手术机器人及可读存储介质
CN115861656A (zh) 用于自动处理医学图像以输出警报的方法、设备和系统
Chen et al. Endotracheal tubes positioning detection in adult portable chest radiography for intensive care unit
CN113284160B (zh) 一种手术导航标记珠体识别的方法、装置和设备
CN116350352B (zh) 手术机器人标志位识别定位方法、装置及设备
WO2002047553A1 (fr) Procede servant a detecter les limites de la cage thoracique dans une image numerique
CN110880169A (zh) 病灶区域标注方法、装置、计算机系统及可读存储介质
CN113344873A (zh) 一种血管分割方法、装置及计算机可读介质
US20080112605A1 (en) Methods and Apparatus for Automatic Body Part Identification and Localization
CN116350351A (zh) 手术机器人标志位识别定位方法、装置及设备
CN115170795B (zh) 一种图像小目标分割方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant