CN114159166B - 一种机器人辅助的套管针自动对接方法和装置 - Google Patents
一种机器人辅助的套管针自动对接方法和装置 Download PDFInfo
- Publication number
- CN114159166B CN114159166B CN202111577523.9A CN202111577523A CN114159166B CN 114159166 B CN114159166 B CN 114159166B CN 202111577523 A CN202111577523 A CN 202111577523A CN 114159166 B CN114159166 B CN 114159166B
- Authority
- CN
- China
- Prior art keywords
- trocar
- rotation matrix
- position information
- orientation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003032 molecular docking Methods 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 17
- 210000001503 joint Anatomy 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000001727 in vivo Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Manipulator (AREA)
- Surgical Instruments (AREA)
Abstract
本发明提供了一种机器人辅助的套管针自动对接方法和装置，所述方法包括：获取套管针的数据集，通过预设的U－Net网络进行训练，获得第一模型；通过第一模型，检测待测图像中套管针的位置，输出套管针的满足预设条件的位置信息；根据套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得套管针的旋转矩阵；根据套管针的旋转矩阵，获得套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与套管针进行对接。本发明相对于现有技术，通过U－Net网络检测套管针的位置，并获取套管针的取向，能够精确控制机器人末端的器械与套管针进行对接，实现自动判断套管针位姿，能够适应可视性较差的体内手术项目。
Description
技术领域
本发明涉及机器人控制领域，尤其涉及一种机器人辅助的套管针自动对接方法和装置。
背景技术
自动导航是机器人辅助手术中至关重要的一部分。目前常见的自动导航技术主要以磁共振、CT等医学影像数据为基础，通过图像处理技术，生成可视化三维模型，以此为机器人的运动提供预定的路线。但是这类离线建模方法适应性较差，对不同的样本需要重复建模，且需要术前完成建模工作，因此这类方法只适用于可视性较差的手术项目，同时需要完整的影像数据，因此对影像数据的要求较高。
发明内容
本发明提供了一种机器人辅助的套管针自动对接方法和装置，以解决如何自动判断套管针位姿的技术问题。
为了解决上述技术问题，本发明实施例提供了一种机器人辅助的套管针自动对接方法，包括：
获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；
通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息；
根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵；
根据所述套管针的旋转矩阵，获得所述套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。
作为优选方案，所述输出所述套管针的满足预设条件的位置信息，具体为：
输出所述套管针满足以下条件的位置信息：
；
其中，(x,y)为套管针的像素位置，pred(x,y)为像素位置(x,y)被分类为套管针的置信度，max(pred)为所述U-Net网络的输出图像的整体最大值。
作为优选方案，在所述对套管针的旋转角度进行参数化之前，还包括：对所述套管针的满足预设条件的位置信息进一步处理，具体地：
计算每七个连续图像帧中所述位置信息的中值，并分别计算中值和所述七个连续图像帧中各所述位置信息之间的欧几里得距离，对欧几里得距离小于等于四分之一标准差的位置信息进行平均，以获得所述套管针的最终位置信息。
作为优选方案，所述获得所述套管针的旋转矩阵，具体为：
获取所述套管针在z方向上的旋转矩阵Rz和所述套管针在y方向上的旋转矩阵Ry，计算所述套管针的六维旋转矩阵R：
；
其中，R1、R2、R3分别为所述六维旋转矩阵R的列。
作为优选方案，所述根据所述套管针的旋转矩阵，获得所述套管针的取向，具体为：
获取所述数据集中所述套管针的真值，根据所述套管针的旋转矩阵/>，计算所述套管针的取向：
；
其中，所述套管针的取向以所述套管针的旋转矩阵和所述套管针的真值之间的夹角Δθ进行表示。
相应的，本发明还提供了一种机器人辅助的套管针自动对接装置，包括训练模块、检测模块、旋转矩阵模块和对接模块；其中，
所述训练模块用于获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；
所述检测模块用于通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息；
所述旋转矩阵模块用于根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵；
所述对接模块用于根据所述套管针的旋转矩阵，获得所述套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。
作为优选方案，所述检测模块输出所述套管针的满足预设条件的位置信息，具体为：
所述检测模块输出所述套管针满足以下条件的位置信息：
；
其中，(x,y)为套管针的像素位置，pred(x,y)为像素位置(x,y)被分类为套管针的置信度，max(pred)为所述U-Net网络的输出图像的整体最大值。
作为优选方案，所述套管针自动对接装置还包括筛选模块，所述筛选模块用于在所述旋转矩阵模块对套管针的旋转角度进行参数化之前，对所述套管针的满足预设条件的位置信息进一步处理，具体地：
所述筛选模块计算每七个连续图像帧中所述位置信息的中值，并分别计算中值和所述七个连续图像帧中各所述位置信息之间的欧几里得距离，对欧几里得距离小于等于四分之一标准差的位置信息进行平均，以获得所述套管针的最终位置信息。
作为优选方案，所述旋转矩阵模块获得所述套管针的旋转矩阵，具体为：
所述旋转矩阵模块获取所述套管针在z方向上的旋转矩阵Rz和所述套管针在y方向上的旋转矩阵Ry，计算所述套管针的六维旋转矩阵R：
；
其中，R1、R2、R3分别为所述六维旋转矩阵R的列。
作为优选方案，所述对接模块根据所述套管针的旋转矩阵，获得所述套管针的取向，具体为：
所述对接模块获取所述数据集中所述套管针的真值，根据所述套管针的旋转矩阵/>，计算所述套管针的取向：
；
其中，所述套管针的取向以所述套管针的旋转矩阵和所述套管针的真值之间的夹角Δθ进行表示。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种机器人辅助的套管针自动对接方法和装置，所述方法包括：获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息；根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵；根据所述套管针的旋转矩阵，获得所述套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。本发明相对于现有技术，通过U-Net网络检测套管针的位置，并获取套管针的取向，能够精确控制机器人末端的器械与套管针进行对接，实现自动判断套管针位姿，能够适应可视性较差的体内手术项目。
附图说明
图1：为本发明提供的机器人辅助的套管针自动对接方法的一种实施例的流程示意图。
图2:为本发明提供的机器人辅助的套管针自动对接装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一:
请参照图1，图1为本发明实施例提供的一种机器人辅助的套管针自动对接方法，包括步骤S1至S4；其中，本实施例采用五自由度串并联式眼科手术机器人，以及多功能焊接放大镜摄像机。所述串并联式眼科手术机器人由用于两轴平移和旋转的第一关节、第二关节及用于末端执行器Z轴运动的滑轨关节构成，第一关节上设置有第一线性马达和第二线性马达，第二关节上设置有第三线性马达和第四线性马达，所述末端滑轨关节上设置有第五线性马达。所述多功能焊接放大镜摄像机由一个3D打印支架以预设的方向刚性安装到机器人末端的注射器上。
步骤S1，获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型。
在本实施例中，通过安装在机器人上的多功能焊接放大镜摄像机捕捉图像帧，获取套管针的RGB图像，生成套管针的数据集，数据集包括不少于2000张图像，图像包含套管针在图像坐标中的地面真实信息以及套管针在虚拟场景中相对于相机的三维姿态。选取以Resnet34作为核心特征提取器的U-Net网络，加以训练，形成最优模型。所述U-Net网络首先在套管针的数据集进行预训练，然后在进行套管针标记后的数据集上进行微调，获得第一模型。其中，所述U-Net网络的最后一个网络层使用sigmoid激活函数与二元交叉熵损失函数。
步骤S2，通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息。
在本实施例中，通过所述第一模型，为了得到每一帧处理后的套管针位置的最终图像坐标，将所述U-Net网络输出中所有满足条件的像素位置(x,y)作为候选套管针位置，即所述输出所述套管针的满足预设条件的位置信息，具体为：
输出所述套管针满足以下条件的位置信息：
；
其中，(x,y)为套管针的像素位置，pred(x,y)为像素位置(x,y)被分类为套管针的置信度，max(pred)为所述U-Net网络输出图像的整体最大值。
进一步地，对所述套管针的满足预设条件的位置信息更进一步处理，具体地：
计算每七个连续图像帧中所述位置信息的中值，并分别计算中值和所述七个连续图像帧中各所述位置信息之间的欧几里得距离，对欧几里得距离小于等于四分之一标准差的位置信息进行平均，以获得所述套管针的最终位置信息。这样处理可以使结果更具鲁棒性。
步骤S3，根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵。
具体地，在本实施例中，所述获得所述套管针的旋转矩阵，具体为：
对套管针旋转角度进行参数化。以套管针的横截面中心作为原点，套管针横截面作为坐标系XY平面，横截面的法向量作为z轴，建立套管针坐标系。
则套管针六维旋转矩阵R6d可以定义为：
；
其中，Rz、Ry分别为套管针在z方向上的旋转矩阵和在y方向上的旋转矩阵。
获取所述套管针在z方向上的旋转矩阵Rz和所述套管针在y方向上的旋转矩阵Ry，计算所述套管针的六维旋转矩阵R，R为单位和正交旋转矩阵：
；
其中，R1、R2、R3分别为所述六维旋转矩阵R的列，表示向量归一化操作。
步骤S4，根据所述套管针的旋转矩阵，获得所述套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。
具体地，根据图像帧，估计当前图像平面上最接近套管针的横截面的法向量，以确定合适的目标套管针的姿态。对于以套管针为中心的ROI提取出的输入图像，使用基于Resnet34作为特征提取器将其转换为特征，通过全连接层重新以六维旋转矩阵表示。获取所述数据集中所述套管针的真值，根据所述套管针的旋转矩阵/>，计算所述套管针的取向：
；
其中，所述套管针的取向以所述套管针的旋转矩阵和所述真值/>之间的夹角Δθ进行表示。
由于套管针沿z轴对称，设计损失函数L，使避免因围绕套管针z轴的不相关旋转而惩罚网络。因此MSE与Δθ的余弦距离成正比，损失函数Lrotation具体如下所述：
；
对于确定的套管针位姿数据，在机器人的末端被放置在套管针可触及的距离的前提下（为了机器人能在最大工作范围限度内完成操作），首先使用两段式的分步对齐的方法，将安装于机器人末端的器械方向与套管针方向对齐，随后再进行平移使机器人器械末端的XY与套管针对齐，这样可以对套管针在术中的微小移动进行补偿。保持器械末端始终位于套管针的连线上，以自适应的速度接近套管针，以此完成对接。
本实施例优选采用带有红外反射器的套管针，微型的摄像机也带有红外线检测器，从而辅助套管针位置检测，帮助锁定套管针的位置范围。另外，需要说明的是，本实施例所描述的机器人辅助的套管针自动对接方法虽然仅展示了眼科手术中的应用，但只是作为一种举例，实际也可以应用于其他类型的微创机器人手术中。
相应的，参照图2，本发明还提供了一种机器人辅助的套管针自动对接装置，包括训练模块101、检测模块102、旋转矩阵模块103和对接模块104；其中，
所述训练模块101用于获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；
所述检测模块102用于通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息；
所述旋转矩阵模块103用于根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵；
所述对接模块104用于根据所述套管针的旋转矩阵，获得所述套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。
在本实施例中，所述检测模块102输出所述套管针的满足预设条件的位置信息，具体为：
所述检测模块102输出所述套管针满足以下条件的位置信息：
；
其中，(x,y)为套管针的像素位置，pred(x,y)为像素位置(x,y)被分类为套管针的置信度，max(pred)为所述U-Net网络输出图像的整体最大值。
在本实施例中，所述套管针自动对接装置还包括筛选模块，所述筛选模块用于在所述旋转矩阵模块103对套管针的旋转角度进行参数化之前，对所述套管针的满足预设条件的位置信息进一步处理，具体地：
所述筛选模块计算每七个连续图像帧中所述位置信息的中值，并分别计算中值和所述七个连续图像帧中各所述位置信息之间的欧几里得距离，对欧几里得距离小于等于四分之一标准差的位置信息进行平均，以获得所述套管针的最终位置信息。
在本实施例中，所述旋转矩阵模块103获得所述套管针的旋转矩阵，具体为：
所述旋转矩阵模块103获取所述套管针在z方向上的旋转矩阵Rz和所述套管针在y方向上的旋转矩阵Ry，计算所述套管针的六维旋转矩阵R：
；
其中，R1、R2、R3分别为所述六维旋转矩阵R的列。
在本实施例中，所述对接模块104根据所述套管针的旋转矩阵，获得所述套管针的取向，具体为：
所述对接模块104获取所述数据集中所述套管针的真值，根据所述套管针的旋转矩阵/>，计算所述套管针的取向：
；
其中，所述套管针的取向以所述套管针的旋转矩阵和所述套管针的真值之间的夹角Δθ进行表示。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种机器人辅助的套管针自动对接方法和装置，所述方法包括：获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息；根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵；根据所述套管针的旋转矩阵，获得所述套管针的取向，并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。本发明相对于现有技术，通过U-Net网络检测套管针的位置，并获取套管针的取向，能够精确控制机器人末端的器械与套管针进行对接，实现自动判断套管针位姿，能够适应可视性较差的体内手术项目。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种机器人辅助的套管针自动对接方法，其特征在于，包括：
获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；
通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息，具体为：输出所述套管针满足以下条件的位置信息：；其中，(x,y)为套管针的像素位置，pred(x,y)为像素位置(x,y)被分类为套管针的置信度，max(pred)为所述U-Net网络的输出图像的整体最大值；
根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵，具体为：获取所述套管针在z方向上的旋转矩阵Rz和所述套管针在y方向上的旋转矩阵Ry，计算所述套管针的六维旋转矩阵R：；其中，R1、R2、R3分别为所述六维旋转矩阵R的列；
根据所述套管针的旋转矩阵，获得所述套管针的取向，具体为：获取所述数据集中所述套管针的真值，根据所述套管针的旋转矩阵/>，计算所述套管针的取向：；其中，所述套管针的取向以所述套管针的旋转矩阵/>和所述套管针的真值/>之间的夹角Δθ进行表示；并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。
2.如权利要求1所述的一种机器人辅助的套管针自动对接方法，其特征在于，在所述对套管针的旋转角度进行参数化之前，还包括：对所述套管针的满足预设条件的位置信息进一步处理，具体地：
计算每七个连续图像帧中所述位置信息的中值，并分别计算中值和所述七个连续图像帧中各所述位置信息之间的欧几里得距离，对欧几里得距离小于等于四分之一标准差的位置信息进行平均，以获得所述套管针的最终位置信息。
3.一种机器人辅助的套管针自动对接装置，其特征在于，包括训练模块、检测模块、旋转矩阵模块和对接模块；其中，
所述训练模块用于获取套管针的数据集，通过预设的U-Net网络进行训练，获得第一模型；
所述检测模块用于通过所述第一模型，检测待测图像中所述套管针的位置，输出所述套管针的满足预设条件的位置信息，具体为：输出所述套管针满足以下条件的位置信息：；其中，(x,y)为套管针的像素位置，pred(x,y)为像素位置(x,y)被分类为套管针的置信度，max(pred)为所述U-Net网络的输出图像的整体最大值；
所述旋转矩阵模块用于根据所述套管针的满足预设条件的位置信息，对套管针的旋转角度进行参数化，获得所述套管针的旋转矩阵，具体为：获取所述套管针在z方向上的旋转矩阵Rz和所述套管针在y方向上的旋转矩阵Ry，计算所述套管针的六维旋转矩阵R：；其中，R1、R2、R3分别为所述六维旋转矩阵R的列；
所述对接模块用于根据所述套管针的旋转矩阵，获得所述套管针的取向，具体为：获取所述数据集中所述套管针的真值，根据所述套管针的旋转矩阵/>，计算所述套管针的取向：/>；其中，所述套管针的取向以所述套管针的旋转矩阵和所述套管针的真值/>之间的夹角Δθ进行表示；并根据所述套管针的取向，控制机器人末端的器械与所述套管针进行对接。
4.如权利要求3所述的一种机器人辅助的套管针自动对接装置，其特征在于，所述套管针自动对接装置还包括筛选模块，所述筛选模块用于在所述旋转矩阵模块对套管针的旋转角度进行参数化之前，对所述套管针的满足预设条件的位置信息进一步处理，具体地：
所述筛选模块计算每七个连续图像帧中所述位置信息的中值，并分别计算中值和所述七个连续图像帧中各所述位置信息之间的欧几里得距离，对欧几里得距离小于等于四分之一标准差的位置信息进行平均，以获得所述套管针的最终位置信息。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111577523.9A CN114159166B (zh) | 2021-12-21 | 2021-12-21 | 一种机器人辅助的套管针自动对接方法和装置 |
| LU504661A LU504661B1 (en) | 2021-12-21 | 2022-11-24 | Robot-assisted automatic introduction method and device for trocar |
| PCT/CN2022/134016 WO2023116333A1 (zh) | 2021-12-21 | 2022-11-24 | 一种机器人辅助的套管针自动对接方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111577523.9A CN114159166B (zh) | 2021-12-21 | 2021-12-21 | 一种机器人辅助的套管针自动对接方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114159166A CN114159166A (zh) | 2022-03-11 |
| CN114159166B true CN114159166B (zh) | 2024-02-27 |
Family
ID=80487687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111577523.9A Active CN114159166B (zh) | 2021-12-21 | 2021-12-21 | 一种机器人辅助的套管针自动对接方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN114159166B (zh) |
| LU (1) | LU504661B1 (zh) |
| WO (1) | WO2023116333A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114159166B (zh) * | 2021-12-21 | 2024-02-27 | 广州市微眸医疗器械有限公司 | 一种机器人辅助的套管针自动对接方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110559075A (zh) * | 2019-08-05 | 2019-12-13 | 常州锦瑟医疗信息科技有限公司 | 术中增强现实配准方法和装置 |
| WO2020197128A1 (en) * | 2019-03-26 | 2020-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating tool trajectories |
| WO2021030536A1 (en) * | 2019-08-13 | 2021-02-18 | Duluth Medical Technologies Inc. | Robotic surgical methods and apparatuses |
| CN112370161A (zh) * | 2020-10-12 | 2021-02-19 | 珠海横乐医学科技有限公司 | 基于超声图像特征平面检测的手术导航方法及介质 |
| WO2021214750A1 (en) * | 2020-04-19 | 2021-10-28 | Xact Robotics Ltd. | Data analysis based methods and systems for optimizing insertion of a medical instrument |
| WO2021247744A1 (en) * | 2020-06-03 | 2021-12-09 | Noah Medical Corporation | Systems and methods for hybrid imaging and navigation |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102010029275A1 (de) * | 2010-05-25 | 2011-12-01 | Siemens Aktiengesellschaft | Verfahren zum Bewegen eines Instrumentenarms eines Laparoskopierobotors in einer vorgebbare Relativlage zu einem Trokar |
| DE102010040987A1 (de) * | 2010-09-17 | 2012-03-22 | Siemens Aktiengesellschaft | Verfahren zum Platzieren eines Laparoskopieroboters in einer vorgebbaren Relativlage zu einem Trokar |
| US9414776B2 (en) * | 2013-03-06 | 2016-08-16 | Navigated Technologies, LLC | Patient permission-based mobile health-linked information collection and exchange systems and methods |
| US20200297444A1 (en) * | 2019-03-21 | 2020-09-24 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for localization based on machine learning |
| WO2020219493A1 (en) * | 2019-04-26 | 2020-10-29 | Bono Peter L | System and method for reducing interference in positional sensors for robotic surgery |
| DE102019123742B4 (de) * | 2019-09-04 | 2021-12-30 | Carl Zeiss Meditec Ag | Augenchirurgie-Operationssystem und computerimplementiertes Verfahren zum Bereitstellen der Lage wenigstens eines Trokarpunkts |
| US11529734B2 (en) * | 2019-10-31 | 2022-12-20 | Verb Surgical Inc. | Systems and methods for visual sensing of and docking with a trocar |
| US11819288B2 (en) * | 2020-03-19 | 2023-11-21 | Verb Surgical Inc. | Trocar pose estimation using machine learning for docking surgical robotic arm to trocar |
| CN113538522B (zh) * | 2021-08-12 | 2022-08-12 | 广东工业大学 | 一种用于腹腔镜微创手术的器械视觉跟踪方法 |
| CN114159166B (zh) * | 2021-12-21 | 2024-02-27 | 广州市微眸医疗器械有限公司 | 一种机器人辅助的套管针自动对接方法和装置 |
-
2021
- 2021-12-21 CN CN202111577523.9A patent/CN114159166B/zh active Active
-
2022
- 2022-11-24 LU LU504661A patent/LU504661B1/en active IP Right Grant
- 2022-11-24 WO PCT/CN2022/134016 patent/WO2023116333A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020197128A1 (en) * | 2019-03-26 | 2020-10-01 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating tool trajectories |
| CN110559075A (zh) * | 2019-08-05 | 2019-12-13 | 常州锦瑟医疗信息科技有限公司 | 术中增强现实配准方法和装置 |
| WO2021030536A1 (en) * | 2019-08-13 | 2021-02-18 | Duluth Medical Technologies Inc. | Robotic surgical methods and apparatuses |
| WO2021214750A1 (en) * | 2020-04-19 | 2021-10-28 | Xact Robotics Ltd. | Data analysis based methods and systems for optimizing insertion of a medical instrument |
| WO2021247744A1 (en) * | 2020-06-03 | 2021-12-09 | Noah Medical Corporation | Systems and methods for hybrid imaging and navigation |
| CN112370161A (zh) * | 2020-10-12 | 2021-02-19 | 珠海横乐医学科技有限公司 | 基于超声图像特征平面检测的手术导航方法及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023116333A1 (zh) | 2023-06-29 |
| LU504661B1 (en) | 2023-11-07 |
| CN114159166A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
| Jiang et al. | An overview of hand-eye calibration | |
| US8824775B2 (en) | Robot and control method thereof | |
| CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| Doignon et al. | Segmentation and guidance of multiple rigid objects for intra-operative endoscopic vision | |
| Gong et al. | An uncalibrated visual servo method based on projective homography | |
| Hao et al. | Vision-based surgical tool pose estimation for the da vinci® robotic surgical system | |
| CN106625673A (zh) | 狭小空间装配系统及装配方法 | |
| CN114159166B (zh) | 一种机器人辅助的套管针自动对接方法和装置 | |
| CN113525631A (zh) | 一种基于光视觉引导的水下终端对接系统及方法 | |
| CN113103235A (zh) | 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 | |
| CN116079734A (zh) | 一种基于双视觉检测的协作机器人的装配控制系统及方法 | |
| CN116766194A (zh) | 基于双目视觉的盘类工件定位与抓取系统和方法 | |
| Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
| Yan et al. | Image-based visual servoing system for components alignment using point and line features | |
| WO2022012337A1 (zh) | 运动臂系统以及控制方法 | |
| JP2012161850A (ja) | ロボット装置、位置検出装置、位置検出プログラム、および位置検出方法 | |
| Yang et al. | Autonomous laparoscope control for minimally invasive surgery with intuition and RCM constraints | |
| CN111145267B (zh) | 基于imu辅助的360度全景视图多相机标定方法 | |
| Mohebbi et al. | An eye-in-hand stereo visual servoing for tracking and catching moving objects | |
| Yu et al. | Robust 3-D motion tracking from stereo images: A model-less method | |
| Gaschler et al. | Epipolar-based stereo tracking without explicit 3d reconstruction | |
| Gans et al. | Visual servoing to an arbitrary pose with respect to an object given a single known length | |
| Mangipudi et al. | Vision based Passive Arm Localization Approach for Underwater ROVs Using a Least Squares on $ SO (3) $ Gradient Algorithm | |
| CN112419409A (zh) | 一种基于实时视频的位姿估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |