CN112022346B - 一种全自动静脉穿刺识别一体机器人的控制方法 - Google Patents

一种全自动静脉穿刺识别一体机器人的控制方法 Download PDF

Info

Publication number
CN112022346B
CN112022346B CN202010892950.5A CN202010892950A CN112022346B CN 112022346 B CN112022346 B CN 112022346B CN 202010892950 A CN202010892950 A CN 202010892950A CN 112022346 B CN112022346 B CN 112022346B
Authority
CN
China
Prior art keywords
image
blood vessel
vessel
dimensional
puncture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010892950.5A
Other languages
English (en)
Other versions
CN112022346A (zh
Inventor
齐鹏
田智宇
王宇轩
曹旭
陈禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010892950.5A priority Critical patent/CN112022346B/zh
Publication of CN112022346A publication Critical patent/CN112022346A/zh
Application granted granted Critical
Publication of CN112022346B publication Critical patent/CN112022346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Robotics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种全自动静脉穿刺识别一体机器人的控制方法，包括：单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；近红外摄像机获取穿刺机构的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；图像运动机构将超声探头移动至靶血管的上方并且对靶血管进行压迫；超声探头采集靶血管的截面图进行静脉血管三维重建；穿刺运动机构对靶血管进行穿刺，在穿刺过程中近红外摄像机实时获取穿刺针的当前姿态。与现有技术相比，本发明不但使得穿刺处的识别精度更高，建模速度更快，而且使得血管细节结构展示更加精确完整，穿刺的安全性能更佳。

Description

一种全自动静脉穿刺识别一体机器人的控制方法
技术领域
本发明涉及静脉穿刺机器人领域，尤其是涉及一种全自动静脉穿刺识别一体机器人的控制方法。
背景技术
医护人员手动静脉穿刺准确率低且易产生医患交叉感染，自动静脉穿刺机器人因本身自动化程度高、穿刺准确等优点，是智慧医疗的一个新兴方向。但现存的静脉穿刺机器人存在精度低、模态单一、自动化程度低等问题。
Alvin I.Chen等人在《deep learning robotic guidance for autonomousvascular access》文献中采用双目近红外配合超声识别患者前臂血管并进行穿刺控制。双目近红外识别患者前臂静脉网并建模耗费算力过大，计算时间长，难以实现实时性，且建模利用率低，仅靶血管三维信息为所需信息，且靶血管形态学信息会因超声探头压迫而变化，导致三维信息识别误差大。
中国专利CN 110051385 A公开了一种静脉识别测量方法，该方法通过超声图像识别静脉。该方法模态单一，准确性差，不适用于自动静脉穿刺机器人中。
中国专利CN 110881955 A公开了一种应用于静脉穿刺机器人的静脉识别方法，采用双目近红外识别前臂静脉并建模。该方法消耗算力大、血管模型应用率低，且模态单一，无法识别静脉细分结构。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种全自动静脉穿刺识别一体机器人的控制方法。
本发明的目的可以通过以下技术方案来实现：
一种全自动静脉穿刺识别一体机器人的控制方法，所述静脉穿刺识别一体机器人包括穿刺模块和图像获取模块，穿刺模块包括穿刺运动机构和穿刺机构，图像模块包括图像运动机构、超声探头和单目近红外摄像机，其特征在于，控制方法包括以下步骤：
S1、单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；
S2、穿刺运动机构将穿刺机构移动至到近红外摄像机的视场中，并且进行一次姿态变换，近红外摄像机获取穿刺机构的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；
S3、图像运动机构将超声探头移动至靶血管的上方并且对靶血管进行压迫；
S4、超声探头采集被压迫的靶血管的不同层截面图并且进行静脉血管三维重建；
S5、穿刺运动机构根据三维血管模型对靶血管进行穿刺，在穿刺过程中近红外摄像机实时获取穿刺针的当前姿态，并且进行姿态刷新和校准。
进一步地，所述步骤S1中，对二维红外图像中识别的静脉进行打分具体包括步骤：
S11、利用基于SSD框架的图像神经网络对输入的二维近红外图像内的物品进行分类，得到分类标签，分类至少包括穿刺针、背景、手臂、直静脉和静脉分叉；
S12、筛选出分类标签中的血管图像；
S13、利用基于U-Net框架的图像分割算法对血管图像进行分割，得到血管分割图；
S14、基于贝叶斯定理对血管分割图进行打分，贝叶斯定理将独立事件同时发生的概率视作两事件各自发生概率之积。
进一步地，所述步骤S14中，血管分割图中血管上某一点p的打分采用合适程度Ψp表示：
Figure BDA0002657474860000021
Figure BDA0002657474860000022
Figure BDA0002657474860000023
Figure BDA0002657474860000024
Figure BDA0002657474860000025
Figure BDA0002657474860000031
Figure BDA0002657474860000032
Figure BDA0002657474860000033
式中，ω1(Lv)为血管长度对应得分，Lv为血管分割图内血管长度，ω2(Wv)为血管宽度对应得分，Wv为血管分割图内血管平均宽度，ω1(Vv)为血管像素值对应得分，Vv为血管分割图内血管平均像素值，α1为p点像素值权重，
Figure BDA0002657474860000038
为p点及其邻域平均像素值，Vi为p点及其相邻8个点像素值，α2为p点与血管质心距离权重，Dp为p点与血管质心距离，(up，vp)为p点的像素坐标，(uI，vI)为血管分割图内血管质心像素坐标，∑tipViui为血管分割图内所有像素点的像素值与该像素点的像素横坐标乘积的和，∑tipVivi为血管分割图内所有像素点的像素值与该像素点的像素纵坐标乘积的和，∑tipVi为血管分割图内所有像素点的像素值之和。
进一步地，所述步骤S2具体包括：
S21、近红外摄像机获取穿刺机构的穿刺针的变换前后姿态图，分别记为I’和I”；
S22、对前后姿态图的图像进行去畸变；
S22、对去畸变后的图像通过基于U-Net框架的图像分割算法得到前后姿态图中穿刺针的位置，通过对穿刺针及其针尖相对于参照物位置的校准计算，确定穿刺针在机器人坐标系中的位置，进而确认穿刺针在世界坐标系中的位置。
进一步地，所述步骤S22中，去畸变的计算表达式为：
Figure BDA0002657474860000034
Figure BDA0002657474860000035
其中，
Figure BDA0002657474860000036
和
Figure BDA0002657474860000037
是原始图像中的某点像素坐标，x和y是矫正后图像中对应点的像素坐标，x1和y1是矫正后图像的中心点像素坐标，x0和y0是原始图像中心点像素点坐标，r2是矫正后图像点在横纵方向到中心点的像素数平方和，k1、k2和k3为径向畸变系数。
进一步地，所述步骤S3中还包括：将步骤S1中选定的靶血管的二维信息转化为超声探头的定位信息，图像运动机构根据该定位信息控制超声探头移动。
进一步地，所述步骤S4中，
S41、超声探头获取靶血管的超声图像，得到血管腔二维超声图像；
S42、采用均值漂移分割算法作为从超声图像中对血管腔进行分割，将血管特征建模为潜在的概率密度函数，并迭代地尝试识别概率密度的参数；
S43、根据概率密度函数计算血管腔分割图的颜色直方图，建立靶血管的三维初始模型；
S44、将步骤S41中所获二维超声图像与三维初始模型模型进行配准；将图像个体在卷积神经网络中充分训练；
S45、通过观察局部区域，将步骤S44中被训练的个体在马尔可夫决策过程中执行注册；
S46、根据马尔可夫决策过程中的建议采取最终的行动，并根据相应的置信度进行加权，完成二维超声图像与三维初始模型的配准，生成靶血管的最终三维模型。
进一步地，所述步骤S42的均值漂移分割算法中，定核K，带宽参数h，对给定的d维点集的核密度估计表达式为：
Figure BDA0002657474860000041
其中，x表示点集中的样本点，xi表示样本点x邻域中的样本点。
进一步地，所述步骤S43中，建立靶血管的三维初始模型在OpenCV软件中实施，使用灰度图像、梯度幅值图像和黑森图像作为输入三通道图像的第一、第二和第三维。
进一步地，所述的超声探头采用超声模态采用容积超声。
与现有技术相比，本发明具有以下有益效果：
1、本发明首先通过单目近红外摄像机采用图像神经网络对血管进行二维识别和分割，然后通过超声探头对识别选定处进行压迫，并且建立压迫处的血管三维模型并且依据三维模型进行穿刺，克服了传统方法采用双目单目近红外摄像机进行三维建模时容易发生的遮挡和精确度问题，不但使得穿刺处的识别精度更高，建模速度更快，而且使得血管细节结构(血管腔、血管壁、静脉瓣等)展示更加精确完整，避免了对血管细节部分的划伤，显著提高了穿刺过程的安全性。
2、本发明的近红外识别静脉步骤采用U-Net分割算法，该方法采用先编码、后解码的方式，可以较大限度规避噪声，同时保留图像信息，快速地对穿刺处进行识别；在识别后通过打分的方式确定最佳的靶血管，步骤简单、可靠性强，便于后续超声探头的移动和操作。
3、本发明在靶血管的三维建模过程中采用均值漂移分割算法，鲁棒性高、所需参数少、可靠性好。
附图说明
图1为机器人的结构示意图。
图2为控制方法的流程示意图。
图3为扫描并选择靶血管的步骤示意图。
图4为近红外穿刺针识别步骤示意图。
图5a和图5b为近红外穿刺针识别步骤的相机内外参数矩阵示意图。
图6为近红外穿刺针识别步骤的摄像头标定及成像基本原理图。
图7为穿刺针位置信息获取及校准的操作示意图。
图8为近红外穿刺针识别步骤的穿刺针针尖竖直平面确定示意图。
图9为近红外穿刺针识别步骤的穿刺针坐标计算示意图。
图10为超声模态建立靶血管三维模型步骤示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供了一种全自动静脉穿刺识别一体机器人的控制方法。如图1所示，静脉穿刺识别一体机器人包括穿刺模块和图像获取模块，穿刺模块包括穿刺运动机构和穿刺机构，图像获取模块包括图像运动机构、超声探头和单目近红外摄像机。本实施例中超声探头的超声模态采用容积超声。
如图2所示，控制方法包括以下步骤：
步骤S1、单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；
步骤S2、穿刺运动机构将穿刺机构移动至到近红外摄像机的视场中，并且进行一次姿态变换，近红外摄像机获取穿刺机构的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；
步骤S3、图像运动机构将超声探头移动至靶血管的上方并且对靶血管进行压迫；
步骤S4、超声探头采集被压迫的靶血管的不同层截面图并且进行静脉血管三维重建；
步骤S5、穿刺运动机构根据三维血管模型对靶血管进行穿刺，在穿刺过程中近红外摄像机实时获取穿刺针的当前姿态，并且进行姿态刷新和校准。
具体展开如下：
一、如图3所示，步骤S1中对对二维红外图像中识别的静脉进行打分具体包括步骤：
血管分类：
步骤S11、利用基于SSD框架的图像神经网络对输入的二维近红外图像内的物品进行分类，得到分类标签，分类包括穿刺针、背景、手臂、直静脉和静脉分叉等；
步骤S12、筛选出分类标签中的血管图像；
血管分割：
步骤S13、利用基于U-Net框架的图像分割算法对血管图像进行分割，得到血管分割图；
标签打分，选择靶静脉：
步骤S14、基于贝叶斯定理对血管分割图进行打分，确定合适的穿刺点，将得分最高的静脉作为靶血管。血管分割图中血管上某一点p的打分采用合适程度Ψp表示：
Figure BDA0002657474860000061
Figure BDA0002657474860000062
Figure BDA0002657474860000063
Figure BDA0002657474860000064
Figure BDA0002657474860000065
Figure BDA0002657474860000066
Figure BDA0002657474860000071
Figure BDA0002657474860000072
式中，ω1(Lv)为血管长度对应得分，Lv为血管分割图内血管长度，ω2(Wv)为血管宽度对应得分，Wv为血管分割图内血管平均宽度，ω1(Vv)为血管像素值对应得分，Vv为血管分割图内血管平均像素值，α1为p点像素值权重，
Figure BDA0002657474860000073
为p点及其邻域平均像素值，Vi为p点及其相邻8个点像素值，α2为p点与血管质心距离权重，Dp为p点与血管质心距离，(up，vp)为p点的像素坐标，(uI，vI)为血管分割图内血管质心像素坐标，∑tipViui为血管分割图内所有像素点的像素值与该像素点的像素横坐标乘积的和，∑tipVivi为血管分割图内所有像素点的像素值与该像素点的像素纵坐标乘积的和，∑tipVi为血管分割图内所有像素点的像素值之和。
二、如图4～9所示，步骤S2具体展开为：
首先进行单目近红外摄像机参数及图像-实物间长度的伸缩变换参数标定，而后穿刺模块将其穿刺针伸到近红外探头下，沿穿刺针轴线方向转动，单目近红外摄像机扫描穿刺针，校正穿刺针形态学参数。校正步骤为：
步骤S21：单目近红外摄像机及伸缩变换参数标定。这一步骤事实上在使用穿刺机器人之前完成。如图5a所示，标定板棋盘格的规格确定，方格为正方形，边长记为lchessboard，使用单目近红外摄像机及标定板棋盘格拍摄多张标定图片。使用标定程序对标定图片进行分析，即可得到单目近红外摄像机的内参Qintrinsic与畸变系数{k1，k2…k5}。二者将用于后续的图像去畸变计算。在单目近红外摄像机标定后，可根据标定板正方格的边长及对应去畸变图像得到投影关系中的伸缩变换因子mx，my。两个变换因子将用于后续根据图像确定穿刺针位置信息的过程。
A：单目近红外摄像机的内、外参数标定。如图6所示，内参矩阵Qintrinsic是将图像平面上的像素位置与焦平面中物理位置对应起来，外参包含单目近红外摄像机中心C与单目近红外摄像机旋转矩阵R，是世界坐标系与图像坐标系中的对应点之间建立的对应关系：
Figure BDA0002657474860000074
其中，Pm为焦平面中物理位置坐标，(x y 1)T为像平面中像素位置齐次坐标，αx，αy分别为x，y方向上的焦距，px，py分别为焦平面中主点相对于其左上角原点的物理坐标。
B：伸缩变换参数标定。在单目近红外摄像机标定完成后，可以根据内参及畸变参数计算得到去畸变标定板图像，根据标定板边长lchessboard以及对应单个方格角点在去畸变后的图像中的像素坐标可以得到投影关系中的伸缩变换因子mx，my。两个变换因子将用于后续根据图像确定穿刺针位置信息的过程。
Figure BDA0002657474860000081
其中，
Figure BDA0002657474860000082
为像素位置坐标，
Figure BDA0002657474860000083
世界坐标系中水平投影坐标，如图5b所示。
步骤S22：穿刺针位置信息获取及校准。本步骤是在近红外摄像头扫描血管完毕后执行。如图7所示，首先，将穿刺针移至近红外摄像头下方水平位置，采集当前的图像，记为I′；穿刺针连同机械臂转动至另一角度，再次采集图像，记为I″。继而结合S21中的内参Qintrinsic与畸变系数{k1，k2…k5}对采集的图像进行去畸变处理。此后，通过U-net快速分割得到图像中穿刺针的位置，分割结果分别记为I′seg、I″seg。U-net基本结构为编码器与解码器。再通过对穿刺针及针尖相对于穿刺移动机构位置的校准计算，确定穿刺针在机器人坐标系(即世界坐标系)中的位置。这些位置参数将用于后续的精确穿刺引导。
C：图像去畸变。这里的图像畸变主要是指径向畸变，径向畸变主要是指光线在远离透镜中心的地方比靠近中心的地方更加弯曲。径向畸变的补偿矫正公式如下：
Figure BDA0002657474860000084
Figure BDA0002657474860000085
其中，
Figure BDA0002657474860000086
和
Figure BDA0002657474860000087
是原始图像中的某点像素坐标，x和y是矫正后图像中对应点的像素坐标，x1和y1是矫正后图像的中心点像素坐标，x0和y0是原始图像中心点像素点坐标，r2是矫正后图像点在横纵方向到中心点的像素数平方和，k1，k2，k3为径向畸变系数，k4，k5为切向畸变系数，{k1，k2…k5}均通过步骤S21获取。
D：穿刺针位置校准计算。如图8所示，穿刺针针尖竖直平面
Figure BDA0002657474860000088
在机器人坐标系中的位置可以根据穿刺机械臂末段位置及获得图像中针尖位置确定，图中XY平面为机器人坐标系即世界坐标系对应坐标平面，平面
Figure BDA0002657474860000091
可以用坐标形式表示为
Figure BDA0002657474860000092
此后，如图9所示，空间坐标系O′-X′Y′Z′的Y′轴在世界坐标系中的位置由机器人控制决定。其坐标形式为：
Figure BDA0002657474860000093
而根据两幅图像的垂直关系及针尖的投影关系即可确定针尖相对于O′-X′Y′Z′的坐标xp，zp。故此，针尖的世界坐标可表示为：
Figure BDA0002657474860000094
穿刺过程中，穿刺针的形变可以不计，故此，针尖的世界坐标结合机械臂末段在世界坐标系中的位置可以获得穿刺过程中所需要的穿刺针形态、位置参数。
三、步骤S3的具体展开为：
步骤S31：将S2中近红外光选定的靶血管的二维信息转化为超声探头的定位信息，输入到控制超声探头移动的机械控制程序，定位平台通过平移和转动等方式，使超声探头定位在患者前臂靶血管上方。
步骤S32：超声探头经由图像运动机构向下运动，直到下降至患者手臂皮肤表面。根据步骤S31中输入程序的超声探头定位信息，由图像运动机构的机械臂控制超声探头至靶血管定位坐标上1cm处，再机械臂控制超声探头缓慢下降。此时超声探头以一定力度按压靶血管，贴紧患者皮肤，便于观察患者靶血管结构并进行靶血管分割与建模。
四、如图10所示，步骤S4中具体包括：
步骤S41、超声探头获取靶血管的超声图像。
步骤S42、采用均值漂移分割算法作为从超声图像中对血管腔进行分割，将血管特征建模为潜在的概率密度，并迭代地尝试识别概率密度的参数，得到血管腔分割图。基于极大似然准则，如果特征血管空间中存在密集的聚类，则其对应于概率密度函数的局部最大值。给定核K，带宽参数h，对给定的d维点集的核密度估计为：
Figure BDA0002657474860000095
确定附近点的权值，重新估计均值。由K确定的超声探头范围内密度的加权平均值为：
Figure BDA0002657474860000101
其中N(x)是x的邻域，x表示点集中的样本点，xi表示样本点x邻域中的样本点。
求得m(x)后，对程序进行迭代，用上一次迭代的m(x)带入本次迭代步骤的x，即x←m(x)，通过梯度下降算法重新估值，直到m(x)收敛。收敛后，成功分割血管腔，得到血管腔分割图。
步骤S43、对靶血管进行超声建模预处理。计算血管腔分割图的颜色直方图，将其作为概率密度函数，建立靶血管的三维初始模型。建立靶血管的三维初始模型在OpenCV软件中实施，使用灰度图像、梯度幅值图像和黑森图像作为输入三通道图像的第一、第二和第三维。
步骤S44、将步骤S41中所获二维超声图像与三维初始模型模型进行配准；将图像个体在卷积神经网络中充分训练。
步骤S45、通过观察局部区域，将步骤S44中被训练的个体在马尔可夫决策过程中执行注册。马尔可夫决策过程由5维空间{Γ，A，P(·)，R(·)，γ}决定。其中Γ为可能状态的集合；A为可能活动的集合；PA(T)是状态T下采取行动A所获得的状态；RA(T)是状态T下采取行动A所获得的回报；γ是控制未来奖励重要性的折现系数。随着行动空间A和回报计划R(·)被确定，MDP的核心问题是找到方案π(·)来指定最佳操作π(Tt)，使状态Tt最大化长期回报：
Figure BDA0002657474860000102
步骤S46、根据马尔可夫决策过程中的建议采取最终的行动，并根据相应的置信度进行加权，完成二维超声图像与三维初始模型的配准，生成靶血管的最终三维模型。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述静脉穿刺识别一体机器人包括穿刺模块和图像获取模块，穿刺模块包括穿刺运动机构和穿刺机构，图像模块包括图像运动机构、超声探头和单目近红外摄像机，该方法包括以下步骤：
S1、单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；
S2、穿刺运动机构将穿刺机构移动至到近红外摄像机的视场中，并且进行一次姿态变换，近红外摄像机获取穿刺机构的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；
S3、图像运动机构将超声探头移动至靶血管的上方并且对靶血管进行压迫；
S4、超声探头采集被压迫的靶血管的不同层截面图并且进行静脉血管三维重建；
所述步骤S1中，对二维红外图像中识别的静脉进行打分具体包括步骤：
S11、利用基于SSD框架的图像神经网络对输入的二维近红外图像内的物品进行分类，得到分类标签，分类至少包括穿刺针、背景、手臂、直静脉和静脉分叉；
S12、筛选出分类标签中的血管图像；
S13、利用基于U-Net框架的图像分割算法对血管图像进行分割，得到血管分割图；
S14、对血管分割图进行打分；
所述步骤S4中，包括：
S41、超声探头获取靶血管的超声图像，得到血管腔二维超声图像；
S42、采用均值漂移分割算法作为从超声图像中对血管腔进行分割，将血管特征建模为潜在的概率密度函数，并迭代地尝试识别概率密度的参数；
S43、根据概率密度函数计算血管腔分割图的颜色直方图，建立靶血管的三维初始模型；
S44、将步骤S41中所获二维超声图像与三维初始模型进行配准；将图像个体在卷积神经网络中充分训练；
S45、通过观察局部区域，将步骤S44中被训练的个体输入到马尔可夫决策过程模型中；
S46、根据马尔可夫决策过程中的建议和相应的置信度进行加权，完成二维超声图像与三维初始模型的配准，生成靶血管的最终三维模型。
2.根据权利要求1所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述步骤S14中，血管分割图中血管上某一点p的打分采用合适程度Ψp表示：
Figure FDA0003364576350000021
Figure FDA0003364576350000022
Figure FDA0003364576350000023
Figure FDA0003364576350000024
Figure FDA0003364576350000025
Figure FDA0003364576350000026
Figure FDA0003364576350000027
Figure FDA0003364576350000028
式中，ω1(Lv)为血管长度对应得分，Lv为血管分割图内血管长度，ω2(Wv)为血管宽度对应得分，Wv为血管分割图内血管平均宽度，ω3(Vv)为血管像素值对应得分，Vv为血管分割图内血管平均像素值，α1为p点像素值权重，
Figure FDA0003364576350000029
为p点及其邻域平均像素值，Vi为p点及其相邻8个点像素值，α2为p点与血管质心距离权重，Dp为p点与血管质心距离，(up，vp)为p点的像素坐标，(uI，vI)为血管分割图内血管质心像素坐标，∑tipViui为血管分割图内所有像素点的像素值与该像素点的像素横坐标乘积的和，∑tipVivi为血管分割图内所有像素点的像素值与该像素点的像素纵坐标乘积的和，∑tipVi为血管分割图内所有像素点的像素值之和。
3.根据权利要求1所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述步骤S2具体包括：
S21、近红外摄像机获取穿刺机构的穿刺针的变换前后姿态图，分别记为I’和I”；
S22、对前后姿态图的图像进行去畸变；
S22、对去畸变后的图像通过基于U-Net框架的图像分割算法得到前后姿态图中穿刺针的位置，通过对穿刺针及其针尖相对于参照物位置的校准计算，确定穿刺针在机器人坐标系中的位置，进而确认穿刺针在世界坐标系中的位置。
4.根据权利要求3所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述步骤S22中，去畸变的计算表达式为：
Figure FDA0003364576350000031
Figure FDA0003364576350000032
其中，
Figure FDA0003364576350000033
和
Figure FDA0003364576350000034
是原始图像中的某点像素坐标，x和y是矫正后图像中对应点的像素坐标，x1和y1是矫正后图像的中心点像素坐标，x0和y0是原始图像中心点像素点坐标，r2是矫正后图像点在横纵方向到中心点的像素数平方和，k1、k2和k3为径向畸变系数。
5.根据权利要求1所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述步骤S3中还包括：将步骤S1中选定的靶血管的二维信息转化为超声探头的定位信息，图像运动机构根据该定位信息控制超声探头移动。
6.根据权利要求1所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述步骤S42的均值漂移分割算法中，定核K，带宽参数h，对给定的d维点集的核密度估计表达式为：
Figure FDA0003364576350000035
其中，x表示点集中的样本点，xi表示样本点x邻域中的样本点。
7.根据权利要求1所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述步骤S43中，建立靶血管的三维初始模型在OpenCV软件中实施，使用灰度图像、梯度幅值图像和黑森图像作为输入三通道图像的第一、第二和第三维。
8.根据权利要求1所述的一种基于全自动静脉穿刺识别一体机器人的血管重建方法，其特征在于，所述的超声探头的超声模态采用容积超声。
CN202010892950.5A 2020-08-31 2020-08-31 一种全自动静脉穿刺识别一体机器人的控制方法 Active CN112022346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010892950.5A CN112022346B (zh) 2020-08-31 2020-08-31 一种全自动静脉穿刺识别一体机器人的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010892950.5A CN112022346B (zh) 2020-08-31 2020-08-31 一种全自动静脉穿刺识别一体机器人的控制方法

Publications (2)

Publication Number Publication Date
CN112022346A CN112022346A (zh) 2020-12-04
CN112022346B true CN112022346B (zh) 2022-02-18

Family

ID=73587533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010892950.5A Active CN112022346B (zh) 2020-08-31 2020-08-31 一种全自动静脉穿刺识别一体机器人的控制方法

Country Status (1)

Country Link
CN (1) CN112022346B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112472133B (zh) * 2020-12-22 2024-07-09 深圳市德力凯医疗设备股份有限公司 一种超声探头的姿态监控方法及装置
CN112957041B (zh) * 2021-03-08 2023-03-31 北京伟浩君智能技术有限公司 基于血管图像的采血机器人控制方法及装置
CN113577458A (zh) * 2021-07-14 2021-11-02 深圳市罗湖医院集团 自动注射方法、装置、电子设备和存储介质
CN114176514B (zh) * 2021-11-16 2023-08-29 同济大学 一种基于近红外成像的静脉血管识别定位方法和系统
CN116831526B (zh) * 2023-06-29 2024-01-02 成都市凯瑞医疗科技有限公司 红外双目与超声融合的三维血管成像方法
CN116807577B (zh) * 2023-07-11 2024-07-12 元化智能科技(深圳)有限公司 全自动静脉穿刺设备和全自动静脉穿刺方法
CN118078402B (zh) * 2024-04-28 2024-07-23 南昌大学第一附属医院 一种基于图像分割模型构建的留置针的智能化穿刺系统
CN118340580A (zh) * 2024-05-11 2024-07-16 梦石科技(北京)有限公司 基于随机游走和图割形变模型的便携式静脉穿刺操作系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN111035437A (zh) * 2019-05-28 2020-04-21 上海交通大学医学院附属第九人民医院 血管辅助穿刺系统、机器人、方法和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5416900B2 (ja) * 2007-11-22 2014-02-12 株式会社東芝 超音波診断装置及び穿刺支援用制御プログラム
CN104408453B (zh) * 2014-09-29 2017-12-15 北京理工大学 基于多特征聚类的近红外皮下静脉分割方法
CN106327479B (zh) * 2016-09-23 2018-11-20 西安电子科技大学 血管造影中介下先心病术中血管辨识的装置及方法
CN108836440B (zh) * 2018-03-21 2020-04-14 北京理工大学 一种穿刺辅助机器人的控制决策方法与系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN111035437A (zh) * 2019-05-28 2020-04-21 上海交通大学医学院附属第九人民医院 血管辅助穿刺系统、机器人、方法和存储介质

Also Published As

Publication number Publication date
CN112022346A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112022346B (zh) 一种全自动静脉穿刺识别一体机器人的控制方法
WO2017133009A1 (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN112089490A (zh) 一种全自动静脉穿刺识别一体机器人
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
CN103076876B (zh) 基于视线跟踪与语音识别的字符输入装置和方法
CN110930374A (zh) 一种基于双深度相机的腧穴定位方法
JP2002539870A (ja) 画像処理の方法と装置
CN110991268B (zh) 一种基于深度图像的帕金森手部运动量化分析方法和系统
CN110838140A (zh) 基于混合监督学习的超声和核磁图像配准融合方法及装置
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
Yang et al. Human upper limb motion analysis for post-stroke impairment assessment using video analytics
CN105631899A (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN106846372B (zh) 人体运动质量视觉分析与评价系统及其方法
CN111368759A (zh) 基于单目视觉的移动机器人语义地图构建系统
CN114841990A (zh) 一种基于人工智能的自助核酸采集方法及装置
CN111339982A (zh) 一种基于特征的多级瞳孔中心定位技术实现方法
CN115578320A (zh) 一种骨科手术机器人全自动空间注册方法及系统
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法
CN110929570A (zh) 虹膜快速定位装置及其定位方法
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训系统及方法
CN113591726A (zh) 一种太极拳训练动作的交叉模态评估方法
CN115922725B (zh) 一种咽拭子采样机器人定位系统
CN115424319A (zh) 一种基于深度学习的斜视识别系统
McManigle et al. Modified Hough transform for left ventricle myocardium segmentation in 3-D echocardiogram images
CN111292410B (zh) 一种静脉显影照相装置及其三维全景模型的生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant