CN112089490A - 一种全自动静脉穿刺识别一体机器人 - Google Patents
一种全自动静脉穿刺识别一体机器人 Download PDFInfo
- Publication number
- CN112089490A CN112089490A CN202010892983.XA CN202010892983A CN112089490A CN 112089490 A CN112089490 A CN 112089490A CN 202010892983 A CN202010892983 A CN 202010892983A CN 112089490 A CN112089490 A CN 112089490A
- Authority
- CN
- China
- Prior art keywords
- axis
- puncture
- image
- blood vessel
- motor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000523 sample Substances 0.000 claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 210000004204 blood vessel Anatomy 0.000 claims description 102
- 230000011218 segmentation Effects 0.000 claims description 45
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 19
- 210000003462 vein Anatomy 0.000 claims description 18
- 238000002347 injection Methods 0.000 claims description 15
- 239000007924 injection Substances 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 description 15
- 238000002604 ultrasonography Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 210000002073 venous valve Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010241 blood sampling Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 206010011409 Cross infection Diseases 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
- A61B2017/3413—Needle locating or guiding means guided by ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mechanical Engineering (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及一种全自动静脉穿刺识别一体机器人，包括穿刺模块、图像获取模块和定位平台；穿刺模块包括穿刺模块外壳、y轴旋转单元、x轴旋转单元、z轴旋转单元和穿刺头构件；y轴旋转单元包括y轴电机和y轴轴承；x轴旋转单元包括x轴转轴和x轴壳体；z轴旋转单元包括z轴电机、z轴转轴、z轴轴承、蜗杆和涡轮；图像获取模块包括超声探头、图像直线电机和近红外摄像机，超声探头通过探头支架固定在图像直线电机的正面活动端上进行上下直线运动。与现有技术相比，本发明通过各个模块的立体交错设计，大幅度地减小装置的整体体积；实现了对穿刺头构件的精确控制；实现全自动化的精确控制。
Description
技术领域
本发明涉及静脉穿刺机器人领域，尤其是涉及一种全自动静脉穿刺识别一体机器人。
背景技术
医护人员手动静脉穿刺准确率低且易产生医患交叉感染，自动静脉穿刺机器人因本身自动化程度高、穿刺准确的优点，是智慧医疗的一个新兴方向，但现存的静脉穿刺机器人存在控制精度低、体积庞大、模态单一等问题。
中国专利CN 109960285 A公开了一种自动采血机器人，该机器人通过不同模块配合进行采血。但是该装置的整体体积庞大、模态单一，难以适应病床等小场景的应用场所，也无法对血管进行自动识别和采集，安全性差。
中国专利CN 110812577 A公开了一种自动静脉穿刺装置，用于避免人工穿刺导致的各种问题。但是该装置模态单一，无法识别血管内部结构，如血管壁、血管腔、静脉瓣等，容易造成静脉瓣划伤、血管壁穿透等医疗事故。
Alvin I.Chen等人在《deep learning robotic guidance for autonomousvascular access》文献中公开了一种静脉穿刺机器人，采用双目近红外配合超声识别患者前臂血管并进行穿刺控制。双目近红外识别患者前臂静脉网并建模耗费算力过大，计算时间长，难以实现实时性，且建模利用率低，仅靶血管三维信息为所需信息，且靶血管形态学信息会因超声探头压迫而变化，导致三维信息识别误差大。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种全自动静脉穿刺识别一体机器人。
本发明的目的可以通过以下技术方案来实现：
一种全自动静脉穿刺识别一体机器人，包括穿刺模块、图像获取模块和定位平台；
所述的穿刺模块包括穿刺模块外壳、y轴旋转单元、x轴旋转单元、z轴旋转单元和穿刺头构件，所述y轴旋转单元和z轴旋转单元并排安装在穿刺模块外壳内，所述x轴旋转单元安装在y轴旋转单元的下方，并且连接z轴旋转单元，穿刺头构件连接x轴旋转单元；
所述y轴旋转单元包括y轴电机和y轴轴承；穿刺模块外壳包括主体部和连接部，所述连接部为弓形，所述y轴电机的两端首先固定连接并穿过主体部，然后在主体部的外侧，y轴电机的两端通过y轴轴承和连接部的弓形两端相连，所述y轴电机的输出轴穿过一个y轴轴承后和连接部112固定，两个y轴轴承的中心连线即为y轴线，所述连接部的一侧连接定位平台；
所述x轴旋转单元包括x轴转轴和x轴壳体，x轴转轴横向穿过x轴壳体的后端，所述穿刺头构件连接x轴壳体的前端，所述x轴转轴的轴线即为x轴线；
所述z轴旋转单元包括z轴电机、z轴转轴、z轴轴承、蜗杆和涡轮，所述z轴电机安装在主体部上，所述z轴电机的下端连接z轴转轴，在z轴转轴上嵌套z轴轴承和蜗杆，所述z轴轴承的外圈连接主体部，所述蜗杆竖直连接涡轮，涡轮连接x轴转轴，z轴转轴的轴线即为z轴线；
所述图像获取模块包括超声探头、图像直线电机和近红外摄像机，超声探头通过探头支架固定在图像直线电机的正面活动端上进行上下直线运动，所述近红外摄像机通过摄像头支架连接图像直线电机的背面静止端，并且摄像头支架还安装在定位平台上。
进一步地，所述穿刺头构件包括步进电机、丝杠、第一轴承、直杆、丝杠座、止推板和注射单元，所述丝杠的后端连接步进电机，步进电机固定在x轴壳体内，所述丝杠的前端穿过丝杆座后通过第一轴承连接x轴壳体内部的管状通道，所述止推板连接x轴壳体的前端面内壁，并且通过两根平行的直杆连接丝杠座，所述止推板和丝杆座的下端连接注射单元。
进一步地，所述注射单元包括进药片座、穿刺电机、进药推座和注射器夹具，所述药片座的顶端连接丝杠座止推板和丝杆座，所述注射器夹具安装在药片座的一端下方，穿刺电机安装在药片座的另一端下方，所述穿刺电机的输出轴穿过进药推座后通过轴承连接注射器夹具，所述进药推座和穿刺电机的输出轴丝杆连接，并且进药推座滑动连接药片座。
进一步地，所述连接部的一侧设有横侧板，用于和定位平台进行连接。
进一步地，所述的定位平台包括横梁单元和基座单元，所述横梁单元固定在基座单元上，包括互相平行的第一横梁直线电机与第二横梁直线电机，所述穿刺模块外壳连接第一横梁单元直线电机的活动端，所述摄像头支架连接第二横梁直线电机的活动端。
进一步地，所述的基座单元包括底座、定位水平直线电机、定位安装架、竖直旋转电机、主动齿轮、从动齿轮和竖直转轴，所述水平直线电机安装在底座上，所述竖直转轴的下端固定连接水平直线电机的活动端，竖直转轴的上端穿过定位安装架转动连接，所述从动齿轮安装在竖直转轴上，所述竖直旋转电机固定在定位安装支架内，竖直旋转电机的输出端通过主动齿轮连接从动齿轮，所述定位安装架的顶端连接横梁单元。
进一步地，所述基座单元还包括升降平台，所述升降平台设置在横梁单元和定位安装架的顶端之间。
进一步地，所述的底板上设有放置手臂的缓冲垫。
进一步地，所述从动齿轮直径大于主动齿轮的直径。
进一步地，所述超声探头的底端为圆弧状接触头。
进一步地，机器人中的近红外摄像机为单目近红外摄像机，其控制方法具体包括以下步骤：
S1、单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；
S2、穿刺模块将穿刺头构件移动至到近红外摄像机的视场中，并且进行一次姿态变换，近红外摄像机获取穿刺头构件的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；
S3、图像获取模块将超声探头移动至靶血管的上方并且对靶血管进行压迫；
S4、超声探头采集被压迫的靶血管的不同层截面图并且进行静脉血管三维重建；
S5、穿刺模块根据三维血管模型对靶血管进行穿刺，在穿刺过程中近红外摄像机实时获取穿刺针的当前姿态，并且进行姿态刷新和校准。
进一步地，所述步骤S1中，对二维红外图像中识别的静脉进行打分具体包括步骤：
S11、利用基于SSD框架的图像神经网络对输入的二维近红外图像内的物品进行分类，得到分类标签，分类至少包括穿刺针、背景、手臂、直静脉和静脉分叉；
S12、筛选出分类标签中的血管图像；
S13、利用基于U-Net框架的图像分割算法对血管图像进行分割，得到血管分割图；
S14、对血管分割图进行打分，血管分割图中血管上某一点p的打分采用合适程度Ψp表示：
式中，ω1(Lv)为血管长度对应得分，Lv为血管分割图内血管长度，ω2(Wv)为血管宽度对应得分，Wv为血管分割图内血管平均宽度，ω1(Vv)为血管像素值对应得分，Vv为血管分割图内血管平均像素值，α1为p点像素值权重，
为p点及其邻域平均像素值，Vi为p点及其相邻8个点像素值，α2为p点与血管质心距离权重，Dp为p点与血管质心距离，(up,vp)为p点的像素坐标，(uI,vI)为血管分割图内血管质心像素坐标，∑tipViui为血管分割图内所有像素点的像素值与该像素点的像素横坐标乘积的和，∑tipVivi为血管分割图内所有像素点的像素值与该像素点的像素纵坐标乘积的和，∑tipVi为血管分割图内所有像素点的像素值之和。
进一步地，所述步骤S2具体包括：
S21、近红外摄像机获取穿刺头构件的穿刺针的变换前后姿态图，分别记为I’和I”；
S22、对前后姿态图的图像进行去畸变；去畸变的计算表达式为：
其中，
和
是原始图像中的某点像素坐标，x和y是矫正后图像中对应点的像素坐标，x1和y1是矫正后图像的中心点像素坐标，x0和y0是原始图像中心点像素点坐标，r2是矫正后图像点在横纵方向到中心点的像素数平方和，k1、k2和k3为径向畸变系数；
S22、对去畸变后的图像通过基于U-Net框架的图像分割算法得到前后姿态图中穿刺针的位置，通过对穿刺针及其针尖相对于参照物位置的校准计算，确定穿刺针在机器人坐标系中的位置，进而确认穿刺针在世界坐标系中的位置。
进一步地，所述步骤S3中还包括：将步骤S1中选定的靶血管的二维信息转化为超声探头的定位信息，图像获取模块根据该定位信息控制超声探头移动。
进一步地，所述步骤S4中，
S41、超声探头获取靶血管的超声图像，得到血管腔二维超声图像；
S42、采用均值漂移分割算法作为从超声图像中对血管腔进行分割，将血管特征建模为潜在的概率密度函数，并迭代地尝试识别概率密度的参数；
S43、根据概率密度函数计算血管腔分割图的颜色直方图，建立靶血管的三维初始模型；
S44、将步骤S41中所获二维超声图像与三维初始模型模型进行配准；将图像个体在卷积神经网络中充分训练；
S45、通过观察局部区域，将步骤S44中被训练的个体在马尔可夫决策过程中执行注册；
S46、根据马尔可夫决策过程中的建议采取最终的行动，并根据相应的置信度进行加权，完成二维超声图像与三维初始模型的配准，生成靶血管的最终三维模型。
进一步地，所述步骤S42的均值漂移分割算法中，定核K，带宽参数h，对给定的d维点集的核密度估计表达式为：
其中，x表示点集中的样本点，xi表示样本点x邻域中的样本点。
进一步地，所述步骤S43中，建立靶血管的三维初始模型在OpenCV软件中实施，使用灰度图像、梯度幅值图像和黑森图像作为输入三通道图像的第一、第二和第三维。
进一步地，所述的超声探头的超声模态采用容积超声。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过穿刺模块、图像获取模块和定位平台的立体交错设计，能够大幅度地减小装置的整体体积；穿刺模块通过y轴旋转单元、x轴旋转单元、z轴旋转单元互相配合，实现了对穿刺头构件“点头”、“摆头”的精确控制。同时，本发明通过设置图像获取模块，使得机器人能够先通过近红外摄像机采用图像神经网络对血管进行二维识别和分割，然后通过超声探头对识别选定处进行压迫，并且建立压迫处靶血管的三维模型，依据三维模型进行穿刺。不但使得穿刺过程的识别精度更高、建模速度更快、血管细节结构(血管腔、血管壁、静脉瓣等)展示更加精确完整、显著提高穿刺过程的安全性，而且实现了全自动化的控制。
2、本发明的穿刺模块中设置了注射单元用于适配针管注射器，在静脉穿刺的同时通过进药推座的移动来推动注射器，实现了机器人的注射穿刺。
3、本发明控制方法中的近红外识别静脉步骤采用U-Net分割算法，该方法采用先编码、后解码的方式，可以较大限度规避噪声，同时保留图像信息，快速地对穿刺处进行识别；在识别后通过打分的方式确定最佳的靶血管，步骤简单、可靠性强，便于后续超声探头的移动和操作。
4、本发明在靶血管的三维建模过程中采用均值漂移分割算法，鲁棒性高、所需参数少、可靠性好。
附图说明
图1为本实施例的结构示意图。
图2为穿刺模块的结构示意图。
图3为另一角度穿刺模块的结构示意图。
图4为z轴旋转单元的结构示意图。
图5为穿刺头构件的结构示意图。
图6为注射单元的结构示意图。
图7为图像获取模块的侧视结构示意图。
图8为图像获取模块的立体结构示意图。
图9为定位平台的结构示意图。
图10为基座单元的外部结构示意图。
图11为基座单元的内部结构示意图。
图12为本实施例的使用过程示意图。
图13为控制方法的流程示意图。
图14为扫描并选择靶血管的步骤示意图。
图15为近红外穿刺针识别步骤示意图。
图16a和图16b为近红外穿刺针识别步骤的相机内外参数矩阵示意图。
图17为近红外穿刺针识别步骤的摄像头标定及成像基本原理图。
图18为穿刺针位置信息获取及校准的操作示意图。
图19为近红外穿刺针识别步骤的穿刺针针尖竖直平面确定示意图。
图20为近红外穿刺针识别步骤的穿刺针坐标计算示意图。
图21为超声模态建立靶血管三维模型步骤示意图。
附图标记：
1、穿刺模块，11、穿刺模块外壳，111、主体部，112、连接部，12、y轴旋转单元，121、y轴电机，123、y轴轴承，13、x轴旋转单元，131、x轴转轴，132、x轴壳体，14、z轴旋转单元，141、z轴电机，142、z轴转轴，143、z轴轴承，144、蜗杆，145、涡轮，15、穿刺头构件，151、步进电机，152、丝杠，153、第一轴承，154、直杆，155、丝杠座，156、止推板，157、注射单元，157a、进药片座，157b、穿刺电机，157c、进药推座，157d、注射器夹具；
2、图像获取模块，21、超声探头，22、图像直线电机，23、近红外摄像机，24、探头支架，25、摄像头支架；
3、定位平台，31、横梁单元，311、第一横梁直线电机，312、第二横梁直线电机，32、基座单元，321、底座，322、定位水平直线电机，323、定位安装架，324、竖直旋转电机，325、主动齿轮，326、从动齿轮，327、竖直转轴，328、升降平台，329、缓冲垫。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供了一种全自动静脉穿刺识别一体机器人，包括穿刺模块1、图像获取模块2和定位平台3。
如图2和图3所示，穿刺模块1包括穿刺模块外壳11、y轴旋转单元12、x轴旋转单元13、z轴旋转单元14和穿刺头构件15。y轴旋转单元12和z轴旋转单元14并排安装在穿刺模块外壳11内，x轴旋转单元13安装在y轴旋转单元12的下方，并且连接z轴旋转单元14。穿刺头构件15连接x轴旋转单元13。
y轴旋转单元12包括y轴电机121和y轴轴承123；穿刺模块外壳11包括主体部111和连接部112。连接部112为弓形。y轴电机121的两端首先通过螺栓等零件固定连接主体部111。然后在主体部111的外侧，y轴电机121的两端通过y轴轴承123和连接部112的弓形两端相连。连接部112的一侧还设有横侧板112a，用于稳定地和定位平台3进行连接。y轴电机121的输出轴穿过一个y轴轴承123后通过键结构和连接部112固定。两个y轴轴承123的中心连线即为y轴线。通过该结构能够实现在y轴电机121的带动下，主体部111通过y轴轴承123绕着连接部112(y轴线)进行转动。
如图4和图5所示，x轴旋转单元13包括x轴转轴131和x轴壳体132，x轴转轴131横向穿过x轴壳体132的后端，穿刺模块1的穿刺头构件15连接x轴壳体132的前端。x轴转轴131的轴线即为x轴线。z轴旋转单元14包括z轴电机141、z轴转轴142、z轴轴承143、蜗杆144和涡轮145。z轴电机141安装在穿刺模块外壳的主体部11上，z轴电机141的下端连接z轴转轴142，在z轴转轴142上嵌套z轴轴承143和蜗杆144。z轴轴承142的外圈连接穿刺模块外壳的主体部11，蜗杆144竖直连接涡轮145。涡轮145连接x轴转轴131。z轴转轴142的轴线即为z轴线。在本实施例中的x轴线，y轴线和z轴向互相垂直形成一个三维直角坐标。由此，z轴电机141的转动带动蜗杆144转动，蜗杆144带动涡轮145转动，涡轮145带动连接x轴转轴131的主体部11进行上下点头运动。
穿刺头构件15包括步进电机151、丝杠152、第一轴承153、直杆154、丝杠座155、止推板156和注射单元157。丝杠152的后端连接步进电机151，步进电机151固定在x轴壳体132内；丝杠152的前端穿过丝杆座155后通过第一轴承153连接x轴壳体132内部的管状通道。止推板156连接x轴壳体132的前端面内壁，并且通过两根平行的直杆154连接丝杠座155.止推板156和丝杆座155的下端连接注射单元157。该结构通过步进电机151、丝杠152和丝杠座155，将丝杠152的转动转化为丝杠座155的直线运动，也就是注射单元157可沿着y轴线方向前后移动。
如图6所示，注射单元157包括进药片座157a、穿刺电机157b、进药推座157c和注射器夹具157d。药片座157a的顶端连接丝杠座止推板156和丝杆座155，注射器夹具157d安装在药片座157a的前端下方，穿刺电机157b安装在药片座157a的后端下方。穿刺电机157b的输出轴穿过进药推座157c后通过轴承连接注射器夹具157d的末端。进药推座157c和穿刺电机157b的输出轴丝杆连接，并且滑动连接其顶部的药片座157a。使用时，该结构通过穿刺电机157b带动进药推座157c前后移动使得被注射器夹具157d加持的注射器完成推药。
如图7和图8所示，图像获取模块2包括超声探头21、图像直线电机22和近红外摄像机23。超声探头21通过探头支架24固定在图像直线电机22的正面活动端上进行上下直线运动。近红外摄像机23通过摄像头支架25连接图像直线电机22的背面静止端，并且摄像头支架25还安装在定位平台3上。
如图9所示，定位平台3包括横梁单元31和基座单元32。横梁单元31固定在基座单元32上，包括互相平行的第一横梁直线电机311与第二横梁直线电机312。穿刺模块外壳11通过横侧板112a连接第一横梁单元直线电机311的活动端。摄像头支架25连接第二横梁直线电机312的活动端，通过第一横梁直线电机311和第二横梁直线电机的312互相配合，使得穿刺头构件15始终位于近红外摄像机23的摄像范围内。
如图10和图11所示，基座单元32包括底座321、定位水平直线电机322、定位安装架323、竖直旋转电机324、主动齿轮325、从动齿轮326和竖直转轴327。水平直线电机322安装在底座上321。竖直转轴327的下端固定连接水平直线电机322的活动端，竖直转轴327的上端穿过定位安装架323并且和定位安装架323转动连接。从动齿轮326安装在竖直转轴327上。竖直旋转电机327固定在定位安装支架323内，竖直旋转电机327的输出端通过主动齿轮325连接从动齿轮326。从动齿轮326直径远大于主动齿轮325的直径，用于更好地调节转动速度。定位安装架323的顶端连接横梁单元31。在竖直旋转电机327的带动下，主动齿轮325绕着从动齿轮326转动，从而带动竖直旋转电机327和定位安装架323一起绕着竖直转轴327进行转动，从而实现了定位安装架323的左右摇摆。在横梁单元31和定位安装架323的顶端之间还可以设有一个升降平台328，横梁单元31通过升降平台连接定位安装架323的顶部，实现横梁单元31的升降，升降平台328为普通的电机和滑轨结构，因此不进行展开。在底座321上还设有缓冲垫329便于手臂的放置。此外，本实施例中，近红外摄像机23可采用单目或者双目近红外摄像机；超声探头21的底端为圆弧状接触头。
本实施例的工作原理为：
如图12所示，在注射器夹具中放入注射器，患者将手臂放置到缓冲垫329上。图像获取模块2和定位平台3配合控制近红外摄像机23移动到手臂的上方，进行图像连续拍摄，然后通过外置的控制系统识别出最佳穿刺处(图中虚线圆圈为拍摄视角，X标记为最佳穿刺处)。图像获取模块2和定位平台3配合控制超声探头21移动到最佳穿刺处的前上方，对最佳穿刺处的上游一段距离(1cm左右)进行轻微压迫，同时超声探头21采集超声波信息通过外置的控制系统对血管内结构进行3D模型构建。穿刺模块1获取计算后的最佳穿刺姿态，通过y轴旋转单元、x轴旋转单元和z轴旋转单元控制穿刺头构件调整穿刺姿态。最后，通过穿刺头构件实现穿刺，并且通过注射单元推进注射器内的药物完成穿刺。
本实施例中超声探头的超声模态采用容积超声，可以得到血管的立体细分结构，清晰区分血管壁和血管腔，提升静脉穿刺安全性。近红外摄像机为单目近红外摄像机。上述工作原理中具体控制方法如下，如图13所示：
步骤S1、单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；
步骤S2、穿刺模块将穿刺头构件移动至到近红外摄像机的视场中，并且进行一次姿态变换，近红外摄像机获取穿刺头构件的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；
步骤S3、图像获取模块将超声探头移动至靶血管的上方并且对靶血管进行压迫；
步骤S4、超声探头采集被压迫的靶血管的不同层截面图并且进行静脉血管三维重建；
步骤S5、穿刺模块根据三维血管模型对靶血管进行穿刺，在穿刺过程中近红外摄像机实时获取穿刺针的当前姿态，并且进行姿态刷新和校准。
具体展开如下：
一、如图14所示，步骤S1中对对二维红外图像中识别的静脉进行打分具体包括步骤：
血管分类：
步骤S11、利用基于SSD框架的图像神经网络对输入的二维近红外图像内的物品进行分类，得到分类标签，分类包括穿刺针、背景、手臂、直静脉和静脉分叉等；
步骤S12、筛选出分类标签中的血管图像；
血管分割：
步骤S13、利用基于U-Net框架的图像分割算法对血管图像进行分割，得到血管分割图；
标签打分，选择靶静脉：
步骤S14、基于贝叶斯定理对血管分割图进行打分，确定合适的穿刺点，将得分最高的静脉作为靶血管。血管分割图中血管上某一点p的打分采用合适程度Ψp表示：
式中，ω1(Lv)为血管长度对应得分，Lv为血管分割图内血管长度，ω2(Wv)为血管宽度对应得分，Wv为血管分割图内血管平均宽度，ω1(Vv)为血管像素值对应得分，Vv为血管分割图内血管平均像素值，α1为p点像素值权重，
为p点及其邻域平均像素值，Vi为p点及其相邻8个点像素值，α2为p点与血管质心距离权重，Dp为p点与血管质心距离，(up,vp)为p点的像素坐标，(uI,vI)为血管分割图内血管质心像素坐标，∑tipViui为血管分割图内所有像素点的像素值与该像素点的像素横坐标乘积的和，∑tipVivi为血管分割图内所有像素点的像素值与该像素点的像素纵坐标乘积的和，∑tipVi为血管分割图内所有像素点的像素值之和。
二、如图15～20所示，步骤S2具体展开为：
首先进行单目近红外摄像机参数及图像-实物间长度的伸缩变换参数标定，而后穿刺模块将其穿刺针伸到近红外探头下，沿穿刺针轴线方向转动，单目近红外摄像机扫描穿刺针，校正穿刺针形态学参数。校正步骤为：
步骤S21：单目近红外摄像机及伸缩变换参数标定。这一步骤事实上在使用穿刺机器人之前完成。如图16a所示，标定板棋盘格的规格确定，方格为正方形，边长记为lchessboard，使用单目近红外摄像机及标定板棋盘格拍摄多张标定图片。使用标定程序对标定图片进行分析，即可得到单目近红外摄像机的内参Qintrinsic与畸变系数{k1,k2…k5}。二者将用于后续的图像去畸变计算。在单目近红外摄像机标定后，可根据标定板正方格的边长及对应去畸变图像得到投影关系中的伸缩变换因子mx，my。两个变换因子将用于后续根据图像确定穿刺针位置信息的过程。
A：单目近红外摄像机的内、外参数标定。如图17所示，内参矩阵Qintrinsic是将图像平面上的像素位置与焦平面中物理位置对应起来，外参包含单目近红外摄像机中心C与单目近红外摄像机旋转矩阵R，是世界坐标系与图像坐标系中的对应点之间建立的对应关系：
其中，Pm为焦平面中物理位置坐标，(x y 1)T为像平面中像素位置齐次坐标，αx，αy分别为x,y方向上的焦距，px，py分别为焦平面中主点相对于其左上角原点的物理坐标。
B：伸缩变换参数标定。在单目近红外摄像机标定完成后，可以根据内参及畸变参数计算得到去畸变标定板图像，根据标定板边长lchessboard以及对应单个方格角点在去畸变后的图像中的像素坐标可以得到投影关系中的伸缩变换因子mx，my。两个变换因子将用于后续根据图像确定穿刺针位置信息的过程。
其中，
为像素位置坐标，
世界坐标系中水平投影坐标，如图16b所示。
步骤S22：穿刺针位置信息获取及校准。本步骤是在近红外摄像头扫描血管完毕后执行。如图18所示，首先，将穿刺针移至近红外摄像头下方水平位置，采集当前的图像，记为I'；穿刺针连同机械臂转动至另一角度，再次采集图像，记为I″。继而结合S21中的内参Qintrinsic与畸变系数{k1,k2…k5}对采集的图像进行去畸变处理。此后，通过U-net快速分割得到图像中穿刺针的位置，分割结果分别记为I′seg、I″seg。U-net基本结构为编码器与解码器。再通过对穿刺针及针尖相对于穿刺移动机构位置的校准计算，确定穿刺针在机器人坐标系(即世界坐标系)中的位置。这些位置参数将用于后续的精确穿刺引导。
C：图像去畸变。这里的图像畸变主要是指径向畸变，径向畸变主要是指光线在远离透镜中心的地方比靠近中心的地方更加弯曲。径向畸变的补偿矫正公式如下：
其中，
和
是原始图像中的某点像素坐标，x和y是矫正后图像中对应点的像素坐标，x1和y1是矫正后图像的中心点像素坐标，x0和y0是原始图像中心点像素点坐标，r2是矫正后图像点在横纵方向到中心点的像素数平方和，k1，k2，k3为径向畸变系数，k4，k5为切向畸变系数，{k1,k2…k5}均通过步骤S21获取。
D：穿刺针位置校准计算。如图19所示，穿刺针针尖竖直平面
在机器人坐标系中的位置可以根据穿刺机械臂末段位置及获得图像中针尖位置确定，图中XY平面为机器人坐标系即世界坐标系对应坐标平面，平面
可以用坐标形式表示为
此后，如图20所示，空间坐标系O′-X′Y′Z′的Y′轴在世界坐标系中的位置由机器人控制决定。其坐标形式为：
而根据两幅图像的垂直关系及针尖的投影关系即可确定针尖相对于O′-X′Y′Z′的坐标xp,zp。故此，针尖的世界坐标可表示为：
穿刺过程中，穿刺针的形变可以不计，故此，针尖的世界坐标结合机械臂末段在世界坐标系中的位置可以获得穿刺过程中所需要的穿刺针形态、位置参数。
三、步骤S3的具体展开为：
步骤S31：将S2中近红外光选定的靶血管的二维信息转化为超声探头的定位信息，输入到控制超声探头移动的机械控制程序，定位平台通过平移和转动等方式，使超声探头定位在患者前臂靶血管上方。
步骤S32：超声探头经由图像获取模块向下运动，直到下降至患者手臂皮肤表面。根据步骤S31中输入程序的超声探头定位信息，由图像获取模块的机械臂控制超声探头至靶血管定位坐标上1cm处，再机械臂控制超声探头缓慢下降。此时超声探头以一定力度按压靶血管，贴紧患者皮肤，便于观察患者靶血管结构并进行靶血管分割与建模。
四、如图21所示，步骤S4中具体包括：
步骤S41、超声探头获取靶血管的超声图像。
步骤S42、采用均值漂移分割算法作为从超声图像中对血管腔进行分割，将血管特征建模为潜在的概率密度，并迭代地尝试识别概率密度的参数，得到血管腔分割图。基于极大似然准则，如果特征血管空间中存在密集的聚类，则其对应于概率密度函数的局部最大值。给定核K，带宽参数h，对给定的d维点集的核密度估计为：
确定附近点的权值，重新估计均值。由K确定的超声探头范围内密度的加权平均值为：
其中N(x)是x的邻域，x表示点集中的样本点，xi表示样本点x邻域中的样本点。
求得m(x)后，对程序进行迭代，用上一次迭代的m(x)带入本次迭代步骤的x，即x←m(x)，通过梯度下降算法重新估值，直到m(x)收敛。收敛后，成功分割血管腔，得到血管腔分割图。
步骤S43、对靶血管进行超声建模预处理。计算血管腔分割图的颜色直方图，将其作为概率密度函数，建立靶血管的三维初始模型。建立靶血管的三维初始模型在OpenCV软件中实施，使用灰度图像、梯度幅值图像和黑森图像作为输入三通道图像的第一、第二和第三维。
步骤S44、将步骤S41中所获二维超声图像与三维初始模型模型进行配准；将图像个体在卷积神经网络中充分训练。
步骤S45、通过观察局部区域，将步骤S44中被训练的个体在马尔可夫决策过程中执行注册。马尔可夫决策过程由5维空间{Γ,A,P(·),R(·),γ}决定。其中Γ为可能状态的集合；A为可能活动的集合；PA(T)是状态T下采取行动A所获得的状态；RA(T)是状态T下采取行动A所获得的回报；γ是控制未来奖励重要性的折现系数。随着行动空间A和回报计划R(·)被确定，MDP的核心问题是找到方案π(·)来指定最佳操作π(Tt)，使状态Tt最大化长期回报：
步骤S46、根据马尔可夫决策过程中的建议采取最终的行动，并根据相应的置信度进行加权，完成二维超声图像与三维初始模型的配准，生成靶血管的最终三维模型。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种全自动静脉穿刺识别一体机器人，其特征在于，包括穿刺模块(1)、图像获取模块(2)和定位平台(3)；
所述的穿刺模块(1)包括穿刺模块外壳(11)、y轴旋转单元(12)、x轴旋转单元(13)、z轴旋转单元(14)和穿刺头构件(15)，所述y轴旋转单元(12)和z轴旋转单元(14)并排安装在穿刺模块外壳(11)内，所述x轴旋转单元(13)安装在y轴旋转单元(12)的下方，并且连接z轴旋转单元(14)，穿刺头构件(15)连接x轴旋转单元(13)；
所述y轴旋转单元(12)包括y轴电机(121)和y轴轴承(123)；穿刺模块外壳(11)包括主体部(111)和连接部(112)，所述连接部(112)为弓形，所述y轴电机(121)的两端首先固定连接并穿过主体部(111)，然后在主体部(111)的外侧，y轴电机(121)的两端通过y轴轴承(123)和连接部(112)的弓形两端相连，所述y轴电机(121)的输出轴穿过一个y轴轴承(123)后和连接部112固定，两个y轴轴承(123)的中心连线即为y轴线，所述连接部(112)的一侧连接定位平台(3)；
所述x轴旋转单元(13)包括x轴转轴(131)和x轴壳体(132)，x轴转轴(131)横向穿过x轴壳体(132)的后端，所述穿刺头构件(15)连接x轴壳体(132)的前端，所述x轴转轴(131)的轴线即为x轴线；
所述z轴旋转单元(14)包括z轴电机(141)、z轴转轴(142)、z轴轴承(143)、蜗杆(144)和涡轮(145)，所述z轴电机(141)安装在主体部(11)上，所述z轴电机(141)的下端连接z轴转轴(142)，在z轴转轴(142)上嵌套z轴轴承(143)和蜗杆(144)，所述z轴轴承(142)的外圈连接主体部(11)，所述蜗杆(144)竖直连接涡轮(145)，涡轮(145)连接x轴转轴(131)，z轴转轴(142)的轴线即为z轴线；
所述图像获取模块(2)包括超声探头(21)、图像直线电机(22)和近红外摄像机(23)，超声探头(21)通过探头支架(24)固定在图像直线电机(22)的正面活动端上进行上下直线运动，所述近红外摄像机(23)通过摄像头支架(25)连接图像直线电机(22)的背面静止端，并且摄像头支架(25)还安装在定位平台(3)上。
2.根据权利要求1所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述穿刺头构件(15)包括步进电机(151)、丝杠(152)、第一轴承(153)、直杆(154)、丝杠座(155)、止推板(156)和注射单元(157)，所述丝杠(152)的后端连接步进电机(151)，步进电机(151)固定在x轴壳体(132)内，所述丝杠(152)的前端穿过丝杆座(155)后通过第一轴承(153)连接x轴壳体(132)内部的管状通道，所述止推板(156)连接x轴壳体(132)的前端面内壁，并且通过两根平行的直杆(154)连接丝杠座(155)，所述止推板(156)和丝杆座(155)的下端连接注射单元(157)。
3.根据权利要求2所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述注射单元(157)包括进药片座(157a)、穿刺电机(157b)、进药推座(157c)和注射器夹具(157d)，所述药片座(157a)的顶端连接止推板(156)和丝杆座(155)，所述注射器夹具(157d)安装在药片座(157a)的一端下方，穿刺电机(157b)安装在药片座(157a)的另一端下方，所述穿刺电机(157b)的输出轴穿过进药推座(157c)后通过轴承连接注射器夹具(157d)，所述进药推座(157c)和穿刺电机(157b)的输出轴丝杆连接，并且进药推座(157c)滑动连接药片座(157a)。
4.根据权利要求1所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述的定位平台(3)包括横梁单元(31)和基座单元(32)，所述横梁单元(31)固定在基座单元(32)上，包括互相平行的第一横梁直线电机(311)与第二横梁直线电机(312)，所述穿刺模块外壳(11)连接第一横梁单元直线电机(311)的活动端，所述摄像头支架(25)连接第二横梁直线电机(312)的活动端。
5.根据权利要求1所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述的基座单元(32)包括底座(321)、定位水平直线电机(322)、定位安装架(323)、竖直旋转电机(324)、主动齿轮(325)、从动齿轮(326)和竖直转轴(327)，所述水平直线电机(322)安装在底座上(321)，所述竖直转轴(327)的下端固定连接水平直线电机(322)的活动端，竖直转轴(327)的上端穿过定位安装架(323并且和定位安装架(323)转动连接，所述从动齿轮(326)安装在竖直转轴(327)上，所述竖直旋转电机(327)固定在定位安装支架(323)内，竖直旋转电机(327)的输出端通过主动齿轮(325)连接从动齿轮(326)，所述定位安装架(323)的顶端连接横梁单元(31)。
6.根据权利要求5所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述基座单元(32)还包括升降平台(328)，所述升降平台(328)设置在横梁单元(31)和定位安装架(323)的顶端之间。
7.根据权利要求1所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述的近红外摄像机为单目近红外摄像机，所述全自动静脉穿刺识别一体机器人的控制方法包括以下步骤：
S1、单目近红外摄像机连续获取目标的二维近红外图像，经过图像神经网络对二维红外图像中识别的血管进行打分，将得分最高的静脉作为靶血管；
S2、穿刺模块将穿刺头构件移动至到近红外摄像机的视场中，并且进行一次姿态变换，近红外摄像机获取穿刺头构件的穿刺针的变换前后姿态，对穿刺针的当前姿态进行刷新和校准；
S3、图像获取模块将超声探头移动至靶血管的上方并且对靶血管进行压迫；
S4、超声探头采集被压迫的靶血管的不同层截面图并且进行静脉血管三维重建；
S5、穿刺模块根据三维血管模型对靶血管进行穿刺，在穿刺过程中近红外摄像机实时获取穿刺针的当前姿态，并且进行姿态刷新和校准。
8.根据权利要求7所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述控制方法的步骤S1中，对二维红外图像中识别的静脉进行打分具体包括步骤：
S11、利用基于SSD框架的图像神经网络对输入的二维近红外图像内的物品进行分类，得到分类标签，分类至少包括穿刺针、背景、手臂、直静脉和静脉分叉；
S12、筛选出分类标签中的血管图像；
S13、利用基于U-Net框架的图像分割算法对血管图像进行分割，得到血管分割图；
S14、对血管分割图进行打分，血管分割图中血管上某一点p的打分采用合适程度Ψp表示：
式中，ω1(Lv)为血管长度对应得分，Lv为血管分割图内血管长度，ω2(Wv)为血管宽度对应得分，Wv为血管分割图内血管平均宽度，ω1(Vv)为血管像素值对应得分，Vv为血管分割图内血管平均像素值，α1为p点像素值权重，
为p点及其邻域平均像素值，Vi为p点及其相邻8个点像素值，α2为p点与血管质心距离权重，Dp为p点与血管质心距离，(up，vp)为p点的像素坐标，(uI，vI)为血管分割图内血管质心像素坐标，∑tipViui为血管分割图内所有像素点的像素值与该像素点的像素横坐标乘积的和，∑tipVivi为血管分割图内所有像素点的像素值与该像素点的像素纵坐标乘积的和，∑tipVi为血管分割图内所有像素点的像素值之和。
9.根据权利要求7所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述控制方法的步骤S2具体包括：
S21、近红外摄像机获取穿刺头构件的穿刺针的变换前后姿态图，分别记为I’和I”；
S22、对前后姿态图的图像进行去畸变，去畸变的计算表达式为：
其中，
和
是原始图像中的某点像素坐标，x和y是矫正后图像中对应点的像素坐标，x1和y1是矫正后图像的中心点像素坐标，x0和y0是原始图像中心点像素点坐标，r2是矫正后图像点在横纵方向到中心点的像素数平方和，k1、k2和k3为径向畸变系数；
S22、对去畸变后的图像通过基于U-Net框架的图像分割算法得到前后姿态图中穿刺针的位置，通过对穿刺针及其针尖相对于参照物位置的校准计算，确定穿刺针在机器人坐标系中的位置，进而确认穿刺针在世界坐标系中的位置。
10.根据权利要求7所述的一种全自动静脉穿刺识别一体机器人，其特征在于，所述控制方法的步骤S4具体包括：
S41、超声探头获取靶血管的超声图像，得到血管腔二维超声图像；
S42、采用均值漂移分割算法作为从超声图像中对血管腔进行分割，将血管特征建模为潜在的概率密度函数，并迭代地尝试识别概率密度的参数；
S43、根据概率密度函数计算血管腔分割图的颜色直方图，建立靶血管的三维初始模型；
S44、将步骤S41中所获二维超声图像与三维初始模型模型进行配准；将图像个体在卷积神经网络中充分训练；
S45、通过观察局部区域，将步骤S44中被训练的个体在马尔可夫决策过程中执行注册；
S46、根据马尔可夫决策过程中的建议采取最终的行动，并根据相应的置信度进行加权，完成二维超声图像与三维初始模型的配准，生成靶血管的最终三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010892983.XA CN112089490A (zh) | 2020-08-31 | 2020-08-31 | 一种全自动静脉穿刺识别一体机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010892983.XA CN112089490A (zh) | 2020-08-31 | 2020-08-31 | 一种全自动静脉穿刺识别一体机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112089490A true CN112089490A (zh) | 2020-12-18 |
Family
ID=73758531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010892983.XA Pending CN112089490A (zh) | 2020-08-31 | 2020-08-31 | 一种全自动静脉穿刺识别一体机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112089490A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112604094A (zh) * | 2020-12-22 | 2021-04-06 | 天津大学 | 一种自识别静脉穿刺机器人系统 |
| CN113973652A (zh) * | 2021-10-26 | 2022-01-28 | 力源新资源开发(广东)有限公司 | 一种高效获得冬虫夏草自动接种设备 |
| KR20220129705A (ko) * | 2021-03-16 | 2022-09-26 | 가톨릭관동대학교산학협력단 | 주사용 암 어셈블리 및 혈관 검출유닛을 포함하는 자동 주사장치 |
| CN118340580A (zh) * | 2024-05-11 | 2024-07-16 | 梦石科技(北京)有限公司 | 基于随机游走和图割形变模型的便携式静脉穿刺操作系统 |
-
2020
- 2020-08-31 CN CN202010892983.XA patent/CN112089490A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112604094A (zh) * | 2020-12-22 | 2021-04-06 | 天津大学 | 一种自识别静脉穿刺机器人系统 |
| KR20220129705A (ko) * | 2021-03-16 | 2022-09-26 | 가톨릭관동대학교산학협력단 | 주사용 암 어셈블리 및 혈관 검출유닛을 포함하는 자동 주사장치 |
| KR102598443B1 (ko) * | 2021-03-16 | 2023-11-06 | 가톨릭관동대학교 산학협력단 | 주사용 암 어셈블리 및 혈관 검출유닛을 포함하는 자동 주사장치 |
| CN113973652A (zh) * | 2021-10-26 | 2022-01-28 | 力源新资源开发(广东)有限公司 | 一种高效获得冬虫夏草自动接种设备 |
| CN118340580A (zh) * | 2024-05-11 | 2024-07-16 | 梦石科技(北京)有限公司 | 基于随机游走和图割形变模型的便携式静脉穿刺操作系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112022346B (zh) | 一种全自动静脉穿刺识别一体机器人的控制方法 | |
| CN112089490A (zh) | 一种全自动静脉穿刺识别一体机器人 | |
| US9542743B2 (en) | Calibration and transformation of a camera system's coordinate system | |
| CN107789001A (zh) | 一种用于成像扫描的摆位方法和系统 | |
| Xiao et al. | Nonrigid registration of 3-D free-hand ultrasound images of the breast | |
| CN111166387B (zh) | 甲状腺的超声成像方法和装置 | |
| CN111820920B (zh) | 一种静脉采血数据处理方法、装置及智能采血机器人 | |
| CN109770943A (zh) | 一种利用计算机视觉定位的超声自动优化方法 | |
| CN113876426A (zh) | 一种与无影灯结合的术中定位跟踪系统及方法 | |
| CN107330976A (zh) | 一种人体头部三维建模装置及使用方法 | |
| CN205094484U (zh) | 全自动超声扫描仪 | |
| CN110189257A (zh) | 点云获取的方法、装置、系统及存储介质 | |
| CN115721415A (zh) | 一种软组织穿刺导航定位方法和系统 | |
| CN117279573A (zh) | 机器人化成像系统 | |
| Kaya et al. | Visual needle tip tracking in 2D US guided robotic interventions | |
| CN117392109A (zh) | 一种乳腺病灶三维重建方法及系统 | |
| CN108334856A (zh) | 具有多方位扫描功能的智能型人脸识别装置 | |
| CN110674751A (zh) | 一种基于单目摄像机检测头部姿态的装置及方法 | |
| CN112617877B (zh) | 移动ct系统的自主扫描方法、存储介质和ct扫描装置 | |
| CN206208767U (zh) | 相变温度测试仪 | |
| CN111449684B (zh) | 心脏超声标准扫查切面快速获取方法及系统 | |
| CN116807577B (zh) | 全自动静脉穿刺设备和全自动静脉穿刺方法 | |
| CN111839534A (zh) | 一种采血方法及采血机器人 | |
| CN115922725B (zh) | 一种咽拭子采样机器人定位系统 | |
| US20230024178A1 (en) | Body-insertion device and method for controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |