CN111481212A - 抽血机器人 - Google Patents
抽血机器人 Download PDFInfo
- Publication number
- CN111481212A CN111481212A CN202010217079.9A CN202010217079A CN111481212A CN 111481212 A CN111481212 A CN 111481212A CN 202010217079 A CN202010217079 A CN 202010217079A CN 111481212 A CN111481212 A CN 111481212A
- Authority
- CN
- China
- Prior art keywords
- blood
- image
- blood sampling
- connecting rod
- vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/150007—Details
- A61B5/150015—Source of blood
- A61B5/15003—Source of blood for venous or arterial blood
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/150007—Details
- A61B5/150732—Needle holders, for instance for holding the needle by the hub, used for example with double-ended needle and pre-evacuated tube
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/150007—Details
- A61B5/150748—Having means for aiding positioning of the piercing device at a location where the body is to be pierced
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/153—Devices specially adapted for taking samples of venous or arterial blood, e.g. with syringes
- A61B5/1535—Devices specially adapted for taking samples of venous or arterial blood, e.g. with syringes comprising means for indicating vein or arterial entry
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Hematology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Vascular Medicine (AREA)
- Power Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种抽血机器人,所述抽血机器人包括:止血带,所述止血带用于改善静脉血管充盈度及防止血液倒流;血管识别器,所述血管识别器通过血管显像和图像识别确定采血点,并输出所述采血点的坐标;采血执行机构,所述采血执行机构根据所述采血点的坐标对所述采血点进行采血动作;控制系统,所述控制系统分别与所述止血带、所述血管识别器和所述采血执行机构通信。根据本发明实施例的抽血机器人能够减少医护人员的工作量、提升抽血效率、提升患者体验、降低医护人员被感染的可能。
Description
技术领域
本发明涉及医疗设备技术领域,尤其是涉及一种抽血机器人。
背景技术
公共健康与卫生医疗一直以来都是颇受公众关注的重要问题,而定期体检便是及早 发现或者前期预防身体疾病最为科学有效的方式。健康体检中的抽血环节更是必不可少 的,后续的血液分析结果也是衡量一个人身体状况的重要参考,但是到目前为止,抽血工作依然主要依靠护士人工操作进行,存在以下相关问题:
(1)抽血效率不高。当前,经常有学校、企业或者机关等单位组织人数较多的体检活动,而抽血检验工作又几乎完全依靠护士的操作熟练度和患者的生理机能,并且在我 国每一千人中的医护人员数量又相当少,因此总是造成体检现场过度拥挤的现象,这样 既加重了医护人员的负担,同时抽血的效率也不高。
(2)容易造成次生伤害引发医患冲突。健康体检对于医护人员的医疗服务水平也会 提出相应的要求,如果医护人员的医疗服务水平尚未达标,在实践操作的过程中就往往会引发问题,影响患者的体检情况,严重时甚至引发医患纠纷。
(3)给医护人员带来健康威胁。对于一些特殊的如具有传染性疾病的病人,对其的抽血工作会对医护人员的身体健康带来一定的威胁。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明的一个目的在 于提出一种抽血机器人,该抽血机器人能够减少医护人员的工作量、提升抽血效率、提升患者体验、降低医护人员被感染的可能。
根据本发明的实施例提出一种抽血机器人,所述抽血机器人包括:止血带,所述止血带用于改善静脉血管充盈度及防止血液倒流;血管识别器,所述血管识别器通过血管 显像和图像识别确定采血点,并输出所述采血点的坐标;采血执行机构,所述采血执行 机构根据所述采血点的坐标对所述采血点进行采血动作;控制系统,所述控制系统分别 与所述止血带、所述血管识别器和所述采血执行机构通信。
根据本发明实施例的抽血机器人能够减少医护人员的工作量、提升抽血效率、提升 患者体验、降低医护人员被感染的可能。
根据本发明的一些具体实施例,所述血管识别器包括:红外静脉显像仪,用于成像静脉图像;图像识别单元,用于根据所述静脉图像通过视觉算法识别符合采血条件的血管,确认所述采血点并计算所述采血点的坐标;其中,所述图像识别单元内置于所述控 制系统并与所述红外静脉显像仪通信。
进一步地,所述图像识别单元工作时执行以下步骤:对所述静脉图像进行预处理;从预处理后的静脉图像中提取特定颜色;对提取特定颜色后的静脉图像进行边缘检测; 对经过边缘检测的静脉图像进行轮廓提取并确定所述采血点且计算所述采血点的坐标。
进一步地,所述对所述静脉图像进行预处理包括:采用形态学噪声滤除器对所述静 脉图像进行去噪;对所述静脉图像进行开运算。
进一步地,所述从预处理后的静脉图像中提取特定颜色包括:利用函数cv2.cvtColor将RGB空间转化为HSV空间;确认颜色范围的上限值和下限值,利用函数cv2.inRange对特定颜色进行提取。
进一步地,利用Canny算子对提取特定颜色后的静脉图像进行边缘检测。
进一步地,所述对经过边缘检测的静脉图像进行轮廓提取并确定所述采血点且计算 所述采血点的坐标包括:利用函数cv2.drawContours画出轮廓点,并筛选掉面积小于一定值的轮廓;将剩余轮廓分别近似为矩形,并利用函数cv2.boxPoints获取每个矩形 的四个角点的坐标;寻找距所述静脉图像中心线最近的矩形,该矩形的形心即为所述采 血点,该矩形的形心的坐标即为所述采血点的坐标。
根据本发明的一些具体实施例,所述采血执行机构包括:机械臂,所述机械臂具有至少三个自由度;末端执行器,所述末端执行器安装于所述机械臂的末端且具有至少一 个自由度。
进一步地,所述末端执行器包括:支撑机架,所述支撑机架安装于所述机械臂的末端;舵机,所述舵机安装于所述支撑机架;第一连杆,所述第一连杆的一端可枢转地安 装于所述支撑机架且与所述舵机传动连接;第二连杆,所述第二连杆的一端与所述第一 连杆的另一端可枢转地相连;第三连杆,所述第三连杆的一端与所述第二连杆的另一端 可枢转地相连且另一端可枢转地安装于所述支撑机架;采血针夹持装置,所述采血针夹 持装置安装于所述第三连杆且用于夹持采血针;其中,所述舵机运行时通过所述第一连 杆、所述第二连杆、所述第三连杆和所述采血针夹持装置带动所述采血针转动,所述采 血针的转动轴线垂直于所述采血针且经过所述采血针的针头。
根据本发明的一些具体示例,所述控制系统根据所述采血点的坐标值控制所述机械 臂时执行以下步骤:将末端坐标系移动至所述采血点上方预定距离,并转动预定角度,以使所述末端坐标系代表的针头与所述采血点所在血管的长度方向平行;设定所述针尖坐标为所述末端坐标系的原点,通过所述机械臂的每个关节的初始角度,确定采血针相 对所述采血点所在血管的位置以及偏转角度;利用mstraj函数,通过起始末尾两个位 姿转换矩阵,插值求出过渡的矩阵组成路径,获取每个矩阵对应的关节值,规划所述机 械臂的运动轨迹。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得 明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明 显和容易理解,其中:
图1是根据发明实施例的抽血机器人的结构示意图。
图2是根据本发明实施例的抽血机器人的腐蚀操作示意图。
图3是根据本发明实施例的抽血机器人的腐蚀操作后的静脉图像。
图4是根据本发明实施例的抽血机器人的膨胀操作示意图。
图5是根据本发明实施例的抽血机器人的膨胀操作后的静脉图像。
图6是RGB色彩空间的示意图。
图7是HSV色彩空间的示意图。
图8是根据本发明实施例的抽血机器人的去除非目标颜色区域后的图像。
图9是根据本发明实施例的抽血机器人的提取轮廓后的图像。
图10是根据本发明实施例的抽血机器人的旋转边界矩形近似图像。
图11是根据本发明实施例的抽血机器人的确认采血点的图像。
图12是根据本发明实施例的抽血机器人的采血执行机构的结构示意图。
图13是根据本发明实施例的抽血机器人的采血执行机构的末端执行器的结构示意 图。
图14为采血过程示意图。
图15是根据本发明实施例的抽血机器人的末端坐标系与血管成一定夹角的示意图。
图16是根据本发明实施例的抽血机器人的采血步骤分解流程图。
图17是根据本发明实施例的抽血机器人的机械臂在空间的位姿示意图。
图18是根据本发明实施例的抽血机器人的机械臂的DH参数。
图19是根据本发明实施例的抽血机器人的采血执行机构与红外静脉显像仪的位置 示意图。
图20是根据本发明实施例的抽血机器人的数据流程图。
附图标记:
抽血机器人1、
止血带10、血管识别器20、采血执行机构30、
机械臂100、末端执行器200、
支撑机架210、舵机220、第一连杆230、第二连杆240、第三连杆250、采血针夹 持装置260、采血针270。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相 同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,“第一特征”、“第二特征”可以包括一个或者更多个该特征。需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、 “上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、 “底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向” 等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明 和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位 构造和操作,因此不能理解为对本发明的限制。此外,在本发明的描述中,“多个”的 含义是两个或两个以上。
下面参考图1-图20描述根据本发明实施例的抽血机器人1。
如图1所示,根据本发明实施例的抽血机器人1包括止血带10、血管识别器20、采血执行机构30和控制系统(图中未示出)。
止血带10用于改善静脉血管充盈度及防止血液倒流。血管识别器20通过血管显像和图像识别确定采血点,并输出所述采血点的坐标。采血执行机构30根据所述采血点 的坐标对所述采血点进行采血动作。所述控制系统分别与止血带10、血管识别器20和 采血执行机构30通信,例如,所述控制系统可以为计算机。
具体地,患者将手臂放置于止血带10,止血带10箍紧患者手臂,血管识别器20对手臂上的血管进行显像,通过图像识别选取最佳的采血血管,确认采血点,并输出采血 点的坐标,输送至控制系统,控制系统根据该坐标计算采血执行机构30的运动轨迹, 根据该运动轨迹控制采血执行机构30运动,从而在该采血点进行采血。
根据本发明实施例的抽血机器人1,能够代替医护人员,将人工采血转化为自动智能采血,从而具有以下优点:
(一)可以减少医护人员的工作量,提升抽血效率,把时间从抽血这项重复性工作节省出来用以其他方面,对医患双方均有好处;
(二)稳定的成功率,避免了由于医护人员经验不足,状态不好等造成的多次抽血,提升患者医疗体验差,避免引发医患纠纷等问题;
(三)大幅降低医护人员被感染的可能性,有效保护医护人员的身体健康。
在本发明的一些具体实施例中,血管识别器20包括红外静脉显像仪和图像识别单元。
红外静脉显像仪用于成像静脉图像。图像识别单元用于根据所述静脉图像通过视觉 算法识别符合采血条件的血管,确认所述采血点并计算所述采血点的坐标。
由于在红外线领域下黑色素和血红蛋白等的发色团(chromophore)的吸收率小,在可 视光线领域下发色团吸收率大,在1300nm以上领域人难看到血管。因为从900nm以上水的吸收率增加,到1300nm以上的时候,水吸收一切的光。所以在700nm-1000nm领 域是容易看出血管的肌红外线窗口(NIR window/Near-infrared Window)。吸收度是 随着血红蛋白(Hemoglobin)的氧饱及不同光线波长变化。
其中,图像识别单元内置于所述控制系统并与所述红外静脉显像仪通信,该图像识 别单元可以为一种程序。
具体而言,所述图像识别单元工作时执行以下步骤:
对所述静脉图像进行预处理;
从预处理后的静脉图像中提取特定颜色;
对提取特定颜色后的静脉图像进行边缘检测;
对经过边缘检测的静脉图像进行轮廓提取并确定所述采血点且计算所述采血点的坐 标。
在本发明的一些具体示例中,所述对所述静脉图像进行预处理包括:
采用形态学噪声滤除器对所述静脉图像进行去噪;
对所述静脉图像进行开运算。
具体而言,图像在生成和传输过程中常常因受到各种因素的干扰和影响而使得图像 降质,这对后续图像的处理和图像视觉效应将产生不利影响,故而首先对图像进行一定的预处理以便于后续对于图像关键信息的提取。
图像噪声是图像在摄取或传输时所受的随机信号干扰,是图像中各种妨碍人们对其 信息接受的因素。这对后续图像的处理将产生很大干扰。
噪声种类很多,具有不同的分类方式,根据噪声与信号之间的关系、噪声产生的原因及噪声统计特性等,很多时候将图像噪声看成是多维随机过程,因而描述噪声的方法 完全可以借用随机过程的描述,即用其概率分布函数和概率密度分布函数。主要分为以 下几种:
高斯噪声:在空间和频域中数学上的易处理性,高斯噪声(也称为正态噪声)模型经 常被用于实践中。事实上,这种易处理性非常方便,使高斯模型经常用于临界情况下。高斯随机变量z的概率密度函数由下式给出:
脉冲噪声(椒盐噪声):双极脉冲噪声也称为椒盐噪声,有时也称为散粒和尖峰噪声。 椒盐噪声是出现在随机位置、噪点深度基本固定的噪声,概率密度函数如下:
指数分布噪声,指数噪声的PDF可由下式给出:
均匀分布噪声,均匀噪声分布的概率密度,由下式给出:
此外,还有瑞利噪声,伽马噪声等不再一一列举,噪声会对图像关键信息的提取造成干扰,因此,为了抑制噪声,改善图像质量,便于更高层次的处理,需对图像进行去 噪预处理。
去噪后的图像一般需要考虑3方面的内容:1、噪声衰减程度;2、边缘保持程度;3、区域平滑程度。去噪后的图像应该尽可能地衰减噪声,保持图像边缘鲜明,尽可能地平 滑区域。简言之就是“去噪保鲜”。图像去噪算法可以分为空间域滤波、变换域滤波、 偏微分方程和形态学噪声滤除器,结合在抽血机器人1中应用的特性,本发明采用形态 学噪声滤除器。
具体地址,将开与闭结合可用来滤除噪声,首先对有噪声图像进行开运算,可选择结构要素矩阵比噪声尺寸大,因而开运算的结果是将背景噪声去除,再对前一步得到的 图像进行闭运算,将图像上的噪声去掉。
举例而言,如图2所示,首先定义一个4*4的卷积核,称其为结构元素,腐蚀操作 即是指用结构元素扫描图像中的每一个像素,用操作数矩阵扫描图像中的每一个像素, 操作数矩阵中每一个像素与覆盖的像素做“与”操作,如果全部为1,则图像中的该像 素为1,反之为0,处理后得到图3所示的图像。
如图4所示,而膨胀操作是指用结构元素扫描图像中的每一个像素,用操作数矩阵扫描图像中的每一个像素,操作数矩阵中每一个像素与覆盖的像素做“或”操作,全部 为0时,则图像素中的该像素为0,反之为1,处理后得到图5所示的图像。
对图像进行先腐蚀后膨胀的操作即为开运算,可以消除图像上细小的噪声,并平滑 物体的边界。
在本发明的一些具体示例中,所述从预处理后的静脉图像中提取特定颜色包括:
利用函数cv2.cvtColor将RGB空间转化为HSV空间;
确认颜色范围的上限值和下限值,利用函数cv2.inRange对特定颜色进行提取。
具体而言,从图像中提取静脉血管的信息需要进行颜色识别,而为了满足不同用途 的需要,形成了许多不同名称的色彩空间,不同的色彩空间有着不同的特性,使用在不同的领域。因此在本发明中需要进行不同色彩空间的转换。
如图6所示,RGB色彩空间是常用于显示器系统中,是比较普遍的色彩描述方法,RGB分别代表三个基色(R-红色、G-绿色、B-蓝色),具体的色彩值由三个基色叠加而 成。在图像处理中,往往使用向量表示色彩的值,如(0,0,0)表示黑色、(255,255,255) 表示白色。其中,255表示色彩空间被量化成255个数,最高亮度值为255(255=2^8 -1,即每个色彩通道用8位表示)。在这个色彩空间中,有256*256*256种颜色,是 一个包含Red、Green、Blue的三维空间。
如图7所示,HSV色彩空间(Hue-色调、Saturat ion-饱和度、Value-值)将亮度从色彩中分解出来,在图像增强算法中用途很广,色调H,用角度度量,从红色开始按逆时 针方向计算,红色为0°,绿色为120°,蓝色为240°。饱和度S表示颜色接近光谱色 的程度。一种颜色,可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例 愈大,颜色接近光谱色的程度就愈高,颜色的饱和度也就愈高。明度V表示颜色明亮的 程度,对于光源色,明度值与发光体的光亮度有关。
因为RGB色彩空间并不能很好地反映出物体具体的颜色信息,而相对于RGB色彩空间,HSV色彩空间能够非常直观的表达色彩的明暗,色调,以及鲜艳程度,方便进行颜 色之间的对比,故而在颜色提取之前要将图像进行颜色空间转换处理。例如把RGB三维 坐标的中轴线立起来,并扁化,就能形成HSV的锥形模型。公式如下:
R’=R/255
G’=G/255
B’=B/255
Cmax=max(R,G,B)
Cmin=min(R,G,B)
Δ=Cmax-Cmin
H计算:
Hue
S计算:
Saturation
V计算:
Value
V=Cmax
如采用Opencv进行颜色空间转换,从RGB到HSV使用函数cv2.cvtColor即可,再 根据设备所提供的图像,确定静脉血管所需要的颜色范围,如下限为[0,43,46],上限 为[10,255,255],利用函数cv2.inRange便可实现目标颜色的提取,得到图8所示图像。
在本发明的一些具体示例中,利用Canny算子对提取特定颜色后的静脉图像进行边 缘检测。
具体而言,边缘是指图像局部强度变化最显著的部分。主要存在于目标与目标、目标与背景、区域与区域(包括不同色彩)之间,图像属性中的显著变化通常反映了属性的 重要事件和变化。通常包括深度上的不连续、表面方向不连续、物质属性变化和场景照 明变化等。图像的边缘有方向和幅度两个属性,沿边缘方向像素变化平缓,垂直于边缘方 向像素变化剧烈。边缘检测是提取图像信息的重要环节,对图像边缘的检测是图像分割、 纹理特征和形状特征等图像分析的重要基础。
边缘上的这种变化可以用微分算子检测出来,通常用一阶或二阶导数来检测边缘。 有关边缘检测有几种经典的算子:Roberts边缘算子、Sobel算子、Laplace算子和Canny算子,结合在抽血机器人1中的应用,本发明采用Canny算子,Canny算子不容易受噪 声干扰,能够检测到真正的弱边缘,使用两种不同的阈值分别检测强边缘和弱边缘,并 且当弱边缘和强边缘相连时,才将弱边缘包含在输出图像中。
具体地,Canny算子的基本步骤为:
1、使用高斯滤波器平滑图像,卷积核尺度通过高斯滤波器的标准差确定;
2、计算滤波后图像的梯度幅值和方向,可以使用Sobel算子计算Gx与Gy方向的梯度;
3、使用非最大化抑制方法确定当前像素点是否比邻域像素点更可能属于边缘的像素, 以得到细化的边缘,其实现是:将当前像素位置的梯度值与其梯度方向上相邻的的梯度方向 的梯度值进行比较,如果周围存在梯度值大于当前像素的梯度值,则不认为查找到的当前像 素点为边缘点;
4、使用双阈值[T1,T2]法检测边缘的起点和终点,这样能形成连接的边缘。T2>T1,T2 用来找到没条线段,T1用来在这条线段两端延伸寻找边缘的断裂处,并连接这些边缘。
在本发明的一些具体示例中,所述对经过边缘检测的静脉图像进行轮廓提取并确定 所述采血点且计算所述采血点的坐标包括:
利用函数cv2.drawContours画出轮廓点,并筛选掉面积小于一定值的轮廓;
将剩余轮廓分别近似为矩形,并利用函数cv2.boxPoints获取每个矩形的四个角点 的坐标;
寻找距所述静脉图像中心线最近的矩形,该矩形的形心即为所述采血点,该矩形的 形心的坐标即为所述采血点的坐标。
具体而言,合理扎针位置是较粗且相对平直的血管,理想算法是求取血管的宽度,但此方案面临计算量大,较为深奥的数学知识,算法复杂,故而选择轮廓近似的方法, 利用近似的形状来提取轮廓的主要特征,在实现目标的同时大幅简化算法。
为便于观察,用cv2.drawContours画出轮廓点,首先筛选掉面积小于一定值的轮廓。 在剩下面积满足要求的轮廓中寻找最佳位置。如图9所示,亮色边界表示所有轮廓,暗色边界表示符合要求的轮廓。
将轮廓形状近似到另外一种由更少点组成的轮廓形状,新轮廓的点的数目由设定的 准确度来决定,使用Douglas-Peucker算法及函数 cv2.approxPolyDP(cnt,epsilon,True),这个函数的第二个参数epsilon,是从原始轮 廓到近似轮廓的最大距离。它是一个准确度参数。选择一个好的epsilon对于得到满 意结果非常重要。
考虑到血管可以近似看作长宽比较高的矩形,故而选择用矩形来近似血管轮廓,直 边界矩形就是没有旋转的矩形,它不会考虑对象是否旋转。所以边界矩形的面积不是最小的。可以使用函数cv2.boundingRect()查找得到,(x,y)为矩形左上角的坐标, (w,h)是矩形的宽和高。如图10所示,而旋转的边界矩形是面积最小的,因为它考 虑了对象的旋转,用到的函数为cv2.minAreaRect(),返回的是一个Box2D结构,其 中包含矩形左上角角点的坐标(x,y),矩形的宽和高(w,h),以及旋转角度。可以 通过函数cv2.boxPoints()获得这个矩形需要矩形的4个角点。
此时图像上的轮廓已经均为面积值合适的轮廓,根据人类手臂血管大致分布可知,此时 只需要找到距离图像中心线最近的矩形轮廓即可,利用已经得到的各个矩形的参数,计算各 旋转边界矩形形心到中心线的距离,选择最近的一个边界矩形,其形心即是所需目标位置。 如图11所示,用虚线选择边界矩形框代表目标矩形,以目标位置坐标为圆心,根据机械结 构运动精度确定半径画圆得出最后的输出坐标示意图,同时将各个参数及最终坐标返回给控 制系统。
在本发明的一些具体实施例中,如图12所示,采血执行机构30包括机械臂100和末端执行器200。
机械臂100具有至少三个自由度。末端执行器200安装于机械臂100的末端且具有至少 一个自由度。例如,机械臂100的最大载重为500g,其初始位置臂展可达450mm,通过机械 臂100实现采血针空间位置和水平面姿态的控制,通过末端执行器200实现垂直平面内的 角度变换,采血执行机构30能达到三维空间的各位置,实现自身的欧拉姿态,灵活工作空 间适用于采血场景。
机械臂100的电控部分,采用嵌入式结构,核心为STM32F103C8T6芯片,采用串口通讯,实时性可达毫秒级,能满足采血过程需求,可设置动作组循环动作,其控制协议格式如下:
进一步地,如图13所示,末端执行器200包括支撑机架210、舵机220、第一连杆230、第二连杆240、第三连杆250和采血针夹持装置260。
支撑机架210安装于机械臂100的末端。舵机220安装于支撑机架210。第一连杆230的一端可枢转地安装于支撑机架210且与舵机220传动连接。第二连杆240的一端 与第一连杆230的另一端可枢转地相连。第三连杆250的一端与第二连杆240的另一端 可枢转地相连,且第三连杆250的另一端可枢转地安装于支撑机架210。采血针夹持装 置260安装于第三连杆250且用于采血针270。
其中,舵机220运行时通过第一连杆230、第二连杆240、第三连杆250和采血针夹持装置260带动采血针270转动,采血针270的转动轴线垂直于采血针270且经过采血 针270的针头,即第三连杆250的转动轴线经过采血针270的针头,第三连杆250的转 动轴线与采血针270的转动轴线重合。
由此,采血针270在垂直平面内调整角度时,能够保持针尖位置不变,针尖在第三连杆250的转动轴线上,当第三连杆250转动时,采血针270随之转动,而针尖的位置 却不发生改变。
在本发明的一些具体实施例中,所述控制系统根据所述采血点的坐标值控制机械臂 100时执行以下步骤:
将末端坐标系移动至所述采血点上方预定距离,并转动预定角度,以使所述末端坐 标系代表的针头与所述采血点所在血管的长度方向平行;
设定所述针尖坐标为所述末端坐标系的原点,通过所述机械臂的每个关节的初始角 度,确定采血针相对所述采血点所在血管的位置以及偏转角度;
利用mstraj函数,通过起始末尾两个位姿转换矩阵,插值求出过渡的矩阵组成路径, 获取每个矩阵对应的关节值,规划所述机械臂的运动轨迹。
具体而言,静脉采血的基本过程可抽象为图14所示,对于任意静脉血管,期望找到一段较平直(相对手臂走向)、宽度足够的静脉。利用图像识别,我们可以将血管抽象 为一段与大地坐标系有一定夹角的线段,之后采血执行机构30的一系列运动可组合为 相同的封装。
如图15所示,在机械臂100初定位阶段需要实现的动作为:将末端坐标系移动到目标血管上方固定距离,并侧向转动一定角度,以保证末端坐标系代表的针头与目标血管 段近乎平行(或误差在一定角度允许范围内)。
以4R机械臂为例,末端坐标系中一点坐标和其在世界坐标系中的坐标,存在如下转 换关系,其中转换矩阵的具体值与机械臂100的每个关节坐标关系是确定的,在RoboticsToolbox插件中用fkine()函数表示:
由此,设定针尖坐标为末端坐标系原点,即可通过每个确定的关节角度,进而确定采血针270相对患者胳膊的位置,以及偏转角度。针尖坐标为:
利用正运动学,根据已知目标位置及姿态,求机械臂100的每个关节对应的角度值, 通过多次求正解得到问题的数值解。例如在RoboticsToolbox中的封装函数为ikine(), 其主要参数及解释如下:
其中规定了求解步长、迭代次数、结果误差、缺省自由度,迭代初值等关键计算元素。
利用mstraj函数,通过起始末尾两个位姿转换矩阵,插值求出过渡的矩阵组成路径, 进而求出每个矩阵对应的关节值。
根据本发明实施例的抽血机器人1,控制系统对采血执行机构30的控制,其采血步骤分解流程图如图16所示。
图17示意了机械臂100在空间的位姿描述,图18示意了机械臂100的DH参数。机械臂100轨迹为:
XA=l1sinθ1cosθ0+l2cos(-θ3)cosθ0+l3cosθ0...(1)
yA=l1sinθ1sinθ0+l2cos(-θ8)sinθ0...(2)
zA=l0+l1cosθθ1-l2sin(-θ3)...(3)
其中PA(xA,yA,zA)是图形识别单元求出的已知坐标,θ0,θ1,θ2,θ3是需要求出的机械臂100的各关节的旋转角度。由于机械臂100的末端需要平行于xy平面。所以,
θ1+θ2+θ3=90...(4)
由公式(1),(2),(3),(4)求出θ0,θ1,θ2,θ3与PA(xA,yA,zA)的关系。即,
θ1=cos-1[l2(1-k2)2+zA-l0]
如图19所示,。PA(xA,yA,zA)在抽血机器人1结构上算出,PB(xB,yB,zB)是通过图 像识别得到的坐标,向量首先Z轴旋转-90°,然后沿向量平移的时候,算出PA(xA,yA,zA)的坐标。
根据本发明的实施例提供了一种可自动提供为患者提供采血服务的抽血机器人1, 该抽血机器人1包含图像识别、机械臂运动轨迹规划、机械臂控制等子系统。其中图像识别模块能实现利用红外显像技术拍摄到人体血管实际位置图片,并通过机器人视觉算法识别出一段符合采血条件的血管,输出具体位置姿态坐标的功能;机械臂运动计算、 轨迹规划子模块的实现则是利用图形化编程设计出上位机原型,通过串口通讯向机械臂 发送舵机数值;机械臂硬件部分,采用了体积适合、性能稳定的基于STM32单片机系统 的6舵机机械臂,并提供方便采血控制的末端执行器,抽血机器人1的数据流程如图20 所示。
在本说明书的描述中,参考术语“具体实施例”、“具体示例”等的描述意指结合该实 施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。 在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或 更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且 本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根 据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所 属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施 方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件 来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术 中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻 辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门 阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可 以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该 程序在执行时,包括方法实施例的步骤之一或其组合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本 发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的 范围由权利要求及其等同物限定。
Claims (10)
1.一种抽血机器人,其特征在于,包括:
止血带,所述止血带用于改善静脉血管充盈度及防止血液倒流;
血管识别器,所述血管识别器通过血管显像和图像识别确定采血点,并输出所述采血点的坐标;
采血执行机构,所述采血执行机构根据所述采血点的坐标对所述采血点进行采血动作;
控制系统,所述控制系统分别与所述止血带、所述血管识别器和所述采血执行机构通信。
2.根据权利要求1所述的抽血机器人,其特征在于,所述血管识别器包括:
红外静脉显像仪,用于成像静脉图像;
图像识别单元,用于根据所述静脉图像通过视觉算法识别符合采血条件的血管,确认所述采血点并计算所述采血点的坐标;
其中,所述图像识别单元内置于所述控制系统并与所述红外静脉显像仪通信。
3.根据权利要求2所述的抽血机器人,其特征在于,所述图像识别单元工作时执行以下步骤:
对所述静脉图像进行预处理;
从预处理后的静脉图像中提取特定颜色;
对提取特定颜色后的静脉图像进行边缘检测;
对经过边缘检测的静脉图像进行轮廓提取并确定所述采血点且计算所述采血点的坐标。
4.根据权利要求3所述的抽血机器人,其特征在于,所述对所述静脉图像进行预处理包括:
采用形态学噪声滤除器对所述静脉图像进行去噪;
对所述静脉图像进行开运算。
5.根据权利要求3所述的抽血机器人,其特征在于,所述从预处理后的静脉图像中提取特定颜色包括:
利用函数cv2.cvtColor将RGB空间转化为HSV空间;
确认颜色范围的上限值和下限值,利用函数cv2.inRange对特定颜色进行提取。
6.根据权利要求3所述的抽血机器人,其特征在于,利用Canny算子对提取特定颜色后的静脉图像进行边缘检测。
7.根据权利要求3所述的抽血机器人,其特征在于,所述对经过边缘检测的静脉图像进行轮廓提取并确定所述采血点且计算所述采血点的坐标包括:
利用函数cv2.drawContours画出轮廓点,并筛选掉面积小于一定值的轮廓;
将剩余轮廓分别近似为矩形,并利用函数cv2.boxPoints获取每个矩形的四个角点的坐标;
寻找距所述静脉图像中心线最近的矩形,该矩形的形心即为所述采血点,该矩形的形心的坐标即为所述采血点的坐标。
8.根据权利要求1-7中任一项所述的抽血机器人,其特征在于,所述采血执行机构包括:
机械臂,所述机械臂具有至少三个自由度;
末端执行器,所述末端执行器安装于所述机械臂的末端且具有至少一个自由度。
9.根据权利要求8所述的抽血机器人,其特征在于,所述末端执行器包括:
支撑机架,所述支撑机架安装于所述机械臂的末端;
舵机,所述舵机安装于所述支撑机架;
第一连杆,所述第一连杆的一端可枢转地安装于所述支撑机架且与所述舵机传动连接;
第二连杆,所述第二连杆的一端与所述第一连杆的另一端可枢转地相连;
第三连杆,所述第三连杆的一端与所述第二连杆的另一端可枢转地相连且另一端可枢转地安装于所述支撑机架;
采血针夹持装置,所述采血针夹持装置安装于所述第三连杆且用于夹持采血针;
其中,所述舵机运行时通过所述第一连杆、所述第二连杆、所述第三连杆和所述采血针夹持装置带动所述采血针转动,所述采血针的转动轴线垂直于所述采血针且经过所述采血针的针头。
10.根据权利要求8所述的抽血机器人,其特征在于,所述控制系统根据所述采血点的坐标值控制所述机械臂时执行以下步骤:
将末端坐标系移动至所述采血点上方预定距离,并转动预定角度,以使所述末端坐标系代表的针头与所述采血点所在血管的长度方向平行;
设定所述针尖坐标为所述末端坐标系的原点,通过所述机械臂的每个关节的初始角度,确定采血针相对所述采血点所在血管的位置以及偏转角度;
利用mstraj函数,通过起始末尾两个位姿转换矩阵,插值求出过渡的矩阵组成路径,获取每个矩阵对应的关节值,规划所述机械臂的运动轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010217079.9A CN111481212A (zh) | 2020-03-25 | 2020-03-25 | 抽血机器人 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010217079.9A CN111481212A (zh) | 2020-03-25 | 2020-03-25 | 抽血机器人 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111481212A true CN111481212A (zh) | 2020-08-04 |
Family
ID=71794423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010217079.9A Pending CN111481212A (zh) | 2020-03-25 | 2020-03-25 | 抽血机器人 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111481212A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113080955A (zh) * | 2021-04-08 | 2021-07-09 | 广东医科大学附属第二医院 | 一种抽取动脉血装置 |
CN113222925A (zh) * | 2021-04-30 | 2021-08-06 | 陕西科技大学 | 一种基于ImagePy的水敏纸雾滴参数测量装置及其测量方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120190981A1 (en) * | 2010-12-22 | 2012-07-26 | Veebot, Llc | Systems and methods for autonomous intravenous needle insertion |
CN104856649A (zh) * | 2015-04-24 | 2015-08-26 | 北京迈纳士手术机器人技术股份有限公司 | 一种通过红外成像和压力变化来识别和穿刺血管的方法及装置 |
CN106510731A (zh) * | 2016-11-08 | 2017-03-22 | 华中科技大学同济医学院附属协和医院 | 一种全自动静脉采血设备 |
CN106580344A (zh) * | 2016-12-15 | 2017-04-26 | 北京迈纳士手术机器人技术股份有限公司 | 静脉采血机器人和应用该机器人的静脉采血方法 |
CN107812283A (zh) * | 2017-10-18 | 2018-03-20 | 北京工商大学 | 一种自动确定穿刺点位置的方法 |
-
2020
- 2020-03-25 CN CN202010217079.9A patent/CN111481212A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120190981A1 (en) * | 2010-12-22 | 2012-07-26 | Veebot, Llc | Systems and methods for autonomous intravenous needle insertion |
CN104856649A (zh) * | 2015-04-24 | 2015-08-26 | 北京迈纳士手术机器人技术股份有限公司 | 一种通过红外成像和压力变化来识别和穿刺血管的方法及装置 |
CN106510731A (zh) * | 2016-11-08 | 2017-03-22 | 华中科技大学同济医学院附属协和医院 | 一种全自动静脉采血设备 |
CN106580344A (zh) * | 2016-12-15 | 2017-04-26 | 北京迈纳士手术机器人技术股份有限公司 | 静脉采血机器人和应用该机器人的静脉采血方法 |
CN107812283A (zh) * | 2017-10-18 | 2018-03-20 | 北京工商大学 | 一种自动确定穿刺点位置的方法 |
Non-Patent Citations (1)
Title |
---|
张峰: "基于FPGA的人体静脉血管成像仪的设计与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113080955A (zh) * | 2021-04-08 | 2021-07-09 | 广东医科大学附属第二医院 | 一种抽取动脉血装置 |
CN113080955B (zh) * | 2021-04-08 | 2023-11-24 | 广东医科大学附属第二医院 | 一种抽取动脉血装置 |
CN113222925A (zh) * | 2021-04-30 | 2021-08-06 | 陕西科技大学 | 一种基于ImagePy的水敏纸雾滴参数测量装置及其测量方法 |
CN113222925B (zh) * | 2021-04-30 | 2023-01-31 | 陕西科技大学 | 一种基于ImagePy的水敏纸雾滴参数测量装置及其测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang-Mao et al. | Edge enhancement nucleus and cytoplast contour detector of cervical smear images | |
US5457754A (en) | Method for automatic contour extraction of a cardiac image | |
JP3974946B2 (ja) | 画像分類装置 | |
CN106204555B (zh) | 一种结合Gbvs模型和相位一致性的视盘定位方法 | |
CN111178369B (zh) | 一种医学影像的识别方法及系统、电子设备、存储介质 | |
CN111481212A (zh) | 抽血机器人 | |
US11783488B2 (en) | Method and device of extracting label in medical image | |
JP2023083555A (ja) | 医用画像処理装置、内視鏡システム、医用画像処理システム、医用画像処理装置の作動方法、プログラム及び記憶媒体 | |
CN107427279A (zh) | 使用具有用户控制的心脏模型腔室的心脏功能的超声诊断 | |
CN107564048A (zh) | 基于分叉点特征配准方法 | |
US20180220893A1 (en) | Region of interest tracing apparatus | |
CN109087310A (zh) | 睑板腺纹理区域的分割方法、系统、存储介质及智能终端 | |
CN114022554A (zh) | 一种基于yolo的按摩机器人穴位检测与定位方法 | |
CN116883281A (zh) | 一种用于图像引导放疗的影像呈像画质增强系统和方法 | |
Reel et al. | Robust retinal image registration using expectation maximisation with mutual information | |
CN117017347B (zh) | 超声设备的图像处理方法、系统及超声设备 | |
CN112183518B (zh) | 静脉靶点自动确定方法、装置和设备 | |
CN110097610B (zh) | 基于超声与磁共振成像的语音合成系统和方法 | |
Treigys et al. | Automated optic nerve disc parameterization | |
CN115619790B (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
Kitasaka et al. | Automated extraction of aorta and pulmonary artery in mediastinum from 3D chest X-ray CT images without contrast medium | |
CN111275617A (zh) | 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质 | |
CN116407080A (zh) | 近视患者眼底结构的演变识别及3d可视化系统和方法 | |
Gu et al. | Automatic Tongue Image Segmentation Based on Thresholding and an Improved Level Set Model | |
Zhou et al. | Automatic segmentation of liver from CT scans with CCP–TSPM algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200804 |
|
WD01 | Invention patent application deemed withdrawn after publication |