CN112381816A - 基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法 - Google Patents

基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法 Download PDF

Info

Publication number
CN112381816A
CN112381816A CN202011350942.4A CN202011350942A CN112381816A CN 112381816 A CN112381816 A CN 112381816A CN 202011350942 A CN202011350942 A CN 202011350942A CN 112381816 A CN112381816 A CN 112381816A
Authority
CN
China
Prior art keywords
blood vessel
image
qualified
images
puncture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011350942.4A
Other languages
English (en)
Other versions
CN112381816B (zh
Inventor
齐鹏
周昱恒
林筱易
陈禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011350942.4A priority Critical patent/CN112381816B/zh
Publication of CN112381816A publication Critical patent/CN112381816A/zh
Application granted granted Critical
Publication of CN112381816B publication Critical patent/CN112381816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法,角度方法获取包括:1)获取同一区域不同水平角度的多张血管图像;2)通过卷积神经网络模型中,获取每张血管图像的评分;卷积神经网络模型在训练过程中以血管图像中血管方向与该血管图像纵切方向倾斜度以及血管的清晰度作为评分指标进行训练;3)根据评分,获取合格的血管图像;并选取最佳图像;4)根据最佳图像对应的水平角度获取待验证图像,判断是否合格,若合格,则进行步骤5);否则重新执行本方法;5)根据最佳图像获取血管穿刺水平角度。与现有技术相比,本发明提高了血管穿刺的自动化水平,且能有效规避了病人突然移动手臂等意外状况,降低扎错风险。

Description

基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法
技术领域
本发明涉及血管穿刺领域,尤其是涉及基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法。
背景技术
静脉血流输液或者抽血是临床最常见的,已有相关机器能够做到半自动扎针。半自动扎针技术需要用到超声探头,通过其产生的纵切图像来获取血管信息。
现阶段超声成像的技术并不能做到每一张都易于分辨血管的粗细和流向,因此需要使用多组照片择优的方式,找到最适合作为采样点的图片。传统的择优方法往往是操作员手动选择,这样既费时费力,又降低了整个系统的自动化水平;况且在选择的同时病人的手臂有可能会转动,导致前功尽弃。
综上,现有的扎针技术存在以下缺陷:
1、只能做到半自动进行,其扎针位置与角度的选取与校准主要依靠人工根据采集到的的血管图片进行判断,对于血管不明显的病人,人工难以获取血管的深度以及流向这一重要指标,极容易造成因扎针不到位或者刺穿血管而导致的医疗事故。
2、人工根据血管图片选择扎针位置与角度的同时,病人的手臂有可能会转动,导致前功尽弃,存在扎错风险。
发明内容
本发明的目的就是为了克服上述现有技术存在人工选取扎针位置与角度不准确,选取血管图像后病人手臂可能转动导致偏移的缺陷而提供一种基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法。
本发明的目的可以通过以下技术方案来实现:
一种基于图像识别和反馈控制的血管穿刺角度获取方法,包括以下步骤:
S1:获取同一区域不同水平角度的多张血管图像;
S2:将所述多张血管图像依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分;所述卷积神经网络模型在训练过程中以血管图像中血管方向与该血管图像纵切方向倾斜度以及血管的清晰度作为评分指标进行训练;
S3:基于每张血管图像的评分,根据预设的血管图像合格条件,获取合格的血管图像;根据预设的最佳图像选取方法从所述合格的血管图像中选取一张最佳图像;
S4:再次根据所述最佳图像对应的水平角度获取待验证图像,将该待验证图像载入所述卷积神经网络模型中,获取该待验证图像的评分,最后根据所述血管图像合格条件判断待验证图像是否合格,若合格,则进行步骤S5;否则重新执行步骤S1至S4;
S5:将所述最佳图像对应的水平角度作为血管穿刺水平角度。
进一步地,所述步骤S4中,若判断出所述待验证图像不合格,则重新执行步骤S1至S4,具体为:
在所述最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像,并依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分,基于每张血管图像的评分,根据预设的血管图像合格条件,判断是否存在合格的血管图像,若存在,则根据所述最佳图像选取方法从合格的血管图像中选取一张最佳图像,并执行步骤S5;否则重新执行步骤S1至S4。
进一步地,在所述最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像具体为:
以所述最佳图像对应的水平角度为中心,分别从该水平角度的两侧间隔预设的第二角度获取血管图像,直至获取的血管图像的数量达到预设的第一个数。
进一步地,所述卷积神经网络模型获取每张血管图像的评分的过程具体为:
获取所述卷积神经网络模型的输出向量q以及血管图像优秀的概率p,通过输出向量q表示概率p的交叉熵,根据该交叉熵的大小获取评分;
所述输出向量q为所述卷积神经网络模型的输出数组经过softmax转换后的结果向量,所述输出数组的softmax转换表达式为:
Figure BDA0002801330030000021
式中,Si为输出数组中第i个元素的softmax值,ei为输出数组中第i个元素的指数,ej为输出数组中第j个元素指数;
所述交叉熵的计算表达式为:
H(p,q)=-∑xp(x)logq(x)
式中,x输出向量q中数值的序号。
进一步地,所述血管图像通过超声探头获取。
进一步地,所述超声探头连接有机械臂,所述同一区域不同水平角度的多张血管图像的获取具体为:
通过所述机械臂带动所述超声探头到达待测区域上方,然后带动超声探头下降,并实时检测阻力矩,若阻力矩增大并到达预设的阻力阈值,则控制超声探头停止下降,然后通过所述机械臂保持超声探头竖直方向恒定,水平方向按照超声探头的几何中心旋转,以预设的第一角度为间隔,获取所述多张血管图像。
进一步地,所述血管图像合格条件具体为,若血管图像的评分大于预设的合格阈值,则将该血管图像作为合格的血管图像。
进一步地,所述最佳图像选取方法具体为,根据所述合格的血管图像,获取一个或多个合格图像区间,将水平角度范围最大的合格图像区间的中点的血管图像作为最佳图像。
本发明还提供一种基于图像识别和反馈控制的血管穿刺方法,包括以下步骤:
S1:获取同一区域不同水平角度的多张血管图像;
S2:将所述多张血管图像依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分;所述卷积神经网络模型在训练过程中以血管图像中血管方向与该血管图像纵切方向倾斜度以及血管的清晰度作为评分指标进行训练;
S3:基于每张血管图像的评分,根据预设的血管图像合格条件,获取合格的血管图像;根据预设的最佳图像选取方法从所述合格的血管图像中选取一张最佳图像;
S4:再次根据所述最佳图像对应的水平角度获取待验证图像,将该待验证图像载入所述卷积神经网络模型中,获取该待验证图像的评分,最后根据所述血管图像合格条件判断待验证图像是否合格,若合格,则进行步骤S5;否则重新执行步骤S1至S4;
S5:将所述最佳图像对应的水平角度作为血管穿刺水平角度。
S6:根据所述血管穿刺水平角度,进行血管穿刺;
S7:血管穿刺过程中,实时获取血管图像,识别出穿刺头位置和血管位置,对血管穿刺的深度进行调整。
进一步地,所述步骤S4中,若判断出所述待验证图像不合格,则重新执行步骤S1至S4,具体为:
在所述最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像,并依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分,基于每张血管图像的评分,根据预设的血管图像合格条件,判断是否存在合格的血管图像,若存在,则根据所述最佳图像选取方法从合格的血管图像中选取一张最佳图像,并执行步骤S5;否则重新执行步骤S1至S4。
进一步地,所述血管图像通过超声探头获取,所述超声探头连接有机械臂,所述同一区域不同水平角度的多张血管图像的获取具体为:
通过所述机械臂带动所述超声探头到达待测区域上方,然后带动超声探头下降,并实时检测阻力矩,若阻力矩增大并到达预设的阻力阈值,则控制超声探头停止下降,然后通过所述机械臂保持超声探头竖直方向恒定,水平方向按照超声探头的几何中心旋转,以预设的第一角度为间隔,获取所述多张血管图像。
进一步地,所述最佳图像选取方法具体为,根据所述合格的血管图像,获取一个或多个合格图像区间,将水平角度范围最大的合格图像区间的中点的血管图像作为最佳图像。
与现有技术相比,本发明具有以下优点:
(1)本发明通过卷积神经网络根据血管图像中血管方向与图像纵切方向的倾斜度,以及血管的清晰度,对血管图像进行评分,通过该评分获取符合穿刺标准的合格图像,该方案替代了人工,提高了血管穿刺的自动化水平;
另外,本发明根据从合格图像中选取的最佳图像进行再次的图像获取和评分,实现了在遍历之后对中心点合格程度进行了“再监测”,有效规避了病人突然移动手臂等意外状况,降低扎错风险。
(2)本发明在对最佳图像进行验证的过程中,若出现验证错误,本发明首选在最佳图像对应的水平角度附近的领域内进行合格图像的搜索,若该领域内还找不到合格图像才重新进行全范围的搜索,该方案有利于减少验证错误的等待时间,提高工作效率。
(3)本发明通过超声探头和机械臂探测血管图像,探测过程中,机械臂会实时检测阻力矩,从而判断超声探头到达检测区域,并保持探测过程中,超声探头在竖直方向上的恒定,确保探测结果的可靠性。
(4)本发明考虑到同一探测区域可能存在多个血管对目标血管的影响,因此在最佳图像选取上,在水平角度范围最大的图像区间中选取最佳图像,有利于降低结果误差,同时也是“优中择优”的方法,进一步提高了识别的可靠性。
(5)本发明利用卷积神经网络(CNN)对超声血管图的像素点与本张图片的优劣输出标签进行了迭代学习,适用范围广,解决了超声探头取样范围狭窄的技术瓶颈;利用深度学习模型进行判断,具有错误率低,效率高,能够明显节省寻找时间以及人工判别的不确定性,减少外界干扰等优点。
附图说明
图1为本发明血管穿刺角度获取方法的整体流程图;
图2为血管超声图像评分模型(即卷积神经网络模型)结构图;
图3为超声探头拍摄手臂纵切图示意图;
图4为超声探头旋转示意图(俯视图);
图5为不合格的血管图像;
图6为合格的血管图像;
图7为应用设备的简图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例1
如图1所示,本实施例提供一种基于图像识别和反馈控制的血管穿刺角度获取方法,包括以下步骤:
S1:获取同一区域不同水平角度的多张血管图像;
S2:将多张血管图像依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分;所述卷积神经网络模型在训练过程中以血管图像中血管方向与该血管图像纵切方向倾斜度以及血管的清晰度作为评分指标进行训练,即从血管图像中识别的血管方向与该血管图像纵切方向倾斜度越小、且识别出的血管清晰度越高,则评分越高;
S3:基于每张血管图像的评分,根据预设的血管图像合格条件,获取合格的血管图像;根据预设的最佳图像选取方法从合格的血管图像中选取一张最佳图像;
S4:再次根据最佳图像对应的水平角度获取待验证图像,将该待验证图像载入卷积神经网络模型中,获取该待验证图像的评分,最后根据血管图像合格条件判断待验证图像是否合格,若合格,则进行步骤S5;否则重新执行步骤S1至S4;
S5:将最佳图像对应的水平角度作为血管穿刺水平角度。
作为一种优选的实施方式,步骤S4中,若判断出待验证图像不合格,则重新执行步骤S1至S4,具体为:
在最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像,并依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分,基于每张血管图像的评分,根据预设的血管图像合格条件,判断是否存在合格的血管图像,若存在,则根据最佳图像选取方法从合格的血管图像中选取一张最佳图像,并执行步骤S5;否则重新执行步骤S1至S4。
进一步地,作为一种优选的实施方式,在最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像具体为:
以最佳图像对应的水平角度为中心,分别从该水平角度的两侧间隔预设的第二水平角度获取血管图像,直至获取的血管图像的数量达到预设的第一个数。
作为一种优选的实施方式,卷积神经网络模型获取每张血管图像的评分的过程具体为:
获取卷积神经网络模型的输出向量q以及血管图像优秀的概率p,通过输出向量q表示概率p的交叉熵,根据该交叉熵的大小获取评分;
输出向量q为卷积神经网络模型的输出数组经过softmax转换后的结果向量,输出数组的softmax转换表达式为:
Figure BDA0002801330030000061
式中,Si为输出数组中第i个元素的softmax值,ei为输出数组中第i个元素的指数,ej为输出数组中第j个元素指数;
交叉熵的计算表达式为:
H(p,q)=-∑xp(x)logq(x)
式中,H(p,q)为交叉熵的数值,x输出向量q中数值的序号。
相当于,给定血管图像的两个概率分布,p表示血管优秀的概率,q(卷积神经网络输出结果即经过softmax转换后的结果向量),则通过q来表示p的交叉熵为:H(p,q)=-∑xp(x)logq(x),使用交叉熵的大小进行评分。(其中softmax为假设有一个数组V,Vi表示V中的第i个元素,那么这个元素的softmax值为:
Figure BDA0002801330030000071
该元素的softmax值,就是该元素的指数与所有元素指数和的比值。)
作为一种优选的实施方式,血管图像通过超声探头获取。
进一步地,作为一种优选的实施方式,超声探头连接有机械臂,同一区域不同水平角度的多张血管图像的获取具体为:
通过机械臂带动超声探头到达待测区域上方,然后带动超声探头下降,并实时检测阻力矩,若阻力矩增大并到达预设的阻力阈值,则控制超声探头停止下降,然后通过机械臂保持超声探头竖直方向恒定,水平方向按照超声探头的几何中心旋转,以预设的第一水平角度为间隔,获取多张血管图像。
作为一种优选的实施方式,血管图像合格条件具体为,若血管图像的评分大于预设的合格阈值,则将该血管图像作为合格的血管图像。
作为一种优选的实施方式,最佳图像选取方法具体为,根据合格的血管图像,获取一个或多个合格图像区间,将水平角度范围最大的合格图像区间的中点的血管图像作为最佳图像。
本发明还提供一种基于图像识别和反馈控制的血管穿刺方法,包括以下步骤:
S1:获取同一区域不同水平角度的多张血管图像;
S2:将多张血管图像依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分;该评分的判断准则为:从血管图像中识别的血管方向与该血管图像纵切方向倾斜度越小、且识别出的血管清晰度越高,则评分越高;
S3:基于每张血管图像的评分,根据预设的血管图像合格条件,获取合格的血管图像;根据预设的最佳图像选取方法从合格的血管图像中选取一张最佳图像;
S4:再次根据最佳图像对应的水平角度获取待验证图像,将该待验证图像载入卷积神经网络模型中,获取该待验证图像的评分,最后根据血管图像合格条件判断待验证图像是否合格,若合格,则进行步骤S5;否则重新执行步骤S1至S4;
S5:将最佳图像对应的水平角度作为血管穿刺水平角度。
S6:根据血管穿刺水平角度,进行血管穿刺;
S7:血管穿刺过程中,实时获取血管图像,识别出穿刺头位置和血管位置,对血管穿刺的深度进行调整。
作为一种优选的实施方式,在实际的静脉穿刺过程中,竖直方向上的进针倾斜角度与血管的厚度密切相关,血管厚则采用大倾斜角度进针,血管薄则采用小倾斜角度进针,为能精确自动化获取扎针的倾斜角度,需要用到超声探头,通过其产生的纵切图像来获取血管的厚度信息,因此本方法还包括根据最佳图像获取血管的厚度信息,从而根据预设的倾斜角度计算方法,计算进针倾斜角度,该倾斜角度计算方法可以是倾斜角度与血管厚度的正比例函数。
作为一种优选的实施方式,步骤S4中,若判断出待验证图像不合格,则重新执行步骤S1至S4,具体为:
在最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像,并依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分,基于每张血管图像的评分,根据预设的血管图像合格条件,判断是否存在合格的血管图像,若存在,则根据最佳图像选取方法从合格的血管图像中选取一张最佳图像,并执行步骤S5;否则重新执行步骤S1至S4。
进一步地,作为一种优选的实施方式,在最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像具体为:
以最佳图像对应的水平角度为中心,分别从该水平角度的两侧间隔预设的第二水平角度获取血管图像,直至获取的血管图像的数量达到预设的第一个数。
作为一种优选的实施方式,血管图像通过超声探头获取。
进一步地,作为一种优选的实施方式,超声探头连接有机械臂,同一区域不同水平角度的多张血管图像的获取具体为:
通过机械臂带动超声探头到达待测区域上方,然后带动超声探头下降,并实时检测阻力矩,若阻力矩增大并到达预设的阻力阈值,则控制超声探头停止下降,然后通过机械臂保持超声探头竖直方向恒定,水平方向按照超声探头的几何中心旋转,以预设的第一水平角度为间隔,获取多张血管图像。
作为一种优选的实施方式,血管图像合格条件具体为,若血管图像的评分大于预设的合格阈值,则将该血管图像作为合格的血管图像。
作为一种优选的实施方式,最佳图像选取方法具体为,根据合格的血管图像,获取一个或多个合格图像区间,将水平角度范围最大的合格图像区间的中点的血管图像作为最佳图像。
将上述优选的实施方式进行组合可以得到一种最优的实施方式,下面对该最优的实施方式的具体实施过程进行具体描述。
本血管穿刺角度获取方法包括以下步骤:
1)获取针对同一区域各个方向(即水平角度)的血管超声图片样本;
2)对于得到的图片,获取其相应的特征像素点,并对其进行标签:血管方向与纵切方向平行,且清晰的为合格照片;血管倾斜的为不合格照片;
3)通过卷积神经网络(CNN)对标签好的图像进行迭代学习,产生相应的照片优劣判断模型;
4)利用该模型在实践中判断并控制超声探头旋转:
401)在超声探头贴近患者手臂后,在拍摄超声图像的时候进行旋转,将拍到的图像和当时的角度发送给上位机;
402)上位机通过优劣判断模型,将标记为合格的照片所对应的角度进行记录,并取平均值返回超声探头;
403)超声探头再次拍摄该角度超声图像,并返回上位机;
5)上位机获得图像,并再次通过模型判断其是否为合格图像。如果其不是合格图像,将返回步骤4)重新进行寻找。如果图像合格,则继续进行到步骤6);
6)通过模式识别判断扎针的角度与深度;
7)机械臂根据所述角度将针头插入患者血管,超声探头持续在此角度跟踪每一帧的超声图像,实时控制扎针深度。
图像合格判断方法如下:
建立血管超声图像数据集,将每张图像进行评分,其分数在[0,Vmax]中。建立DCNN,将DCNN在上述数据集中训练。当输入一张血管超声图像时,DCNN将给出该图像的评分,实际使用时,根据具体精度要求不同,可选择不同的Threshold,将评分V≥Threshold的图像作为合格图像,V<Threshold作为不合格图像。如图5和6所示,分别为合格图像和不合格图像的对比。
上述步骤的具体过程如下:
首先根据扎针机器人固定红外探头所发送的平面位置坐标,将超声探头移动到血管所在位置。单片机控制超声探头Z轴舵机(控制电机),使超声探头下降,并实时监测力矩值。当阻力矩增大时,即触碰到手臂表面时超声探头停止下降,并拍照返回上位机。
如图4所示,超声探头在机械臂的牵引下,按照其几何中心o,先沿顺指针旋转,每隔既定角度α(第一角度)拍摄纵切图并返回上位机,同时旋转舵机返回拍照时的确切角度。注意:在旋转过程中,z轴舵机要一直保持力矩恒定,以此保证无论在那个角度,超声探头都是紧密贴合皮肤表面。
上位机根据角度为图片编号,并将所有图片根据图像优劣模型进行比对,并将获得的二值信息进行排列。取合格区间中长度最大的作为取材区间(这么做的目的是为了防止偶然误差和其他血管对目标血管选择的影响),并取区间中点作为备选图片。
上位机向单片机返回最佳角度,单片机控制超声模块旋转舵机旋转至相应角度,超声相机再次拍摄纵切图并返回上位机。上位机再次判断该图片是否合格。如果合格,将继续进行,如果不合格,将重新返回步骤三,再次获取一系列的图像。再次寻找与步骤三会有些许差别,主要体现在探头不再完全遍历,而是在一开始先于原最优角度
Figure BDA0002801330030000101
附近以α/2的角度差遍历一个很小的邻域
Figure BDA0002801330030000102
并立即进行判断,判断无果后再重新进行本方法,这个判断是为了防止短暂时间内病人的剧烈动作导致的定位信息失效。
根据上面的血管穿刺角度获取方法可进一步进行血管穿刺方法,血管穿刺方法根据获取的血管穿刺角度进行血管穿刺后还包括:
上位机根据所给出的图像获得扎针角度等信息,超声探头保持在原位置并在扎针期间实时读取深度等信息。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,包括以下步骤:
S1:获取同一区域不同水平角度的多张血管图像;
S2:将所述多张血管图像依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分;所述卷积神经网络模型在训练过程中以血管图像中血管方向与该血管图像纵切方向倾斜度以及血管的清晰度作为评分指标进行训练;
S3:基于每张血管图像的评分,根据预设的血管图像合格条件,获取合格的血管图像;根据预设的最佳图像选取方法从所述合格的血管图像中选取一张最佳图像;
S4:再次根据所述最佳图像对应的水平角度获取待验证图像,将该待验证图像载入所述卷积神经网络模型中,获取该待验证图像的评分,最后根据所述血管图像合格条件判断待验证图像是否合格,若合格,则进行步骤S5;否则重新执行步骤S1至S4;
S5:将所述最佳图像对应的水平角度作为血管穿刺水平角度。
2.根据权利要求1所述的一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,所述步骤S4中,若判断出所述待验证图像不合格,则重新执行步骤S1至S4,具体为:
在所述最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像,并依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分,基于每张血管图像的评分,根据预设的血管图像合格条件,判断是否存在合格的血管图像,若存在,则根据所述最佳图像选取方法从合格的血管图像中选取一张最佳图像,并执行步骤S5;否则重新执行步骤S1至S4。
3.根据权利要求2所述的一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,在所述最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像具体为:
以所述最佳图像对应的水平角度为中心,分别从该水平角度的两侧间隔预设的第二角度获取血管图像,直至获取的血管图像的数量达到预设的第一个数。
4.根据权利要求1所述的一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,所述卷积神经网络模型获取每张血管图像的评分的过程具体为:
获取所述卷积神经网络模型的输出向量q以及血管图像优秀的概率p,通过输出向量q表示概率p的交叉熵,根据该交叉熵的大小获取评分;
所述输出向量q为所述卷积神经网络模型的输出数组经过softmax转换后的结果向量,所述输出数组的softmax转换表达式为:
Figure FDA0002801330020000021
式中,Si为输出数组中第i个元素的softmax值,ei为输出数组中第i个元素的指数,ej为输出数组中第j个元素指数;
所述交叉熵的计算表达式为:
H(p,q)=-∑xp(x)logq(x)
式中,H(p,q)为交叉熵的数值,x输出向量q中数值的序号。
5.根据权利要求1所述的一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,所述血管图像通过超声探头获取,所述超声探头连接有机械臂,所述同一区域不同水平角度的多张血管图像的获取具体为:
通过所述机械臂带动所述超声探头到达待测区域上方,然后带动超声探头下降,并实时检测阻力矩,若阻力矩增大并到达预设的阻力阈值,则控制超声探头停止下降,然后通过所述机械臂保持超声探头竖直方向恒定,水平方向按照超声探头的几何中心旋转,以预设的第一角度为间隔,获取所述多张血管图像。
6.根据权利要求1所述的一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,所述血管图像合格条件具体为,若血管图像的评分大于预设的合格阈值,则将该血管图像作为合格的血管图像。
7.根据权利要求1所述的一种基于图像识别和反馈控制的血管穿刺角度获取方法,其特征在于,所述最佳图像选取方法具体为,根据所述合格的血管图像,获取一个或多个合格图像区间,将水平角度范围最大的合格图像区间的中点的血管图像作为最佳图像。
8.一种基于图像识别和反馈控制的血管穿刺方法,其特征在于,包括以下步骤:
S1:获取同一区域不同水平角度的多张血管图像;
S2:将所述多张血管图像依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分;所述卷积神经网络模型在训练过程中以血管图像中血管方向与该血管图像纵切方向倾斜度以及血管的清晰度作为评分指标进行训练;
S3:基于每张血管图像的评分,根据预设的血管图像合格条件,获取合格的血管图像;根据预设的最佳图像选取方法从所述合格的血管图像中选取一张最佳图像;
S4:再次根据所述最佳图像对应的水平角度获取待验证图像,将该待验证图像载入所述卷积神经网络模型中,获取该待验证图像的评分,最后根据所述血管图像合格条件判断待验证图像是否合格,若合格,则进行步骤S5;否则重新执行步骤S1至S4;
S5:将所述最佳图像对应的水平角度作为血管穿刺水平角度。
S6:根据所述血管穿刺水平角度,进行血管穿刺;
S7:血管穿刺过程中,实时获取血管图像,识别出穿刺头位置和血管位置,对血管穿刺的深度进行调整。
9.根据权利要求8所述的血管穿刺方法,其特征在于,所述步骤S4中,若判断出所述待验证图像不合格,则重新执行步骤S1至S4,具体为:
在所述最佳图像对应的水平角度附近的领域内,获取同一区域不同水平角度的多张血管图像,并依次载入预先建立并训练好的卷积神经网络模型中,获取每张血管图像的评分,基于每张血管图像的评分,根据预设的血管图像合格条件,判断是否存在合格的血管图像,若存在,则根据所述最佳图像选取方法从合格的血管图像中选取一张最佳图像,并执行步骤S5;否则重新执行步骤S1至S4。
10.根据权利要求8所述的血管穿刺方法,其特征在于,所述最佳图像选取方法具体为,根据所述合格的血管图像,获取一个或多个合格图像区间,将水平角度范围最大的合格图像区间的中点的血管图像作为最佳图像。
CN202011350942.4A 2020-11-26 2020-11-26 基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法 Active CN112381816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011350942.4A CN112381816B (zh) 2020-11-26 2020-11-26 基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011350942.4A CN112381816B (zh) 2020-11-26 2020-11-26 基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法

Publications (2)

Publication Number Publication Date
CN112381816A true CN112381816A (zh) 2021-02-19
CN112381816B CN112381816B (zh) 2022-06-21

Family

ID=74588765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011350942.4A Active CN112381816B (zh) 2020-11-26 2020-11-26 基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法

Country Status (1)

Country Link
CN (1) CN112381816B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106667554A (zh) * 2016-12-30 2017-05-17 西安中科微光影像技术有限公司 自动穿刺安全调整系统及方法
CN207856026U (zh) * 2017-03-10 2018-09-14 王燕青 一种静脉穿刺装置及系统
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN111012366A (zh) * 2019-12-13 2020-04-17 中山市生科试剂仪器有限公司 一种静脉自动采血设备及使用方法
WO2020078392A1 (en) * 2018-10-16 2020-04-23 Union Strong (Beijing) Technology Co. Ltd. Method, Apparatus, And Device for Simulating A travel path of a catheter in a blood vessel
CN211355497U (zh) * 2019-07-16 2020-08-28 杭州博欣科技有限公司 一种采血机器人
CN111787878A (zh) * 2018-02-05 2020-10-16 堃博生物科技公司 影像引导的肺肿瘤计划和消融系统
CN111839534A (zh) * 2020-06-05 2020-10-30 哈工大机器人(中山)无人装备与人工智能研究院 一种采血方法及采血机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106667554A (zh) * 2016-12-30 2017-05-17 西安中科微光影像技术有限公司 自动穿刺安全调整系统及方法
CN207856026U (zh) * 2017-03-10 2018-09-14 王燕青 一种静脉穿刺装置及系统
CN111787878A (zh) * 2018-02-05 2020-10-16 堃博生物科技公司 影像引导的肺肿瘤计划和消融系统
WO2020078392A1 (en) * 2018-10-16 2020-04-23 Union Strong (Beijing) Technology Co. Ltd. Method, Apparatus, And Device for Simulating A travel path of a catheter in a blood vessel
CN109805991A (zh) * 2019-03-14 2019-05-28 北京理工大学 血管穿刺辅助控制方法及装置
CN211355497U (zh) * 2019-07-16 2020-08-28 杭州博欣科技有限公司 一种采血机器人
CN111012366A (zh) * 2019-12-13 2020-04-17 中山市生科试剂仪器有限公司 一种静脉自动采血设备及使用方法
CN111839534A (zh) * 2020-06-05 2020-10-30 哈工大机器人(中山)无人装备与人工智能研究院 一种采血方法及采血机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAEL PITON,GILLES CAPELLIER: "Ultrasound-guided vessel puncture: calling for Pythagoras"help", 《PITON ET AL. CRITICAL CARE》 *

Also Published As

Publication number Publication date
CN112381816B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN111046717B (zh) 眼底图像黄斑中心定位方法、装置、电子设备及存储介质
CN112022346B (zh) 一种全自动静脉穿刺识别一体机器人的控制方法
CN110659674A (zh) 一种基于视线跟踪的测谎方法
CN111368791A (zh) 基于Quick-OpenPose模型的引体向上测试计数方法及系统
CN110189257A (zh) 点云获取的方法、装置、系统及存储介质
CN111134727A (zh) 基于神经网络的静脉与动脉识别的穿刺引导系统
CN111035437A (zh) 血管辅助穿刺系统、机器人、方法和存储介质
CN111820920B (zh) 一种静脉采血数据处理方法、装置及智能采血机器人
CN111259716A (zh) 基于计算机视觉的人体跑步姿势识别分析方法及装置
CN114863571A (zh) 一种基于计算机视觉的协作机器人手势识别系统
CN112381816B (zh) 基于图像识别和反馈控制的血管穿刺角度获取和穿刺方法
CN116645705A (zh) 基于轻量化网络的近红外掌静脉roi提取方法及系统
CN111820919A (zh) 一种采血穿刺控制方法、装置及存储介质
CN116807577B (zh) 全自动静脉穿刺设备和全自动静脉穿刺方法
CN111839534B (zh) 一种采血方法及采血机器人
CN112138249B (zh) 一种基于超声评估的静脉注射机器人控制方法
CN108538138B (zh) 一种采集穿刺实验数据信息的运动控制系统及其使用方法
CN114862865B (zh) 基于多视角冠状动脉造影序列图像的血管分割方法及系统
CN115227286A (zh) 超声探头自适应引导穿刺的装置、方法及采血箱
CN115471482A (zh) 基于计算机视觉的小口径容器内壁缺陷检测方法
CN210301163U (zh) 血管辅助穿刺系统及机器人
CN114360706A (zh) 一种深静脉穿刺导丝视频监控系统、方法及电子设备
CN113920088A (zh) 一种基于深度学习的桡骨密度检测方法、系统、装置
US20220322982A1 (en) Body-insertion device
Ahmed et al. An eye-tracking inspired method for standardised plane extraction from fetal abdominal ultrasound volumes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant