CN110841139A - 一种在影像环境下实现针尖定位的留置针 - Google Patents

一种在影像环境下实现针尖定位的留置针 Download PDF

Info

Publication number
CN110841139A
CN110841139A CN201911257589.2A CN201911257589A CN110841139A CN 110841139 A CN110841139 A CN 110841139A CN 201911257589 A CN201911257589 A CN 201911257589A CN 110841139 A CN110841139 A CN 110841139A
Authority
CN
China
Prior art keywords
needle
layer
image
indwelling needle
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911257589.2A
Other languages
English (en)
Inventor
朱锐
曹一挥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vivolight Medical Device Technology Co Ltd
Original Assignee
Shenzhen Vivolight Medical Device Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vivolight Medical Device Technology Co Ltd filed Critical Shenzhen Vivolight Medical Device Technology Co Ltd
Priority to CN201911257589.2A priority Critical patent/CN110841139A/zh
Publication of CN110841139A publication Critical patent/CN110841139A/zh
Priority to PCT/CN2020/133557 priority patent/WO2021115190A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14—Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/158—Needles for infusions; Accessories therefor, e.g. for inserting infusion needles, or for holding them on the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/60—General characteristics of the apparatus with identification means
    • A61M2205/6063—Optical identification systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Anesthesiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)

Abstract

本发明公开了一种在影像环境下实现针尖定位的留置针，包括留置针本体，留置针本体包括针头，在留置针本体上设置有定位层；定位层包括反光层，反光层在血管成像仪的红外光的照射下在图像中显示为高亮区域；本发明提供的一种在影像环境下实现针尖定位的留置针通过在留置针本体上设置的定位层，该定位层包括反光层，反光层能够在影像环境下显示为高亮区域，防止留置针图像采集时带来的留置针本体在图像中无法准确显示的问题，在图像处理时能够准确地定位到留置针的位置，从而提高了针尖定位结果的准确性；并且本发明仅需在留置针本体上增加定位层即可实现定位，相比于现有技术中的定位留置针结构简单，易于实现。

Description

一种在影像环境下实现针尖定位的留置针
技术领域
本发明涉及留置针，具体涉及一种在影像环境下实现针尖定位的留置针。
背景技术
在临床治疗上，静脉注射通过将药物直接注射至静脉中可以给患者带来直接有效的治疗。但是静脉注射属于有创性治疗手段，需要将注射针头扎入皮下的血管中，这样的有创行为会给患者带来痛苦。特别是，对于一些需要每日的、连续的、间歇的进行注射治疗的患者而言，重复的实施静脉输液会给患者带来多次伤害。留置针的使用则可以让患者避免重复穿刺，降低患者的痛苦，减少医务人员的工作量。
但是，目前所广泛使用的留置针并不能反馈给医务人员针尖所在的位置，医务人员需要凭借个人的经验和手感来判断留置针是否准确的扎入目标血管中且未扎穿血管，使得医务人员的工作难度增加。现有技术中已经出现了可以确定血管位置的血管成像仪，但是针尖位置较难确定。
现有技术U.S.Pat.No.9247906，公开日期：2016-02-02，阐述了一种定位静脉输液针尖位置的方法和系统。系统利用血管蛋白对近红外光的吸收性，利用光学设备形成针尖与皮下组织的对比图像。此外系统中还利用了光纤交替发射不同波段的近红外光，其中一个波段的近红外光用来定位针尖的位置。之后利用相机收集反射回来的近红外光，经过处理投影在目标区域表面，完成针尖的定位，但是其所使用的留置针定位系统是利用相机捕捉从针尖处发射出去的光，处理后投影至目标区域，从而实现定位采用光纤导光之后针尖发射出去的光被相机捕捉，从而实现定位。现有技术中的留置针定位技术会因为发射光源不是连续的，所以导致针尖的定位并不是实时的，特别是在医务人员实际实施穿刺时，穿刺时间较短，定位的不实时带来的影响就更大。此外，现有技术中的留置针连接着光纤，所以需要使用专门配制的留置针，这类留置针需要增加一层玻璃去隔开光纤和血流区域，防止光纤被污染，这样的设置导致了留置针的工艺更复杂，加工难度和成本也更大，另外现有技术中的定位留置针当针尖进入血管后，针尖中的空隙会被血液充满，导致从针尖处发射出去的光源的光路受到收到阻碍，最终导致针尖处的定位逐渐模糊，影响定位效果。
另外现有技术还可以采用图像处理的方法对留置针图像进行处理，从而预测针尖的位置，但是单纯采用图像处理的方法由于图像中噪声过多，例如留置针本体呈现整个透明的颜色，在采集图像时皮肤的颜色会透过留置针显示到图像中导致没法定位到留置针的边缘或者由于光照的因素会导致留置针的边缘不清晰，导致针尖位置预测结果不准确，从而会造成针尖定位不准，影响定位效果。
发明内容
本发明的目的在于提供一种在影像环境下实现针尖定位的留置针，用以解决现有技术中的定位留置针结构复杂且针尖定位不准确的问题。
为了实现上述任务，本发明采用以下技术方案：
一种在影像环境下实现针尖定位的留置针，包括留置针本体，所述的留置针本体包括针头，在所述的留置针本体上设置有定位层；所述的定位层包括反光层，所述的反光层在影像环境下显示为高亮区域。
进一步地，所述的定位层还包括吸光层，所述的吸光层在影像环境下显示为阴影区域，所述的反光层与所述的吸光层沿着所述针头长度方向交错设置。
进一步地，所述的反光层的形状与吸光层的形状均为轴对称图形；
所述的反光层与吸光层的对称轴与所述的针头斜面平行于水平面朝向上方时所在的直线处于同一条直线或与平行设置。
进一步地，所述的反光层与所述的吸光层均为矩形。
进一步地，所述的留置针本体还包括沿着所述针头长度方向设置的底部、套管以及针套筒，所述的针头安装在所述的针套筒上；
所述的定位层沿着所述底部、套管和/或针套筒的外圆周设置。
进一步地，所述的定位层沿着所述针套筒的外圆周设置。
进一步地，所述的留置针本体还包括针柄，所述的定位层还沿着所述的针柄的长度方向设置。
进一步地，所述的定位层包括多个反光层以及多个吸光层，所述的多个反光层的面积沿着留置针长度方向逐渐增大或减小。
进一步地，所述的多个反光层中最大面积的反光层面积的数值y为：
其中a、b、h1、h2、p、q1以及q2均为常数参数，x为反光层的反光度；a>0，b>0，h1<0，h2<0，p>0，q1>0，q2>0。
本发明与现有技术相比具有以下技术效果：
1、本发明提供的一种在影像环境下实现针尖定位的留置针通过在留置针本体上设置的定位层，该定位层包括反光层，反光层能够在影像环境下显示为高亮区域，防止留置针图像采集时带来的留置针本体在图像中无法准确显示的问题，在图像处理时能够准确地定位到留置针的位置，从而提高了针尖定位结果的准确性；并且本发明仅需在留置针本体上增加定位层即可实现定位，相比于现有技术中的定位留置针结构简单，易于实现；
2、本发明提供的本发明提供的一种在影像环境下实现针尖定位的留置针通过在定位层中设置了吸光层，可以排除反光层附近的噪点干扰，使得精准识别反光层，从而提高了针尖定位结果的准确性；
3、本发明提供的本发明提供的一种在影像环境下实现针尖定位的留置针通过将反光层与吸光层均设置为轴对称图像时，可以通过图像处理方法迅速的找到反光层以及吸光层在图像中的对称轴，从而能够快速地定位到针尖位置，提高了针尖定位的实时性；
4、本发明提供的本发明提供的一种在影像环境下实现针尖定位的留置针中将定位层的位置设置在底部、套管以及针套筒的外圆周的位置的任一个位置上，提高了定位层设置的灵活性；
5、本发明提供的一种在影像环境下实现针尖定位的留置针中将定位层的位置设置在针套筒的外圆周上，使得定位层与针尖之间的距离最短，降低了干扰，提高了定位层识别的准确性，从而提高了针尖定位的实时性，并且还可以降低制作工艺难度，节省定位层的材料；
6、本发明提供的一种在影像环境下实现针尖定位的留置针中将定位层的位置还设置在了针柄上，用于提供一条定位辅助线，从而提高了针尖定位的准确性；
7、本发明提供的一种在影像环境下实现针尖定位的留置针中通过设置了多个反光层的面积沿着留置针长度方向逐渐增大或减小，使得在图像中可以快速的找到留置针针头的方向，从而能够快速地定位到针尖位置，提高了针尖定位的实时性；
8、本发明提供的一种在影像环境下实现针尖定位的留置针通过给出了反光层面积的确定方法，仅需确定反光层的材料就可以直接获得识别准确率最高的情况下对应的反光层的面积，使得精准识别反光层，从而提高了针尖定位结果的准确性。
附图说明
图1为本发明的一个实施例中提供的留置针结构示意图；
图2为本发明的一个实施例中提供的留置针在影像环境下的示意图；
图3为本发明的一个实施例中提供的定位层结构示意图；
图4为本发明的一个实施例中提供的又一定位层结构示意图；
图5为本发明的一个实施例中提供的反光层面积模型示意图；
图6为本发明的一个实施例中提供的标签示意图；
图7为本发明的一个实施例中提供的针尖深度定位示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
在临床医护人员对患者进行留置针穿刺操作时，为了能更好的一次性穿刺并留置成功，有这样的一个操作规范，依次为：扎止血带、去除护针帽、左右松动穿刺针、针尖斜面朝上以15到30度直刺静脉、见回血后降低角度到5到10度、继续进针2毫米、后撤穿刺针2到3毫米、持针座将导管和穿刺针一起全部送入血管、松开止血带打开调速器、将穿刺针完全撤出、固定留置针。这个过程中回血后继续穿刺2mm，对于医护人员无一个可量化的指示，全部凭借经验，而本发明提供的留置针可以在红外光环境下识别针尖位置直观看到针尖与穿刺的血管的相对位置；然后撤穿刺针2～3mm使得针尖撤至导管内，这个操作现有技术无提示。
实施例一：
在本实施例中公开了一种在影像环境下实现针尖定位的留置针，包括留置针本体1，留置针本体1包括针头1-1，在留置针本体1上设置有定位层2，定位层2包括反光层2-1，反光层2-1在影像环境下显示为高亮区域。
在本实施例中，影像环境具体是指向留置针本体1发射红外光后采用图像采集设备采集图像，即在红外光的照射下采集留置针本体1的图像。
在本实施例中提供了一种能够实现针尖定位的留置针，如图1所示，相比与普通的留置针多出了能够实现针尖定位的功能，由于当留置针插入皮肤内时，针头的位置用肉眼无法看到时，本实施例中提供的留置针的反光层2-1可以在红外光环境下经过成像后，在图像上显示为高亮的区域，如图2所示，相比于现有技术中采用图像处理方法对单纯留置针图像进行处理时存在的噪声过多，造成的定位不准确的问题，本实施例中通过加入了反光层2-1使得在图像中可以清晰的看到反光层2-1的位置，在图像处理时能够准确地定位到留置针的位置，从而提高了针尖定位结果的准确性。
在留置针本体1上设置的反光层2-1的区域在图像中显示为高亮区域，经过对图像灰度化后，该部分高亮区域在图像中显示为纯白色，如图2所示。
在设置反光层2-1时就已知反光层2-1的位置与针尖位置之间的位置关系，在图像上获取了反光层2-1的位置时就可以利用位置关系得到图像中针尖的位置，再获得了图像中针尖位置以后，可以再投影到皮肤上，从而医务人员在进行扎针时可以实时地看到针尖的位置，将本实施例中提供的留置针与现有技术中的血管成像设备同时使用，在能看到血管的基础上还能够看到针尖位置，能够有效地防止留置针扎穿血管，提高了医务人员的操作便捷性。
本实施例中提供的在红外光环境下实现针尖定位的留置针仅需在留置针本体1上设置定位层2在结合现有技术中的图像处理方法以及图像投影方法即可实现针尖定位。
可选地，定位层2还包括吸光层2-2，吸光层2-2在影像环境下显示为阴影区域，反光层2-1与吸光层2-2沿着所述针头1-1长度方向交错设置。
由于图像采集设备在红外光环境下采集留置针的图像时，常常会出现噪点，导致反光层2-1的位置提取的不准确导致针尖定位的不准确，因此在本实施例中还设置了吸光层2-2，吸光层2-2与反光层2-1交错设置，在图像中可以看到黑白交错的吸光层2-2与反光层2-1，如图2所示，吸光层2-2的设置可以排除反光层2-1附近的噪点干扰，使得精准识别反光层2-1，使得算法简单快速运算即可定位针尖位置和导管尖端位置。
在本实施例中，定位层2的反光层2-1以及吸光层2-2的排列可以是反光层2-1——吸光层2-2——反光层2-1，或者吸光层2-2——反光层2-1——吸光层2-2——反光层2-1——吸光层2-2等交错的结构，考虑到制作工艺的难易程度、识别的准确性、算法简单延时低，本发明优选反光层2-1——吸光层2-2——反光层2-1为最佳组合。
可选地，反光层2-1的形状与吸光层2-2的形状均为轴对称图形；
反光层2-1与吸光层2-2的对称轴与针头1-1斜面平行于水平面朝向上方时所在的直线处于同一条直线或与平行设置。
在本实施例中，如图3所示，当反光层2-1与吸光层2-2的形状均为轴对称图形时，可以通过图像处理方法迅速的找到反光层2-1以及吸光层2-2在图像中的对称轴。
当对称轴与针头斜面所在的直线相互重合时，此时对称轴所在的直线就是针头所在的直线，可以通过图像处理的方法结合针头的长度就可以迅速的找到针尖的位置。
当对称轴与针头斜面所在的直线相互平行时，此时可以根据对称轴与针头所在直线的位置关系首先定位到针头所在的直线，再根据针头的长度定位针尖的位置。
在本实施例中，定位层2形状可以是矩形、菱形、对称三角形等具有轴对称性的图形，也就是说，如图3所示，反光层2-1可以是矩形，吸光层2-2可以是菱形。
当反光层2-1与吸光层2-2的组合为反光层2-1——吸光层2-2——反光层2-1时，如图3所示，两个反光层2-1的形状可以同为矩形、菱形或椭圆形，两个反光层2-1的形状也可以互为不同。
两个反光层2-1与一个吸光层2-1的形状可以是相同的，也可以是相互不同的，即两个吸光层2-1的形状也相互不同。
优选地，反光层2-1与吸光层2-2均为矩形。
在本发明中，选用矩形定位层2为最优图形，因为矩形面积最大，识别的准确率最高。其他图形如果因为旋转导致设备只能识别到一部分图形时，就会出现标记点识别不准确从而导致针尖位置和导管尖端位置识别不准确。
在本实施例中由于针头1-1需要插入皮肤内无法且没有必要在其上设置定位层2，因此定位层2可以覆盖到整个留置针本体1中除了针头1-1以外的位置，从而能够更加准确地定位针尖位置，但是为了降低留置针的成本，仅在留置针本体1的个别位置上设置定位层2即可，可选地，留置针本体1还包括沿着所述针头1-1长度方向依次设置的底部1-2、套管1-3以及针套筒1-4，针头1-1安装在针套筒1-4上；
其中套管1-3包括沿着针头1-1长度方向依次设置的第一套管1-3-1、第二套管1-3-2以及第三套管1-3-3，其中第一套管1-3-1与底部1-2连接，第三套管1-3-3与针套筒1-4连接；
定位层2沿着所述底部1-2、套管1-3和/或针套筒1-4的外圆周设置。
在本实施例中，定位层2的位置如图1所示中，其中底部1-2、套管1-3和/或针套筒1-4的外圆周的位置均可作为定位层2位置，也就是说，定位层2在留置针本体1上可以设置有一个或多个，多个定位层2的设置可以提高针尖定位的准确率，但是会降低定位的实时性。
定位层2可以在底部1-2、套管1-3以及针套筒1-4的外圆周的位置的任一个位置上设置，其中由于针套筒1-4与针头1-1之间的距离最短，视野范围就会比较小，干扰较小，识别定位层2的精确度较高，因此如图1所示，针套筒1-4的位置为定位层2的最优位置，而且将定位层2设置在针套筒1-4的外圆周上对于定位层2的制作工艺要求较低，可以节省定位层2材料。
可选地，留置针本体1还包括针柄1-5，定位层2还沿着针柄的长度方向设置。
在本实施例中，如图4所示，针柄1-5位置的定位层2为矩形，用于提供一条平行线作为定位的参考，以提高识别效率。
可选地，定位层2包括多个反光层2-1以及多个吸光层2-2，多个反光层2-1的面积沿着留置针长度方向逐渐增大或减小。
在本实施例中，两个相隔了一个吸光层2-2的反光层2-1的面积之间的比例关系为0到1之间或大于1。
在本实施例中，反光层2-1的反光度取决于表面层的反光材料的浓度，本发明所需的反光层2-1的反光材料对近红外光的反光度大于70％，吸光层2-2的对近红外光的吸光度大于90％即可，目前医学领域主要使用的反光材料为反光粉，吸光材料为吸光粉，可以是多层复合聚酯薄膜或无机纳米颗粒与有机涂层树脂复合成膜。
具体地，反光层2-1选用路嘉反光材料公司生产的3A101-1系列中医用反光粉，吸光层2-2采用近红外吸光粉。
将反光层2-1与吸光层2-2设置在留置针本体1上的方式有三种，第一种方式热缩，将材料通过热缩的方式直接套在留置针本体1上的相应位置；第二种方式，将材料直接镀在留置针本体1上的相应位置，第三种方式为胶粘的方式。
可选地，所述的反光层2-1面积的数值y为
Figure BDA0002310711720000111
其中a、b、h1、h2、p、q1以及q2均为常数参数，x为反光层2-1的反光度；a>0，b>0，h1<0，h2<0，p>0，q1>0，q2>0。
在本实施例中，反光层2-1的反光度和反光面积共同决定了针尖的识别准确性，当反光层2-1的反光度越高，反光面积越大，那么针尖识别的准确度越高，其中当反光度＞80％，最小反光面积＞5mm2，即可准确识别针尖。
另外，当反光度介于70％～100％之间，反光面积介于1mm2到30mm2之间，其中反光度为x(70％≤x≤100％)，反光面积y(1mm2≤y≤30mm2)时，反光层2-1面积的数值y为
Figure BDA0002310711720000121
在本实施例中，反光层2-1面积的数值与反光层2-1的反光度之间的模型示意图，如图5所示，根据该模型可以得出，当确定了反光层2-1的材料时，就可以获得该种材料的反光度，从而可以直接获得反光层2-1的面积，使得针尖识别的准确率保持稳定。
在本实施例中，a＝0.732，b＝15.726，h1＝-37.477，h2＝-22.716，p＝0.254，q1＝0.739，q2＝0.917。
在本实施例中提供的在影像环境下实现针尖定位的留置针，相比于现有技术中的定位留置针，仅需在留置针本体1上覆盖定位层2，即可实现定位功能。
实施例二：
在本实施例中公开了一种留置针图像分割模型构建方法，用于对实施例一中提供的留置针的红外图像进行分割，将其中的反光层区域以及留置针针头区域从图像中分割出来，方法按照以下步骤执行：
步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
在本实施例中，反光层设置在针套筒1-4的外圆周上且反光层为矩形，获得的留置针图像如图2所示，其中反光层区域为图像中的白色区域。
在本实施例中通过收集不同形状的留置针的图像，此时不同形状的留置针可以是实施例一中定位层2的位置不同或形状不同的留置针，还可以是不同厂家生产的留置针，在本实施例中对图像的质量不做具体的要求，可以为不同环境下采集的针头图像，将这些留置针图像作为训练样本，使得训练好的分割模型能够对多种不同的留置针图像进行分割。
步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；
在本实施例中，考虑真实环境中的光照强度不同，采集到的图像中反光层2-1的尺寸不同，以及深度学习网络需要大量的样本进行训练，因此采用了数据增强的方法对数据集进行扩展，通过调整图像的亮度，裁剪并缩放图像，增加图像的不同形态，在增强数据的同时，又可以尽量模型不同条件下采集得到图像，从而提高模型的泛化能力。
步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
在本实施例中，如图6所示，考虑到传统的全卷积网络虽然可以得到反光层以及针头的分割结果，但是没有利用它们的边缘特征对结果进行约束，可能导致网络输出的分割结果中反光层区域以及针头区域的边缘不够平滑，形状扭曲，和图像的真实分割区域之间有一定的差异，因此在本实施例中提出了基于多任务的分割网络，在不需要增加训练样本或者其他标注工作的前提下，引入目标轮廓识别任务，训练样本的目标轮廓可以根据边缘检测算法获得，通过引入目标轮廓的约束，提高了对轮廓的识别精度，从而使得网络提取到目标的轮廓信息，从而优化目标的分割结果，因此，通过引入多任务学习机制，可以提高网络模型的精度，从而准确的识别反光层区域以及针头区域。
在本实施例中，如图6所示，对于轮廓的获取，可采用边缘提取方法，提取反光层以及针头的边缘，然后利用膨胀操作得到物体轮廓，膨胀操作采用半径为5的disk滤波。引入轮廓识别任务，主要是缓解传统的分割网络无法捕获目标结构信息的问题，通过训练网络提高轮廓识别精度，进而约束分割结果的形态，达到提高分割精度的目的。
步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
在本实施例中提供的分割网络的结构采用了传统的分割网络，在分割网络输出的特征图基础上，采用3x3的卷积核得到两个结果，即分割结果和轮廓提取结果，卷积核的通道数取决于特征图的个数，stride为1，padding为1。
在本实施例中，识别的目标有两个反光层2-1区域以及一个针头区域，因此卷积核的个数为3。
在本实施例中主要提供了一种留置针图像分割模型构建方法，利用本实施例中的模型构建方法构建出的图像分割模型，可以应用至多种类型的留置针图像中，从而提高了图像分割的灵活性以及可使用范围。
实施例三：
本实施例中公开了一种留置针图像针尖定位方法，用于在留置针图像中定位针尖的位置，所述的方法按照以下步骤执行：
步骤A、获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
在本实施例中，采用实施例一中所述的留置针，采集包含实施例一中的留置针的图像作为待定位留置针图像。
步骤B、将所述的待定位的留置针图像输入至实施例二的留置针图像分割模型构建方法获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
步骤C、从标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
在本实施例中，反光层标记区域形状信息为反光层的形状即实施例一中的轴对称图像，可以是椭圆形、对称三角形或者矩形等形状；留置针枕头标记区域的形状一般为矩形。
在本实施例中，位置信息为各种形状的顶点的位置信息。
步骤D、根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过实施例二留置针图像分割模型构建方法获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure BDA0002310711720000171
为P2点至P1点之间的图像距离，单位为像素点，
Figure BDA0002310711720000172
为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
在本实施例中，通过随机抽样一致算法即可找出数据库所有的图像中与待定位的留置针图像中反光层标记区域与针头标记区域最匹配的一张图像。
本步骤的目的是获得比例参数K，将样本图像的比例参数K作为待定位的留置针图像的比例参数K。
步骤E、根据步骤C中获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
步骤F、采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
其中，
Figure BDA0002310711720000174
为P2'点至P1'点之间的图像距离，单位为像素点。
在本步骤中，通过式II即可计算出针尖在图像中的位置，医护人员就可以在图像中实时地查看到针尖的位置，在获得了图像中针尖的位置后也可以利用图像坐标系与实际坐标系的变换关系获得针尖的实际位置，再配合市场上现有的血管成像仪即可实时地判断针尖是否扎穿血管，进一步地提高了医护人员操作的便捷性。
实施例四：
在本实施例中公开了一种留置针图像针尖深度定位方法，用于获得所述的留置针针尖的深度，按照以下步骤执行：
步骤I、获得待定位的留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤II、采用实施例三所述的留置针图像针尖定位方法获得所述的待定位的留置针图像中针尖位置点坐标P3'；
步骤III、对采用实施例三中的留置针图像针尖定位方法时所述的步骤D获得的样本图像进行标定，获得坐标变换参数
Figure BDA0002310711720000181
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure BDA0002310711720000182
为两个中心点之间的实际距离，单位为mm，
Figure BDA0002310711720000183
为P2点至P1点之间的图像距离，单位为像素点；
在本实施例中，在实施例三的基础上，对留置针图像进行标定时，可以是对实施例三中数据库中的每一幅标记留置针图像进行提前标定，将实施例三的样本图像的坐标变换参数作为待定位的留置针图像的变换参数，从而可以有效地节约程序运行的时间，提高了针尖深度定位的实时性。
步骤IV、采用式III获得留置针针尖的深度H，单位为mm：
Figure BDA0002310711720000191
其中P4'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤C获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P3'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法获得的针尖位置点坐标；
P1'以及P2'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤E获得的两个反光层标记区域的中心点位置坐标；
Figure BDA0002310711720000192
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure BDA0002310711720000193
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure BDA0002310711720000194
为P2'点至P1'点之间的实际距离，单位为mm。
在本实施例中提供了一种简单有效的针尖深度获取的方法，如图7所示，根据两个反光层标记区域的分割结果可以得到这两个反光层的的中心点坐标，计算两个中心点之间的距离即可得到距离L2，L1表示两个反光层之间的实际距离，为已知量，那么角1可表示为：
Figure BDA0002310711720000195
图7中，点P4'为针头与皮肤的入针点，通过分割模型可以得到该点的位置，点P3'即为已预测出的针头的位置，因此点P4'到点P3'的图像距离可计算得到；又因为角1等于角2，因此获得了式III，通过式III可以简单有效的获得针尖的深度信息。
在实施例三获得了针尖位置的基础上，结合图像中可以直接采集到的入针位置信息，采用相似三角形的方法按比例求得针尖的深度信息，本实施例中提供的针尖深度定位方法解决了传统技术中无法获得针尖深度信息的技术难题，并且准确性较高，且实时性较高，能够符合医务工作者在实际使用中的要求。
实施例五：
在本实施例中公开了一种留置针图像分割模型构建装置，装置包括图像采集模块、数据增强模块、标签获得模块以及模型训练模块；
图像采集模块用于获取多幅留置针图像，其中留置针图像中包括多个反光层区域与留置针针头区域；
数据增强模块用于对获得的每一幅留置针图像进行数据增强，获得样本集；
标签获得模块用于标记样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
模型训练模块用于将样本集作为输入，将第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中全卷积神经网络的损失函数L为：
Figure BDA0002310711720000211
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
实施例六：
一种留置针图像针尖定位装置，其特征在于，装置包括图像获得模块、图像分割模块、信息获得模块、样本对比模块、位置点坐标获得模块以及针尖位置计算模块；
图像获得模块用于获得待定位的留置针图像，其中待定位的留置针图像中包括多个反光层区域与留置针针头区域；
图像分割模块将待定位的留置针图像输入至权利要求4留置针图像分割模型构建装置获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
信息获得模块用于从标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
样本对比模块用于根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中留置针图像数据库包括多幅经过权利要求4留置针图像分割模型构建装置获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure BDA0002310711720000221
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure BDA0002310711720000222
为P2点至P1点之间的图像距离，单位为像素点，
Figure BDA0002310711720000223
为P3点至P2点之间的图像距离，单位为像素点；
获得样本图像的比例参数K；
位置点坐标获得模块用于根据获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中两个反光层标记区域与样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
针尖位置计算模块用于采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure BDA0002310711720000224
其中，
Figure BDA0002310711720000225
为P2'点至P1'点之间的图像距离，单位为像素点。
实施例七：
在本实施例中公开了一种留置针图像针尖深度定位装置，用于获得留置针针尖的深度，其特征在于，装置包括图像获得模块、变换参数获得模块以及针尖深度获得模块；
图像获得模块用于获得待定位的留置针图像，其中待定位的留置针图像中包括多个反光层区域与留置针针头区域；
变换参数获得模块用于对留置针图像进行标定，获得坐标变换参数
Figure BDA0002310711720000231
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure BDA0002310711720000232
为两个中心点之间的实际距离，单位为mm，为P2点至P1点之间的图像距离，单位为像素点；
用于采用式III获得留置针针尖的深度H，单位为mm：
Figure BDA0002310711720000234
其中P4'为对待定位的留置针图像采用权利要求5留置针图像针尖定位装置中信息获得模块获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P3'为对待定位的留置针图像采用权利要求5留置针图像针尖定位装置获得的针尖位置点坐标；
P1'以及P2'为对获得的待定位的留置针图像采用权利要求2留置针图像针尖定位装置中位置点坐标获得模块获得的两个反光层标记区域的中心点位置坐标；
Figure BDA0002310711720000235
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure BDA0002310711720000236
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure BDA0002310711720000237
为P2'点至P1'点之间的实际距离，单位为mm。
实施例八：
在本实施例中提供了一种留置针针尖定位系统，包括图像采集识别装置以及留置针，留置针包括留置针本体1，留置针本体1包括针头1-1，在留置针本体1上设置有反光层2；
图像采集识别装置包括图像采集模块、如实施例六中的留置针图像针尖定位装置、如实施例七中的留置针图像针尖深度定位装置、血管成像模块、图像投影模块、光源模块以及供电模块；
其中供电模块用于向图像采集模块、留置针图像针尖定位装置、留置针图像针尖深度定位装置、血管成像模块、图像投影模块以及光源模块供电；
光源模块用于向皮肤投射红外光；
图像采集模块用于在红外光环境下采集待定位的留置针图像，其中待定位的留置针图像中包括多个反光层区域与留置针针头区域；
留置针图像针尖定位装置用于输入待定位的留置针图像，输出留置针图像中的针尖位置点坐标；
留置针图像针尖深度定位装置用于输入待定位的留置针图像，输出留置针图像中的针尖深度；
血管成像模块用于获得血管图像；
图像投影模块用于将所述的血管图像投影在皮肤上；
图像投影模块还用于根据针尖位置点坐标，将针尖叠加投影在血管图像上；
图像投影模块还用于将针尖深度投影在皮肤上。
在本实施例中留置针为实施例一中提供的在影像环境下实现针尖定位的留置针。
本实施例中提供的留置针针尖定位系统实现的功能有：
1、将血管位置投影在皮肤上；
2、将针尖的位置与血管位置叠加投影在皮肤上，以使得医务人员可以实时地在患者的皮肤上查看到针尖在血管中的位置；
3、将针尖的深度信息投影到皮肤上，以使得义务人员可以实时地看到针尖的深度。
在本实施例中通过血管成像模块实现血管图像的获得，血管成像模块采用现有技术中已经成熟的血管成像仪，该血管成像仪也是利用了血管在红外的照射下在图像中呈现出不同的颜色实现的血管图像的获得。
在本实施例中留置针图像针尖定位装置、留置针针尖深度定位装置以及血管成像装置可以集成在一个微处理器中进行实现。
可选地，图像采集模块为近红外灵敏的感光模组。
在本实施例中，图像采集模块为OV2710 DVP模组。
可选地，光源模块包括光学镜片以及近红外光源，其中所述的近红外光源为波长为700nm-1700nm的近红外光源。
作为一种最优的实施方式，近红外光源选择波长为850nm或940nm的近红外光源。
在本实施例中，图像投影模块在将针尖的位置与血管位置叠加投影在皮肤上时，设置一个标记点代表针尖位置投影在皮肤上，该标记点可以是圆形、三角形、星型等，颜色可以是红色、绿色等能够在皮肤上显示的任意颜色。
在本实施例中，图像采集识别装置还包括风扇、按键模块等。

Claims (9)

1.一种在影像环境下实现针尖定位的留置针，包括留置针本体(1)，所述的留置针本体(1)包括针头(1-1)，其特征在于，在所述的留置针本体(1)上设置有定位层(2)；所述的定位层(2)包括反光层(2-1)，所述的反光层(2-1)在影像环境下显示为高亮区域。
2.如权利要求1所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的定位层(2)还包括吸光层(2-2)，所述的吸光层(2-2)在影像环境下显示为阴影区域，所述的反光层(2-1)与所述的吸光层(2-2)沿着所述针头(1-1)长度方向交错设置。
3.如权利要求2所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的反光层(2-1)的形状与吸光层(2-2)的形状均为轴对称图形；
所述的反光层(2-1)与吸光层(2-2)的对称轴与所述的针头(1-1)斜面平行于水平面朝向上方时所在的直线处于同一条直线或与平行设置。
4.如权利要求3所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的反光层(2-1)与所述的吸光层(2-2)均为矩形。
5.如权利要求4所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的留置针本体(1)还包括沿着所述针头(1-1)长度方向设置的底部(1-2)、套管(1-3)以及针套筒(1-4)，所述的针头(1-1)安装在所述的针套筒(1-4)上；
所述的定位层(2)沿着所述底部(1-2)、套管(1-3)和/或针套筒(1-4)的外圆周设置。
6.如权利要求5所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的定位层(2)沿着所述针套筒(1-4)的外圆周设置。
7.如权利要求6所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的留置针本体(1)还包括针柄(1-5)，所述的定位层(2)还沿着所述的针柄的长度方向设置。
8.如权利要求2所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的定位层(2)包括多个反光层(2-1)以及多个吸光层(2-2)，所述的多个反光层(2-1)的面积沿着留置针长度方向逐渐增大或减小。
9.如权利要求8所述的在影像环境下实现针尖定位的留置针，其特征在于，所述的多个反光层(2-1)中最大面积的反光层(2-1)面积的数值y为：
Figure FDA0002310711710000021
其中a、b、h1、h2、p、q1以及q2均为常数参数，x为反光层(2-1)的反光度；a>0，b>0，h1<0，h2<0，p>0，q1>0，q2>0。
CN201911257589.2A 2019-12-10 2019-12-10 一种在影像环境下实现针尖定位的留置针 Pending CN110841139A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911257589.2A CN110841139A (zh) 2019-12-10 2019-12-10 一种在影像环境下实现针尖定位的留置针
PCT/CN2020/133557 WO2021115190A1 (zh) 2019-12-10 2020-12-03 一种在影像环境下实现针尖定位的留置针

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911257589.2A CN110841139A (zh) 2019-12-10 2019-12-10 一种在影像环境下实现针尖定位的留置针

Publications (1)

Publication Number Publication Date
CN110841139A true CN110841139A (zh) 2020-02-28

Family

ID=69608513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911257589.2A Pending CN110841139A (zh) 2019-12-10 2019-12-10 一种在影像环境下实现针尖定位的留置针

Country Status (2)

Country Link
CN (1) CN110841139A (zh)
WO (1) WO2021115190A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115190A1 (zh) * 2019-12-10 2021-06-17 深圳市中科微光医疗器械技术有限公司 一种在影像环境下实现针尖定位的留置针
WO2022095082A1 (zh) * 2020-11-04 2022-05-12 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种用于细胞注射的显微操作平台三维定位方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020115922A1 (en) * 2001-02-12 2002-08-22 Milton Waner Infrared assisted monitoring of a catheter
US20080194930A1 (en) * 2007-02-09 2008-08-14 Harris Melvyn L Infrared-visible needle
US8311615B2 (en) * 2009-07-09 2012-11-13 Becton, Dickinson And Company System and method for visualizing needle entry into a body
US9247906B2 (en) * 2011-06-28 2016-02-02 Christie Digital Systems Usa, Inc. Method and apparatus for detection of catheter location for intravenous access
CN203619992U (zh) * 2013-12-09 2014-06-04 苏州鱼跃医疗科技有限公司 一种留置针
CN110841139A (zh) * 2019-12-10 2020-02-28 深圳市中科微光医疗器械技术有限公司 一种在影像环境下实现针尖定位的留置针
CN212141071U (zh) * 2019-12-10 2020-12-15 深圳市中科微光医疗器械技术有限公司 一种在影像环境下实现针尖定位的留置针
CN110992388B (zh) * 2019-12-10 2023-04-25 深圳市中科微光医疗器械技术有限公司 留置针图像分割模型构建、针尖定位方法、装置及系统
CN211485996U (zh) * 2019-12-10 2020-09-15 深圳市中科微光医疗器械技术有限公司 一种留置针针尖定位系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115190A1 (zh) * 2019-12-10 2021-06-17 深圳市中科微光医疗器械技术有限公司 一种在影像环境下实现针尖定位的留置针
WO2022095082A1 (zh) * 2020-11-04 2022-05-12 江苏集萃微纳自动化系统与装备技术研究所有限公司 一种用于细胞注射的显微操作平台三维定位方法

Also Published As

Publication number Publication date
WO2021115190A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN110992388B (zh) 留置针图像分割模型构建、针尖定位方法、装置及系统
US9782078B2 (en) Device, system and method for blood vessel imaging and marking
US8811692B2 (en) System and method for using three dimensional infrared imaging for libraries of standardized medical imagery
RU2436507C2 (ru) Способы терапии области раны и системы для осуществления этих способов
KR20210016378A (ko) 환자에게 부착된 광학 코드를 사용하여 환자의 이미지 데이터를 환자의 실제 시야와 정렬하는 방법
EP1196081B1 (en) Integrated imaging apparatus
CN102187188B (zh) 用于实时的组织氧合测量的小型化多光谱成像器
US9339194B2 (en) System, method and article for normalization and enhancement of tissue images
CN212141071U (zh) 一种在影像环境下实现针尖定位的留置针
CN110494921A (zh) 利用三维数据增强患者的实时视图
US7457659B2 (en) Method and device for examining the skin
US20070253614A1 (en) Artificially displaying information relative to a body
WO2021115190A1 (zh) 一种在影像环境下实现针尖定位的留置针
CN107041729A (zh) 双目近红外成像系统及血管识别方法
CN110298273A (zh) 一种基于多光谱图像的3d指静脉提取方法及系统
CN110189324A (zh) 一种医学图像处理方法及处理装置
Marathe et al. A novel wireless vein finder
JP2006130201A (ja) 血管及び注射針位置提示装置、及び血管及び注射針位置提示方法
CN101732031A (zh) 眼底图像处理方法
CN112183518B (zh) 静脉靶点自动确定方法、装置和设备
Ahmed et al. Enhanced vision based vein detection system
KR101144434B1 (ko) 비침습 혈당 측정 장치
Tang et al. Deep learning-based vein localization on embedded system
CN113011333A (zh) 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法
Meriaudeau et al. 3D and multispectral imaging for subcutaneous veins detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Rui

Inventor before: Zhu Rui

Inventor before: Cao Yihui