CN110992388A - 留置针图像分割模型构建、针尖定位方法、装置及系统 - Google Patents

留置针图像分割模型构建、针尖定位方法、装置及系统 Download PDF

Info

Publication number
CN110992388A
CN110992388A CN201911258449.7A CN201911258449A CN110992388A CN 110992388 A CN110992388 A CN 110992388A CN 201911258449 A CN201911258449 A CN 201911258449A CN 110992388 A CN110992388 A CN 110992388A
Authority
CN
China
Prior art keywords
image
needle
indwelling needle
point
indwelling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911258449.7A
Other languages
English (en)
Other versions
CN110992388B (zh
Inventor
朱锐
曹一挥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD
Original Assignee
SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD filed Critical SHENZHEN VIVOLIGHT MEDICAL DEVICE & TECHNOLOGY CO LTD
Priority to CN201911258449.7A priority Critical patent/CN110992388B/zh
Publication of CN110992388A publication Critical patent/CN110992388A/zh
Priority to PCT/CN2020/133559 priority patent/WO2021115191A1/zh
Application granted granted Critical
Publication of CN110992388B publication Critical patent/CN110992388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Infusion, Injection, And Reservoir Apparatuses (AREA)

Abstract

本发明公开了一种留置针图像分割模型构建、针尖定位方法、装置及系统,首先可以训练出一个专用于包含有反光层区域的留置针图像的图像分割模型，能够识别多种厂家生产的不同类型的留置针，并且采用了目标轮廓识别任务，提高了对轮廓的识别精度，使得网络提取到目标的轮廓信息，提高了留置针图像分割结果的准确性，从而提高了后期留置针针尖定位的准确性；其次利用匹配方法获得样本图像，利用样本图像的比例参数就可以简单快速的根据反光层区域的位置确定留置针针尖在图像中的位置，从而提高了针尖定位的实时性，还利用样本图像的坐标变换参数计算待定位留置针的针尖深度，从而可以有效地节约程序运行的时间，提高了针尖深度定位的实时性。

Description

留置针图像分割模型构建、针尖定位方法、装置及系统
技术领域
本发明涉及针尖定位系统，具体涉及一种留置针图像分割模型构建、针尖定位方法、装置及系统。
背景技术
在临床治疗上，静脉注射通过将药物直接注射至静脉中可以给患者带来直接有效的治疗。但是静脉注射属于有创性治疗手段，需要将注射针头扎入皮下的血管中，这样的有创行为会给患者带来痛苦。特别是，对于一些需要每日的、连续的、间歇的进行注射治疗的患者而言，重复的实施静脉输液会给患者带来多次伤害。留置针的使用则可以让患者避免重复穿刺，降低患者的痛苦，减少医务人员的工作量。
但是，目前所广泛使用的留置针并不能反馈给医务人员针尖所在的位置，医务人员需要凭借个人的经验和手感来判断留置针是否准确的扎入目标血管中且未扎穿血管，使得医务人员的工作难度增加。现有技术中已经出现了可以确定血管位置的血管成像仪，但是针尖位置较难确定。
现有技术可以采用图像处理的方法对留置针图像进行处理，从而预测针尖的位置，但是单纯采用图像处理的方法由于图像中噪声过多，例如留置针本体呈现整个透明的颜色，在采集图像时皮肤的颜色会透过留置针显示到图像中导致没法定位到留置针的边缘或者由于光照的因素会导致留置针的边缘不清晰，从而使得留置针图像无法准确地进行分割，尤其是留置针生产厂家众多，每个厂家的留置针的形状都会有差异，因此在对多种类型的留置针图像进行分割时存在无法准确分割的问题，从而导致针尖位置预测结果不准确，造成针尖定位不准，影响定位效果。
另外留置针针尖定位在实际使用场景中需要实时地对针尖位置进行准确的计算，而现有技术中的方法大多存在算法处理复杂导致计算速度慢，无法满足实时性要求的问题。
发明内容
本发明的目的在于提供一种留置针图像分割模型构建、针尖定位方法、装置及系统，用以解决现有的图像处理技术在处理针尖图像时无法准确进行分割，导致针尖定位不准确且处理速度慢的问题。
为了实现上述任务，本发明采用以下技术方案：
一种留置针图像分割模型构建方法，所述的方法按照以下步骤执行：
步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；
步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：
Figure BDA0002310937270000021
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
一种留置针图像针尖定位方法，所述的方法按照以下步骤执行：
步骤A、获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
步骤B、将所述的待定位的留置针图像输入至留置针图像分割模型构建方法获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
步骤C、从所述的标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
步骤D、根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过权利要求1所述的留置针图像分割模型构建方法获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure BDA0002310937270000031
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure BDA0002310937270000032
为P2点至P1点之间的图像距离，单位为像素点，
Figure BDA0002310937270000033
为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
步骤E、根据步骤C中获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
步骤F、采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure BDA0002310937270000034
其中，
Figure BDA0002310937270000035
为P2'点至P1'点之间的图像距离，单位为像素点。
一种留置针图像针尖深度定位方法，用于获得所述的留置针针尖的深度，按照以下步骤执行：
步骤I、获得待定位的留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤II、采用留置针图像针尖定位方法获得所述的待定位的留置针图像中针尖位置点坐标P3'；
步骤III、对采用留置针图像针尖定位方法时所述的步骤D获得的样本图像进行标定，获得坐标变换参数
Figure BDA0002310937270000036
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure BDA0002310937270000037
为两个中心点之间的实际距离，单位为mm，
Figure BDA0002310937270000041
为P2点至P1点之间的图像距离，单位为像素点；
步骤IV、采用式III获得留置针针尖的深度H，单位为mm：
Figure BDA0002310937270000042
其中P4'为对步骤I获得的待定位的留置针图像采用留置针图像针尖定位方法中步骤C获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P1'以及P2'为对步骤I获得的待定位的留置针图像采用留置针图像针尖定位方法中步骤E获得的两个反光层标记区域的中心点位置坐标；
Figure BDA0002310937270000043
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure BDA0002310937270000044
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure BDA0002310937270000045
为P2'点至P1'点之间的实际距离，单位为mm。
一种留置针图像分割模型构建装置，所述的装置包括图像采集模块、数据增强模块、标签获得模块以及模型训练模块；
所述的图像采集模块用于获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
所述的数据增强模块用于对获得的每一幅留置针图像进行数据增强，获得样本集；
所述的标签获得模块用于标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
所述的模型训练模块用于将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：
Figure BDA0002310937270000046
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
一种留置针图像针尖定位装置，所述的装置包括图像获得模块、图像分割模块、信息获得模块、样本对比模块、位置点坐标获得模块以及针尖位置计算模块；
所述的图像获得模块用于获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
所述的图像分割模块将所述的待定位的留置针图像输入至留置针图像分割模型构建装置获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
所述的信息获得模块用于从所述的标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
所述的样本对比模块用于根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过权利要求4所述的留置针图像分割模型构建装置获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure BDA0002310937270000051
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure BDA0002310937270000052
为P2点至P1点之间的图像距离，单位为像素点，
Figure BDA0002310937270000053
为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
所述的位置点坐标获得模块用于根据获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
所述的针尖位置计算模块用于采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure BDA0002310937270000061
其中，
Figure BDA0002310937270000062
为P2'点至P1'点之间的图像距离，单位为像素点。
一种留置针图像针尖深度定位装置，用于获得所述的留置针针尖的深度，所述的装置包括图像获得模块、留置针图像针尖定位装置、变换参数获得模块以及针尖深度获得模块；
所述的图像获得模块用于获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
所述的留置针图像针尖定位装置用于获得所述的待定位的留置针图像中针尖位置点坐标P3'；
所述的变换参数获得模块用于对所述的留置针图像进行标定，获得坐标变换参数
Figure BDA0002310937270000063
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure BDA0002310937270000064
为两个中心点之间的实际距离，单位为mm，
Figure BDA0002310937270000065
为P2点至P1点之间的图像距离，单位为像素点；
所述的用于采用式III获得留置针针尖的深度H，单位为mm：
Figure BDA0002310937270000066
其中P4'为对待定位的留置针图像采用留置针图像针尖定位装置中信息获得模块获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P1'以及P2'为对获得的待定位的留置针图像采用所述的留置针图像针尖定位装置中位置点坐标获得模块获得的两个反光层标记区域的中心点位置坐标；
Figure BDA0002310937270000067
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure BDA0002310937270000068
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure BDA0002310937270000069
为P2'点至P1'点之间的实际距离，单位为mm。
一种留置针针尖定位系统，包括图像采集识别装置以及留置针，所述的留置针包括留置针本体，所述的留置针本体包括针头，在所述的留置针本体上设置有反光层；
所述的图像采集识别装置包括图像采集模块、留置针图像针尖定位装置、留置针图像针尖深度定位装置、血管成像模块、图像投影模块、光源模块以及供电模块；
其中所述的供电模块用于向所述的图像采集模块、留置针图像针尖定位装置、留置针图像针尖深度定位装置、血管成像模块、图像投影模块以及光源模块供电；
所述的光源模块用于向皮肤投射红外光；
所述的图像采集模块用于在红外光环境下采集待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
所述的留置针图像针尖定位装置用于输入所述的待定位的留置针图像，输出留置针图像中的针尖位置点坐标；
所述的留置针图像针尖深度定位装置用于输入所述的待定位的留置针图像，输出留置针图像中的针尖深度；
所述的血管成像模块用于获得血管图像；
所述的图像投影模块用于将所述的血管图像投影在皮肤上；
所述的图像投影模块还用于根据所述的针尖位置点坐标，将针尖叠加投影在所述的血管图像上；
所述的图像投影模块还用于将所述的针尖深度投影在所述的皮肤上。
进一步地，所述的图像采集模块为近红外灵敏的感光模组。
进一步地，所述的光源模块包括光学镜片以及近红外光源。
本发明与现有技术相比具有以下技术效果：
1、本发明提供的留置针图像分割模型构建方法及装置用于训练出一个专用于包含有反光层区域的留置针图像的图像分割模型，采用本发明提供的方法训练好的模型具有较强的适应能力，能够识别多种厂家生产的不同类型的留置针，从而提高了模型的泛化能力；另外本发明提供的模型在训练时采用了目标轮廓识别任务，提高了对轮廓的识别精度，使得网络提取到目标的轮廓信息，提高了留置针图像分割结果的准确性，从而提高了后期留置针针尖定位的准确性；
2、本发明提供的留置针图像针尖定位方法及装置通过将待定位的留置针图像的分割结果与数据库中的所有图像的分割结果进行对比找到一张最匹配的样本图像，利用样本图像的比例参数无需再对待定位的留置针图像进行再次标定，就可以简单快速的根据反光层区域的位置确定留置针针尖在图像中的位置，从而提高了针尖定位的实时性；
3、本发明提供的留置针图像针尖深度定位方法及装置在留置针图像针尖定位方法及装置的基础上进一步地获得了样本图像的坐标变换参数，利用样本图像的坐标变换参数计算待定位留置针的针尖深度，从而可以有效地节约程序运行的时间，提高了针尖深度定位的实时性；
4、本发明提供的留置针针尖定位系统提供了一套完整的针尖定位功能，不仅可以将血管位置投影在皮肤上；还可以将针尖的位置与血管位置叠加投影在皮肤上，以使得医务人员可以实时地在患者的皮肤上查看到针尖在血管中的位置；还能将针尖的深度信息投影到皮肤上，以使得医务人员可以实时地看到针尖的深度，相比于现有技术，本发明提供的留置针针尖定位系统能够提高医务人员在工作中的效率，也可以降低医务人员的工作难度。
附图说明
图1为本发明的一个实施例中提供的留置针结构示意图；
图2为本发明的一个实施例中提供的留置针在影像环境下的示意图；
图3为本发明的一个实施例中提供的定位层结构示意图；
图4为本发明的一个实施例中提供的又一定位层结构示意图；
图5为本发明的一个实施例中提供的反光层面积模型示意图；
图6为本发明的一个实施例中提供的标签示意图；
图7为本发明的一个实施例中提供的针尖深度定位示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
在临床医护人员对患者进行留置针穿刺操作时，为了能更好的一次性穿刺并留置成功，有这样的一个操作规范，依次为：扎止血带、去除护针帽、左右松动穿刺针、针尖斜面朝上以15到30度直刺静脉、见回血后降低角度到5到10度、继续进针2毫米、后撤穿刺针2到3毫米、持针座将导管和穿刺针一起全部送入血管、松开止血带打开调速器、将穿刺针完全撤出、固定留置针。这个过程中回血后继续穿刺2mm，对于医护人员无一个可量化的指示，全部凭借经验，而本发明提供的留置针可以在红外光环境下识别针尖位置直观看到针尖与穿刺的血管的相对位置；然后撤穿刺针2～3mm使得针尖撤至导管内，这个操作现有技术无提示。
实施例一：
在本实施例中公开了一种在影像环境下实现针尖定位的留置针，包括留置针本体1，留置针本体1包括针头1-1，在留置针本体1上设置有定位层2，定位层2包括反光层2-1，反光层2-1在影像环境下显示为高亮区域。
在本实施例中，影像环境具体是指向留置针本体1发射红外光后采用图像采集设备采集图像，即在红外光的照射下采集留置针本体1的图像。
在本实施例中提供了一种能够实现针尖定位的留置针，如图1所示，相比与普通的留置针多出了能够实现针尖定位的功能，由于当留置针插入皮肤内时，针头的位置用肉眼无法看到时，本实施例中提供的留置针的反光层2-1可以在红外光环境下经过成像后，在图像上显示为高亮的区域，如图2所示，相比于现有技术中采用图像处理方法对单纯留置针图像进行处理时存在的噪声过多，造成的定位不准确的问题，本实施例中通过加入了反光层2-1使得在图像中可以清晰的看到反光层2-1的位置，在图像处理时能够准确地定位到留置针的位置，从而提高了针尖定位结果的准确性。
在留置针本体1上设置的反光层2-1的区域在图像中显示为高亮区域，经过对图像灰度化后，该部分高亮区域在图像中显示为纯白色，如图2所示。
在设置反光层2-1时就已知反光层2-1的位置与针尖位置之间的位置关系，在图像上获取了反光层2-1的位置时就可以利用位置关系得到图像中针尖的位置，再获得了图像中针尖位置以后，可以再投影到皮肤上，从而医务人员在进行扎针时可以实时地看到针尖的位置，将本实施例中提供的留置针与现有技术中的血管成像设备同时使用，在能看到血管的基础上还能够看到针尖位置，能够有效地防止留置针扎穿血管，提高了医务人员的操作便捷性。
本实施例中提供的在红外光环境下实现针尖定位的留置针仅需在留置针本体1上设置定位层2在结合现有技术中的图像处理方法以及图像投影方法即可实现针尖定位。
可选地，定位层2还包括吸光层2-2，吸光层2-2在影像环境下显示为阴影区域，反光层2-1与吸光层2-2沿着所述针头1-1长度方向交错设置。
由于图像采集设备在红外光环境下采集留置针的图像时，常常会出现噪点，导致反光层2-1的位置提取的不准确导致针尖定位的不准确，因此在本实施例中还设置了吸光层2-2，吸光层2-2与反光层2-1交错设置，在图像中可以看到黑白交错的吸光层2-2与反光层2-1，如图2所示，吸光层2-2的设置可以排除反光层2-1附近的噪点干扰，使得精准识别反光层2-1，使得算法简单快速运算即可定位针尖位置和导管尖端位置。
在本实施例中，定位层2的反光层2-1以及吸光层2-2的排列可以是反光层2-1——吸光层2-2——反光层2-1，或者吸光层2-2——反光层2-1——吸光层2-2——反光层2-1——吸光层2-2等交错的结构，考虑到制作工艺的难易程度、识别的准确性、算法简单延时低，本发明优选反光层2-1——吸光层2-2——反光层2-1为最佳组合。
可选地，反光层2-1的形状与吸光层2-2的形状均为轴对称图形；
反光层2-1与吸光层2-2的对称轴与针头1-1斜面平行于水平面朝向上方时所在的直线处于同一条直线或与平行设置。
在本实施例中，如图3所示，当反光层2-1与吸光层2-2的形状均为轴对称图形时，可以通过图像处理方法迅速的找到反光层2-1以及吸光层2-2在图像中的对称轴。
当对称轴与针头斜面所在的直线相互重合时，此时对称轴所在的直线就是针头所在的直线，可以通过图像处理的方法结合针头的长度就可以迅速的找到针尖的位置。
当对称轴与针头斜面所在的直线相互平行时，此时可以根据对称轴与针头所在直线的位置关系首先定位到针头所在的直线，再根据针头的长度定位针尖的位置。
在本实施例中，定位层2形状可以是矩形、菱形、对称三角形等具有轴对称性的图形，也就是说，如图3所示，反光层2-1可以是矩形，吸光层2-2可以是菱形。
当反光层2-1与吸光层2-2的组合为反光层2-1——吸光层2-2——反光层2-1时，如图3所示，两个反光层2-1的形状可以同为矩形、菱形或椭圆形，两个反光层2-1的形状也可以互为不同。
两个反光层2-1与一个吸光层2-1的形状可以是相同的，也可以是相互不同的，即两个吸光层2-1的形状也相互不同。
优选地，反光层2-1与吸光层2-2均为矩形。
在本发明中，选用矩形定位层2为最优图形，因为矩形面积最大，识别的准确率最高。其他图形如果因为旋转导致设备只能识别到一部分图形时，就会出现标记点识别不准确从而导致针尖位置和导管尖端位置识别不准确。
在本实施例中由于针头1-1需要插入皮肤内无法且没有必要在其上设置定位层2，因此定位层2可以覆盖到整个留置针本体1中除了针头1-1以外的位置，从而能够更加准确地定位针尖位置，但是为了降低留置针的制造成本，仅在留置针本体1的个别位置上设置定位层2即可，可选地，留置针本体1还包括沿着所述针头1-1长度方向依次设置的底部1-2、套管1-3以及针套筒1-4，针头1-1安装在针套筒1-4上；
其中套管1-3包括沿着针头1-1长度方向依次设置的第一套管1-3-1、第二套管1-3-2以及第三套管1-3-3，其中第一套管1-3-1与底部1-2连接，第三套管1-3-3与针套筒1-4连接；
定位层2沿着所述底部1-2、套管1-3和/或针套筒1-4的外圆周设置。
在本实施例中，定位层2的位置如图1所示中，其中底部1-2、套管1-3和/或针套筒1-4的外圆周的位置均可作为定位层2位置，也就是说，定位层2在留置针本体1上可以设置有一个或多个，多个定位层2的设置可以提高针尖定位的准确率，但是会降低定位的实时性。
定位层2可以在底部1-2、套管1-3以及针套筒1-4的外圆周的位置的任一个位置上设置，其中由于针套筒1-4与针头1-1之间的距离最短，视野范围就会比较小，干扰较小，识别定位层2的精确度较高，因此针套筒1-4的位置为定位层2的最优位置，而且将定位层2设置在针套筒1-4的外圆周上对于定位层2的制作工艺要求较低，可以节省定位层2材料。
可选地，留置针本体1还包括针柄1-5，定位层2还沿着针柄的长度方向设置。
在本实施例中，如图4所示，针柄1-5位置的定位层2为矩形，用于提供一条平行线作为定位的参考，以提高识别效率。
可选地，定位层2包括多个反光层2-1以及多个吸光层2-2，多个反光层2-1的面积沿着留置针长度方向逐渐增大或减小。
在本实施例中，两个相隔了一个吸光层2-2的反光层2-1的面积之间的比例关系为0到1之间或大于1。
在本实施例中，反光层2-1的反光度取决于表面层的反光材料的浓度，本发明所需的反光层2-1的反光材料反光度大于70％，吸光层2-2的吸光度大于90％即可，目前医学领域主要使用的反光材料为反光粉，吸光材料为吸光粉，可以是多层复合聚酯薄膜或无机纳米颗粒与有机涂层树脂复合成膜。
具体地，反光材料选用路嘉反光材料公司生产的3A101-1系列中医用反光粉，吸光材料采用近红外吸光粉。
可选地，所述的反光层2-1面积的数值y为
Figure BDA0002310937270000121
其中a、b、h1、h2、p、q1以及q2均为常数参数，x为反光层2-1的反光度；a>0，b>0，h1<0，h2<0，p>0，q1>0，q2>0。
在本实施例中，反光层2-1的反光度和反光面积共同决定了针尖的识别准确性，当反光层2-1的反光度越高，反光面积越大，那么针尖识别的准确度越高，其中当反光度＞80％，最小反光面积＞5mm2，即可准确识别针尖。
另外，当反光度介于70％～100％之间，反光面积介于1mm2到30mm2之间，其中反光度为x(70％≤x≤100％)，反光面积y(1mm2≤y≤30mm2)时，反光层2-1面积的数值y为
Figure BDA0002310937270000122
在本实施例中，经过拟合后获得的反光层2-1面积的数值与反光层2-1的反光度之间的模型示意图，如图5所示，根据该模型可以得出，当确定了反光层2-1的材料时，就可以获得该种材料的反光度，从而可以直接获得反光层2-1的面积，使得针尖识别的准确率保持稳定。
在本实施例中，a＝0.732，b＝15.726，h1＝-37.477，h2＝-22.716，p＝0.254，q1＝0.739，q2＝0.917。
在本实施例中提供的在影像环境下实现针尖定位的留置针，相比于现有技术中的定位留置针，仅需在留置针本体1上覆盖定位层2，即可实现定位功能。
实施例二：
在本实施例中公开了一种留置针图像分割模型构建方法，用于对实施例一中提供的留置针的红外图像进行分割，将其中的反光层区域以及留置针针头区域从图像中分割出来，方法按照以下步骤执行：
步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
反光层可以覆盖到整个留置针本体1中除了针头1-1以外的位置，从而能够更加准确地定位针尖位置，但是为了降低留置针的制造成本，仅在留置针本体1的个别位置上设置反光层即可，在本实施例中，两个反光层设置在针套筒1-4的外圆周上且反光层为矩形，获得的留置针图像如图2所示，其中反光层区域为图像中的白色区域。
在本实施例中通过收集不同形状的留置针的图像，此时不同形状的留置针可以是实施例一中定位层2的位置不同或形状不同的留置针，还可以是不同厂家生产的留置针，在本实施例中对图像的质量不做具体的要求，可以为不同环境下采集的针头图像，将这些留置针图像作为训练样本，使得训练好的分割模型能够对多种不同的留置针图像进行分割。
步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；
在本实施例中，考虑真实环境中的光照强度不同，采集到的图像中反光层2-1的尺寸不同，以及深度学习网络需要大量的样本进行训练，因此采用了数据增强的方法对数据集进行扩展，通过调整图像的亮度，裁剪并缩放图像，增加图像的不同形态，在增强数据的同时，又可以尽量模型不同条件下采集得到图像，从而提高模型的泛化能力。
步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
在本实施例中，如图6所示，考虑到传统的全卷积网络虽然可以得到反光层以及针头的分割结果，但是没有利用它们的边缘特征对结果进行约束，可能导致网络输出的分割结果中反光层区域以及针头区域的边缘不够平滑，形状扭曲，和图像的真实分割区域之间有一定的差异，因此在本实施例中提出了基于多任务的分割网络，在不需要增加训练样本或者其他标注工作的前提下，引入目标轮廓识别任务，训练样本的目标轮廓可以根据边缘检测算法获得，通过引入目标轮廓的约束，提高了对轮廓的识别精度，从而使得网络提取到目标的轮廓信息，从而优化目标的分割结果，因此，通过引入多任务学习机制，可以提高网络模型的精度，从而准确的识别反光层区域以及针头区域。
在本实施例中，如图6所示，对于轮廓的获取，可采用边缘提取方法，提取反光层以及针头的边缘，然后利用膨胀操作得到物体轮廓，膨胀操作采用半径为5的disk滤波。引入轮廓识别任务，主要是缓解传统的分割网络无法捕获目标结构信息的问题，通过训练网络提高轮廓识别精度，进而约束分割结果的形态，达到提高分割精度的目的。
步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：
Figure BDA0002310937270000141
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
在本实施例中提供的分割网络的结构采用了传统的分割网络，在分割网络输出的特征图基础上，采用3x3的卷积核得到两个结果，即分割结果和轮廓提取结果，卷积核的通道数取决于特征图的个数，stride为1，padding为1。
在本实施例中，识别的目标有两个反光层2-1区域以及一个针头区域，因此卷积核的个数为3。
在本实施例中主要提供了一种留置针图像分割模型构建方法，利用本实施例中的模型构建方法构建出的图像分割模型，可以应用至多种类型的留置针图像中，从而提高了图像分割的灵活性以及可使用范围。
实施例三：
本实施例中公开了一种留置针图像针尖定位方法，用于在留置针图像中定位针尖的位置，所述的方法按照以下步骤执行：
步骤A、获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
在本实施例中，采用实施例一中所述的留置针，采集包含实施例一中的留置针的图像作为待定位留置针图像。
步骤B、将所述的待定位的留置针图像输入至实施例二的留置针图像分割模型构建方法获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
步骤C、从标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
在本实施例中，反光层标记区域形状信息为反光层的形状即实施例一中的轴对称图像，可以是椭圆形、对称三角形或者矩形等形状；留置针枕头标记区域的形状一般为矩形。
在本实施例中，位置信息为各种形状的顶点的位置信息。
步骤D、根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过实施例二留置针图像分割模型构建方法获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure BDA0002310937270000151
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure BDA0002310937270000152
为P2点至P1点之间的图像距离，单位为像素点，
Figure BDA0002310937270000153
为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
在本实施例中，通过随机抽样一致算法即可找出数据库所有的图像中与待定位的留置针图像中反光层标记区域与针头标记区域最匹配的一张图像。
本步骤的目的是获得比例参数K，将样本图像的比例参数K作为待定位的留置针图像的比例参数K。
步骤E、根据步骤C中获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
步骤F、采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure BDA0002310937270000154
其中，
Figure BDA0002310937270000155
为P2'点至P1'点之间的图像距离，单位为像素点。
在本步骤中，通过式II即可计算出针尖在图像中的位置，医护人员就可以在图像中实时地查看到针尖的位置，在获得了图像中针尖的位置后也可以利用图像坐标系与实际坐标系的变换关系获得针尖的实际位置，再配合市场上现有的血管成像仪即可实时地判断针尖是否扎穿血管，进一步地提高了医护人员操作的便捷性。
实施例四：
在本实施例中公开了一种留置针图像针尖深度定位方法，用于获得所述的留置针针尖的深度，按照以下步骤执行：
步骤I、获得待定位的留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤II、采用实施例三所述的留置针图像针尖定位方法获得所述的待定位的留置针图像中针尖位置点坐标P3'；
步骤III、对采用实施例三中的留置针图像针尖定位方法时所述的步骤D获得的样本图像进行标定，获得坐标变换参数
Figure BDA0002310937270000161
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，为两个中心点之间的实际距离，单位为mm，
Figure BDA0002310937270000163
为P2点至P1点之间的图像距离，单位为像素点；
在本实施例中，在实施例三的基础上，对留置针图像进行标定时，可以是对实施例三中数据库中的每一幅标记留置针图像进行提前标定，将实施例三的样本图像的坐标变换参数作为待定位的留置针图像的变换参数，从而可以有效地节约程序运行的时间，提高了针尖深度定位的实时性。
步骤IV、采用式III获得留置针针尖的深度H，单位为mm：
Figure BDA0002310937270000164
其中P4'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤C获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P3'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法获得的针尖位置点坐标；
P1'以及P2'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤E获得的两个反光层标记区域的中心点位置坐标；
Figure BDA0002310937270000171
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure BDA0002310937270000172
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure BDA0002310937270000173
为P2'点至P1'点之间的实际距离，单位为mm。
在本实施例中提供了一种简单有效的针尖深度获取的方法，如图7所示，根据两个反光层标记区域的分割结果可以得到这两个反光层的的中心点坐标，计算两个中心点之间的距离即可得到距离L2，L1表示两个反光层之间的实际距离，为已知量，那么角1可表示为：
Figure BDA0002310937270000174
图7中，点P4'为针头与皮肤的入针点，通过分割模型可以得到该点的位置，点P3'即为已预测出的针头的位置，因此点P4'到点P3'的图像距离可计算得到；又因为角1等于角2，因此获得了式III，通过式III可以简单有效的获得针尖的深度信息。
在实施例三获得了针尖位置的基础上，结合图像中可以直接采集到的入针位置信息，采用相似三角形的方法按比例求得针尖的深度信息，本实施例中提供的针尖深度定位方法解决了传统技术中无法获得针尖深度信息的技术难题，并且准确性较高，且实时性较高，能够符合医务工作者在实际使用中的要求。
实施例五：
在本实施例中公开了一种留置针图像分割模型构建装置，装置包括图像采集模块、数据增强模块、标签获得模块以及模型训练模块；
图像采集模块用于获取多幅留置针图像，其中留置针图像中包括多个反光层区域与留置针针头区域；
数据增强模块用于对获得的每一幅留置针图像进行数据增强，获得样本集；
标签获得模块用于标记样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
模型训练模块用于将样本集作为输入，将第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中全卷积神经网络的损失函数L为：
Figure BDA0002310937270000181
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
实施例六：
一种留置针图像针尖定位装置，其特征在于，装置包括图像获得模块、图像分割模块、信息获得模块、样本对比模块、位置点坐标获得模块以及针尖位置计算模块；
图像获得模块用于获得待定位的留置针图像，其中待定位的留置针图像中包括多个反光层区域与留置针针头区域；
图像分割模块将待定位的留置针图像输入至权利要求4留置针图像分割模型构建装置获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
信息获得模块用于从标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
样本对比模块用于根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中留置针图像数据库包括多幅经过权利要求4留置针图像分割模型构建装置获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure BDA0002310937270000191
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure BDA0002310937270000192
为P2点至P1点之间的图像距离，单位为像素点，
Figure BDA0002310937270000193
为P3点至P2点之间的图像距离，单位为像素点；
获得样本图像的比例参数K；
位置点坐标获得模块用于根据获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中两个反光层标记区域与样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
针尖位置计算模块用于采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure BDA0002310937270000194
其中，
Figure BDA0002310937270000195
为P2'点至P1'点之间的图像距离，单位为像素点。
实施例七：
在本实施例中公开了一种留置针图像针尖深度定位装置，用于获得留置针针尖的深度，其特征在于，装置包括图像获得模块、变换参数获得模块以及针尖深度获得模块；
图像获得模块用于获得待定位的留置针图像，其中待定位的留置针图像中包括多个反光层区域与留置针针头区域；
变换参数获得模块用于对留置针图像进行标定，获得坐标变换参数
Figure BDA0002310937270000196
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure BDA0002310937270000197
为两个中心点之间的实际距离，单位为mm，
Figure BDA0002310937270000198
为P2点至P1点之间的图像距离，单位为像素点；
用于采用式III获得留置针针尖的深度H，单位为mm：
Figure BDA0002310937270000201
其中P4'为对待定位的留置针图像采用权利要求5留置针图像针尖定位装置中信息获得模块获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P3'为对待定位的留置针图像采用权利要求5留置针图像针尖定位装置获得的针尖位置点坐标；
P1'以及P2'为对获得的待定位的留置针图像采用权利要求2留置针图像针尖定位装置中位置点坐标获得模块获得的两个反光层标记区域的中心点位置坐标；
Figure BDA0002310937270000202
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure BDA0002310937270000203
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure BDA0002310937270000204
为P2'点至P1'点之间的实际距离，单位为mm。
实施例八：
在本实施例中提供了一种留置针针尖定位系统，包括图像采集识别装置以及留置针，留置针包括留置针本体1，留置针本体1包括针头1-1，在留置针本体1上设置有反光层2；
图像采集识别装置包括图像采集模块、如实施例六中的留置针图像针尖定位装置、如实施例七中的留置针图像针尖深度定位装置、血管成像模块、图像投影模块、光源模块以及供电模块；
其中供电模块用于向图像采集模块、留置针图像针尖定位装置、留置针图像针尖深度定位装置、血管成像模块、图像投影模块以及光源模块供电；
光源模块用于向皮肤投射红外光；
图像采集模块用于在红外光环境下采集待定位的留置针图像，其中待定位的留置针图像中包括多个反光层区域与留置针针头区域；
留置针图像针尖定位装置用于输入待定位的留置针图像，输出留置针图像中的针尖位置点坐标；
留置针图像针尖深度定位装置用于输入待定位的留置针图像，输出留置针图像中的针尖深度；
血管成像模块用于获得血管图像；
图像投影模块用于将所述的血管图像投影在皮肤上；
图像投影模块还用于根据针尖位置点坐标，将针尖叠加投影在血管图像上；
图像投影模块还用于将针尖深度投影在皮肤上。
在本实施例中留置针为实施例一中提供的在影像环境下实现针尖定位的留置针。
本实施例中提供的留置针针尖定位系统实现的功能有：
1、将血管位置投影在皮肤上；
2、将针尖的位置与血管位置叠加投影在皮肤上，以使得医务人员可以实时地在患者的皮肤上查看到针尖在血管中的位置；
3、将针尖的深度信息投影到皮肤上，以使得医务人员可以实时地看到针尖的深度。
在本实施例中通过血管成像模块实现血管图像的获得，血管成像模块采用现有技术中已经成熟的血管成像仪，该血管成像仪也是利用了血管在红外的照射下在图像中呈现出不同的颜色实现的血管图像的获得。
在本实施例中留置针图像针尖定位装置、留置针针尖深度定位装置以及血管成像装置可以集成在一个微处理器中进行实现。
可选地，图像采集模块为近红外灵敏的感光模组。
在本实施例中，图像采集模块为OV2710 DVP模组。
可选地，光源模块包括光学镜片以及近红外光源，其中所述的近红外光源为波长为700nm-1700nm的近红外光源。
作为一种最优的实施方式，近红外光源选择波长为850nm或940nm的近红外光源。
在本实施例中，图像投影模块在将针尖的位置与血管位置叠加投影在皮肤上时，设置一个标记点代表针尖位置投影在皮肤上，该标记点可以是圆形、三角形、星型等，颜色可以是红色、绿色等能够在皮肤上显示的任意颜色。
在本实施例中，图像采集识别装置还包括风扇、按键模块等。
在本实施例中提供的留置针针尖定位系统能够提高医务人员在工作中的效率，也可以降低医务人员的工作难度，增加穿刺成功率，降低患者的痛苦，减少医务人员的工作量。
本发明中只采用了一种近红外光持续输出，保证了血管成像的实时性，不会因为交替光源而导致成像不同步，从而影响指导穿刺的效果。而且本发明提供的带定位功能的留置针辅助系统并不用光纤进行光源导向，是直接从投影仪中发射近红外光至目标区域，对于留置针的导管并无其余特别要求，仅需小改动即可满足使用需求。利用算法进行血管以及留置针位置的定位，解除了光纤的束缚，并降低了留置针的成本，使留置针能更为广泛的被应用。本发明中的辅助系统是通过光源向目标区域发射近红外光，在未实施穿刺的时候也能对目标区域所有的血管有个全面的显示，且本算法中的深度识别模式能识别出血管的深度以及血管的特征，帮助医务人员选取最佳血管实施穿刺。本发明的系统在留置针穿刺入血管后，仍能对所有血管和针尖所在位置有很好的成像，让医务人员实时了解留置针穿刺情况，以便及时调整。

Claims (9)

1.一种留置针图像分割模型构建方法，其特征在于，所述的方法按照以下步骤执行：
步骤1、获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤2、对步骤1获得的每一幅留置针图像进行数据增强，获得样本集；
步骤3、标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
步骤4、将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：
Figure FDA0002310937260000011
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
2.一种留置针图像针尖定位方法，其特征在于，所述的方法按照以下步骤执行：
步骤A、获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
步骤B、将所述的待定位的留置针图像输入至权利要求1所述的留置针图像分割模型构建方法获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
步骤C、从所述的标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
步骤D、根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过权利要求1所述的留置针图像分割模型构建方法获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure FDA0002310937260000021
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure FDA0002310937260000022
为P2点至P1点之间的图像距离，单位为像素点，
Figure FDA0002310937260000023
为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
步骤E、根据步骤C中获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
步骤F、采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure FDA0002310937260000024
其中，
Figure FDA0002310937260000025
为P2'点至P1'点之间的图像距离，单位为像素点。
3.一种留置针图像针尖深度定位方法，用于获得所述的留置针针尖的深度，其特征在于，按照以下步骤执行：
步骤I、获得待定位的留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
步骤II、采用权利要求2所述的留置针图像针尖定位方法获得所述的待定位的留置针图像中针尖位置点坐标P3'；
步骤III、对采用权利要求2所述的留置针图像针尖定位方法时所述的步骤D获得的样本图像进行标定，获得坐标变换参数
Figure FDA0002310937260000026
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure FDA0002310937260000031
为两个中心点之间的实际距离，单位为mm，
Figure FDA0002310937260000032
为P2点至P1点之间的图像距离，单位为像素点；
步骤IV、采用式III获得留置针针尖的深度H，单位为mm：
Figure FDA0002310937260000033
其中P4'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤C获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P1'以及P2'为对步骤I获得的待定位的留置针图像采用权利要求2所述的留置针图像针尖定位方法中步骤E获得的两个反光层标记区域的中心点位置坐标；
Figure FDA0002310937260000034
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure FDA0002310937260000035
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure FDA0002310937260000036
为P2'点至P1'点之间的实际距离，单位为mm。
4.一种留置针图像分割模型构建装置，其特征在于，所述的装置包括图像采集模块、数据增强模块、标签获得模块以及模型训练模块；
所述的图像采集模块用于获取多幅留置针图像，其中所述的留置针图像中包括多个反光层区域与留置针针头区域；
所述的数据增强模块用于对获得的每一幅留置针图像进行数据增强，获得样本集；
所述的标签获得模块用于标记所述的样本集中的每一幅留置针图像中的每一个反光层区域以及留置针针头区域，获得包括反光层标记区域以及留置针针头标记区域的多幅标记留置针图像，获得第一标签集；
获取所述的样本集中的每一幅留置针图像中的每一个反光层标记区域的轮廓以及留置针针头区域的轮廓，获得包括多幅反光层标记区域的轮廓以及留置针针头区域的轮廓的多幅轮廓留置针图像，获得第二标签集；
所述的模型训练模块用于将所述的样本集作为输入，将所述的第一标签集以及第二标签集作为参考输出，训练全卷积神经网络，获得留置针图像分割模型；
其中所述的全卷积神经网络的损失函数L为：
Figure FDA0002310937260000041
其中λ1与λ2为权重因子，λ1与λ2均大于0；x表示留置针图像中的第x个像素点，lmask(x)表示第x个像素点为第一标签，pmask(x；lmask(x))表示第x个像素点为第一标签的预测概率值；lcontour(x)表示第x个像素点为第二标签，pcontour(x；lcontour(x))表示第x个像素点为第二标签的预测概率值。
5.一种留置针图像针尖定位装置，其特征在于，所述的装置包括图像获得模块、图像分割模块、信息获得模块、样本对比模块、位置点坐标获得模块以及针尖位置计算模块；
所述的图像获得模块用于获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
所述的图像分割模块将所述的待定位的留置针图像输入至权利要求4所述的留置针图像分割模型构建装置获得的留置针图像分割模型中，获得包括反光层标记区域以及留置针针头标记区域的标记留置针图像；
所述的信息获得模块用于从所述的标记留置针图像中获得每一个反光层标记区域的形状信息以及位置信息，获得留置针针头标记区域的形状信息以及位置信息；
所述的样本对比模块用于根据每一个反光层标记区域的形状信息以及留置针针头标记区域的形状信息在留置针图像数据库中寻找相似度最高的一副图像作为样本图像；
其中所述的留置针图像数据库包括多幅经过权利要求4所述的留置针图像分割模型构建装置获得的留置针图像分割模型输出的标记留置针图像；其中每幅标记留置针图像均对应一个比例参数
Figure FDA0002310937260000042
其中P1为任一个反光层标记区域的中心点坐标，P2为另外一个反光层标记区域的中心点坐标，P3为留置针针尖点坐标；
Figure FDA0002310937260000043
为P2点至P1点之间的图像距离，单位为像素点，
Figure FDA0002310937260000044
为P3点至P2点之间的图像距离，单位为像素点；
获得所述样本图像的比例参数K；
所述的位置点坐标获得模块用于根据获得的标记留置针图像中每一个反光层标记区域的位置信息，获得两个反光层标记区域的中心点位置坐标，分别为P1'以及P2'；其中所述的两个反光层标记区域与所述的样本图像计算比例参数K时选择的两个反光层标记区域的位置相同；
所述的针尖位置计算模块用于采用式II获得待定位的留置针图像中的针尖位置点坐标P3'：
Figure FDA0002310937260000051
其中，
Figure FDA0002310937260000052
为P2'点至P1'点之间的图像距离，单位为像素点。
6.一种留置针图像针尖深度定位装置，用于获得所述的留置针针尖的深度，其特征在于，所述的装置包括图像获得模块、如权利要求5所述的留置针图像针尖定位装置、变换参数获得模块以及针尖深度获得模块；
所述的图像获得模块用于获得待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
所述的留置针图像针尖定位装置用于获得所述的待定位的留置针图像中针尖位置点坐标P3'；
所述的变换参数获得模块用于对所述的留置针图像进行标定，获得坐标变换参数
Figure FDA0002310937260000053
其中P1为任一个反光层标记区域的中心点，P2为另外一个反光层标记区域的中心点，
Figure FDA0002310937260000054
为两个中心点之间的实际距离，单位为mm，
Figure FDA0002310937260000055
为P2点至P1点之间的图像距离，单位为像素点；
所述的用于采用式III获得留置针针尖的深度H，单位为mm：
Figure FDA0002310937260000056
其中P4'为对待定位的留置针图像采用权利要求5所述的留置针图像针尖定位装置中信息获得模块获得的留置针针头标记区域的位置信息中的针入皮肤的位置点的坐标；
P1'以及P2'为对获得的待定位的留置针图像采用权利要求5所述的留置针图像针尖定位装置中位置点坐标获得模块获得的两个反光层标记区域的中心点位置坐标；
Figure FDA0002310937260000061
为针入皮肤的位置点与针尖位置点之间的图像距离，单位为像素点；
Figure FDA0002310937260000062
为P2'点至P1'点之间的图像距离，单位为像素点；
Figure FDA0002310937260000063
为P2'点至P1'点之间的实际距离，单位为mm。
7.一种留置针针尖定位系统，包括图像采集识别装置以及留置针，其特征在于，所述的留置针包括留置针本体(1)，所述的留置针本体(1)包括针头(1-1)，在所述的留置针本体(1)上设置有反光层(2)；
所述的图像采集识别装置包括图像采集模块、如权利要求5所述的留置针图像针尖定位装置、如权利要求6所述的留置针图像针尖深度定位装置、血管成像模块、图像投影模块、光源模块以及供电模块；
其中所述的供电模块用于向所述的图像采集模块、留置针图像针尖定位装置、留置针图像针尖深度定位装置、血管成像模块、图像投影模块以及光源模块供电；
所述的光源模块用于向皮肤投射红外光；
所述的图像采集模块用于在红外光环境下采集待定位的留置针图像，其中所述的待定位的留置针图像中包括多个反光层区域与留置针针头区域；
所述的留置针图像针尖定位装置用于输入所述的待定位的留置针图像，输出留置针图像中的针尖位置点坐标；
所述的留置针图像针尖深度定位装置用于输入所述的待定位的留置针图像，输出留置针图像中的针尖深度；
所述的血管成像模块用于获得血管图像；
所述的图像投影模块用于将所述的血管图像投影在皮肤上；
所述的图像投影模块还用于根据所述的针尖位置点坐标，将针尖叠加投影在所述的血管图像上；
所述的图像投影模块还用于将所述的针尖深度投影在所述的皮肤上。
8.如权利要求7所述的留置针针尖定位系统，其特征在于，所述的图像采集模块为近红外灵敏的感光模组。
9.如权利要求7所述的留置针针尖定位系统，其特征在于，所述的光源模块包括光学镜片以及近红外光源。
CN201911258449.7A 2019-12-10 2019-12-10 留置针图像分割模型构建、针尖定位方法、装置及系统 Active CN110992388B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911258449.7A CN110992388B (zh) 2019-12-10 2019-12-10 留置针图像分割模型构建、针尖定位方法、装置及系统
PCT/CN2020/133559 WO2021115191A1 (zh) 2019-12-10 2020-12-03 留置针图像分割模型构建、针尖定位方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911258449.7A CN110992388B (zh) 2019-12-10 2019-12-10 留置针图像分割模型构建、针尖定位方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110992388A true CN110992388A (zh) 2020-04-10
CN110992388B CN110992388B (zh) 2023-04-25

Family

ID=70091866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911258449.7A Active CN110992388B (zh) 2019-12-10 2019-12-10 留置针图像分割模型构建、针尖定位方法、装置及系统

Country Status (2)

Country Link
CN (1) CN110992388B (zh)
WO (1) WO2021115191A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115191A1 (zh) * 2019-12-10 2021-06-17 深圳市中科微光医疗器械技术有限公司 留置针图像分割模型构建、针尖定位方法、装置及系统
WO2021115190A1 (zh) * 2019-12-10 2021-06-17 深圳市中科微光医疗器械技术有限公司 一种在影像环境下实现针尖定位的留置针
CN115294351A (zh) * 2022-06-28 2022-11-04 中国科学院自动化研究所 图像特征提取方法、装置和电子设备
CN116586924A (zh) * 2023-07-17 2023-08-15 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118078402B (zh) * 2024-04-28 2024-07-23 南昌大学第一附属医院 一种基于图像分割模型构建的留置针的智能化穿刺系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105377144A (zh) * 2013-03-15 2016-03-02 敦提大学校董事会 医疗设备及其可视化
CN106821468A (zh) * 2017-03-23 2017-06-13 王燕青 一种留置针在穿刺静脉血管中的自动定位方法及装置
US20170188990A1 (en) * 2014-05-20 2017-07-06 Children's Hospital Medical Center Image guided autonomous needle insertion device for vascular access
CN109526206A (zh) * 2016-05-25 2019-03-26 医疗模板股份公司 用于规划经皮引入患者的医用针单元的体内定位的方法
CN110136137A (zh) * 2019-04-02 2019-08-16 成都真实维度科技有限公司 一种基于断层扫描图数据集进行血管区域分割的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4517004B2 (ja) * 2008-06-16 2010-08-04 ノリー株式会社 注射針誘導装置
CN107812283A (zh) * 2017-10-18 2018-03-20 北京工商大学 一种自动确定穿刺点位置的方法
CN109646112B (zh) * 2019-01-31 2021-12-14 苏州佳世达电通有限公司 超音波探针定位系统及超音波探针定位方法
CN110992388B (zh) * 2019-12-10 2023-04-25 深圳市中科微光医疗器械技术有限公司 留置针图像分割模型构建、针尖定位方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105377144A (zh) * 2013-03-15 2016-03-02 敦提大学校董事会 医疗设备及其可视化
US20170188990A1 (en) * 2014-05-20 2017-07-06 Children's Hospital Medical Center Image guided autonomous needle insertion device for vascular access
CN109526206A (zh) * 2016-05-25 2019-03-26 医疗模板股份公司 用于规划经皮引入患者的医用针单元的体内定位的方法
CN106821468A (zh) * 2017-03-23 2017-06-13 王燕青 一种留置针在穿刺静脉血管中的自动定位方法及装置
CN110136137A (zh) * 2019-04-02 2019-08-16 成都真实维度科技有限公司 一种基于断层扫描图数据集进行血管区域分割的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MUHAMMAD ARIF 等: "Automatic needle detection and real-time Bi-planar needle visualization during 3D ultrasound scanning of the liver" *
贾海晶 等: "基于深度学习的静脉留置针穿刺点智能定位方法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115191A1 (zh) * 2019-12-10 2021-06-17 深圳市中科微光医疗器械技术有限公司 留置针图像分割模型构建、针尖定位方法、装置及系统
WO2021115190A1 (zh) * 2019-12-10 2021-06-17 深圳市中科微光医疗器械技术有限公司 一种在影像环境下实现针尖定位的留置针
CN115294351A (zh) * 2022-06-28 2022-11-04 中国科学院自动化研究所 图像特征提取方法、装置和电子设备
CN115294351B (zh) * 2022-06-28 2023-11-03 中国科学院自动化研究所 图像特征提取方法、装置和电子设备
CN116586924A (zh) * 2023-07-17 2023-08-15 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺
CN116586924B (zh) * 2023-07-17 2024-02-27 浙江一益医疗器械有限公司 一种针尖五斜面结构的不锈钢针管及其制备工艺

Also Published As

Publication number Publication date
WO2021115191A1 (zh) 2021-06-17
CN110992388B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN110992388B (zh) 留置针图像分割模型构建、针尖定位方法、装置及系统
US8463006B2 (en) System and method for using three dimensional infrared imaging to provide detailed anatomical structure maps
JP6302070B2 (ja) マーカを用いた器具追跡
WO2017211225A1 (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
CN110494921A (zh) 利用三维数据增强患者的实时视图
CN107456278A (zh) 一种内窥镜手术导航方法和系统
US20160239959A1 (en) Automatic Focused Assessment with Sonography for Trauma Exams
CN109785374A (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
WO2021115190A1 (zh) 一种在影像环境下实现针尖定位的留置针
CN212141071U (zh) 一种在影像环境下实现针尖定位的留置针
CN107041729A (zh) 双目近红外成像系统及血管识别方法
CN109008972A (zh) 生物医学成像中的实时适应性运动补偿的运动追踪系统
JP2014076355A (ja) カテーテル識別誘導システム
CN104688184A (zh) 可见光皮肤图像的静脉显像方法
CN109146931A (zh) 一种三维图像处理方法、系统、装置及存储介质
JP4561320B2 (ja) 血管及び注射針位置提示装置
CN112183518B (zh) 静脉靶点自动确定方法、装置和设备
Tang et al. Deep learning-based vein localization on embedded system
CN109620405A (zh) 一种开颅手术体表切口的移动增强现实导航方法
CN113011333B (zh) 基于近红外图像获取最佳静脉穿刺点和方向的系统及方法
CN105678738B (zh) 医学图像内基准点的定位方法及其装置
Zhang et al. Determination of the location of the needle entry point based on an improved pruning algorithm
WO2024181549A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置及び穿刺システム
US20230200623A1 (en) System and method for endoscopic imaging and analyses
US20210081667A1 (en) System and method of utilizing computer-aided identification with medical procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhu Rui

Inventor before: Zhu Rui

Inventor before: Cao Yihui

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant