CN113111915A - 一种应用于静脉扎针机器人血管识别的数据库增强方法 - Google Patents
一种应用于静脉扎针机器人血管识别的数据库增强方法 Download PDFInfo
- Publication number
- CN113111915A CN113111915A CN202110275816.5A CN202110275816A CN113111915A CN 113111915 A CN113111915 A CN 113111915A CN 202110275816 A CN202110275816 A CN 202110275816A CN 113111915 A CN113111915 A CN 113111915A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- vessel image
- original
- enhancement
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 77
- 210000003462 vein Anatomy 0.000 title claims abstract description 17
- 238000003780 insertion Methods 0.000 title description 3
- 230000037431 insertion Effects 0.000 title description 3
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 19
- 239000006002 Pepper Substances 0.000 claims abstract description 19
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 19
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 19
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 19
- 150000003839 salts Chemical class 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims description 74
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 241000722363 Piper Species 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 14
- 230000002146 bilateral effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000001990 intravenous administration Methods 0.000 claims 6
- 238000001467 acupuncture Methods 0.000 claims 1
- 244000203593 Piper nigrum Species 0.000 abstract 1
- 230000006870 function Effects 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 241000269627 Amphiuma means Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种应用于静脉扎针机器人血管识别的数据库增强方法，包括：对原血管图像集分别进行上下翻转和左右翻转，得到第一血管图像增强集和第二血管图像增强集；对原血管图像集进行旋转操作，得到第三血管图像增强集；对原血管图像集进行缩放操作，得到第四血管图像增强集；对原血管图像集的亮度进行调整，得到第五血管图像增强集；对原血管图像集进行平移，得到第六血管图像增强集；对原血管图像集添加椒盐噪声，得到第七血管图像增强集；集合原血管图像集和上述图像增强集，构成增强后的用于血管识别的数据库。与现有技术相比，本发明对原有数据集进行扩充，且避免了图像数据扩增后图片的相似重合度过高的问题，使模型鲁棒性大大提高。
Description
技术领域
本发明涉及血管识别技术领域，尤其是涉及一种应用于静脉扎针机器人血管识别的数据库增强方法。
背景技术
计算机视觉是一门试图通过图像处理或视频处理而使计算机具备“看”的能力的学科。通过理解图像形成的几何和辐射线测定，接受器的属性和物理世界的属性，就有可能从图像中推断出关于事物的有用信息。长久以来，计算机视觉就是深度学习应用中几个最活跃的研究方向之一。深度学习中许多流行的标准基准任务包括对象识别和光学字符识别。计算机视觉是一个非常广阔的发展领域，其中包括多种多样的处理图片的方式以及应用方向。大多数计算机视觉中的深度学习往往用于对象识别或者某种形式的检测。
目前在医疗领域尤其是血管识别方面，深度神经网络表现良好，但这些网络通常需要大量数据才能避免过度拟合。遗憾的是，许多场景无法获得大量数据，如医学图像分析。因而大多数视觉技术是脆弱，缺乏鲁棒性的，相机、超声探头的微小变化可能会导致系统出错，另外，在血管识别方面红外摄像可能会有一些频率域的干扰，例如椒盐噪点。而系统需要在各种条件下工作，且能适度地、快速地从错误中恢复。
发明内容
本发明的目的就是为了克服上述现有技术存在采血机器人识别血管时无法获得大量数据，大多数视觉技术缺乏鲁棒性，相机、超声探头的微小变化可能会导致系统出错的缺陷而提供一种应用于静脉扎针机器人血管识别的数据库增强方法。
本发明的目的可以通过以下技术方案来实现：
一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，包括以下步骤：
获取原血管图像集；
对所述原血管图像集分别进行上下翻转和左右翻转，得到第一血管图像增强集和第二血管图像增强集；
对所述原血管图像集进行旋转操作，得到第三血管图像增强集；
对所述原血管图像集进行缩放操作，得到第四血管图像增强集；
对所述原血管图像集的亮度进行调整，得到第五血管图像增强集；
对所述原血管图像集进行平移，得到第六血管图像增强集；
对所述原血管图像集添加椒盐噪声，得到第七血管图像增强集；
集合所述原血管图像集、第一血管图像增强集、第二血管图像增强集、第三血管图像增强集、第四血管图像增强集、第五血管图像增强集、第六血管图像增强集和第七血管图像增强集，构成增强后的数据库，用于静脉扎针机器人的血管识别。
进一步地，所述对原血管图像集进行平移具体为，
对原血管图像集中的每个图像，先创建与原图像大小相同的空三维矩阵，之后将原图像每个像素点按照矩阵乘法计算式计算后的RGB值填入空白矩阵对应位置；若平移后超出范围，则直接将该像素点丢弃，所有像素点全部处理完后，得到平移后的血管图像。
进一步地，所述矩阵乘法计算式的表达式为：
式中，(x0,y0)为原像素坐标，(x1,y1)为移动后的像素坐标，Δx为x方向上的平移量，Δy为y方向上的平移量。
进一步地，所述对原血管图像集添加椒盐噪声具体包括以下步骤：
1)从所述原血管图像集中获取一张图像；
2)计算图像像素点个数，即总像素数目SP，得到要加噪的像素数目NP＝SP*(1-SNR)，并指定信噪比SNR；
3)随机获取要加噪的每个像素位置P(i,j)，并指定像素值为255或者0；
4)重复依次执行步骤2)和3)，直至完成所有像素的NP个像素的加噪处理；
5)重复依次执行步骤1)至3)，直至遍历原血管图像集中的每张图像。
进一步地，所述信噪比的取值在0.5至1.0范围以内。
进一步地，所述数据库增强方法还包括对所述增强后的数据库进行滤波处理。
进一步地，所述滤波处理为均值滤波，该均值滤波具体为对任一像素值用周围5×5范围的像素值的均值表示。
进一步地，所述滤波处理为中值滤波，该中值滤波的滤波核的大小为5。
进一步地，所述滤波处理为高斯滤波，该高斯滤波标准差的计算表达式为：
sigma＝0.3*((ksize-1)*0.5-1)+0.8
式中，sigma为高斯滤波标准差，ksize为核大小。
进一步地，所述滤波处理为双边滤波，该双边滤波的函数表达式为：bilateralFilter(原始图像,过滤时周围每个像素领域的直径,sigmaColor,sigmaSpace[,dst[,borderType]])，所述过滤时周围每个像素领域的直径为9，sigmaColor的取值为75，sigmaSpace[,dst[,borderType]]的取值为75。
与现有技术相比，本发明具有以下优点：
在数据量有限的情况下，通过对血管图像集进行旋转、平移以及缩放、亮度增强、添加椒盐噪声等操作对原有数据集进行扩充，且避免了图像数据扩增后图片的相似重合度过高的问题，使得通过扩增之后的数据集在数量与质量上都远超于增强前的训练数据集，使模型鲁棒性大大提高，降低了相机、超声探头的微小变化可能会导致系统出错的可能，对深度学习中血管识别方面利用训练集训练有很大帮助作用。同时针对血管识别中出现的红外摄像椒盐噪声问题，对椒盐噪声减噪去噪滤波器优劣势做出评价，可根据结果选取最优的减噪去噪滤波器，降低增强后数据集噪声。
附图说明
图1为本发明实施例中应用于静脉扎针机器人血管识别的数据库增强方法的流程图；
图2a为本发明实施例展示的对数据集进行翻转前图片，图2b为本发明实施例展示的对数据集进行翻转后图片；
图3a为本发明实施例展示的对数据集旋转前图片，图3b为本发明实施例展示的对数据集旋转后图片；
图4a为本发明实施例展示的对数据集进行缩放前图片，图4b为本发明实施例展示的对数据集进行缩放后图片；
图5a为本发明实施例展示的对数据集进行亮度调整前图片，图5b为本发明实施例展示的对数据集进行亮度调整后图片；
图6a为本发明实施例展示的对数据集进行平移前图片，图6b为本发明实施例展示的对数据集进行平移后图片；
图7a为本发明实施例展示的对数据集进行添加椒盐噪声前图片，图7b为本发明实施例展示的对数据集进行添加椒盐噪声后图片；
图8a为本发明实施例展示的对增强数据集中加噪后的图片，图8b为本发明实施例展示的对增强数据集双边滤波后的图片，图8c为本发明实施例展示的对增强数据集均值滤波后的图片，图8d为本发明实施例展示的对增强数据集高斯滤波后的图片，图8e为本发明实施例展示的对增强数据集中值滤波后的图片；
图9a为未加噪的原始图片，图9b为本发明实施例展示的对原始数据集均值滤波后的图片，图9c为本发明实施例展示的对原始数据集高斯滤波后的图片，图9d为本发明实施例展示的对原始数据集中值滤波后的图片，图9e为本发明实施例展示的对原始数据集双边滤波后的图片。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该实用新型产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
实施例1
本实施例提供一种应用于静脉扎针机器人血管识别的数据库增强方法，包括以下步骤：
A1：获取原血管图像集；
建立存放目标图形血管的文件夹，在当前文件夹下建立一个总文件夹以及若干个子文件夹，分别存放原血管图像以及经过翻转、旋转、缩放、亮度调整、平移、添加椒盐噪声、去噪后的血管图像集。
使用save方法将原血管图形集存储进各新的子文件夹。
A2：对所述原血管图像集分别进行上下翻转和左右翻转，得到第一血管图像增强集和第二血管图像增强集；
使用Image模块的transpose方法将原血管图形集中的每个图形分别进行上下和左右翻转，并使用save方法进行存储。得到两个包含反转后图形的文件夹。
A3：对所述原血管图像集进行旋转操作，得到第三血管图像增强集；
使用Image模块的transpose方法将原血管图形集中的每个图形分别进行旋转操作，并使用save方法进行存储，得到一个存储着经过旋转后的血管图形的文件夹。
A4：对所述原血管图像集进行缩放操作，得到第四血管图像增强集；
使用Image模块的resize方法将原图形集中的每个图形分别进行缩放，并使用save方法进行存储。得到一个存储着缩放后血管图形的文件夹。
A5：对所述原血管图像集的亮度进行调整，得到第五血管图像增强集；
使用ImageEnhance模块的Brightness方法和enhance方法对原图形的亮度进行调整，并使用save方法进行存储。得到一个存储着亮度改变后图形的文件夹。
A6：对所述原血管图像集进行平移，得到第六血管图像增强集；对原血管图像集进行平移具体为，
对原血管图像集中的每个图像，先创建与原图像大小相同的空三维矩阵，之后将原图像每个像素点按照矩阵乘法计算式计算后的RGB值填入空白矩阵对应位置；若平移后超出范围，则直接将该像素点丢弃，所有像素点全部处理完后，得到平移后的血管图像。
实施过程包括：使用numpy模块对图像进行平移，利用矩阵乘法实现对每个像素点的平移，依据公式如下：
其中(x0,y0)为原像素坐标，(x1,y1)为移动后的像素坐标，Δx、Δy分别是x，y方向上的平移量。
先创建与文件大小相同的空三维矩阵，之后将原图每个像素点按照上述公式计算后的RGB值填入空白矩阵对应位置。若平移后超出范围，则直接将该像素点丢弃。
所有像素点全部处理完后，使用save方法进行存储。得到一个存储着平移后图形的文件夹。
A7：对所述原血管图像集添加椒盐噪声，得到第七血管图像增强集；对原血管图像集添加椒盐噪声具体包括以下步骤：
1)从所述原血管图像集中获取一张图像；
2)计算图像像素点个数，即总像素数目SP，得到要加噪的像素数目NP＝SP*(1-SNR)，并指定信噪比SNR，信噪比的取值在0.5至1.0范围以内；
3)随机获取要加噪的每个像素位置P(i,j)，并指定像素值为255或者0；
4)重复依次执行步骤2)和3)，直至完成所有像素的NP个像素的加噪处理；
5)重复依次执行步骤1)至3)，直至遍历原血管图像集中的每张图像。
实施过程包括：使用numpy模块对图像进行椒盐噪声的添加。首先计算图像像素点个数，即总像素数目SP，得到要加噪的像素数目NP＝SP*(1-SNR)，并指定信噪比SNR(其取值范围在[0,1]之间，一般定于0.5-1.0)。再随机获取要加噪的每个像素位置P(i,j)，并指定像素值为255或者0。重复以上两个步骤完成所有像素的NP个像素的加噪处理。NP个像素点全部处理完后，使用save方法进行存储，得到一个存储着添加椒盐噪声后图形的文件夹。
A8：集合所述原血管图像集、第一血管图像增强集、第二血管图像增强集、第三血管图像增强集、第四血管图像增强集、第五血管图像增强集、第六血管图像增强集和第七血管图像增强集，构成增强后的数据库，用于静脉扎针机器人的血管识别。
通过以上步骤能够获得大量增强后的血管数据集，提高了训练数据集的数量和质量，使模型能够学习到更多的信息。
A9：在血管图像产生、传输和复制尤其是通过红外摄像进行采集获取过程中，常常会被噪声干扰或出现数据丢失，降低了图像的质量。因此通过以下步骤进行均值滤波、中值滤波、高斯滤波和双边滤波在增强数据集以及原数据集的应用来判别滤波方式在处理血管识别时的优劣，包括：
数据库增强方法还包括对所述增强后的数据库进行滤波处理。
1、滤波处理为均值滤波，该均值滤波具体为对任一像素值用周围5×5范围的像素值的均值表示。
2、滤波处理为中值滤波，该中值滤波的滤波核的大小为5。
3、滤波处理为高斯滤波，该高斯滤波标准差的计算表达式为：
sigma＝0.3*((ksize-1)*0.5-1)+0.8
式中，sigma为高斯滤波标准差，ksize为核大小。
4、滤波处理为双边滤波，该双边滤波的函数表达式为：bilateralFilter(原始图像,过滤时周围每个像素领域的直径,sigmaColor,sigmaSpace[,dst[,borderType]])，所述过滤时周围每个像素领域的直径为9，sigmaColor的取值为75，sigmaSpace[,dst[,borderType]]的取值为75。
具体包括：
a.对每个增强后的数据集进行均值滤波。考虑到当核范围越大时，图像越模糊。因此取任意一点像素值用周围5×5范围的像素值的均值表示，OpenCV使用cv2.blur(原始图像,核大小)函数进行均值滤波。
b.对每个增强后的数据集进行中值滤波。利用对矩阵中的像素进行排序，最后将这个矩阵的中心点赋值为像素的中值的原理。
在OpenCV调用medianBlur()函数实现中值滤波。cv2.medianBlur(原始图像，核大小)，核取大于1的奇数，在本实施例中取5。
c.对每个增强后的数据集进行高斯滤波。与上两种方式不同，在对图像进行平均时，高斯滤波对不同位置的像素被赋予了不同的权重。通过对周围像素计算加权平均值，让临近的像素具有较大的权重值。而每个点的权重就是高斯分布(也就是正态分布)。在OpenCV中调用GaussianBlur函数，如下：cv2.GaussianBlur(原始图像，核大小，X方向方差)。在本实施例中，sigmaX取0，根据核大小ksiaze自动计算sigmaX，计算公式为sigma＝0.3*((ksize-1)*0.5-1)+0.8。
d.对每个增强后的数据集进行双边滤波。其为一种非线性的滤波方法，结合图像的空间邻近度和像素值相似度进行的折中处理，同时考虑空间与信息和灰度相似性，进行保边去噪。该滤波器由两个函数构成：一个由几何空间距离决定滤波器系数，另一个是由像素差值决定滤波器系数.在OpenCV中调用bilaterFilter函数，如下：cv2.bilateralFilter(原始图像,过滤时周围每个像素领域的直径,sigmaColor,sigmaSpace[,dst[,borderType]])，sigmaColor是在color space中过滤sigma。参数越大，临近像素将会在越远的地方达到最大。sigmaSpace是在coordinate space中过滤sigma。参数越大，那些颜色足够相近的颜色的影响越大。在本实施例中，三个变量参数分别取9，75，75。
对未进行添噪处理的数据集分别进行上述去噪减噪操作，并对经十一，十二步处理后的数据集进行对比，判断各滤波器对血管图像椒盐噪声的处理情况。
下面对本实施例应用于静脉扎针机器人血管识别的数据库增强方法的完整实施过程进行详细描述。
应用于静脉扎针机器人血管识别的数据库增强方法，具体包括以下步骤：
S1：建立存放目标图形血管的文件夹。本实例中文件夹将被创立在与初始数据集文件夹‘output’同一目录下，并命名为‘picture-process’，且在该文件夹下分别建立名为‘ori’、‘flips-h’、‘flips-v’、‘resize’、‘bright’、‘rots’、‘trans’的子文件夹，分别用来存储处理后的各部分图像集。
S2：将‘output’文件夹中的每个图像运用save方法存储进S1中创建好的‘ori’文件夹中。
S3：使用Image模块的transpose方法将‘output’中的每个图形分别进行上下和左右翻转。并分别使用save方法进行存储，分别存储至‘flips-h’、‘flips-v’文件夹中。如图2便是图形经过左右翻转前后的对比图。
S4：使用Image模块的transpose方法将‘output’中的每个图形分别进行旋转操作，每次旋转36°，旋转10次，全部使用save方法存储进‘rots’文件夹中。如图3便是图形经过一次36°旋转前后的对比图。
S5：使用Image模块的resize方法将‘output’中的每个图形分别进行缩放，分别缩放为50像素、150像素、200像素。并使用save方法存储进‘resize’文件夹中。如图4便是图形经过缩放为150像素前后的对比图。
S6：使用ImageEnhance模块的Brightness方法和enhance方法对‘output’中的每个图形分别进行亮度调整，分别调整为原来亮度的0.5、1.5、2.0倍，并使用save方法存储进‘bright’文件夹中。如图5便是图形经过亮度变为原来的1.5倍处理前后的对比图。
S7：使用numpy模块对图像进行平移，利用矩阵乘法实现对每个像素点的平移，依据公式如下：
其中(x0,y0)为原像素坐标，(x1,y1)为移动后的像素坐标，Δx、Δy分别是x，y方向上的平移量。
先创建与文件大小相同的空三维矩阵，在本例中，建立一个236*192*3的三维矩阵，之后将原图每个像素点按照上述公式计算后的RGB值填入空白矩阵对应位置。若平移后超出范围，即x>256/y>192/x<0/y<0，则直接将该像素点丢弃。并使用save方法存储进‘move’文件夹中。如图5便是图形向右下分别平移15个像素单位前后的对比图。
S8：使用numpy模块对图像进行椒盐噪声的添加。首先计算图像像素点个数，即总像素数目SP，得到要加噪的像素数目NP＝SP*(1-SNR)，并指定信噪比SNR(其取值范围在[0,1]之间，一般定于0.5-1.0)。再随机获取要加噪的每个像素位置P(i,j)，并指定像素值为255或者0。重复以上两个步骤完成所有像素的NP个像素的加噪处理。NP个像素点全部处理完后，使用save方法进行存储，得到一个存储着添加椒盐噪声后图形的文件夹
S9：对每个增强后的数据集进行均值滤波。取任意一点像素值用周围5×5范围的像素值的均值表示，使用cv2.blur(原始图像,核大小)函数进行均值滤波。
S10：对每个增强后的数据集进行中值滤波。利用对矩阵中的像素进行排序，最后将这个矩阵的中心点赋值为像素的中值。调用medianBlur()函数实现中值滤波。cv2.medianBlur(原始图像，核大小)，核取5。
S11：对每个增强后的数据集进行高斯滤波。通过对周围像素计算加权平均值，让临近的像素具有较大的权重值。而每个点的权重就是高斯分布(也就是正态分布)。调用GaussianBlur函数，如下：cv2.GaussianBlur(原始图像，核大小，X方向方差)。sigmaX取0，根据核大小ksiaze自动计算sigmaX，sigma＝0.3*((ksize-1)*0.5-1)+0.8。
S12：对每个增强后的数据集进行双边滤波。结合图像的空间邻近度和像素值相似度进行的折中处理，同时考虑空间与信息和灰度相似性，进行保边去噪。在OpenCV中调用bilaterFilter函数，如下：cv2.bilateralFilter(原始图像,过滤时周围每个像素领域的直径d,sigmaColor,sigmaSpace[,dst[,borderType]])，d＝9,sigmaColor＝75,sigmaSpace＝75
S13：对未进行添噪处理的数据集重复上述去噪减噪操作。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，包括以下步骤：
获取原血管图像集；
对所述原血管图像集分别进行上下翻转和左右翻转，得到第一血管图像增强集和第二血管图像增强集；
对所述原血管图像集进行旋转操作，得到第三血管图像增强集；
对所述原血管图像集进行缩放操作，得到第四血管图像增强集；
对所述原血管图像集的亮度进行调整，得到第五血管图像增强集；
对所述原血管图像集进行平移，得到第六血管图像增强集；
对所述原血管图像集添加椒盐噪声，得到第七血管图像增强集；
集合所述原血管图像集、第一血管图像增强集、第二血管图像增强集、第三血管图像增强集、第四血管图像增强集、第五血管图像增强集、第六血管图像增强集和第七血管图像增强集，构成增强后的数据库，用于静脉扎针机器人的血管识别。
2.根据权利要求1所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述对原血管图像集进行平移具体为，
对原血管图像集中的每个图像，先创建与原图像大小相同的空三维矩阵，之后将原图像每个像素点按照矩阵乘法计算式计算后的RGB值填入空白矩阵对应位置；若平移后超出范围，则直接将该像素点丢弃，所有像素点全部处理完后，得到平移后的血管图像。
3.根据权利要求2所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述矩阵乘法计算式的表达式为：
式中，(x0,y0)为原像素坐标，(x1,y1)为移动后的像素坐标，Δx为x方向上的平移量，Δy为y方向上的平移量。
4.根据权利要求1所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述对原血管图像集添加椒盐噪声具体包括以下步骤：
1)从所述原血管图像集中获取一张图像；
2)计算图像像素点个数，即总像素数目SP，得到要加噪的像素数目NP＝SP*(1-SNR)，并指定信噪比SNR；
3)随机获取要加噪的每个像素位置P(i,j)，并指定像素值为255或者0；
4)重复依次执行步骤2)和3)，直至完成所有像素的NP个像素的加噪处理；
5)重复依次执行步骤1)至3)，直至遍历原血管图像集中的每张图像。
5.根据权利要求4所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述信噪比的取值在0.5至1.0范围以内。
6.根据权利要求1所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述数据库增强方法还包括对所述增强后的数据库进行滤波处理。
7.根据权利要求6所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述滤波处理为均值滤波，该均值滤波具体为对任一像素值用周围5×5范围的像素值的均值表示。
8.根据权利要求6所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述滤波处理为中值滤波，该中值滤波的滤波核的大小为5。
9.根据权利要求6所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述滤波处理为高斯滤波，该高斯滤波标准差的计算表达式为：
sigma＝0.3*((ksize-1)*0.5-1)+0.8
式中，sigma为高斯滤波标准差，ksize为核大小。
10.根据权利要求6所述的一种应用于静脉扎针机器人血管识别的数据库增强方法，其特征在于，所述滤波处理为双边滤波，该双边滤波的函数表达式为：bilateralFilter(原始图像,过滤时周围每个像素领域的直径,sigmaColor,sigmaSpace[,dst[,borderType]])，所述过滤时周围每个像素领域的直径为9，sigmaColor的取值为75，sigmaSpace[,dst[,borderType]]的取值为75。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110275816.5A CN113111915A (zh) | 2021-03-15 | 2021-03-15 | 一种应用于静脉扎针机器人血管识别的数据库增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110275816.5A CN113111915A (zh) | 2021-03-15 | 2021-03-15 | 一种应用于静脉扎针机器人血管识别的数据库增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113111915A true CN113111915A (zh) | 2021-07-13 |
Family
ID=76711318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110275816.5A Pending CN113111915A (zh) | 2021-03-15 | 2021-03-15 | 一种应用于静脉扎针机器人血管识别的数据库增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113111915A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565590A (zh) * | 2022-03-03 | 2022-05-31 | 北京安德医智科技有限公司 | 血管数据集扩增方法及装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018102586A (ja) * | 2016-12-26 | 2018-07-05 | 大日本印刷株式会社 | 眼底画像処理装置 |
| CN108573284A (zh) * | 2018-04-18 | 2018-09-25 | 陕西师范大学 | 基于正交实验分析的深度学习人脸图像扩充方法 |
| CN110853049A (zh) * | 2019-10-17 | 2020-02-28 | 上海工程技术大学 | 一种腹部超声图像分割方法 |
| CN112131421A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112465725A (zh) * | 2020-12-10 | 2021-03-09 | 西安交通大学 | 一种基于PWC-Net的红外图像帧率上转换方法 |
-
2021
- 2021-03-15 CN CN202110275816.5A patent/CN113111915A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018102586A (ja) * | 2016-12-26 | 2018-07-05 | 大日本印刷株式会社 | 眼底画像処理装置 |
| CN108573284A (zh) * | 2018-04-18 | 2018-09-25 | 陕西师范大学 | 基于正交实验分析的深度学习人脸图像扩充方法 |
| CN110853049A (zh) * | 2019-10-17 | 2020-02-28 | 上海工程技术大学 | 一种腹部超声图像分割方法 |
| CN112131421A (zh) * | 2020-09-23 | 2020-12-25 | 平安科技（深圳）有限公司 | 医学图像分类方法、装置、设备及存储介质 |
| CN112465725A (zh) * | 2020-12-10 | 2021-03-09 | 西安交通大学 | 一种基于PWC-Net的红外图像帧率上转换方法 |
Non-Patent Citations (2)
| Title |
|---|
| 姜声: "基于ResNet的眼底图像分类及描述", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
| 徐晓涛: "基于深度目标识别的细胞计数研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565590A (zh) * | 2022-03-03 | 2022-05-31 | 北京安德医智科技有限公司 | 血管数据集扩增方法及装置、电子设备和存储介质 |
| CN114565590B (zh) * | 2022-03-03 | 2022-10-25 | 北京安德医智科技有限公司 | 血管数据集扩增方法及装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765343B (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
| CN103714327B (zh) | 一种图像方向校正方法及系统 | |
| CN112507997A (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| US8619098B2 (en) | Methods and apparatuses for generating co-salient thumbnails for digital images | |
| CN104537705B (zh) | 基于增强现实的移动平台三维生物分子展示系统和方法 | |
| CN110188747A (zh) | 一种文本图像的倾斜校正方法、装置以及图像处理设备 | |
| CN107945111A (zh) | 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法 | |
| CN108460742A (zh) | 一种基于bp神经网络的图像复原方法 | |
| CN106934806A (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
| CN114549308B (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
| US11615510B2 (en) | Kernel-aware super resolution | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| CN116071271B (zh) | 一种用于平板电脑的图像捕获的分析方法 | |
| CN112819875B (zh) | 单目深度估计的方法、装置及电子设备 | |
| Huang et al. | Multi-frame super-resolution reconstruction based on gradient vector flow hybrid field | |
| CN113111915A (zh) | 一种应用于静脉扎针机器人血管识别的数据库增强方法 | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| Xue | Blind image deblurring: a review | |
| CN108399617B (zh) | 一种动物健康状况的检测方法和装置 | |
| CN116912604B (zh) | 模型训练方法、图像识别方法、装置以及计算机存储介质 | |
| CN113450275A (zh) | 基于元学习的画质增强系统及方法、存储介质 | |
| CN109117748A (zh) | 翻页检测方法及装置 | |
| CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
| Bull et al. | Perceptual improvements for super-resolution of satellite imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210713 |
|
| RJ01 | Rejection of invention patent application after publication |