CN114648570A - 一种基于深度学习的面向差异化背景网格的曲线提取方法 - Google Patents

一种基于深度学习的面向差异化背景网格的曲线提取方法 Download PDF

Info

Publication number
CN114648570A
CN114648570A CN202210315349.9A CN202210315349A CN114648570A CN 114648570 A CN114648570 A CN 114648570A CN 202210315349 A CN202210315349 A CN 202210315349A CN 114648570 A CN114648570 A CN 114648570A
Authority
CN
China
Prior art keywords
curve
signal
max
image
curve signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210315349.9A
Other languages
English (en)
Other versions
CN114648570B (zh
Inventor
张珍珍
张钰
陶金涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202210315349.9A priority Critical patent/CN114648570B/zh
Publication of CN114648570A publication Critical patent/CN114648570A/zh
Application granted granted Critical
Publication of CN114648570B publication Critical patent/CN114648570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的面向差异化背景网格的曲线提取方法。包括拍摄带有网格线的纸质报告图像，定位图像中的曲线信号区域，将其转换为二值化图像后使用DeepLabV3+模型进行图像分割，分离曲线信号、背景网格和其他部分。然后对曲线信号中存在的断点进行分析，判断断点的类型，并根据不同的断点采用不同的方式进行修复，直到得到完整的曲线信号。再对其进行骨架化操作，完成曲线提取。本方法不受背景网格形式的影响，对任意颜色或形态的背景网格均能成功实现曲线信号的完整提取，并且对采集图像的质量没有要求，即使存在镜头畸变或角度倾斜，依然能够成功提取曲线信号。

Description

一种基于深度学习的面向差异化背景网格的曲线提取方法
技术领域
本发明属于计算机图像处理技术领域，具体涉及一种基于深度学习的面向差异化背景网格的曲线提取方法。
背景技术
随着科学技术的发展，数字图像在日常生活中的比重越来越大。数字图像相比于纸质图像除了更方便保存与传播以外，还能够使用数字化手段进行进一步的分析。尤其是一些医疗场景下的纸质信号图，将其数字化不仅有利于医生对其进行更准确的识读、判断，消除因为人为干预所形成的主观差异性，还能够用于建立丰富的数据库，为后续的分析系统提供支持。然而早期的许多资料仍然是以纸质的形式存在的，因此研究纸质信号图的数字化方法是十分有必要的。
现有的提取纸质图片中的信号线的方法以去除背景网格线为基础，主要有滤色器方法、阈值方法、形态学方法、霍夫变换方法、线投影法、全局阈值方法以及连通域和权重和方法。其中，滤色器方法主要利用了信号线与背景网格的颜色差异，因此无法去除与信号线颜色特征相似的背景网格。阈值方法利用信号线与背景网格线的灰度特征，同样无法去除与信号线灰度特征相似的背景网格。形态学方法、霍夫变换方法以及线投影法利用信号线和背景网格的形状特征，这些方法对于采集的图片质量要求比较高，容易因为镜头畸变的问题导致去除背景网格不干净。二连通域和权重和的方法根据信号线和背景网格的阈值特征，则无法去除与信号线相似的背景网格。此外，上述方法均为针对彩色信号图和二值信号图的数字化，无法处理带阴影的信号图，并且大多只针对一种特点的背景网格，在实际操作过程中，还需要根据不同特征的网格特点，选择不同的信号线提取方法，即目前尚未出现一种针对差异化网格背景通用的曲线提取方法。
发明内容
针对现有技术的不足，本发明提出了一种基于深度学习的面向差异化背景网格的曲线提取方法，通过神经网络分离待数字化图像中的信号曲线与背景网格线，然后对信号曲线中的断点进行修复，得到完整的曲线，实现数字化。
一种基于深度学习的面向差异化背景网格的曲线提取方法，具体包括以下方法：
步骤一、图像收集与处理
拍摄带有网格线的纸质报告图像，利用掩模寻找纸质报告图像中的最大面积轮廓，定位得到曲线信号区域，然后将其转换为二值化图像。
作为优选，使用最大轮廓算法搜索纸质报告图像中的所有外轮廓，并按照面积进行排序，选择面积最大的外轮廓作为目标区域；将目标区域照片转化为灰度图像，然后对灰度图像进行二值化处理，得到二值图。
步骤二、曲线提取
使用DeepLabV3+模型，对步骤一输出的曲线信号区域进行图像分割，得到曲线信号部分、背景网格线部分和其他部分。若得到的曲线信号连续，则完成曲线提取。若得到的曲线信号存在断点，进入步骤三。
步骤三、曲线重构
s3.1、提取断点的端部区域
使用两条相距M个像素的平行线，分别对断点两侧的信号线进行框选，得到断点两侧的端部区域R1、R2。然后以1个像素为单位长度，得到同一个坐标系下区域R1中信号线4个顶点的坐标(R1LH，R1HL)、(R1LD，R1DL)、(R1RH，R1HR)、(R1RD，R1DR)，以及区域R2中信号线4个顶点的坐标(R2LH，R2HL)、(R2LD，R2DL)、(R2RH，R2HR)、(R2RD，R2DR)。
s3.2、断点分类修复
①当|max(R1RH，R1RD)-min(R1LH，R1LD)|＝|max(R2RH，R2RD)-min(R2LH，R2LD)|时，将一个底边为L、高为H、夹角为θ的平行四边形放置在断点位置，实现区域R1、R2的连接，其中：
L＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
H＝|min(R1DL，R1DR)-max(R2HL，R2HR)|
Figure BDA0003568840890000021
②当|max(R1RH，R1RD)-min(R1LH，R1LD)|≠|max(R2RH，R2RD)-min(R2LH，R2LD)|时，分布式使用底边为L1、夹角为θ1和底边为L2、夹角为θ2的平行四边形与区域R1、R2相接，然后向断点方向延伸，当两个平行四边形相交时停止，其中：
L1＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
L2＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
H＝|min(R1DL，R1DR)-max(R2HL，R2HR)|
Figure BDA0003568840890000031
Figure BDA0003568840890000032
s3.3、重复s3.1、s3.2，依次完成曲线信号中所有断点的修复，得到完整的曲线信号。
作为优选，还包括对提取到的完整曲线信号进行骨架化操作，得到单像素连接的目标曲线。
本发明具有以下有益效果：
1、对分离后的曲线信号中存在的断点进行分类讨论，并针对性得进行修复，从而得到完整的曲线信号，实现纸质材料数字化，有利于后续进行进一步的分析研究。
2、不受背景网格形式的影响，对任意颜色或形态的背景网格均能成功实现曲线信号的完整提取，并且对采集图像的质量没有要求，即使存在镜头畸变或角度倾斜，依然能够成功提取曲线信号。
附图说明
图1为曲线提取方法流程图；
图2为实施例中采集的纸质报告图像；
图3为断点区域参数标定图；
图4(a)、(b)为实施例中提取的曲线信号。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
如图1所示，一种基于深度学习的面向差异化背景网格的曲线提取方法，具体包括以下步骤：
步骤一、图像收集与处理
本实施例针对一种用于医学场合的胎心宫缩监护纸质报告进行曲线提取，拍摄的纸质报告图像如图2所示，可以看到纸质报告图像中同时存在背景网格线和阴影区域。使用最大轮廓算法搜索纸质报告图像中的所有外轮廓，并按照面积进行排序，选择面积最大的外轮廓作为目标区域，得到曲线信号区域，然后将曲线信号区域转化为灰度图像，再对灰度图像进行二值化处理，得到二值图。
步骤二、曲线提取
使用DeepLabV3+模型，对步骤一输出的曲线信号区域进行图像分割，得到曲线信号部分、背景网格线部分和阴影部分。若得到的曲线信号连续，则进入步骤四。若得到的曲线信号存在断点，进入步骤三。
步骤三、曲线重构
s3.1、提取断点的端部区域
如图3所示。使用两条相距M个像素的平行线，分别对断点两侧的信号线进行框选，得到断点两侧的端部区域R1、R2。然后以1个像素为单位长度，得到同一个坐标系下区域R1中信号线4个顶点的坐标(R1LH，R1HL)、(R1LD，R1DL)、(R1RH，R1HR)、(R1RD，R1DR)，以及区域R2中信号线4个顶点的坐标(R2LH，R2HL)、(R2LD，R2DL)、(R2RH，R2HR)、(R2RD，R2DR)。
s3.2、断点分类修复
①当|max(R1RH，R1RD)-min(R1LH，R1LD)|＝|max(R2RH，R2RD)-min(R2LH，R2LD)|时，将一个底边为L、高为H、夹角为θ的平行四边形放置在断点位置，实现区域R1、R2的连接，其中：
L＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
H＝|min(R1DL，R1DR)-max(R2HL，R2HR)|
Figure BDA0003568840890000041
②当|max(R1RH，R1RD)-min(R1LH，R1LD)|≠|max(R2RH，R2RD)-min(R2LH，R2LD)|时，分布式使用底边为L1、夹角为θ1和底边为L2、夹角为θ2的平行四边形与区域R1、R2相接，然后向断点方向延伸，当两个平行四边形相交时停止，其中：
L1＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
L2＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
H＝|min(R1DL，R1DR)-max(R2HL，R2HR)|
Figure BDA0003568840890000042
Figure BDA0003568840890000043
s3.3、重复s3.1、s3.2，依次完成曲线信号中所有断点的修复，得到完整的曲线信号。
步骤四、将步骤二、步骤三得到的完整曲线信号进行骨架化操作，得到单像素连接的目标曲线，如图4所示，其中图4(a)为利用形态学方法提取到的曲线，图4(b)为本方提取得到的曲线。可以看到本方法完全去除了背景网格线，并且提取到的曲线准确、连续，更贴近原图像中的曲线形状，且不存在断点。

Claims (3)

1.一种基于深度学习的面向差异化背景网格的曲线提取方法，其特征在于：
步骤一、图像收集与处理
拍摄带有网格线的纸质报告图像，利用掩模寻找纸质报告图像中的最大面积轮廓，定位得到曲线信号区域，然后将其转换为二值化图像；
步骤二、曲线提取
使用DeepLabV3+模型，对步骤一输出的曲线信号区域进行图像分割，得到曲线信号部分、背景网格线部分和其他部分；若得到的曲线信号连续，则完成曲线提取；若得到的曲线信号存在断点，进入步骤三；
步骤三、曲线重构
s3.1、提取断点的端部区域
使用两条相距M个像素的平行线，分别对断点两侧的信号线进行框选，得到断点两侧的端部区域R1、R2。然后以1个像素为单位长度，得到同一个坐标系下区域R1中信号线4个顶点的坐标(R1LH，R1HL)、(R1LD，R1DL)、(R1RH，R1HR)、(R1RD，R1DR)，以及区域R2中信号线4个顶点的坐标(R2LH，R2HL)、(R2LD，R2DL)、(R2RH，R2HR)、(R2RD，R2DR)。
s3.2、断点分类修复
①当|max(R1RH，R1RD)-min(R1LH，R1LD)|＝|max(R2RH，R2RD)-min(R2LH，R2LD)|时，将一个底边为L、高为H、夹角为θ的平行四边形放置在断点位置，实现区域R1、R2的连接，其中：
L＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
H＝|min(R1DL，R1DR)-max(R2HL，R2HR)|
Figure FDA0003568840880000011
②当|max(R1RH，R1RD)-min(R1LH，R1LD)|≠|max(R2RH，R2RD)-min(R2LH，R2LD)|时，分布式使用底边为L1、夹角为θ1和底边为L2、夹角为θ2的平行四边形与区域R1、R2相接，然后向断点方向延伸，当两个平行四边形相交时停止，其中：
L1＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
L2＝|max(R1RH，R1RD)-min(R1LH，R1LD)|
H＝|min(R1DL，R1DR)-max(R2HL，R2HR)|
Figure FDA0003568840880000021
Figure FDA0003568840880000022
s3.3、重复s3.1、s3.2，依次完成曲线信号中所有断点的修复，得到完整的曲线信号。
2.如权利要求1所述的一种基于深度学习的面向差异化背景网格的曲线提取方法，其特征在于：在步骤一中，使用最大轮廓算法搜索纸质报告图像中的所有外轮廓，并按照面积进行排序，选择面积最大的外轮廓作为目标区域；将目标区域照片转化为灰度图像，然后对灰度图像进行二值化处理，得到二值图。
3.如权利要求1所述的一种基于深度学习的面向差异化背景网格的曲线提取方法，其特征在于：还包括对提取到的完整曲线信号进行骨架化操作，得到单像素连接的目标曲线。
CN202210315349.9A 2022-03-28 2022-03-28 一种基于深度学习的面向差异化背景网格的曲线提取方法 Active CN114648570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210315349.9A CN114648570B (zh) 2022-03-28 2022-03-28 一种基于深度学习的面向差异化背景网格的曲线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315349.9A CN114648570B (zh) 2022-03-28 2022-03-28 一种基于深度学习的面向差异化背景网格的曲线提取方法

Publications (2)

Publication Number Publication Date
CN114648570A true CN114648570A (zh) 2022-06-21
CN114648570B CN114648570B (zh) 2024-03-26

Family

ID=81996286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315349.9A Active CN114648570B (zh) 2022-03-28 2022-03-28 一种基于深度学习的面向差异化背景网格的曲线提取方法

Country Status (1)

Country Link
CN (1) CN114648570B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203496A (zh) * 2016-07-01 2016-12-07 河海大学 基于机器学习的水文曲线提取方法
US20170084060A1 (en) * 2015-09-23 2017-03-23 Siemens Medical Solutions Usa, Inc. Image Construction With Multiple Clustering Realizations
CN111832408A (zh) * 2020-06-08 2020-10-27 杭州电子科技大学 一种拍摄所得的二值带网格曲线图的曲线提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170084060A1 (en) * 2015-09-23 2017-03-23 Siemens Medical Solutions Usa, Inc. Image Construction With Multiple Clustering Realizations
CN106203496A (zh) * 2016-07-01 2016-12-07 河海大学 基于机器学习的水文曲线提取方法
CN111832408A (zh) * 2020-06-08 2020-10-27 杭州电子科技大学 一种拍摄所得的二值带网格曲线图的曲线提取方法

Also Published As

Publication number Publication date
CN114648570B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN109816652B (zh) 一种基于灰度显著性的复杂铸件缺陷识别方法
CN108491784B (zh) 面向大型直播场景的单人特写实时识别与自动截图方法
WO2018018987A1 (zh) 一种适用于光场相机的标定预处理方法
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN108186051B (zh) 一种从超声图像中自动测量胎儿双顶径长度的图像处理方法及处理系统
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN111598856B (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN109859160B (zh) 基于机器视觉的铝镁合金铸件内部缺陷图像识别方法
CN108378869B (zh) 一种从超声图像中自动测量胎儿头围长度的图像处理方法及处理系统
CN109886170B (zh) 一种钉螺智能检测识别与统计系统
CN111667475B (zh) 一种基于机器视觉的大枣分级检测方法
CN112991306B (zh) 一种基于图像处理的卵裂期胚胎细胞位置分割和计数方法
CN113706490B (zh) 一种晶片缺陷检测方法
WO2022198898A1 (zh) 图像分类方法和装置及设备
CN115082451A (zh) 一种基于图像处理的不锈钢汤勺缺陷检测方法
WO2020173024A1 (zh) 面向智能家居场景的多手势精准分割方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
CN109166092A (zh) 一种图像缺陷检测方法及系统
CN111665199A (zh) 一种基于机器视觉的电线电缆颜色检测识别方法
CN113642570A (zh) 一种昏暗环境下矿车车牌识别的方法
CN113052234A (zh) 一种基于图像特征和深度学习技术的玉石分类方法
CN114648570B (zh) 一种基于深度学习的面向差异化背景网格的曲线提取方法
CN114266748B (zh) 一种轨交检修领域工艺板表面完整性判定的方法及装置
CN111832565B (zh) 一种基于决策树的数码管识别方法
CN115239667A (zh) 一种基于多目摄像机的轮胎合格检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant