CN108470350B - 折线图中的折线分割方法及装置 - Google Patents

折线图中的折线分割方法及装置 Download PDF

Info

Publication number
CN108470350B
CN108470350B CN201810159638.8A CN201810159638A CN108470350B CN 108470350 B CN108470350 B CN 108470350B CN 201810159638 A CN201810159638 A CN 201810159638A CN 108470350 B CN108470350 B CN 108470350B
Authority
CN
China
Prior art keywords
legend
line
broken line
detected
euclidean distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810159638.8A
Other languages
English (en)
Other versions
CN108470350A (zh
Inventor
余宙
杨永智
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Abotsde Beijing Technology Co ltd
Original Assignee
Abotsde Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Abotsde Beijing Technology Co ltd filed Critical Abotsde Beijing Technology Co ltd
Priority to CN201810159638.8A priority Critical patent/CN108470350B/zh
Priority to US15/955,630 priority patent/US10509959B2/en
Publication of CN108470350A publication Critical patent/CN108470350A/zh
Application granted granted Critical
Publication of CN108470350B publication Critical patent/CN108470350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20156Automatic seed setting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及折线图中的折线分割方法及装置,所述方法包括步骤:c,将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值;d,将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,一个图例对应一张色差分布图;找出每张色差分布图中的最小值,参照该最小值设定分割阈值,依据该分割阈值在色差分布图中分割出该张色差分布图对应的粗略折线。本发明方法及装置为折线分割问题提供了一套既简单又有效的解决方案,利用了最短的程序运行时间,实现了最好效果的分割结果。

Description

折线图中的折线分割方法及装置
技术领域
本发明涉及数据处理技术领域,特别涉及一种折线图中的折线分割方法及装置。
背景技术
折线图是chart图像的其中一种类型,图像中主要以水平、垂直坐标轴(包含刻度值)、标题、图例、图例注解,以及折线数据等内容共同组合而成。针对折线图像的解析主要是要实现:有效地复原原始图像中的所有数据信息,同时量化折线各个数据点,并同时与解析出来的水平垂直坐标轴的刻度相互对应。最终使浏览者可以通过对折线图还原和量化出来的数据,更加清晰准确的浏览查阅折线体现出来的相关数据。
通常针对线段检测利用的方式主要有根据边缘的梯度检测,如Laplace,Sobel,Canny等等,或者是利用霍夫变换探测出线段的起点、终点、拐点。最终根据这些边缘或者线段,利用复杂的图像处理方式最终估算出线段的大致方向。传统的边缘检测或者是线段检测的方式,常常受很多因素制约,例如图像噪声,清晰度等等,如果出现走向非常复杂并且相互交错的折线时,利用上述的方式难以分割出理想的结果。
发明内容
本发明的目的在于改善现有技术中所存在的上述不足,提供一种折线图中的折线分割方法及装置,以适应复杂的折线图分析要求,及增强折线分割效果。
为了实现上述发明目的,本发明实施例提供了以下技术方案:
一方面,本发明实施例中提供了一种折线图中的折线分割方法,包括以下步骤:
C,将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值;
D,将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,一个图例对应一张色差分布图;
E,针对于每张色差分布图,仅保留欧式距离值小于设定分割阈值的像素点,构成粗略折线。
另一方面,本发明实施例提供了一种折线图中的折线分割装置,包括:
转换模块,用于将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值;
欧式距离计算模块,用于将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,一个图例对应一张色差分布图;
折线分割模块,用于针对于每张色差分布图,仅保留欧式距离值小于设定分割阈值的像素点,构成粗略折线。
再一方面,本发明实施例同时提供了一种包括计算机可读指令的计算机可读存储介质,所述计算机可读指令在被执行时使处理器执行本发明实施例中所述方法中的操作。
再一方面,本发明实施例同时提供了一种电子设备,包括:存储器,存储程序指令;处理器,与所述存储器相连接,执行存储器中的程序指令,实现本发明实施例中所述方法中的步骤。
与现有技术相比,本发明的有益效果:本发明利用折线的色彩空间与图例的色彩空间进行匹配,从而将每个折线分割提取,为折线分割问题提供了一套既简单又有效的解决方案,利用最短的程序运行时间,实现了最好效果的分割结果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1a、图1b为本发明较佳实施例中所述折线图中的折线分割方法流程图。
图2为LAB色差空间模型图。
图3a-e分别为原始折线图、目标检测的效果图、分割出的粗略折线的效果图、粗略折线中种子点的示意图、分割出的精确折线的效果图。
图4为实施例中所述折线图中的折线分割装置的功能模块图。
图5为实施例中提供的一种电子设备的结构示意框图。
图6a-e分别为原始折线图、LAB色彩空间计算出来的与图例相似的折线位置效果图、分割出的粗略折线的效果图、分割出的精确折线的效果图、重构的折线图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1a,本实施例提供的折线图中的折线分割方法,包括以下步骤:
C,将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值。
LAB色彩空间是一种CIE指定的一种测定颜色的国际标准,这套颜色模型与其他颜色模型的不同之处在于,它是一种与显示设备本身无关的颜色模型,是一种基于人眼感官的色彩模型(即通过两种颜色的LAB计算出来的色差与人眼主管感受相同)。LAB空间的L代表的是亮度,A代表的是从红色到绿色的范围,B是黄色到蓝色的范围,如图2所示。
RGB颜色空间不能直接转换为LAB颜色空间,需要借助XYZ颜色空间,把RGB颜色空间转换到XYZ颜色空间,之后再把XYZ颜色空间转换到LAB颜色空间。RGB颜色空间与XYZ颜色空间、XYZ颜色空间与LAB颜色空间分别有如下关系,根据这些关系即可实现将折线图由RGB颜色空间转换到LAB颜色空间。
Figure BDA0001582546890000041
L*=116f(Y/Yn)-16,A*=500[f(X/Xn)-f(Y/Yn)],
Figure BDA0001582546890000051
需要说明的是,本实施例方法是利用折线的色彩空间与图例的色彩空间进行匹配,从而将每个折线分割出来,所以在本步骤中,输入的折线图是已经检测出图例位置的折线图,转换后再以图例的颜色空间为参照,分割出各个图例对应的折线。图例位置的检测可以采用目标检测法进行,目标检测算法的基本原理就是先通过训练集学习一个分类器,然后在测试图像中以不同scale的窗口滑动扫描整个图像;每次扫描做一下分类,判断一下当前的这个窗口是否为要检测的目标。例如,可以采用Faster RCNN的算法,输入一张大图(位图),输出是大图中感兴趣区域的外接矩形。事先标记例如10000个样本,每个样本中准确标注了图中数据的位置和尺寸,用这些样本来训练Faster RCNN。目标检测算法不仅可以将图例检测出来,同时还可以检测出折线图中的水平坐标轴、垂直坐标轴、标题、图例注解等信息,检测出这些外接矩形区域后,文字部分的感兴趣区域输入到OCR模型中,进行文字识别,可以得到对应的文字识别结果,即经过Faster RCNN检测和OCR识别,即可检测出水平坐标轴、垂直坐标轴、标题、图例注解的位置及具体信息,具体信息指具体的数据或文字内容,例如水平坐标轴(刻度)数据、垂直坐标轴(刻度)数据,又如图例注解“阳泉洗小块煤”、“阳泉洗中块”,检测出这些数据后可以为折线图的重构提供数据。Faster RCNN检测和OCR识别均为成熟的现有技术,故此处对此不再细述。
D,将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,N为自然数,一个图例对应一张色差分布图。欧式距离值也成为delta E(衡量色差的一种数值单位),就能衡量出两种颜色的差异。色差分布图中的每个像素是用欧式距离表示的(两个颜色LAB空间下的欧式距离等价于两个颜色LAB空间下的色差),这里计算色差的欧式距离,就等于色差值。
E,针对于每张色差分布图,仅保留欧式距离值小于设定分割阈值的像素点,构成粗略折线,如图3c所示。需要说明的是,此处的粗略折线是相对于后文中的精确折线而言的,是指初步分割出的折线,未经后述步骤F处理过的折线。
当获得到N张色差分布图的时候,根据先验经验设定一个分割阈值,这个分割阈值可以分别使用在每张色差分布图中,这样就可以分割出每张色差分布图中小于分割阈值的色差像素点。这些色差像素点就是期待分割的折线。
先验经验给出阈值的依据是:在计算LAB颜色空间下的色差的时候,如果delta E(色差)小于3,证明这样的色差很难被人眼视觉系统发现,相反如果大于3的时候,人眼就可以很清晰的辨别出颜色的一样。因此可以设定分割阈值在5左右,这样当在每张色差分布图中,只保留那些色差小于5的像素点,这样就说明折线与图例中的颜色是最相近的那些像素点,其余大于5的色差像素点可以判定为和图例颜色差距很大的像素点。
在上述方法中,将图例中各个图例的RGB颜色转换到LAB空间下,将折线图的图像的逐个像素都进行RGB到LAB空间下转换,再分别利用每个图例的LAB数值与折线图每个像素的LAB值进行欧式距离计算,生成delta E的色差分布图,每张色差分布图中的最小值就是与当前图例对应的折线,原理就是,图例LAB与整张图像计算欧氏距离的时候,与图例颜色越相似的折线,那么欧氏距离的数值就越小,即delta E就越小。通过先验经验给出一个分割阈值,就可以大致分割出来折线的具体位置,为折线分割问题提供了一套既简单又有效的解决方案,且运行时间短,分割效果好,也解决了目前的线段检测方法无法适应复杂折线的分割问题。
在获得了delta E的色差分布图的时候,利用分割阈值分割出来的粗略折线往往还会夹杂着一些噪点,但是往往这些噪点的面积都很小,真正的折线部分联通面积是很大的。为了去除这些噪点,可以根据获得的欧式距离数值大小进行排序判断,距离越小的,是折线数据的可能性就越大。欧式距离数值比较大的虽然在分割阈值范围内,但是相对置信度比较低,那么就可以根据所有的欧式距离值排序,选出所有数据点的前M个作为种子点,种子点的置信度比较高,再利用“洪水填充”的算法,将欧式距离(即delta E)最小的前M个数据点进行种子填充,以便完整的分割出感兴趣的折线,同时去除那些干扰的噪声。
即是说,作为更优的实施方式,上述方法中,请参阅图1b,在步骤E之后还包括步骤F,将步骤D中进行欧式距离计算得到的各个欧式距离值由小到大进行排序,选取欧式距离较小的前M个欧式距离值对应的像素点作为种子点,如图3d所示,图3d中的11个灰色圆点即表示种子点,再利用洪水填充算法对M个种子点进行填充,得到该张色差分布图对应的精确折线,如图3e所示。填充时,作为举例,这些种子点可以计算周围8个方向的欧式距离,只要距离很小的(例如小于设定阈值),都认为是联通的区域。最终可以将所有区域进行联通与汇总,得到精确折线。
在另一实施方案中,为了进一步增强折线的分割效果,在通过目标检测算法检测出图例后,所述方法还包括步骤B,将得到的已检测出图例的折线图进行降噪处理,得到图像质量更高的已检测出图例的折线图,步骤C中则是对经过降噪处理后的折线图进行颜色空间转换。
上述步骤B中的降噪处理过程可以是:将检测出图例的折线图输入预先训练的全卷积网络模型,输出得到去除噪声且分辨率提高的图像。
所述全卷积网络模型的结构包括输入层、卷积层、激活层、残差模块、BN层和亚像素层。该全卷积网络模型可以通过以下步骤训练得到:
a,随机初始化全卷积网络模型的参数。
b,随机选取Batchsize张样本图片,并在每张样本图片上随机截取W*H尺寸的图像,作为本次迭代目标图像样本。
c,将目标图像样本中的每个像素归一化到-1~1之间。
d,将目标图像样本进行双线性插值的2倍分辨率降低,并按照随机压缩比进行JPEG压缩,得到仿真的JPEG压缩图像,尺寸为
Figure BDA0001582546890000081
此步骤为尽可能地仿真得到实际文档中噪声图像的样式。通过随机压缩比,可以得到各种JPEG图像质量的图像,使得模型的适应性更强。
e,将步骤d得到的一批JPEG图像作为输入,传入到步骤a中的全卷积网络模型中,得到输出图像,尺寸为W*H。
f,计算本次迭代当前均方误差损失loss:
Figure BDA0001582546890000082
其中target为样本图片高清PNG图像的目标值,output为对应的低分辨率JPEG图像输入到网络模型中得到的输出值。
训练所需的样本以PNG高清图像的形式给出,低分辨率JPEG图像在模型训练中随机生成。目标生成的PNG图像可以通过矢量PDF按照指定的高分辨率(例如分辨率为1600*1200)进行绘制随机选择了10万张图像用于模型的训练,将其作为样本图片存储在磁盘中。
g,利用BP算法更新当前全卷积网络模型的参数;BP算法是神经网络中参数更新的标准方法,进行参数更新的时候,采用梯度下降法,即要找到最优解loss对应的权重参数W的方法。具体步骤是:对损失函数中每个参数W求导数,找到每个参数的负梯度方向dW,然后进行一小步更新,即权重更新为W=W+learning_rate*dW,其中learning_rate为学习率或理解成更新步长,例如设置为0.001。迭代此步骤。求导时由于是复合函数求导(多层神经网络),因此,需要采用微积分中的链式法则,链式法则在神经网络中的体现就是反向传播(BP),是神经网络中的专用术语。dW从最后一层依次向前计算。
循环执行步骤b~g,直至预先设定的迭代次数。迭代次数根据经验值设定,例如此处可以设定迭代10万次。设定迭代次数时,迭代次数的最小值至少应保障最小化平均损失不再下降。
待处理的JPEG图像经过上述过程训练得到的全卷积网络模型处理后,可以去除JPEG噪声,并提升图像分辨率,得到高质量的图像。
在另一实施方案中,上述方法还可以包括步骤G,将分割出来的折线(可以是粗略折线,也可以是精确折线)及检测出来的水平垂直坐标轴、标题、图例、图例注解信息进行数据组合,利用HIGHCHARTS提供的免费的数据可视化接口,重构出折线图。
在另一实施方案中,上述方法在步骤A之后还可以包括步骤H,利用分割出来的折线及检测出的水平坐标轴数据、垂直坐标轴数据,量化折线数据。所述量化折线数据是指计算出折线中每一个点所代表的具体数据。由于折线是连续的,所以计算出的数据比较多,可以采用简单的实施方式,进行分区间量化,即将整条折线分为若干个小段,一个小段对应x周一个区间,仅量化出各个小段的其中一个数据,例如该小段的最大值。量化的过程是已知两点数据求一元一次函数的过程,为现有技术,此处不做细述。
量化出折线数据后,可以将量化出的数据单独显示,也可以同时显示在重构的折线图中。
需要说明的是,除非有明确说明或间接说明各步骤之间存在执行顺,否则上述方法中的各步骤没有执行顺序的先后之分。例如步骤H,除了需要在步骤A-C之后以外,可以在其他任何步骤之前或之后。
如图6a-e所示,图6a为原始折线图,图6b为通过LAB色彩空间计算出来的与图例相似的折线位置效果图,图6c1-c3分别为提取出的3条粗略折线图,图6d1-d3分别为提取出的3条精确折线图,图6e为重构的折线图。
基于与上述方法相同的发明构思,本申请实施例还提供了一种折线图中的折线分割装置,如图4所示,该装置主要包括目标检测模块41、图像增强模块42、转换模块43、欧式距离计算模块44、折线分割模块45、折线精分模块46、折线图重构模块47和折线数据量化模块48。
其中,目标检测模块41,用于通过目标检测算法检测出待处理折线图中的水平垂直坐标轴、标题、图例、图例注解信息,并利用OCR识别法对检测出来的信息进行解析,得到所述已检测出图例的折线图。
其中,图像增强模块42,用于将得到的已检测出图例的折线图进行降噪处理,得到图像质量更高的已检测出图例的折线图。
其中,转换模块43,用于将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值。
其中,欧式距离计算模块44,用于将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,一个图例对应一张色差分布图。
其中,折线分割模块45,用于找出每张色差分布图中的最小值,参照该最小值设定分割阈值,依据该分割阈值在色差分布图中分割出该张色差分布图对应的粗略折线。
其中,折线精分模块46,用于将欧式距离计算模块中计算得到的各个欧式距离值由小到大进行排序,选取前M个欧式距离值对应的像素点作为种子点,再利用洪水填充算法对M个种子点进行填充,得到该张色差分布图对应的精确折线。
其中,折线图重构模块47,用于将分割出来的折线及检测出来的水平垂直坐标轴、标题、图例、图例注解信息进行数据组合,重构出折线图。
其中,折线数据量化模块48,用于利用分割出来的折线及检测出的水平标轴数据、垂直坐标轴数据,量化折线数据。
本折线图中的折线分割装置的实施例中未涉及之处,请参见前述折线图中的折线分割方法实施例中的相应描述。
如图5所示,本实施例同时提供了一种电子设备,该电子设备可以包括处理器51和存储器52,其中存储器52耦合至处理器51。值得注意的是,该图是示例性的,还可以使用其他类型的结构来补充或替代该结构,实现数据提取、图表重绘、通信或其他功能。
如图5所示,该电子设备还可以包括:输入单元53、显示单元54和电源55。值得注意的是,该电子设备也并不是必须要包括图5中显示的所有部件。此外,电子设备还可以包括图5中没有示出的部件,可以参考现有技术。
处理器51有时也称控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该处理器51接收输入并控制电子设备的各个部件的操作。
其中,存储器52例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种,可存储上述处理器51的配置信息、处理器51执行的指令、记录的图表数据等信息。处理器51可以执行存储器52存储的程序,以实现信息存储或处理等。在一个实施例中,存储器52中还包括缓冲存储器,即缓冲器,以存储中间信息。
输入单元53例如用于向处理器51提供包含样本图像或待处理的折线图像。显示单元54用于显示经过分割后的各个折线的效果图,或者是重构的折线图,该显示单元例如可以为LCD显示器,但本发明并不限于此。电源55用于为电子设备提供电力。
本发明实施例还提供一种计算机可读指令,其中当在电子设备中执行所述指令时,所述程序使得电子设备执行本发明方法所包含的操作步骤。
本发明实施例还提供一种存储有计算机可读指令的存储介质,其中所述计算机可读指令使得电子设备执行本发明方法所包含的操作步骤。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种折线图中的折线分割方法,其特征在于,包括以下步骤:
C,将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值;
D,将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,一个图例对应一张色差分布图;
E,针对于每张色差分布图,仅保留欧式距离值小于设定分割阈值的像素点,构成粗略折线。
2.根据权利要求1所述的方法,其特征在于,在步骤E之后还包括步骤F,将步骤D中进行欧式距离计算得到的各个欧式距离值由小到大进行排序,选取欧式距离较小的前M个欧式距离值对应的像素点作为种子点,再利用洪水填充算法对M个种子点进行填充,得到该张色差分布图对应的精确折线。
3.根据权利要求1或2所述的方法,其特征在于,在步骤C之前还包括步骤A,通过目标检测算法检测出待处理折线图中的水平坐标轴、垂直坐标轴、标题、图例、图例注解信息,并利用OCR识别法对检测出来的信息进行解析,得到所述已检测出图例的折线图。
4.根据权利要求3所述的方法,其特征在于,在步骤A之后还包括步骤B,将得到的已检测出图例的折线图进行降噪处理;所述步骤C中是对经过降噪处理后的折线图进行颜色空间转换。
5.根据权利要求3所述的方法,其特征在于,还包括步骤G,将分割出来的折线及检测出来的水平垂直坐标轴、标题、图例、图例注解信息进行数据组合,重构出折线图。
6.根据权利要求3所述的方法,其特征在于,在步骤A之后还包括步骤H,利用分割出来的折线及检测出的水平坐标轴数据、垂直坐标轴数据,量化折线数据。
7.一种折线图中的折线分割装置,其特征在于,包括:
转换模块,用于将已检测出N个图例的折线图由RGB颜色模型转换到LAB空间模型,分别得到折线图中各个图例的LAB数值和折线图中每个像素的LAB数值;
欧式距离计算模块,用于将每个图例的LAB数值与折线图中每个像素的LAB数值进行欧式距离计算,生成N张色差分布图,一个图例对应一张色差分布图;
折线分割模块,用于针对于每张色差分布图,仅保留欧式距离值小于设定分割阈值的像素点,构成粗略折线。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括折线精分模块,用于将欧式距离计算模块中计算得到的各个欧式距离值由小到大进行排序,选取欧式距离较小的前M个欧式距离值对应的像素点作为种子点,再利用洪水填充算法对M个种子点进行填充,得到该张色差分布图对应的精确折线。
9.根据权利要求7或8所述的装置,其特征在于,所述装置还包括目标检测模块,用于通过目标检测算法检测出待处理折线图中的水平垂直坐标轴、标题、图例、图例注解信息,并利用OCR识别法对检测出来的信息进行解析,得到所述已检测出图例的折线图。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括图像增强模块,用于将得到的已检测出图例的折线图进行降噪处理,得到图像质量更高的已检测出图例的折线图。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括折线图重构模块,用于将分割出来的折线及检测出来的水平垂直坐标轴、标题、图例、图例注解信息进行数据组合,重构出折线图。
12.根据权利要求9所述的装置,其特征在于,所述装置还包括折线数据量化模块,用于利用分割出来的折线及检测出的水平坐标轴数据、垂直坐标轴数据,量化折线数据。
13.一种包括计算机可读指令的计算机可读存储介质,其特征在于,所述计算机可读指令在被执行时使处理器执行权利要求1-6任一所述方法中的操作。
14.一种电子设备,其特征在于,所述的设备包括:
存储器,存储程序指令;
处理器,与所述存储器相连接,执行存储器中的程序指令,实现权利要求1-6任一所述方法中的步骤。
CN201810159638.8A 2018-02-26 2018-02-26 折线图中的折线分割方法及装置 Active CN108470350B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810159638.8A CN108470350B (zh) 2018-02-26 2018-02-26 折线图中的折线分割方法及装置
US15/955,630 US10509959B2 (en) 2018-02-26 2018-04-17 Method and device for segmenting lines in line chart

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810159638.8A CN108470350B (zh) 2018-02-26 2018-02-26 折线图中的折线分割方法及装置

Publications (2)

Publication Number Publication Date
CN108470350A CN108470350A (zh) 2018-08-31
CN108470350B true CN108470350B (zh) 2021-08-24

Family

ID=63264059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159638.8A Active CN108470350B (zh) 2018-02-26 2018-02-26 折线图中的折线分割方法及装置

Country Status (2)

Country Link
US (1) US10509959B2 (zh)
CN (1) CN108470350B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11461638B2 (en) * 2019-03-07 2022-10-04 Adobe Inc. Figure captioning system and related methods
CN110909732B (zh) * 2019-10-14 2022-03-25 杭州电子科技大学上虞科学与工程研究院有限公司 一种图中数据的自动提取方法
CN111798528A (zh) * 2020-07-01 2020-10-20 西交利物浦大学 一种织物色差检测方法、装置、存储介质及设备
CN112651315A (zh) * 2020-12-17 2021-04-13 苏州超云生命智能产业研究院有限公司 折线图的信息提取方法、装置、计算机设备和存储介质
CN113781451B (zh) * 2021-09-13 2023-10-17 长江存储科技有限责任公司 晶圆检测方法、装置、电子设备及计算机可读存储介质
CN113762223B (zh) * 2021-11-08 2022-02-15 北京世纪好未来教育科技有限公司 题目拆分模型训练方法、题目拆分方法及相关装置
CN115205655B (zh) * 2022-09-15 2022-12-09 中国科学院长春光学精密机械与物理研究所 动态背景下的红外暗弱点目标检测系统及其检测方法
CN115331013B (zh) * 2022-10-17 2023-02-24 杭州恒生聚源信息技术有限公司 折线图的数据提取方法及处理设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685364A (zh) * 2003-01-06 2005-10-19 三菱电机株式会社 在图像中分割像素的方法
CN107609603A (zh) * 2017-10-09 2018-01-19 济南大学 一种多颜色空间差分融合的图像匹配方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394936B2 (en) * 2004-09-21 2008-07-01 Microsoft Corporation System and method for curve recognition in a hand-drawn chart in ink input
US7400771B2 (en) * 2004-09-21 2008-07-15 Microsoft Corporation System and method for connected container recognition of a hand-drawn chart in ink input
US8000535B2 (en) * 2007-06-18 2011-08-16 Sharp Laboratories Of America, Inc. Methods and systems for refining text segmentation results
JP5267364B2 (ja) * 2009-07-10 2013-08-21 富士ゼロックス株式会社 画像処理装置およびプログラム
US10290127B2 (en) * 2014-10-10 2019-05-14 Saleforce.com, inc. Responsive line display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1685364A (zh) * 2003-01-06 2005-10-19 三菱电机株式会社 在图像中分割像素的方法
CN107609603A (zh) * 2017-10-09 2018-01-19 济南大学 一种多颜色空间差分融合的图像匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Reverse‐Engineering Visualizations: Recovering Visual Encodings from Chart Images;Jorge Poco等;《computer graphics forum》;20170704;第36卷(第3期);第353-363页 *

Also Published As

Publication number Publication date
US10509959B2 (en) 2019-12-17
US20190266395A1 (en) 2019-08-29
CN108470350A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN108470350B (zh) 折线图中的折线分割方法及装置
CN108416377B (zh) 柱状图中的信息提取方法及装置
JP7415251B2 (ja) 画像処理用の装置及び方法、並びにニューラルネットワークトをトレーニングするシステム
JP4732660B2 (ja) ビジュアルアテンションシステム
JP4573706B2 (ja) ディジタル画像セグメンテーション方法
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2021093161A (ja) 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
CN109241867B (zh) 采用人工智能算法识别数字岩心图像的方法及装置
CN101601287A (zh) 产生照片级真实感图像缩略图的设备和方法
EP2899689A1 (en) Method for inpainting a target area in a target video
EP3840389A1 (en) Coding scheme for video data using down-sampling/up-sampling and non-linear filter for depth map
CN103177249A (zh) 图像处理装置和图像处理方法
CN108288256A (zh) 一种多光谱马赛克图像复原方法
US20150326878A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
CN113298181A (zh) 基于密集连接的Yolov3网络的井下管道异常目标识别方法及系统
CN107211115A (zh) 用于色度重构的方法和装置
KR101887929B1 (ko) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상형성장치
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN108230332B (zh) 文字图像的处理方法和装置、电子设备、计算机存储介质
CN111462084B (zh) 基于随机森林的图像矢量化印刷出血点预测系统和方法
US20230316697A1 (en) Association method, association system, and non-transitory computer-readable storage medium
US8897378B2 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
CN115311145B (zh) 图像处理方法及装置、电子设备、存储介质
US9225876B2 (en) Method and apparatus for using an enlargement operation to reduce visually detected defects in an image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant