CN108399386B - 饼图中的信息提取方法及装置 - Google Patents

饼图中的信息提取方法及装置 Download PDF

Info

Publication number
CN108399386B
CN108399386B CN201810159637.3A CN201810159637A CN108399386B CN 108399386 B CN108399386 B CN 108399386B CN 201810159637 A CN201810159637 A CN 201810159637A CN 108399386 B CN108399386 B CN 108399386B
Authority
CN
China
Prior art keywords
legend
information
pie chart
fan
sector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810159637.3A
Other languages
English (en)
Other versions
CN108399386A (zh
Inventor
余宙
杨永智
张占强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Abotsde Beijing Technology Co ltd
Original Assignee
Abotsde Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Abotsde Beijing Technology Co ltd filed Critical Abotsde Beijing Technology Co ltd
Priority to CN201810159637.3A priority Critical patent/CN108399386B/zh
Priority to US15/955,621 priority patent/US10769487B2/en
Publication of CN108399386A publication Critical patent/CN108399386A/zh
Application granted granted Critical
Publication of CN108399386B publication Critical patent/CN108399386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及饼图中的信息提取方法及装置，所述方法包括以下步骤：检测出待处理饼图中的各个元素及其位置信息，所述元素包括文本元素、图例元素；对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素中包含的图例文字；根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字。本发明的方法及装置通过深度学习的方式检测出饼图中的各个元素及识别文本信息，信息提取准确，且不受饼图图像质量的影响，为饼图的信息提取提供了一套既简单又有效的解决方案。

Description

饼图中的信息提取方法及装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种饼图中的信息提取方法及装置。
背景技术
饼图属于图表中的一种类型，主要由扇形、扇形描述文字(百分比或数字)、图例文字、图例、标题组成，目前对于饼图中的信息的提取，完全采用的是图像处理技术，图像处理方式的有效性完全依赖于待处理图像的图像质量高低，若图像质量高，则信息提取的准确度高，反之则准确度低。即是说，目前饼图中的信息提取的准确性不能得到保障。
发明内容
本发明的目的在于提供一种饼图中的信息提取方法及装置，采用深度学习方法，或深度学习与图像处理相结合的方式提取饼图中的信息。
为了实现上述发明目的，本发明实施例提供了以下技术方案：
一方面，本发明实施例中提供了一种饼图中的信息提取方法，包括以下步骤：
检测出待处理饼图中的各个元素及其位置信息，所述元素包括文本元素、图例元素；
对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素中包含的图例文字；
根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字。
上述方法中，如果所述待处理饼图中的图例信息按照从上到下和/或从左到右的顺序排列，各个扇形按顺时针方向或逆时针方向与图例信息一一对应，则所述根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应的步骤包括：
根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息；
计算待处理饼图中的各个扇形在饼图中所占比例；
提取扇形面积较大的至少一个扇形的扇形信息，将该扇形信息与相应的图例信息对应；
将剩下的按照顺时针方向或逆时针方向排列的扇形的扇形信息，与按照从上到下和/或从左到右的顺序排列的图例信息，依次一一对应。
另一方面，本发明实施例提供了一种饼图中的信息提取装置，包括：元素检测模块、文字识别模块和扇形-图例对应模块，其中，
元素检测模块，用于检测出待处理饼图中的各个元素及其位置信息，所述元素包括文本元素、图例元素；
文字识别模块，用于对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素包含的图例文字；
扇形-图例对应模块，用于根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字。
再一方面，本发明实施例同时提供了一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时使处理器执行本发明实施例中所述方法中的操作。
再一方面，本发明实施例同时提供了一种电子设备，包括：存储器，存储程序指令；处理器，与所述存储器相连接，执行存储器中的程序指令，实现本发明实施例中所述方法中的步骤。
与现有技术相比，本发明的有益效果：本发明方法及装置通过深度学习的方式提取饼图中的信息，可以提高饼图信息提取的准确度，同时也增强了方法的适应性，对于图像质量不同的各种饼图都可以适用，为饼图的信息提取提供了一套既简单又有效的解决方案。另外，通过对饼图中信息的提取，将图像转换为结构化的数据，为后期的数据分析、处理提供保障。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例中所述饼图中的信息提取方法的流程图。
图2为实施例中Faster R-CNN模型的训练流程图。
图3为实施例中一种实现图例信息与扇形描述信息对应的流程图。
图4为图5所示饼图中的信息提取的流程图。
图5为实施例中所述原始饼图。
图6为图5经过元素检测后的状态图。
图7为完成一条图例信息与扇形信息对应的状态图。
图8为完成所有图例信息与扇形信息对应后重构的饼图。
图9为实施例中所述饼图中的信息提取装置的功能模块图。
图10为实施例中所述扇形-图例对应模块的功能模块图。
图11为实施例中提供的一种电子设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例提供的饼图中的信息提取方法，包括以下步骤：
S101，采用例如基于Faster R-CNN模型的目标检测法，检测出待处理饼图中的各个元素及其位置信息，即，将待处理饼图输入预先训练好的Faster R-CNN模型，即可得到各个元素的位置坐标及分布区域，所述元素包括文本元素、图例元素。如图5-6所示，图5为原始饼图，图6为经过Faster R-CNN模型检测后的状态图，经过Faster R-CNN模型检测后提取到所有元素的外包矩形，可称之为元素框，元素框即表示了该元素的分布区域。
FasterR-CNN模型主要用于检测自然场景中的目标，如车辆，人，动物等。但是发明人在研究中发现，将该模型应用在饼图的元素检测，可以得到很好的检测效果，元素类型的判断以及位置回归都非常准确。训练FasterR-CNN模型的样本包括训练集和测试集，测试集来源于人工标注，在图像中标记出柱状、坐标轴、文本、图例，坐标轴可以细分水平坐标轴和竖直坐标轴。请参阅图2，本实施例中，训练FasterR-CNN模型的过程如下：
步骤1，随机初始化FasterR-CNN模型中的学习参数；
步骤2，将一批(对应后文的mini-batch)训练样本输入FasterR-CNN模型中，得到当前模型参数下训练样本中第i个元素框的预测的分类概率pi及预测的包围盒坐标向量ti；
步骤3，采用如下公式对步骤2中的输出结果进行损失计算，并求取一批训练样本中所有元素框的平均损失
Figure BDA0001582545500000051
Figure BDA0001582545500000052
式中，L({pi},{ti})为第i个元素框的损失，Ncls为mini-batch的值，一般为256，Nreganchor位置的数量，一般约等于2400，λ为权重，一般设定为10，这样cls和reg项差不多是等权重的，
Figure BDA0001582545500000053
为目标(即元素框)与非目标的对数损失，
Figure BDA0001582545500000054
如果Pi为正，实际标签概率Pi*就是1，如果Pi为负，Pi*就是0，
Figure BDA0001582545500000055
为回归损失函数，
Figure BDA0001582545500000056
其中R是定义的鲁棒的损失函数(smooth L1)，
Figure BDA0001582545500000061
ti是一个向量，表示预测的包围盒的4个参数化坐标，ti*是实际包围盒的坐标向量。
步骤4，求解最小化
Figure BDA0001582545500000062
并更新Faster R-CNN模型中所有的学习参数；
步骤5，循环执行步骤2～步骤4，直至设定的迭代次数。迭代次数可以根据经验设定，例如10万次，但是设定的迭代次数至少需要保障在步骤4中最小化
Figure BDA0001582545500000063
不再变化。
通过深度学习的方式，利用Faster R-CNN模型进行目标检测，可以检测出饼图中的各个元素，并且可以适应较低质量的饼图，对于图像质量的高低没有依赖性。
需要说明的是，除了采用上述Faster R-CNN模型的目标检测方法外，也可以采用其他模型的目标检测方法进行元素检测，例如R-CNN模型，FastR-CNN模型等。
S102，采用例如OCR识别算法对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素中包含的图例文字。即通过Attention-ocr模型，识别出各个文本元素框中的文字信息，例如图5中的扇形描述文字64％，16％，10％等，又如图5中的标题“毛利比例”。OCR识别为成熟的现有技术，故此处对此不做细述。
S103，根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字。
在具体实现时，上述步骤S103中所述根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应的步骤可以有多种实施方式。
例如，在一个可实施方案中，针对于待处理饼图中不包含各个扇形在饼图中所占比例信息的情况，上述步骤S103可以包括：首先，根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息；然后，利用图像处理算法，例如边缘检测法识别出饼图中的各个扇形；然后，在RGB颜色空间下，通过颜色匹配，将各个扇形与相应的图例信息相匹配；最后，通过计算每个扇形的夹角得到每个扇形在饼图中所占比例，例如扇形的夹角为36度，则该扇形所占的比例为10％，并与相应的图例信息相对应。
上述实施方式针对于图像质量好，且饼图中各个扇形所占比例都比较大的情况，提取的信息具有较高的准确度，但是对于图像质量较差，或者饼图中有的扇形在饼图中所占比例较小的情况，则信息匹配的准确度相对较低。
因此，在另一个更加优选的实施方案中，针对于图例信息按照从上到下和/或从左到右的顺序排列，各个扇形按顺时针方向或逆时针方向与图例信息一一对应的饼图，如图3所示，上述步骤S103可以通过以下方式实现：
S1031，根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息；
S1032，计算待处理饼图中的各个扇形在饼图中所占比例；
S1033，提取扇形面积较大的至少一个(例如1-3个)扇形的扇形信息，将该扇形信息与相应的图例信息对应；
S1034，将剩下的按照顺时针方向或逆时针方向排列的扇形的扇形信息，与按照从上到下和/或从左到右的顺序排列的图例信息，依次一一对应。
一般地，饼图的制作都有一定制图规则，例如，图例信息按照从上到下的顺序排列，或者从左到右的顺序排列，当图例信息的数量较大时，图例信息按照从左到右且从上到下的顺序呈阵列式排列，又例如各个扇形按顺时针方向(将来也可能是逆时针方向)与图例信息一一对应。在图3所示实施方案中，先匹配出部分扇形信息与图例信息，然后再根据已知的制图规则，将剩下的扇形按照顺序与对应的图例信息进行匹配，可以增强信息提取的准确度，避免扇形面积小或者图像质量差对信息提取准确度的影响，尤其是选择扇形面积较大的一个或多个扇形优先与图例信息进行匹配，因为扇形面积大，对该扇形的扇形信息(扇形颜色和在饼图中所占比例)的提取更准确。
在图3所示实施方式中，针对于不同的情况，计算待处理饼图中的各个扇形在饼图中所占比例的步骤S1032，有不同的实现方式。
例如针对于待处理饼图中不包含扇形描述文字，或者包含有扇形描述文字，但是扇形描述文字中不包含该扇形在饼图中所占比例(所占比例可能是百分比数字，例如图5中所示，也可能是不带百分比符合的数字，例如图5中的64％也可能写成64，通过将单个数字与所有数字的和作比即可换算出在饼图中的百分比)的信息的情况，利用图像处理算法，在识别出各个扇形区域后，通过计算每个扇形的夹角得到每个扇形在饼图中所占比例。
又例如，针对于待处理饼图中包含扇形描述文字，且扇形描述文字包含扇形在饼图中所占比例的情况，所述计算饼图中的各个扇形在饼图中所占比例的步骤包括：
从步骤S102中识别出的文字信息中提取出扇形描述文字；将待处理饼图中的每个扇形与相应的扇形描述文字一一对应，从而得到饼图中各个扇形在饼图中所占比例。
一般地，扇形描述文字围绕饼图中心分布，可能在各个扇形的区域内，也可能在扇形的区域外，但是扇形描述文字都是与相应的扇形对应的，例如扇形描述文字位于对应的扇形的中间位置，即是说，扇形描述文字也是按顺时针方向或逆时针方向与图例信息一一对应。因此，所述将待处理饼图中的每个扇形与相应的扇形描述文字一一对应可以包括步骤：
在RGB颜色空间下，统计待处理饼图中除背景色以外的同一种颜色(即相同RGB值)的所有像素的数量(扇形面积越大，扇形区域中像素的数量就越大)，并按照从大到小的顺序排列，一种颜色代表一个扇形；
取排列靠前的至少一种颜色，根据该颜色像素的分布区域(不一定是对应扇形的准确区域，大致区域也不影响信息提取的准确性)计算得到该颜色所代表的扇形的重心，以饼图中心为原点，将饼图中心与该扇形的重心连线，得到该扇形的方向；
以饼图中心为原点，将饼图中心与每个扇形描述文字的重心连线，得到每个扇形描述文字的方向；
将该扇形的方向与每个扇形描述文字的方向进行匹配，将角度相差最小的扇形描述文字与该扇形进行对应；
将剩下的按照顺时针方向或逆时针方向排列的扇形描述文字，与按照顺时针方向或逆时针方向排列的扇形，依次一一对应。
如此，通过优先匹配扇形面积较大的部分扇形与对应的扇形描述文字，然后再按照特定的方向依次一一对应剩余的扇形和相应的扇形描述文字，相比于通过图像处理方法识别每个扇形再进行一一对应的方式，可以提高信息对应的准确度。
在图3所示实施方式中，在一种可实施方案中，所述步骤S1033中，提取扇形面积较大的至少一个扇形的扇形信息，将该扇形信息与相应的图例信息对应可以包括以下步骤：
在RGB颜色空间下，统计待处理饼图中除背景色以外的同一种颜色(相同RGB值)的所有像素的数量，并按照从大到小的顺序排列，一种颜色代表一个扇形；
取排列靠前的至少一种颜色，将该颜色与图例颜色进行匹配，从而完成提取的颜色(所代表的扇形)与相应的图例信息相匹配；
以及确定出已与图例信息对应的颜色所代表的扇形在饼图中所占比例，完成所述扇形面积较大的至少一个扇形的扇形信息与相应的图例信息对应。
针对于前述扇形描述文字也是按顺时针方向或逆时针方向与图例信息一一对应的情况，在执行将待处理饼图中的每个扇形与相应的扇形描述文字一一对应的步骤时，也进行了提取排列靠前的至少一种颜色的过程，针对于S1032和S1033这两个步骤中，上述执行过程可以相同，也可以不同，即是说选取的排列靠前的颜色的数量和种类可以相同或不同，但是在S1033步骤中选取的颜色需要包含在S1032步骤步骤中选取的颜色。
请参阅图4，此处将以图5所示的饼图对本发明信息提取方法进行更细致的阐述。在图4所示方法中，包括以下步骤：
S201，采用预先训练好的Faster R-CNN模型，检测出待处理饼图中的各个元素及其位置信息。
S202，采用OCR识别算法对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素中包含的图例文字。
S203，根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息。
本步骤，在RGB空间下，首先识别出各个图例元素的颜色，然后再将图例颜色与图例文字相匹配，得到每条图例信息。一条图例信息包括图例颜色和对应的图例文字，通常地，图例文字紧邻对应的图例颜色块，图例颜色块与图例文字位于同一行，且图例文字位于图例颜色块的左侧或右侧，以“图例颜色块、图例文字、图例颜色块、图例文字……”或者是“图例文字、图例颜色块、图例文字、图例颜色块……”的方式排列，因此，可以很容易得到每条图例信息。
S204，在RGB颜色空间下，统计待处理饼图中除背景色以外(饼图中，背景色的颜色分布区域最大，所以通过去除像素数量最大的颜色的方式排除背景色)的同一种颜色(即相同RGB值)的所有像素的数量(扇形面积越大，扇形区域中像素的数量就越大)，并按照从大到小的顺序排列，并提取排列靠前的至少一种颜色，一种颜色代表一个扇形。例如图6所示，提取黑色(图中表示为颜色深度最深的颜色)，该颜色的扇形在饼图中所占比例最大，为64％。
此处饼图中除背景色以外的同一种颜色的所有像素的数量可以有两种理解，一种理解是包含扇形区域的像素和与该扇形对应的图例区域的像素，另一种是仅包含扇形区域的像素，但是这两种理解都不影响扇形面积的计算，因为图例区域的像素很少，对于扇形区域而言可以忽略，因此此处可以理解为一种颜色代表一个扇形，扇形区域中所有像素的数量即表示了该扇形的面积大小。
这里之所以取前几种颜色，而不是取所有颜色，是因为有的扇形面积很小(如扇形占比只有1％)，或者图像质量差，在扇形区域的颜色提取中带来过多干扰，导致无法准确提取出扇形信息。根据饼图的制图规则，饼图的绘制都是按照顺时针方向与图例按照从上到下、从左到右的顺序一一对应的。理论上，只需要将一个扇形与图例对应好，其它的按照图例顺序也就对应好了。提取面积较大的前几种颜色，目的是出于匹配鲁棒性的考虑，避免图例中有颜色很相近的颜色，导致图例、扇形信息匹配错误。换言之，通过提取像素数量较大的几种颜色的扇形，可以提高图例与扇形信息匹配的准确度，也不受图像质量的限制，增强饼图中信息提取的适用性，灵活性。
S205，将提取的颜色与图例颜色进行匹配，从而完成提取的颜色(所代表的扇形)与相应的图例信息相匹配，例如完成黑色所代表的扇形与水泥业的匹配。
此处将提取的颜色与图例的颜色进行匹配，作为一种可实施方式的举例，在RGB空间下，分别获得各个图例颜色的RGB数值和该颜色的RGB数值，将提取的颜色的RGB数值与每个图例颜色的RGB数值进行欧式距离计算，距离最小的图例颜色即为该颜色对应(匹配)的图例颜色，即完成该颜色代表的扇形与图例信息的对应。
S206，从识别出的文字信息中提取出扇形描述文字，得到各个扇形在饼图中所占比例及各个扇形描述文字的位置坐标，并以饼图中心为原点，将饼图中心与每个扇形描述文字的重心连线，得到每个扇形描述文字的方向。
根据先验知识，饼图中如果有扇形描述文字，则扇形描述文字的分布有一定规律，即扇形描述文字围绕饼图中心分布，一般地扇形描述文字中含有百分比或数字。因此可以从识别出的文字信息中，提取出所有的扇形描述文字，从扇形描述文字中获知扇形所占的比例。例如水泥业的扇形描述文字是64％，进而可以提取出扇形所占比例是64％。
饼图中图形的具体展现有两种情况，一种是各个扇形拼接在一起构成一个圆，另一种是各个扇形相互之间隔开。对于饼图中图形是一个圆形的情况，可以通过图像圆检测确定出饼图(同样理解为圆形)的中心位置，如果饼图是非圆形的，如图5所示，则根据围绕在扇形周围的扇形描述文字的位置坐标，计算出这些扇形描述文字的中心(针对于饼图是圆形的情况也同样适用)，作为饼图的中心。找出饼图的中心位置后，以饼图中心为原点，将扇形描述文字的文本元素矩形框的一个位置坐标点与原点连线，计算出扇形描述文字的文本元素的方向，即文本元素相对于饼图中心的角度信息(连线与定义的标准线之间的夹角，标准线可以是正向x轴)。以图6为例，根据扇形描述文字(即“64％”，“10％”，“10％”，“16％”)的x,y位置坐标，可以估计出饼图中心位置o，以o点为原点，计算o点到扇形描述文字的位置连线的方向角度，分别为230度、36度、36度、58度，然后将“64％”，“10％”，“10％”，“16％”按照230度、36度、36度、58度绕中心o点顺时针排序。
S207，根据提取的颜色像素的分布区域(不一定是对应扇形的准确区域，大致区域也不影响信息提取的准确性)计算得到该颜色所代表的扇形的重心，以饼图中心为原点，将饼图中心与每个扇形的重心连线，得到该扇形的方向。
S208，将该扇形的方向与每个扇形描述文字的方向进行匹配，将角度相差最小的扇形描述文字与该扇形进行对应，例如完成黑色所代表的扇形与64％的对应，继而完成了水泥业、黑色所代表的扇形、64％这三者之间的对应，即完成扇形信息与图例信息的匹配。
此处通过扇形的方向角度与扇形描述文字的方向角度做比较，实现扇形与扇形描述文字的对应，可以避免因多个扇形面积相同，或者扇形的实际面积与对应的扇形描述文字不相匹配而导致的对应错误的问题，提高扇形与扇形描述文字对应的准确性。
S209，将剩下的按照顺时针方向排列的扇形描述文字，与按照从左到右排列的图例信息，依次一一对应，一个扇形描述文字对应一个扇形，因此完成扇形描述文字与图例信息的对应，即完成饼图中全部扇形信息与图例信息的匹配。例如，在完成水泥业与64％的对应后，将按照顺时针依次排列的“10％”、“10％”、“16％”与按照从左到右依次排列的“房地产业”、“医药业”、“其他”一一对应即可，得到参考图7所示的一一对应关系。
文本中除了扇形描述文字，可能还有标题，因此上述信息提取方法中还包括确定所述待处理饼图的标题文字以及标题位置的步骤。
图例的标题通常分布在图像的顶部或底部，因此根据文本元素的位置坐标即可确定出标题。从其余未经处理的文本中，根据文本的位置信息确定出是否为图像的标题。如果没有未经处理的文本，则标题项为空。如图6所示，经过前面步骤的分析处理后，还有“毛利比例”这一条文本没有处理，将“毛利比例”这一文本元素的位置坐标与扇形描述文字的位置坐标比较，确定该文本元素位于图像的顶部，即可确定出“毛利比例”为标题。
经过以上处理后，如果还有未处理的文本元素，则确定该文本元素为其他描述文字。
经过以上处理后，已经将图例信息和扇形描述信息一一对应，提取出每一扇形的所占比例，以及饼图的标题信息(如果有)，以及其他描述文字(如果有)，即提取出饼图中的所有信息。在进一步完善的方案中，可以将这些提取的信息进行结构化处理，将得到的结构化数据用HIGHCHARTS进行可视化，HIGHCHARTS是一个方便快捷的HTML5交互性图标库，它能够非常简单快捷的在web网站或者web应用中添加交互性图标，重构的饼图如图8所示。
基于与上述方法相同的发明构思，本申请实施例还提供了一种饼图中的信息提取装置。如图9所示，饼图中的信息提取装置包括元素检测模块41、文字识别模块42、扇形-图例对应模块43。
其中，元素检测模块41用于采用例如深度学习目标检测法，检测出待处理饼图中的各个元素及其位置信息，所述元素包括文本元素、图例元素。
其中，文本识别模块42，用于对检测出的文本元素进行文字识别，得到文本元素的文字信息；以及对检测出的图例元素进行文字识别，得到图例元素包含的图例文字。
其中，扇形-图例对应模块43，用于根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字。
在可选的方案中，上述信息提取装置还可以包括结构化模块44和饼图重构模块45，其中，
结构化模块44，用于将已经提取的待处理饼图的所有元素信息及对应关系转化为结构化数据；
饼图重构模块45，用于将所述结构化数据进行可视化显示，重构饼图。
在一种可实施的方案中，元素检测模块41采用Faster R-CNN模型的目标检测法检测待处理饼图中的各个元素；所述Faster R-CNN模型通过以下方式训练得到：
步骤1，随机初始化Faster R-CNN模型中的学习参数；
步骤2，将一批训练样本输入Faster R-CNN模型中，得到当前模型参数下训练样本中第i个元素框的预测的分类概率pi及预测的包围盒坐标向量ti；
步骤3，采用如下公式对步骤2中的输出结果进行损失计算，并求取一批训练样本中所有元素框的平均损失
Figure BDA0001582545500000161
Figure BDA0001582545500000162
式中，L({pi},{ti})为第i个元素框的损失，Ncls为mini-batch的值，Nreganchor位置的数量，λ为权重，
Figure BDA0001582545500000163
为目标与非目标的对数损失，
Figure BDA0001582545500000164
为回归损失函数；
步骤4，求解最小化
Figure BDA0001582545500000165
并更新Faster R-CNN模型中所有的学习参数；
步骤5，循环执行步骤2～步骤4，直至设定的迭代次数。
在一种可实施方案中，所述扇形-图例对应模块43包括以下子模块：
图例信息确定子模块431，用于根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息；
扇形比例计算子模块432，用于计算待处理饼图中的各个扇形在饼图中所占比例；
扇形-图例对应子模块433，用于提取扇形面积较大的至少一个扇形的扇形信息，将该扇形信息与相应的图例信息对应；以及将剩下的按照顺时针方向或逆时针方向排列的扇形的扇形信息，与按照从上到下和/或从左到右的顺序排列的图例信息，依次一一对应。
本饼图中的信息提取装置的实施例中未涉及之处，例如扇形-图例对应子模块433针对于不同情况的不同处理方式，请参见前述饼图中的信息提取方法实施例中的相应描述。
如图11所示，本实施例同时提供了一种电子设备，该电子设备可以包括处理器51和存储器52，其中存储器52耦合至处理器51。值得注意的是，该图是示例性的，还可以使用其他类型的结构来补充或替代该结构，实现数据提取、图表重绘、通信或其他功能。
如图11所示，该电子设备还可以包括：输入单元53、显示单元54和电源55。值得注意的是，该电子设备也并不是必须要包括图11中显示的所有部件。此外，电子设备还可以包括图11中没有示出的部件，可以参考现有技术。
处理器51有时也称控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器51接收输入并控制电子设备的各个部件的操作。
其中，存储器52例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其他合适装置中的一种或多种，可存储上述处理器51的配置信息、处理器51执行的指令、记录的图表数据等信息。处理器51可以执行存储器52存储的程序，以实现信息存储或处理等。在一个实施例中，存储器52中还包括缓冲存储器，即缓冲器，以存储中间信息。
输入单元53例如用于向处理器51提供样本图像或待处理的饼图像。显示单元54用于显示经过元素检测后的饼图，或者是从饼图中提取的信息，或者是重构的饼图，该显示单元例如可以为LCD显示器，但本发明并不限于此。电源55用于为电子设备提供电力。
本发明实施例还提供一种计算机可读指令，其中当在电子设备中执行所述指令时，所述程序使得电子设备执行本发明方法所包含的操作步骤。
本发明实施例还提供一种存储有计算机可读指令的存储介质，其中所述计算机可读指令使得电子设备执行本发明方法所包含的操作步骤。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (17)

1.一种饼图中的信息提取方法，其特征在于，包括以下步骤：
检测出待处理饼图中的各个元素及其位置信息，所述元素包括文本元素、图例元素；所述待处理饼图的图例信息按照从上到下和/或从左到右的顺序排列，各个扇形按顺时针方向或逆时针方向与图例信息一一对应；
对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素中包含的图例文字；
根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应，包括：根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息；计算待处理饼图中的各个扇形在饼图中所占比例；提取扇形面积较大的至少一个扇形的扇形信息，将该扇形信息与相应的图例信息对应；将剩下的按照顺时针方向或逆时针方向排列的扇形的扇形信息，与按照从上到下和/或从左到右的顺序排列的图例信息，依次一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字。
2.根据权利要求1所述的方法，其特征在于，采用FasterR-CNN模型的目标检测法检测待处理饼图中的各个元素。
3.根据权利要求2所述的方法，其特征在于，所述FasterR-CNN模型通过以下方式训练得到：
步骤1，随机初始化FasterR-CNN模型中的学习参数；
步骤2，将一批训练样本输入FasterR-CNN模型中，得到当前模型参数下训练样本中第i个元素框的预测的分类概率pi及预测的包围盒坐标向量ti；
步骤3，采用如下公式对步骤2中的输出结果进行损失计算，并求取一批训练样本中所有元素框的平均损失
Figure FDA0003200841670000021
Figure FDA0003200841670000022
式中，L({pi},{ti})为第i个元素框的损失，Ncls为mini-batch的值，Nreganchor位置的数量，λ为权重，
Figure FDA0003200841670000023
为目标与非目标的对数损失，
Figure FDA0003200841670000024
为回归损失函数；
步骤4，求解最小化
Figure FDA0003200841670000025
并更新FasterR-CNN模型中所有的学习参数；
步骤5，循环执行步骤2～步骤4，直至设定的迭代次数。
4.根据权利要求1所述的方法，其特征在于，所述待处理饼图中包含扇形描述文字，且扇形描述文字包含扇形在饼图中所占比例，并且所述计算饼图中的各个扇形在饼图中所占比例的步骤包括：
从识别出的文字信息中提取出扇形描述文字；
将待处理饼图中的每个扇形与相应的扇形描述文字一一对应，从而得到饼图中各个扇形在饼图中所占比例。
5.根据权利要求4所述的方法，其特征在于，所述待处理饼图中的各个扇形描述文字按顺时针方向或逆时针方向与图例信息一一对应，且所述将每个扇形与相应的扇形描述文字一一对应的步骤包括：
在RGB颜色空间下，统计待处理饼图中除背景色以外的同一种颜色的所有像素的数量，并按照从大到小的顺序排列，一种颜色代表一个扇形；
取排列靠前的至少一种颜色，根据该颜色像素的分布区域计算得到该颜色所代表的扇形的重心，以饼图中心为原点，将饼图中心与该扇形的重心连线，得到该扇形的方向；
以饼图中心为原点，将饼图中心与每个扇形描述文字的重心连线，得到每个扇形描述文字的方向；
将该扇形的方向与每个扇形描述文字的方向进行匹配，将角度相差最小的扇形描述文字与该扇形进行对应；
将剩下的按照顺时针方向或逆时针方向排列的扇形描述文字，与按照顺时针方向或逆时针方向排列的扇形，依次一一对应。
6.根据权利要求1所述的方法，其特征在于，所述计算饼图中的各个扇形在饼图中所占比例的步骤包括：
利用图像处理算法，通过计算每个扇形的夹角得到每个扇形在饼图中所占比例。
7.根据权利要求1所述的方法，其特征在于，所述提取扇形面积较大的至少一个扇形的扇形信息，将该扇形信息与相应的图例信息对应的步骤包括：
在RGB颜色空间下，统计待处理饼图中除背景色以外的同一种颜色的所有像素的数量，并按照从大到小的顺序排列，一种颜色代表一个扇形；
取排列靠前的至少一种颜色，将该颜色与图例颜色进行匹配，从而完成提取的颜色与相应的图例信息相匹配；以及
确定出已与图例信息对应的颜色所代表的扇形在饼图中所占比例，完成扇形面积较大的至少一个扇形的扇形信息与相应的图例信息对应。
8.根据权利要求5所述的方法，其特征在于，所述饼图为圆形饼图，并且通过图像圆检测法来确定所述饼图中心。
9.根据权利要求5所述的方法，其特征在于，所述饼图为非圆形饼图，并且通过如下方法来确定所述饼图中心：
确定围绕饼图的各个扇形描述文字的重心；并且
根据各个扇形描述文字的重心来估计得到所述饼图中心。
10.根据权利要求1所述的方法，其特征在于，如果待处理饼图中还包括标题，则所述方法还包括确定所述待处理饼图的标题文字以及标题位置的步骤。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：将已经提取的待处理饼图的所有元素信息转化为结构化数据，并进行可视化显示，重构饼图。
12.一种饼图中的信息提取装置，其特征在于，包括：
元素检测模块，用于检测出待处理饼图中的各个元素及其位置信息，所述元素包括文本元素、图例元素；
文字识别模块，用于对检测出的文本元素和图例元素进行文字识别，分别得到文本元素对应的文字信息和图例元素包含的图例文字；
扇形-图例匹配模块，用于根据检测出的各个元素及其位置信息、图例文字，得到扇形信息和图例信息，并将扇形信息和图例信息一一对应；扇形信息包括扇形颜色及扇形在饼图中所占比例，图例信息包括图例颜色及其对应的图例文字；
所述待处理饼图中的图例信息按照从上到下和/或从左到右的顺序排列，各个扇形按顺时针方向或逆时针方向与图例信息一一对应；所述扇形-图例对应模块包括：
图例信息确定子模块，用于根据检测出的图例元素包含的颜色及图例文字，得到每条图例信息；
扇形比例计算子模块，用于计算待处理饼图中的各个扇形在饼图中所占比例；
扇形-图例对应子模块，用于提取扇形面积较大的至少一个扇形的扇形信息，将该扇形信息与相应的图例信息对应；以及将剩下的按照顺时针方向或逆时针方向排列的扇形的扇形信息，与按照从上到下和/或从左到右的顺序排列的图例信息，依次一一对应。
13.根据权利要求12所述的装置，其特征在于，所述待处理饼图还包括扇形描述文字，并且所述扇形描述文字包含对应扇形在饼图中所占比例的信息，并且
所述扇形比例计算子模块通过将每个扇形与相应的扇形描述文字一一对应，从所述扇形描述文字中得到相应扇形在饼图中所占比例。
14.根据权利要求12所述的装置，其特征在于，所述扇形比例计算模块利用图像处理算法，通过计算每个扇形的夹角得到每个扇形在饼图中所占比例。
15.根据权利要求12所述的装置，其特征在于，还包括：
结构化模块，用于将已经提取的待处理饼图的所有元素信息转化为结构化数据；以及
饼图重构模块，用于将所述结构化数据进行可视化显示，重构饼图。
16.一种包括计算机可读指令的计算机可读存储介质，其特征在于，所述计算机可读指令在被执行时使处理器执行权利要求1-11任一所述方法中的操作。
17.一种电子设备，其特征在于，所述的设备包括：
存储器，存储程序指令；
处理器，与所述存储器相连接，执行存储器中的程序指令，实现权利要求1-11任一所述方法中的步骤。
CN201810159637.3A 2018-02-26 2018-02-26 饼图中的信息提取方法及装置 Active CN108399386B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810159637.3A CN108399386B (zh) 2018-02-26 2018-02-26 饼图中的信息提取方法及装置
US15/955,621 US10769487B2 (en) 2018-02-26 2018-04-17 Method and device for extracting information from pie chart

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810159637.3A CN108399386B (zh) 2018-02-26 2018-02-26 饼图中的信息提取方法及装置

Publications (2)

Publication Number Publication Date
CN108399386A CN108399386A (zh) 2018-08-14
CN108399386B true CN108399386B (zh) 2022-02-08

Family

ID=63096781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159637.3A Active CN108399386B (zh) 2018-02-26 2018-02-26 饼图中的信息提取方法及装置

Country Status (2)

Country Link
US (1) US10769487B2 (zh)
CN (1) CN108399386B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726252B2 (en) * 2017-05-17 2020-07-28 Tab2Ex Llc Method of digitizing and extracting meaning from graphic objects
CN110968621A (zh) * 2018-09-29 2020-04-07 北京国双科技有限公司 图表生成方法及装置
CN109165697B (zh) * 2018-10-12 2021-11-30 福州大学 一种基于注意力机制卷积神经网络的自然场景文字检测方法
US11557107B2 (en) * 2019-01-02 2023-01-17 Bank Of America Corporation Intelligent recognition and extraction of numerical data from non-numerical graphical representations
CN109840278A (zh) * 2019-01-28 2019-06-04 平安科技（深圳）有限公司 柱状图数据转换控制方法、装置、计算机设备及存储介质
US11461638B2 (en) * 2019-03-07 2022-10-04 Adobe Inc. Figure captioning system and related methods
CN111914199B (zh) * 2019-05-10 2024-04-12 腾讯科技（深圳）有限公司 一种页面元素过滤方法、装置、设备及存储介质
CN110210467B (zh) * 2019-05-28 2021-07-30 广州华多网络科技有限公司 一种文本图像的公式定位方法、图像处理装置、存储介质
CN110378248B (zh) * 2019-06-25 2023-07-21 平安科技（深圳）有限公司 饼状图识别方法、装置、设备及计算机可读存储介质
US11182606B2 (en) * 2019-09-17 2021-11-23 International Business Machines Corporation Converting chart data
CN110909732B (zh) * 2019-10-14 2022-03-25 杭州电子科技大学上虞科学与工程研究院有限公司 一种图中数据的自动提取方法
CN111242932A (zh) * 2020-01-15 2020-06-05 中国银联股份有限公司 一种卡片样式的校验方法及装置
CN111310254B (zh) * 2020-03-10 2023-10-27 广联达科技股份有限公司 Cad图例的识别方法、装置、存储介质、电子设备
CN111738250B (zh) * 2020-08-26 2020-12-01 北京易真学思教育科技有限公司 文本检测方法、装置、电子设备及计算机存储介质
CN112416953A (zh) * 2020-10-22 2021-02-26 浩亚信息科技有限公司 基于数据库表格的复杂多边形要素更新方法、设备、介质
CN112101359B (zh) * 2020-11-11 2021-02-12 广州华多网络科技有限公司 文本公式的定位方法、模型训练方法及相关装置
CN112990092B (zh) * 2021-04-09 2022-03-11 福建晨曦信息科技集团股份有限公司 图例识别方法、计算机设备及可读存储介质
CN112884769B (zh) * 2021-04-12 2021-09-28 深圳中科飞测科技股份有限公司 图像处理方法、装置、光学系统和计算机可读存储介质
JP2023019209A (ja) * 2021-07-28 2023-02-09 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN113762145A (zh) * 2021-09-06 2021-12-07 华南理工大学 一种图表类型数据数字化方法
CN113918611B (zh) * 2021-10-28 2022-07-12 广东新禾道信息科技有限公司 自然资源的权属登记标记方法、系统及存储介质
CN114327215B (zh) * 2022-03-15 2022-07-29 之江实验室 一种智能识别图表刷选目标的方法、装置和介质
CN114935997B (zh) * 2022-04-24 2023-11-07 阿里巴巴（中国）有限公司 图表交互方法及电子设备
CN115146135B (zh) * 2022-07-13 2024-09-03 盐城天眼察微科技有限公司 数据显示方法及装置、计算机存储介质、电子设备
CN115392188A (zh) * 2022-08-23 2022-11-25 杭州未名信科科技有限公司 基于不可编辑的图文类图像生成可编辑文档的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126489A (zh) * 2016-06-23 2016-11-16 江苏中威科技软件系统有限公司 一种报告文件动态图表编辑方法及系统
CN106340048A (zh) * 2016-09-12 2017-01-18 福建中金在线信息科技有限公司 饼图渲染方法及装置
CN106575360A (zh) * 2014-08-21 2017-04-19 微软技术许可有限责任公司 图表数据的增强识别
CN107729801A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7788606B2 (en) * 2004-06-14 2010-08-31 Sas Institute Inc. Computer-implemented system and method for defining graphics primitives
US9201933B2 (en) * 2014-04-01 2015-12-01 BizDox, LLC Systems and methods for documenting, analyzing, and supporting information technology infrastructure
US10354159B2 (en) * 2016-09-06 2019-07-16 Carnegie Mellon University Methods and software for detecting objects in an image using a contextual multiscale fast region-based convolutional neural network
US10360703B2 (en) * 2017-01-13 2019-07-23 International Business Machines Corporation Automatic data extraction from a digital image
US10726252B2 (en) * 2017-05-17 2020-07-28 Tab2Ex Llc Method of digitizing and extracting meaning from graphic objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575360A (zh) * 2014-08-21 2017-04-19 微软技术许可有限责任公司 图表数据的增强识别
CN106126489A (zh) * 2016-06-23 2016-11-16 江苏中威科技软件系统有限公司 一种报告文件动态图表编辑方法及系统
CN106340048A (zh) * 2016-09-12 2017-01-18 福建中金在线信息科技有限公司 饼图渲染方法及装置
CN107729801A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 一种基于多任务深度卷积神经网络的车辆颜色识别系统

Also Published As

Publication number Publication date
US20190266434A1 (en) 2019-08-29
CN108399386A (zh) 2018-08-14
US10769487B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
CN108399386B (zh) 饼图中的信息提取方法及装置
CN108416377B (zh) 柱状图中的信息提取方法及装置
CN108416279B (zh) 文档图像中的表格解析方法及装置
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
CN112418216B (zh) 一种复杂自然场景图像中的文字检测方法
EP2899671A1 (en) Identification method and device for target object in image
CN109359214A (zh) 基于神经网络的视频描述生成方法、存储介质及终端设备
CN112016546A (zh) 一种文本区域的定位方法及装置
CN111626284A (zh) 一种手写字体去除的方法、装置、电子设备和存储介质
CN111738252B (zh) 图像中的文本行检测方法、装置及计算机系统
CN114782694A (zh) 无监督异常检测方法、系统、设备及存储介质
CN108520263B (zh) 一种全景图像的识别方法、系统及计算机存储介质
CN112734747A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN114092947B (zh) 一种文本检测方法、装置、电子设备及可读存储介质
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN115984662A (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN110490056A (zh) 对包含算式的图像进行处理的方法和装置
CN117058384B (zh) 一种三维点云语义分割的方法及系统
CN113435296A (zh) 基于rotated-yolov5的电梯异物检测方法、系统、存储介质、电梯
CN117831042A (zh) 遥感影像目标检测与分割方法、装置、设备和存储介质
US20220092448A1 (en) Method and system for providing annotation information for target data through hint-based machine learning model
CN115359484A (zh) 图像处理方法、装置、设备及存储介质
Sun et al. Contextual models for automatic building extraction in high resolution remote sensing image using object-based boosting method
CN113902924A (zh) 图像识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant