CN113283248A - 散点图描述的自然语言自动生成方法及装置 - Google Patents

散点图描述的自然语言自动生成方法及装置 Download PDF

Info

Publication number
CN113283248A
CN113283248A CN202110477050.9A CN202110477050A CN113283248A CN 113283248 A CN113283248 A CN 113283248A CN 202110477050 A CN202110477050 A CN 202110477050A CN 113283248 A CN113283248 A CN 113283248A
Authority
CN
China
Prior art keywords
scatter diagram
description
chart
data
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110477050.9A
Other languages
English (en)
Other versions
CN113283248B (zh
Inventor
史卓
冯业
陈梓涵
王萌
玉珂
申婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110477050.9A priority Critical patent/CN113283248B/zh
Publication of CN113283248A publication Critical patent/CN113283248A/zh
Application granted granted Critical
Publication of CN113283248B publication Critical patent/CN113283248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种散点图描述的自然语言自动生成方法及装置，所述方法包括如下步骤：步骤1，采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；步骤2，使用改进的Faster R‑CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；步骤3，基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；步骤4，使用预处理后的散点图数据集对改进的Chart‑to‑Text模型进行训练，并通过完成训练后的改进的Chart‑to‑Text模型生成散点图的文本描述。本发明能够快速准确的提取散点图中携带的可视编码信息，自动生成高质量的散点图描述文本。

Description

散点图描述的自然语言自动生成方法及装置
技术领域
本发明涉及计算机视觉和自然语言生成的交叉技术领域，具体是一种散点图描述的自然语言自动生成方法及装置。
背景技术
在现有技术中，提出了解释可视化图表的方法，通过从可视化的光栅图像中提取数据，并进行描述。例如，利用光学字符识别(OCR)检测标题、标签和坐标轴，从树枝状图和矩形式树状结构图中提取到树结构数据。从线型图、条形图、饼图的原始数据中提取他们的潜在意图，并使用模板生成描述。
具体地，可视化信息的提取：通过从光栅图像中提取数据，已经有许多研究者提出了解释可视化的方法。首先，一些处理多类型可视化的方法使用分类算法对可视化进行分类，然后利用光学字符识别检测标题、标签和坐标轴的文本信息，数据可以在OCR技术和图形检测技术的结合中检索，后来这些方法被扩展到解决更多种类的可视化并完成更多样化的任务。现有技术中建设了一个替代重新设计的可视化图片库，iVolVER支持对提取的数据进行转换以构建交互式动画可视化。此外，现有技术从树枝状图和矩形式树状结构图中提取到树结构数据。设计了一种数据嵌入方案，将大量信息编码到可视化图像的背景中，而不会干扰人类对可视化的感知。从图像中提取嵌入的信息后，可使各种可视化应用程序重新使用或利用可视化图像。此外还有方法来帮助视力障碍者观察可视化。
另一类方法旨在从可视化和相应的数据中提取深刻见解即Insights。Insights通常被定义为数据或可视化的强力表现形式，根据不同的输入有不同的提取偏好。例如，Chart-to-Text的输入主要来自相应的数据表。相比之下，现有技术中通过检测最显著的特征，提取了线图和条形图的潜在意图。AutoCaption首先将文本和视觉组件等底层数据解析到一个信息表，然后从表中提取一组预定义的特征作为见解。一些文献使用提取的见解通过注释Annotation、装饰Overlay、小组件Widgets等增强可视化。
这两类方法主要目的是从可视化结果中获取底层数据或从底层数据中生成见解。它们主要集中在简单标准图表上，如线图、条形图和饼图。
为实现可视化向文本转换的泛化性，需要进行可视化转换为数据的逆向工程方法研究。提出了一种逆向工程方法，从区域图、条形图、线条图和散点图中恢复视觉编码。当时没有提取可视编码信息(如色彩、形状、大小等等)，后来他们使用连续图标和离散图标补充了前期工作中缺少的色彩映射。这两种方法都依赖于OCR技术从文本中提取信息。ScatterAct从散点图中逆向提取数据，但不包含视觉通道信息。此外，还提出了一种深度学习方法来检测颜色映射，不再需要文本图例。这些方法大多是从光栅图像中提取可视编码，但随着D3的出现，基于Web的可视化现在越来越流行，利用D3的数据绑定特性，可以使可视编码的提取更加多样化和准确。现有技术中还介绍了一种工具，通过提取绑定的数据、标记和视觉映射来解构D3可视化，后来继续完善了该工具来识别文本信息，并使用它来生成可重用的样式模板。
从光栅图像中提取视觉映射的方法，更适合处理常见基本图表的，或者只能检测几种预定义的视觉映射类型。而解构D3可视化的方法可以应用于更多类型的视觉映射，但它们需要D3的数据绑定特性，以方便视觉元素检索数据。
可视化描述的自动生成：可视化描述主要由其提取的信息生成，现有技术中使用自然语言生成技术的标题生成系统来描述数据和标记之间的映射。类似地，iGraphLite生成了图表外观的基于模板的描述。将时空数据可视化中的原始数据属性进行文本化，2020年又从虚拟现实中的镜头视觉交互研究角度，研究了原始数据生成地理文本数据的上下文注解。此外，现有技术中还分别研究了条形图、饼图等可视化的标题和见解的自动文本生成，前者利用一维卷积残差网络识别可视化图表的显著特征，并生成见解填充到模板中，从而自动生成关于趋势、最大值、簇等方面的标题，后者用Mask R-CNN模型识别并提取目标可视化中的视觉元素及其视觉属性；此外，现有技术中还在其自动叙事式可视化系统中实现了上述简单可视化图表的摘要自动文本生成。
在现有技术中，还有几种方法通过回答关于可视化的问题来生成描述，例如，在一张图像中解释多个科学图表之间的关系。为了支持条形图问答，设计了一个端到端的神经网络和一个动态局部字典来训练条形图的图像与问题配对数据集。此外，还提出了一种关于条形图和折线图的自动管线来回答自然语言的问题，它扩展了Sempre，用Vega-Lite形式回答关于图表的问题，并给出可视解答。在自然语言处理研究者中，Chart-to-Text使用改进的Transformer方法研究了折线图等简单可视化的摘要自动生成，但缺少了可视表达区别于特征表达的可视编码信息。
综上所述，许多研究者提出了解释可视化图表的方法，通过从可视化的光栅图像中提取数据，并进行描述。比如利用光学字符识别(OCR)检测标题、标签和坐标轴，从树枝状图和矩形式树状结构图中提取到树结构数据。从线型图、条形图、饼图的原始数据中提取他们的潜在意图，并使用模板生成描述。但是都不能对散点图这一种常用可视化图表进行信息提取，并自动生成描述文本。
发明内容
本发明的目的在于提供一种散点图描述的自然语言自动生成方法及装置，旨在解决现有技术中的上述问题。
本发明实施例提供了一种散点图描述的自然语言自动生成方法，包括如下步骤：
步骤1，采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；
步骤2，使用改进的Faster R-CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；
步骤3，基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；
步骤4，使用预处理后的散点图数据集对改进的Chart-to-Text模型进行训练，并通过完成训练后的改进的Chart-to-Text模型生成散点图的文本描述。
本发明实施例还提供了一种散点图描述的自然语言自动生成装置，包括：
相似性度量模块，用于采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；
视觉类别判断模块，用于使用改进的Faster R-CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；
描述范例编写模块，用于基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；
处理模块，用于使用预处理后的散点图数据集对改进的Chart-to-Text模型进行训练，并通过完成训练后的改进的Chart-to-Text模型生成散点图的文本描述。
本发明实施例还提供了一种散点图描述的自然语言自动生成装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述散点图描述的自然语言自动生成方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述散点图描述的自然语言自动生成方法的步骤。
本发明与现有技术相比，有以下优势：
1、原有的chart-to-text模型只能自动生成线图、条形图、饼图的描述文本，本发明实施例能够快速准确的提取散点图中携带的可视编码信息，自动生成高质量的散点图描述文本。
2、原有的chart-to-text模型只能从可视化图表的原始数据和图表类型(折线图、条形图等类型)生成摘要描述，本发明实施例的技术方案在此之外，使用Faster R-CNN识别散点图携带的形状类别信息，使用Scagnostics算法通过数据分布、密度、几何形状等多种属性进行定量分析，生成了带有可视编码信息的散点图描述文本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的散点图描述的自然语言自动生成方法的流程图；
图2是本发明实施例的散点图描述的自然语言自动生成方法的详细处理的流程图；
图3是本发明实施例的改进的Chart-to-Text模型的结构示意图；
图4是本发明实施例的Faster RCNN的结构示意图；
图5是本发明装置实施例一的散点图描述的自然语言自动生成装置的示意图；
图6是本发明装置实施例二的散点图描述的自然语言自动生成装置的示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种散点图描述的自然语言自动生成方法，图1是本发明实施例的散点图描述的自然语言自动生成方法的流程图，如图1所示，根据本发明实施例的散点图描述的自然语言自动生成方法具体包括：
步骤1，采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；所述步骤1具体包括：
对构成散点图的有限点集进行Delaunay三角剖分，获得该点集的凸包、α包和最小生成树，并使用Scagnostics九类相似性度量分析所述散点图。
步骤2，使用改进的Faster R-CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；所述步骤2具体包括：
根据给定的ResNet特征提取网络，提取、生成输入散点图的特征图；
将生成的特征图输入到Faster R-CNN的RPN和RCNN，判断散点图属于预定义的几种视觉类别的哪一种，获取深刻见解，其中，RPN用于预测可能存在目标的感兴趣候选区域，且生成一定数量的候选框；RCNN用于进一步修正这些候选框，并完成目标的分类。
步骤3，基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；所述步骤3具体包括：
对于散点图数据集中每一个结合了Scagnostics相似性度量和深刻见解的图表信息，按照既定的格式编写描述范例，将描述范例转换为列标签、单元格值、数据列索引值、以及图类型四类特征，并将每个特征嵌入到一个向量中，将所有向量连接起来表示为一条记录ri，将列标签修改为Scagnostics的相关性度量类型、度量得分，以及通过Faster R-CNN检测的散点图的形状类别，根据公式1将图表信息中的原始数据预处理为一组记录集R：
Figure BDA0003047426560000081
其中，ri(0)指代表格文件中的列标签；ri(1)指代表格文件中的单元格值；ri(2)指代表格文件中的数据列索引值；ri(3)指代表格文件中的图类型，设值为“scatter plot”。
步骤4，使用预处理后的散点图数据集对改进的Chart-to-Text模型进行训练，并通过完成训练后的改进的Chart-to-Text模型生成散点图的文本描述。所述步骤4具体包括：
根据步骤3提供的描述范例，当判断所述描述范例中一个随机选取的标记引用了数据表、图表标题或列标签中的某些内容时，采用预先定义的数据变量来替换它们，使用修改后的描述范例当作模板来训练所述改进的Chart-to-Text模型，使所述改进的模型使用数据变量生成散点图摘要的自然语言描述；
所述改进的Chart-to-Text模型的编码器模块将R中每一条记录ri作为输入，并输出一组预测的词条序列到解码器模块，对于Y中的每一个词条yi使用二元预测层进行预测，在判断某个词条是一个数据变量时，替换为表格中对应的数据值；
通过FitBert库对Bert模型中调用MLM的部分模块进行解耦和微调，将Bert模型中MLM的相关模块中随机选取词条的机制修改为固定选取；将修改后的Bert模型中MLM的相关模块迁移到所述改进的Chart-to-Text模型中，在生成散点图的文本描述时，通过MLM的相关模块在Chart-to-Text生成的候选词条序列中选取最合适的词条。
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
图2是本发明实施例的散点图描述的自然语言自动生成的详细流程图，如图2所示，具体包括如下处理：
步骤1，对构成散点图的有限点集进行Delaunay三角剖分，获得该点集的凸包(Convex Hull)、α包(Alpha Hull)和最小生成树(MST)，然后使用Scagnostics九类相似性度量分析提供的散点图。其中α包的α值取决于MST设定的ω值，其计算公式如下：
ω＝q75+1.5(q75-q25)
其中，q75是MST的所有边长中的第75个百分位数，同理可知q25。ω值为MST中用于判断被定义为outlying(偏远)属性的边的截断值，这些偏远边的集合被称为outliers。偏远边、偏远点是Scagnostics计算其他度量值时需要删除的，由此可得第一个度量为outlying，其计算公式如下：
coutlying＝length(Toutliers)/length(T)
该度量计算的是MST中偏远边的总长度和MST中全部的边的总长度的比值。算法的第二个度量为convex，其计算公式如下：
cconvex＝area(A)/area(H)
该度量与形状相关，计算的是α包的面积和凸包的面积的比值。第三个度量为skinny，其计算公式如下：
Figure BDA0003047426560000101
该度量反映了形状的“细长”程度，其中perimeter(A)为α包的周长。度量值进行了修正和归一化处理，对于一个圆该值为0，对于一个正方形该值为0.12，对于一个细长的多边形该值趋于1。第四个度量为stringy，其计算公式如下：
cstringy＝diameter(T)/length(T)
该度量计算的是MST的直径和MST全部的边的总长度的比值。MST的直径指的是MST中连接任意两点的所有最短路径中的最长路径的长度。如果MST的形状是细长且没有分支的，则该值趋于1。第五个度量为straight，其计算公式如下：
cstraight＝dist(ti,tj)/diameter(T)
该度量计算的是MST直径末端两点的Euclidean距离和MST直径的比值，如果MST的形状是“直”的，则该值趋于1。第六个度量为monotonic，其计算公式如下：
Figure BDA0003047426560000102
该度量使用了spearman相关系数的平方值来描述散点图的单调性。第七个度量为skewed，其计算公式如下：
cskew＝(q90-q50)/(q90-q10)
该度量用于表示散点分布的倾斜程度。类似于ω值的计算，q90是MST的所有边长中的第90个百分位数，同理可知q50、q10。第八个度量为clumpy，其计算公式如下：
Figure BDA0003047426560000103
该度量用于分析散点图中是否存在块状分布而形成的簇(子树)。若存在，则两个簇构成了聚类分析使用的单连通(single-linkage)的树状图，这些树状图节点在MST的边ei上，随分支数较少的簇的边ej一同参与度量的计算。
Figure BDA0003047426560000111
第九个度量为striated，其计算公式如上所示。其中V(2)指的是MST中度为2的所有点构成的点集，需要统计该点集中每个点的两条邻近边的夹角的余弦值。该度量用于判断MST中是否存在“条纹状”、子树分支较少且近似于共线(直线或曲线)分布的情况。
步骤2，根据给定的ResNet特征提取网络，提取、生成输入散点图的特征图。生成的特征图会被输入Faster R-CNN的RPN和RCNN，入Faster R-CNN的结构示意图如图4所示，其中RPN用于预测可能存在目标的感兴趣候选区域，且生成一定数量的候选框；RCNN用于进一步修正这些候选框，并完成目标的分类。通过上述步骤，判断了散点图属于预定义的几种视觉类别的哪一种，获取了深刻见解(insight)。
步骤3，对于散点图数据集中每一个结合了Scagnostics相似性度量和深刻见解(insight)的图表信息，按照既定的格式编写描述范例。将描述范例转换为为列标签、单元格值、数据列索引值、图类型等四类特征，并将每个特征嵌入到一个向量中，将所有向量连接起来表示为一条记录ri，根据公式1将图表信息中的原始数据预处理为一组记录集R：其中，上述图表信息为可视编码信息和Scagnostics算法生成的散点图描述信息的综合体。
Figure BDA0003047426560000112
其中，ri(0)指代表格文件中的列标签；ri(1)指代表格文件中的单元格值；ri(2)指代表格文件中的数据列索引值；ri(3)指代表格文件中的图类型，设值为“scatter plot”；为了引入Chart-to-Text模型中缺少的可视编码信息和重要见解(insight)，本发明实施例还将列标签修改为Scagnostics的相关性度量类型、度量得分，以及通过Faster RCNN检测的散点图的形状类别。
步骤4，根据步骤3提供的描述范例，当判断所述描述范例中一个随机选取的标记引用了数据表、图表标题或列标签中的某些内容时，采用预先定义的数据变量来替换它们，使用修改后的描述范例当作模板来训练所述改进的Chart-to-Text模型，改进的Chart-to-Text模型如图3所示，使所述改进的模型使用数据变量生成散点图摘要的自然语言描述。该模型的编码器模块将R中每一条记录ri作为输入，并输出一组预测的词条序列yi∈Y到解码器模块，对于Y中的每一个词条yi使用二元预测层进行预测，在判断某个词条是一个数据变量时，替换为表格中对应的数据值。
并且，通过FitBert库对Bert模型中调用MLM的部分模块进行解耦和微调，将Bert模型中MLM的相关模块中随机选取词条的机制修改为固定选取；将修改后的Bert模型中MLM的相关模块迁移到所述改进的Chart-to-Text模型中，在生成散点图的文本描述时，该部分模块会在Chart-to-Text生成的候选词条序列中选取最合适的词条。
综上所述，本发明实施例的技术方案具有以下有益效果：
1、原有的chart-to-text模型只能自动生成线图、条形图、饼图的描述文本，本发明实施例可以实现散点图的描述自动生成。
2、原有的chart-to-text模型只能从可视化图表的原始数据和图表类型(折线图、条形图等类型)生成摘要描述，本发明实施例的技术方案在此之外，使用Faster R-CNN识别散点图携带的形状类别信息，使用Scagnostics算法通过数据分布、密度、几何形状等多种属性进行定量分析，生成了带有可视编码信息的散点图描述文本。
装置实施例一
根据本发明实施例，提供了一种散点图描述的自然语言自动生成装置，图5是本发明装置实施例一的散点图描述的自然语言自动生成装置的示意图，如图5所示，根据本发明实施例的散点图描述的自然语言自动生成装置具体包括：
相似性度量模块50，用于采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；所述相似性度量模块50具体用于：
对构成散点图的有限点集进行Delaunay三角剖分，获得该点集的凸包、α包和最小生成树，并使用Scagnostics九类相似性度量分析所述散点图；
视觉类别判断模块52，用于使用改进的Faster R-CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；所述视觉类别判断模块52具体用于：
根据给定的ResNet特征提取网络，提取、生成输入散点图的特征图；
将生成的特征图输入到Faster R-CNN的RPN和RCNN，判断散点图属于预定义的几种视觉类别的哪一种，获取深刻见解，其中，RPN用于预测可能存在目标的感兴趣候选区域，且生成一定数量的候选框；RCNN用于进一步修正这些候选框，并完成目标的分类。
描述范例编写模块54，用于基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；所述描述范例编写模块54具体用于：
对于散点图数据集中每一个结合了Scagnostics相似性度量和深刻见解的图表信息，按照既定的格式编写描述范例，将描述范例转换为列标签、单元格值、数据列索引值、以及图类型四类特征，并将每个特征嵌入到一个向量中，将所有向量连接起来表示为一条记录ri，将列标签修改为Scagnostics的相关性度量类型、度量得分，以及通过Faster R-CNN检测的散点图的形状类别，根据公式1将图表信息中的原始数据预处理为一组记录集R：
Figure BDA0003047426560000141
其中，ri(0)指代表格文件中的列标签；ri(1)指代表格文件中的单元格值；ri(2)指代表格文件中的数据列索引值；ri(3)指代表格文件中的图类型，设值为“scatter plot”；
处理模块56，用于使用预处理后的散点图数据集对改进的Chart-to-Text模型进行训练，并通过完成训练后的改进的Chart-to-Text模型生成散点图的文本描述。所述处理模块56具体用于：
根据所述描述范例编写模块提供的描述范例，当判断所述描述范例中一个随机选取的标记引用了数据表、图表标题或列标签中的某些内容时，采用预先定义的数据变量来替换它们，使用修改后的描述范例当作模板来训练所述改进的Chart-to-Text模型，使所述改进的模型使用数据变量生成散点图摘要的自然语言描述；
所述改进的Chart-to-Text模型的编码器模块将R中每一条记录ri作为输入，并输出一组预测的词条序列到解码器模块，对于Y中的每一个词条yi使用二元预测层进行预测，在判断某个词条是一个数据变量时，替换为表格中对应的数据值；
通过FitBert库对Bert模型中调用MLM的部分模块进行解耦和微调，将Bert模型中MLM的相关模块中随机选取词条的机制修改为固定选取；将修改后的Bert模型中MLM的相关模块迁移到所述改进的Chart-to-Text模型中，在生成散点图的文本描述时，通过MLM的相关模块在Chart-to-Text生成的候选词条序列中选取最合适的词条。
本发明实施例是与上述方法实施例对应的装置实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
装置实施例二
本发明实施例提供一种散点图描述的自然语言自动生成装置，如图6所示，包括：存储器60、处理器62及存储在所述存储器60上并可在所述处理62上运行的计算机程序，所述计算机程序被所述处理器62执行时实现如方法实施例中所述的步骤。
装置实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器62执行时实现如方法实施例中所述的步骤。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于散点图描述的自然语言自动生成方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的散点图描述的自然语言自动生成方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (10)

1.一种散点图描述的自然语言自动生成方法，其特征在于，包括如下步骤：
步骤1，采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；
步骤2，使用改进的Faster R-CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；
步骤3，基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；
步骤4，使用预处理后的散点图数据集对改进的Chart-to-Text模型进行训练，并通过完成训练后的改进的Chart-to-Text模型生成散点图的文本描述。
2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：
对构成散点图的有限点集进行Delaunay三角剖分，获得该点集的凸包、α包和最小生成树，并使用Scagnostics九类相似性度量分析所述散点图。
3.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括：
根据给定的ResNet特征提取网络，提取、生成输入散点图的特征图；
将生成的特征图输入到Faster R-CNN的RPN和RCNN，判断散点图属于预定义的几种视觉类别的哪一种，获取深刻见解，其中，RPN用于预测可能存在目标的感兴趣候选区域，且生成一定数量的候选框；RCNN用于进一步修正这些候选框，并完成目标的分类。
4.根据权利要求1所述的方法，其特征在于，所述步骤3具体包括：
对于散点图数据集中每一个结合了Scagnostics相似性度量和深刻见解的图表信息，按照既定的格式编写描述范例，将描述范例转换为列标签、单元格值、数据列索引值、以及图类型四类特征，并将每个特征嵌入到一个向量中，将所有向量连接起来表示为一条记录ri，将列标签修改为Scagnostics的相关性度量类型、度量得分，以及通过Faster R-CNN检测的散点图的形状类别，根据公式1将图表信息中的原始数据预处理为一组记录集R：
Figure FDA0003047426550000021
其中，ri(0)指代表格文件中的列标签；ri(1)指代表格文件中的单元格值；ri(2)指代表格文件中的数据列索引值；ri(3)指代表格文件中的图类型，设值为“scatter plot”。
5.根据权利要求1所述的方法，其特征在于，所述步骤4具体包括：
根据步骤3提供的描述范例，当判断所述描述范例中一个随机选取的标记引用了数据表、图表标题或列标签中的某些内容时，采用预先定义的数据变量来替换它们，使用修改后的描述范例当作模板来训练所述改进的Chart-to-Text模型，使所述改进的模型使用数据变量生成散点图摘要的自然语言描述；
所述改进的Chart-to-Text模型的编码器模块将R中每一条记录ri作为输入，并输出一组预测的词条序列到解码器模块，对于Y中的每一个词条yi使用二元预测层进行预测，在判断某个词条是一个数据变量时，替换为表格中对应的数据值；
通过FitBert库对Bert模型中调用MLM的部分模块进行解耦和微调，将Bert模型中MLM的相关模块中随机选取词条的机制修改为固定选取；将修改后的Bert模型中MLM的相关模块迁移到所述改进的Chart-to-Text模型中，在生成散点图的文本描述时，通过MLM的相关模块在Chart-to-Text生成的候选词条序列中选取最合适的词条。
6.一种散点图描述的自然语言自动生成装置，其特征在于，具体包括：
相似性度量模块，用于采集散点图，使用Scagnostics算法对采集的所述散点图进行相似性度量；
视觉类别判断模块，用于使用改进的Faster R-CNN方法，判断进行相似性度量后的散点图的视觉类别即深刻见解；
描述范例编写模块，用于基于所述散点图的视觉类别，编写散点图摘要的描述范例，形成散点图数据集，并对所述散点图数据集进行预处理；
处理模块，用于使用预处理后的散点图数据集对改进的Chart-to-Text模型进行训练，并通过完成训练后的改进的Chart-to-Text模型生成散点图的文本描述。
7.根据权利要求6所述的装置，其特征在于，所述相似性度量模块具体用于：
对构成散点图的有限点集进行Delaunay三角剖分，获得该点集的凸包、α包和最小生成树，并使用Scagnostics九类相似性度量分析所述散点图；
所述视觉类别判断模块具体用于：
根据给定的ResNet特征提取网络，提取、生成输入散点图的特征图；
将生成的特征图输入到Faster R-CNN的RPN和RCNN，判断散点图属于预定义的几种视觉类别的哪一种，获取深刻见解，其中，RPN用于预测可能存在目标的感兴趣候选区域，且生成一定数量的候选框；RCNN用于进一步修正这些候选框，并完成目标的分类。
8.根据权利要求6所述的装置，其特征在于，所述描述范例编写模块具体用于：
对于散点图数据集中每一个结合了Scagnostics相似性度量和深刻见解的图表信息，按照既定的格式编写描述范例，将描述范例转换为列标签、单元格值、数据列索引值、以及图类型四类特征，并将每个特征嵌入到一个向量中，将所有向量连接起来表示为一条记录ri，将列标签修改为Scagnostics的相关性度量类型、度量得分，以及通过Faster R-CNN检测的散点图的形状类别，根据公式1将图表信息中的原始数据预处理为一组记录集R：
Figure FDA0003047426550000041
其中，ri(0)指代表格文件中的列标签；ri(1)指代表格文件中的单元格值；ri(2)指代表格文件中的数据列索引值；ri(3)指代表格文件中的图类型，设值为“scatter plot”；
所述处理模块具体用于：
根据所述描述范例编写模块提供的描述范例，当判断所述描述范例中一个随机选取的标记引用了数据表、图表标题或列标签中的某些内容时，采用预先定义的数据变量来替换它们，使用修改后的描述范例当作模板来训练所述改进的Chart-to-Text模型，使所述改进的模型使用数据变量生成散点图摘要的自然语言描述；
所述改进的Chart-to-Text模型的编码器模块将R中每一条记录ri作为输入，并输出一组预测的词条序列到解码器模块，对于Y中的每一个词条yi使用二元预测层进行预测，在判断某个词条是一个数据变量时，替换为表格中对应的数据值；
通过FitBert库对Bert模型中调用MLM的部分模块进行解耦和微调，将Bert模型中MLM的相关模块中随机选取词条的机制修改为固定选取；将修改后的Bert模型中MLM的相关模块迁移到所述改进的Chart-to-Text模型中，在生成散点图的文本描述时，通过MLM的相关模块在Chart-to-Text生成的候选词条序列中选取最合适的词条。
9.一种散点图描述的自然语言自动生成装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的散点图描述的自然语言自动生成方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至5中任一项所述的散点图描述的自然语言自动生成方法的步骤。
CN202110477050.9A 2021-04-29 2021-04-29 散点图描述的自然语言自动生成方法及装置 Active CN113283248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110477050.9A CN113283248B (zh) 2021-04-29 2021-04-29 散点图描述的自然语言自动生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110477050.9A CN113283248B (zh) 2021-04-29 2021-04-29 散点图描述的自然语言自动生成方法及装置

Publications (2)

Publication Number Publication Date
CN113283248A true CN113283248A (zh) 2021-08-20
CN113283248B CN113283248B (zh) 2022-06-21

Family

ID=77277760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110477050.9A Active CN113283248B (zh) 2021-04-29 2021-04-29 散点图描述的自然语言自动生成方法及装置

Country Status (1)

Country Link
CN (1) CN113283248B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516530A (zh) * 2019-07-09 2019-11-29 杭州电子科技大学 一种基于非对齐多视图特征增强的图像描述方法
CN110659398A (zh) * 2019-07-11 2020-01-07 电子科技大学 一种基于数学图表类数据集的视觉问答方法
CN110909736A (zh) * 2019-11-12 2020-03-24 北京工业大学 一种基于长短期记忆模型与目标检测算法的图像描述方法
CN111444968A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种基于注意力融合的图像描述生成方法
CN111598041A (zh) * 2020-05-25 2020-08-28 青岛联合创智科技有限公司 一种用于物品查找的图像生成文本方法
CN111612103A (zh) * 2020-06-23 2020-09-01 中国人民解放军国防科技大学 结合抽象语义表示的图像描述生成方法、系统及介质
CN111626023A (zh) * 2020-04-24 2020-09-04 北京大学 可视化图表高亮与注释的自动生成方法、装置及系统
CN111737511A (zh) * 2020-06-17 2020-10-02 南强智视(厦门)科技有限公司 基于自适应局部概念嵌入的图像描述方法
CN112287247A (zh) * 2019-07-12 2021-01-29 南京邮电大学 基于Meanshift和K-means聚类的社交网络用户位置特征提取方法和装置
US20210350090A1 (en) * 2018-09-06 2021-11-11 Microsoft Technology Licensing, Llc Text to visualization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210350090A1 (en) * 2018-09-06 2021-11-11 Microsoft Technology Licensing, Llc Text to visualization
CN110516530A (zh) * 2019-07-09 2019-11-29 杭州电子科技大学 一种基于非对齐多视图特征增强的图像描述方法
CN110659398A (zh) * 2019-07-11 2020-01-07 电子科技大学 一种基于数学图表类数据集的视觉问答方法
CN112287247A (zh) * 2019-07-12 2021-01-29 南京邮电大学 基于Meanshift和K-means聚类的社交网络用户位置特征提取方法和装置
CN110909736A (zh) * 2019-11-12 2020-03-24 北京工业大学 一种基于长短期记忆模型与目标检测算法的图像描述方法
CN111444968A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种基于注意力融合的图像描述生成方法
CN111626023A (zh) * 2020-04-24 2020-09-04 北京大学 可视化图表高亮与注释的自动生成方法、装置及系统
CN111598041A (zh) * 2020-05-25 2020-08-28 青岛联合创智科技有限公司 一种用于物品查找的图像生成文本方法
CN111737511A (zh) * 2020-06-17 2020-10-02 南强智视(厦门)科技有限公司 基于自适应局部概念嵌入的图像描述方法
CN111612103A (zh) * 2020-06-23 2020-09-01 中国人民解放军国防科技大学 结合抽象语义表示的图像描述生成方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAN LIU: "An Approach to Generate Natural Language Description from Visualization Automatically", 《PROCEEDINGS OF IEEE PACIFIC VISUALIZATION SYMPOSIUM》 *
JASON OBEID等: "Chart-to-Text: Generating Natural Language Descriptions for Charts by Adapting the Transformer Model", 《COMPUTATION AND LANGUAGE》 *

Also Published As

Publication number Publication date
CN113283248B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
WO2022116537A1 (zh) 一种资讯推荐方法、装置、电子设备和存储介质
JP7206309B2 (ja) 画像質問応答方法、装置、コンピュータ装置、媒体及びプログラム
Chen et al. Towards automated infographic design: Deep learning-based auto-extraction of extensible timeline
US20210390700A1 (en) Referring image segmentation
CN110795543B (zh) 基于深度学习的非结构化数据抽取方法、装置及存储介质
WO2020192463A1 (zh) 一种展示方法及装置
O’Halloran et al. Challenges in designing digital interfaces for the study of multimodal phenomena
CN106250804A (zh) 减少的文档笔划存储
Ye et al. Generative ai for visualization: State of the art and future directions
Manandhar et al. Learning structural similarity of user interface layouts using graph networks
CN116778140A (zh) 基于双重知识蒸馏的视觉定位方法、装置、设备和存储器
CN113505786A (zh) 试题拍照评判方法、装置及电子设备
CN115146100A (zh) 一种基于反事实推理的跨模态检索模型、方法及计算机设备
CN115757731A (zh) 对话问句改写方法、装置、计算机设备及存储介质
Singh et al. Towards accessible chart visualizations for the non-visuals: Research, applications and gaps
Cuevas et al. Tool for semiautomatic labeling of moving objects in video sequences: TSLAB
Burch et al. Dashboard Design
Ullah et al. A review of multi-modal learning from the text-guided visual processing viewpoint
CN117152770A (zh) 一种面向手写输入的书写能力智能评测方法及系统
CN113283248B (zh) 散点图描述的自然语言自动生成方法及装置
Ishihara et al. Analyzing visual layout for a non-visual presentation-document interface
Qu et al. Underwater small target detection under YOLOv8-LA model
CN115082916A (zh) 一种场景文本感知的指代表达理解方法、装置及存储介质
Newnham Machine Learning with Core ML: An iOS developer's guide to implementing machine learning in mobile apps
CN114912452A (zh) 一种实体识别、信息抽取的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant