CN113901763A - 一种表格描述文本生成方法、装置、设备及存储介质 - Google Patents

一种表格描述文本生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113901763A
CN113901763A CN202111164342.3A CN202111164342A CN113901763A CN 113901763 A CN113901763 A CN 113901763A CN 202111164342 A CN202111164342 A CN 202111164342A CN 113901763 A CN113901763 A CN 113901763A
Authority
CN
China
Prior art keywords
primitive
primitive language
trained
type
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111164342.3A
Other languages
English (en)
Inventor
路新江
李岩岩
周景博
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111164342.3A priority Critical patent/CN113901763A/zh
Publication of CN113901763A publication Critical patent/CN113901763A/zh
Priority to US17/714,891 priority patent/US20220237388A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/177Editing, e.g. inserting or deleting of tables; using ruled lines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Abstract

本公开提供了一种表格描述文本生成方法、装置、设备及存储介质,数据处理技术领域,尤其涉及人工智能技术领域。具体实现方案为:获取待描述表格,并对所述待描述表格进行分析,得到所述待描述表格的元语集合,最后根据所述元语集合中的元语生成所述待描述表格的描述文本。从而实现表格描述文本的自动生成,降低人工成本。

Description

一种表格描述文本生成方法、装置、设备及存储介质
技术领域
本公开涉及数据处理技术领域,尤其涉及人工智能技术领域。
背景技术
目前,在日常工作中往往会使用数值型表格,例如报表,年度/季度统计数据等。而为了对表格中的数据进行理解,一般都需要制作表格数据所对应的表格描述文本,通过表格描述文本对表格中的数据进行解读。
然而,在制作表格数据对应的表格描述文本时,现有技术中往往是通过专业的数据分析人员,对表格数据进行分析,然后撰写对应的表格描述文本,人工成本往往较高。
发明内容
本公开提供了一种表格描述文本生成方法、装置、设备及存储介质。
根据本公开的一方面,提供了一种表格描述文本生成方法,包括:
获取待描述表格;
对所述待描述表格进行分析,得到所述待描述表格的元语集合,其中,所述元语集合中包括至少一个元语,所述元语为根据所述待描述表格中的单元格确定的词句;
根据所述元语集合中的元语生成所述待描述表格的描述文本。
根据本公开的另一方面,提供了一种表格描述文本生成装置,包括:
表格获取模块,用于获取待描述表格;
表格分析模块,用于对所述待描述表格进行分析,得到所述待描述表格的元语集合,其中,所述元语集合中包括至少一个元语,所述元语为根据所述待描述表格中的单元格确定的词句;
文本生成模块,用于根据所述元语集合中的元语生成所述待描述表格的描述文本。
根据本公开的另一方面,还提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一表格描述文本生成方法。
根据本公开的另一方面,还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述任一表格描述文本生成方法。
根据本公开的另一方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述任一表格描述文本生成方法。
可见,通过本公开的表格描述文本生成方法,可以获取待描述表格,并对所述待描述表格进行分析,得到所述待描述表格的元语集合,最后根据所述元语集合中的元语生成所述待描述表格的描述文本。从而实现表格描述文本的自动生成,降低人工成本。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是可以实现本公开实施例的预先训练的抽取器流程示意图;
图3是根据本公开第二实施例的示意图;
图4是根据本公开第三实施例的示意图;
图5是根据本公开第四实施例的示意图;
图6是根据本公开第五实施例的示意图;
图7是根据本公开第六实施例的示意图;
图8是根据本公开第七实施例的示意图;
图9是根据本公开第八实施例的示意图;
图10是根据本公开第十实施例的示意图;
图11是根据本公开第十一实施例的示意图;
图12是根据本公开第十二实施例的示意图;
图13是根据本公开第十三实施例的示意图;
图14是根据本公开第十四实施例的示意图;
图15是根据本公开第十五实施例的示意图;
图16是用来实现本公开实施例的表格描述文本生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开的一方面,提供了一种表格描述文本生成方法,参见图1,包括:
步骤S11,获取待描述表格。
本公开中的待描述表格可以是任意类型的表格。一个例子中,表格的类型可以根据表格的应用场景进行划分,如城市统计类数据表格、企业财报类数据表格、工程勘察类数据表格等。一个例子中,表格中可以包括表题、表头、表身和表注等。
本公开的表格描述文本的生成方法应用于智能终端,可以通过该智能终端来实施,具体的,该智能终端可以是电脑、智能手机、服务器等。
步骤S12,对待描述表格进行分析,得到待描述表格的元语集合。
一个例子中,本公开中对待描述表格进行分析,可以通过预先训练的抽取器为预先通过多个样本表格及人工撰写的各样本表格各自的描述文本训练得到的抽取器,然后通过训练得到的抽取器对待描述表格进行分析。参见图2,算子集合可以通过监督学习的方式,利用多个人工撰写的表格描述文本进行算子集合的训练,得到预先训练的抽取器,然后通过预先训练的抽取器对待描述表格进行分析,得到待描述表格的元语集合。具体的,抽取器的训练过程可以包括:将多个样本表格和各个样本表格对应的表格描述文本输入到待训练的抽取器中;通过待训练的抽取器对各个样本表格进行分析,得到各个样本表格在生成表格描述文本时会使用到的预测元语集合;对各个样本表格对应的表格描述文本进行分析,得到各个表格描述文本对应的元语集合;将各个样本表格对应的预测元语集合和各个样本表格对应的元语集合进行对比,计算得到待训练的抽取器当前的损失;根据当前损失对待训练的抽取器进行参数的调整,并返回“通过待训练的抽取器对各个样本表格进行分析,得到各个样本表格在生成表格描述文本时会使用到的预测元语集合”的步骤,继续执行,直至当前损失小于预设阈值,得到预先训练的抽取器。
一个例子中,本公开中的抽取器为预先通过多个样本表格及人工撰写的各样本表格各自的样本元语集合训练得到。可选的,预先训练的抽取器的训练过程可以包括:获取样本表格及样本表格的样本元语集合;利用样本表格及样本表格的样本元语集合对抽取器进行训练,得到预先训练的抽取器。具体的,利用样本表格及样本表格的样本元语集合对抽取器进行训练,得到预先训练的抽取器,可以包括:将多个样本表格和各个样本表格对应的样本元语集合输入到待训练的抽取器中;通过待训练的抽取器对各个样本表格进行分析,得到各个样本表格在生成表格描述文本时会使用到的预测元语集合;将各个样本表格对应的预测元语集合和各个样本表格对应的样本元语集合进行对比,计算得到待训练的抽取器当前的损失;根据当前损失对待训练的抽取器进行参数的调整,并返回“通过待训练的抽取器对各个样本表格进行分析,得到各个样本表格在生成表格描述文本时会使用到的预测元语集合”的步骤,继续执行,直至当前损失小于预设阈值,得到预先训练的抽取器。
本公开中的元语集合包括至少一个元语,该元语为为根据待描述表格中的单元格确定的词句。通过预先训练的抽取器对待描述表格进行分析,可以提取到表格中包含的数据对应的元语,如,表格为:
城市 时间 服务人员的数量
a 2020年10月 2122
a 2021年10月 1600
c 2020年10月 1000
通过预先训练的抽取器对待描述表格进行分析,可以提取到表格中包含的数据对应的元语为:a城市2021年10月服务人员的数量为2122人;a城市2020年10月服务人员的数量为1600人;c城市2020年10月服务人员的数量为1000人。
步骤S13,根据元语集合中的元语生成待描述表格的描述文本。
一个例子中,可以按照语义,对元语集合中的各元语进行进行排列、组合和筛选等操作生成待描述表格的描述文本。一个例子中,可以将元语集合输入到预先训练的文本生成模型中,从而得到待描述表格的描述文本。
例如,通过抽取器对待描述表格进行分析,得到待描述表格的元语集合为:a城市2021年10月服务人员的数量为2122人;a城市2020年10月服务人员的数量为1600人;c城市2020年10月服务人员的数量为1000人。通过对提取到的元语集合进行排列和组合,可以生成待描述表格的描述文本:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人,c城市2020年10月服务人员的数量为1000人。还可以对元语集合进行筛选,去除元语集合中的部分元语,然后进行排列和组合,例如,当当前的表格描述文本为针对a城市的描述文本时,可以去除c城市对应的元语,生成待描述表格的描述文本为:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人。在实际使用过程中,为了使生成的待描述表格的描述文本更适应人们的阅读习惯,还可以进行语序的修改和用词的替换,使生成的待描述表格的描述文本更贴近自然语言。例如,通过语序的修改和替换后,生成待描述表格的描述文本为:a城市今年十月份服务人员的数量为2122人,a城市去年十月份服务人员的数量为1600人。
可见,通过本公开的表格描述文本生成方法,可以获取待描述表格,并利用预先训练的抽取器对所述待描述表格进行分析,得到所述待描述表格的元语集合,最后根据所述元语集合中的元语生成所述待描述表格的描述文本。从而实现表格描述文本的自动生成,不但可以降低人工成本,还可以减少生成表格描述文本的耗时,提高生成表格描述文本的效率。
可选的,参见图3,元语集合中包括第一类元语及第二类元语,第一类元语为表示待描述表格中单元格的语义的词句,第二类元语为表示至少两个第一类元语之间的关联关系的词句;步骤S13根据元语集合中的元语生成待描述表格的描述文本,包括:根据第一类元语及第二类元语生成待描述表格的描述文本。上述方法包括:
步骤S31,获取待描述表格。
步骤S32,利用预先训练的抽取器对待描述表格进行分析,得到待描述表格的元语集合。
步骤S33,根据第一类元语及第二类元语生成待描述表格的描述文本。
其中,第一类元语表示待描述表格中单元格的语义,实际使用过程中,第一类元语是通过对待描述表格进行分析,根据表格中的数据直接提取到元语。例如,表格包含,城市:a;时间:2021年10月;服务人员的数量:2122人、城市:a;2020年10月;服务人员的数量1600人,可以直接提取到第一类元语:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人。
第二类元语表示至少两个第一类元语之间的关联关系,实际使用过程中,第二类元语是通过对待描述表格中的数据计算得到的数据提取到的元语。例如,通过计算得到a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%,则通过提取器提取到的第二类元语为:a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%。
根据第一类元语及第二类元语生成待描述表格的描述文本,可以对第一类元语及第二类元语进行排序、筛选和组合等操作,得到待描述表格的描述文本。例如,针对第一类元语:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人,以及第二类元语:a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%,生成待描述表格的描述文本为:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人,a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%。
可见,通过本公开实施例的方法,可以针对待描述表格进行分析,得到表示待描述表格中单元格的语的第一类元语义和表示至少两个第一类元语之间的关联关系的第二类元语。不但可以提取到待描述表格中包含的数据的元语,还可以针对待描述表格中的数据进行关联关系的计算,实现待描述表格中的数据的关联关系的解读。
可选的,参见图4,步骤S31根据第一类元语及第二类元语生成待描述表格的描述文本,包括:利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据;将内容组织计划数据输入到预先训练的文本生成模型中,得到待描述表格的描述文本。上述方法包括:
步骤S41,获取待描述表格。
步骤S42,利用预先训练的抽取器对待描述表格进行分析,得到待描述表格的元语集合。
步骤S43,利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据;
步骤S44,将内容组织计划数据输入到预先训练的文本生成模型中,得到待描述表格的描述文本。
一个例子中,预先训练的内容组织模型可以是预先通过多个样本表格的元语集合及人工撰写的各样本表格的内容组织计划数据训练得到的。利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序。例如,提取器提取到的元语集合为:a城市2021年10月服务人员的数量为2122人;a城市2020年10月服务人员的数量为1600人;c城市2020年10月服务人员的数量为1000人,a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%,内容组织模块可以去除c城市对应的元语,得到的内容组织计划为:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人,a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%。
将内容组织计划数据输入到预先训练的文本生成模型中,得到待描述表格的描述文本。本公开中的预先训练的文本生成模型可以是第三方提供的文本生成模型,也可以是通过多个样本表格的内容组织计划数据及人工撰写的各样本表格的描述文本训练得到的。通过该文本生成模型可以进行语序的修改和用词的替换,使生成的待描述表格的描述文本更贴近自然语言。例如,内容组织计划为:a城市2021年10月服务人员的数量为2122人;a城市2020年10月服务人员的数量为1600人,a城市2021年10月相比于2020年10月,服务人员的数量增长了32.625%。通过将内容组织计划数据输入到预先训练的文本生成模型中,进行语序的修改和用词的替换,得到待描述表格的描述文本为:a城市2020年10月服务人员的数量为1600人,今年10月相比于去年同期,服务人员的数量增长了32.625%,今年10月服务人员的数量为2122人。
可见,通过本公开实施例的方法,可以利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据;将内容组织计划数据输入到预先训练的文本生成模型中,得到待描述表格的描述文本。不但可以实现通过预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序,还可以通过预先训练的文本生成模型进行语序的修改和用词的替换,使生成的待描述表格的描述文本符合用户需求,还可以是生成的表格描述文本更贴近自然语言,便于阅读。
可选的,参见图5,步骤S43利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据,包括:
步骤S51,获取待描述表格的数据图;
步骤S52,利用预先训练的内容组织模型,基于数据图,对元语集合中的第一类元语及第二类元语进行筛选,得到筛选后的元语集合;
步骤S53,利用预先训练的内容组织模型,基于数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序,得到内容组织计划数据。
在实际使用过程中,待描述的表格中常常会对应有数据图。例如,柱状图、折线图、或雷达图等。在利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序的过程中,可以利用预先训练的内容组织模型,基于数据图,对元语集合中的第一类元语及第二类元语进行筛选和排序。如,折线图主要用于表示增长率和下降了,则在利用预先训练的内容组织模型,基于数据图,对元语集合中的第一类元语及第二类元语进行筛选时,会优先对增长率和下降率的元语进行保留,而在利用预先训练的内容组织模型,基于数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序时,会将对增长率和下降率的元语排在靠前的位置。再例如,柱状图主要用于表示差值,则在利用预先训练的内容组织模型,基于数据图,对元语集合中的第一类元语及第二类元语进行筛选时,会优先对差值对应的元语进行保留,而在利用预先训练的内容组织模型,基于数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序时,会将对差值对应的元语排在靠前的位置。
可见,通过本公开实施例的方法,可以获取待描述表格的数据图,利用预先训练的内容组织模型,基于数据图,对元语集合中的第一类元语及第二类元语进行筛选,得到筛选后的元语集合,利用预先训练的内容组织模型,基于数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序,得到内容组织计划数据,可以利用数据图所包含的潜在语义对待描述表格进行解读。
可选的,参见图6,步骤S12对待描述表格进行分析,得到待描述表格的元语集合,包括:
步骤S61,利用预先训练的抽取器对待描述表格进行类型分析,判断抽取器是否支持待描述表格的表格类型;
步骤S62,若支持,则从抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对待描述表格进行元语提取,得到待描述表格的元语集合。
本公开中的表格的类型通过表格的应用场景进行划分,如城市统计类数据表格、企业财报类数据表格、工程勘察类数据表格等。抽取器可以抽取表格中数值型聚合算子。具体的,可以预先针对每一表格类型训练对应的抽取器。在利用预先训练的抽取器对待描述表格进行类型分析,判断抽取器是否支持待描述表格的表格类型时,可以获取待描述表格的表格类型,然后判断是否有对应表格类型的抽取器,若有,则表示支持待描述表格的表格类型。然后通过对应的抽取器从抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对待描述表格进行元语提取。
本公开中的算子集合为函数集合,抽取器可以从各算子中选取待描述表格生成表格描述文本时,可以使用的算子集合,即候选算子集合。例如,表格中包含,城市:a;时间:2021年10月;服务人员的数量:2122人、城市:a;2020年10月;服务人员的数量1600人。则抽取器可以抽取到用于计算差值的算子、用于计算增长率的算子、表示当前数据的算子,从而可以提取到元语:a城市2021年10月服务人员的数量为2122人,a城市2020年10月服务人员的数量为1600人,以及增长率算子对应的元语:a城市2021年10月相比于2020年10月服务人员的数量增长了32.625%,差值算子对应的元语:a城市2021年10月相比于2020年10月服务人员的数量增加了522人。
可选的,在对待描述表格进行类型分析,判断抽取器是否支持待描述表格的表格类型之后,上述方法还包括:若不支持,则输出表示不支持待描述表格的表格类型的错误消息。实现通过样本表格及所述样本表格的样本元语集合进行抽取器的预先训练的抽取器,从而通过该预先训练的抽取器进行元语集合的抽取,实现根据抽取到的元语集合进行描述文本生成的目的。
可见,通过本公开实施例的方法,可以利用预先训练的抽取器对待描述表格进行类型分析,判断抽取器是否支持待描述表格的表格类型,当支持时,从抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对待描述表格进行元语提取,得到待描述表格的元语集合。实现通过表格类型对应的抽取器与对算子的预测和抽取,从而利用抽取到的算子对待描述表格进行元语提取,得到待描述表格的元语集合,并根据元语集合生成表格描述文本,提高算子的预测和抽取的精度。
在本公开实施例中,抽取器、内容组织模型、文本生成模型可以单独训练,也可以联合训练;可选的,参见图7,上述方法还包括:
步骤S71,获取样本表格及样本表格的描述文本;
步骤S72,利用样本表格及样本表格的描述文本对抽取器、内容组织模型、文本生成模型进行联合训练,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型。
具体的,利用样本表格及样本表格的描述文本对抽取器、内容组织模型、文本生成模型进行联合训练,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型的训练过程可以包括:将多个样本表格和各个样本表格对应的表格描述文本输入到待训练的抽取器、待训练的内容组织模型、待训练的文本生成模型;通过待训练的抽取器、待训练的内容组织模型、待训练的文本生成模型生成样本表格对应的预测描述文本;将各个样本表格对应的预测描述文本和各个样本表格对应的描述文本进行对比,计算得到当前的损失;根据当前损失对待训练的抽取器、待训练的内容组织模型、待训练的文本生成模型进行参数的调整,并返回“通过待训练的抽取器、待训练的内容组织模型、待训练的文本生成模型生成样本表格对应的预测描述文本”的步骤,继续执行,直至当前损失小于预设阈值,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型。
可见,通过本公开实施例的方法,可以利用样本表格及样本表格的描述文本对抽取器、内容组织模型、文本生成模型进行联合训练,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型,从而可以通过联合训练的方法提高训练的效率。
在实际使用过程中,本公开的表格描述文本生成方法,参见图8,包括:
1、通过有监督的端到端学习,利用数值型表格和人工撰写的表格描述文本,训练得到用来抽取表格中数值型聚合算子的抽取器;
2、利用预训练的抽取器,对待描述表格进行类型匹配,如果预训练得到的抽取器不支持该类型表格,则返回表格类型不支持的错误信息,并终止,否则,继续下一步;
3、将待描述表格输入到预训练的抽取器,识别出可能包含的候选算子集合,并基于算子集合,对原始表格进行元语抽取,得到候选元语集合;
4、通过内容组织模型进行元语的筛选和排序,生成内容组织计划,在排序时,图表的样式也作为排序的考虑因素;
5、利用预训练文本生成模型,增加生成文字的多样性,实现最终表格描述文本的生成。
本公开另一方面,提供了一种表格描述文本生成装置,参见图9,包括:
表格获取模块901,用于获取待描述表格;
表格分析模块902,用于对待描述表格进行分析,得到待描述表格的元语集合,其中,元语集合中包括至少一个元语,元语为根据待描述表格中的单元格确定的词句;
文本生成模块903,用于根据元语集合中的元语生成待描述表格的描述文本。
可选的,元语集合中包括第一类元语及第二类元语,第一类元语为表示待描述表格中单元格的语义的词句,第二类元语为表示至少两个第一类元语之间的关联关系的词句;
文本生成模块903,具体用于根据第一类元语及第二类元语生成待描述表格的描述文本。
可选的,参见图10,文本生成模块903,包括:
组织计划生成子模块1001,用于利用预先训练的内容组织模型对元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据;
描述文本生成子模块1002,用于将内容组织计划数据输入到预先训练的文本生成模型中,得到待描述表格的描述文本。
可选的,参见图11,组织计划生成子模块1001,包括:
数据图获取子模块1101,用于获取待描述表格的数据图;
元语集合筛选子模块1102,用于利用预先训练的内容组织模型,基于数据图,对元语集合中的第一类元语及第二类元语进行筛选,得到筛选后的元语集合;
元语集合排序子模块1103,用于利用预先训练的内容组织模型,基于数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序,得到内容组织计划数据。
可选的,参见图12,表格分析模块902,包括:
表格类型判断子模块1201,用于利用预先训练的抽取器对待描述表格进行类型分析,判断抽取器是否支持待描述表格的表格类型;
元语抽取子模块1202,用于若支持,则从抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对待描述表格进行元语提取,得到待描述表格的元语集合。
可选的,参见图13,上述装置还包括:
表格获取模块1301,用于获取待描述表格;
表格类型判断子模块1302,用于利用预先训练的抽取器对待描述表格进行类型分析,判断抽取器是否支持待描述表格的表格类型;
元语抽取子模块1303,用于若支持,则从抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对待描述表格进行元语提取,得到待描述表格的元语集合。
文本生成模块1304,具体用于根据第一类元语及第二类元语生成待描述表格的描述文本。
错误消息输出子模块1305,用于若不支持,则输出表示不支持待描述表格的表格类型的错误消息。
可选的,参见图14,上述装置还包括:
样本元语获取模块1401,用于获取样本表格及样本表格的样本元语集合;
抽取器训练模块1402,用于利用样本表格及样本表格的样本元语集合对抽取器进行训练,得到预先训练的抽取器。
可选的,参见图15,上述装置还包括:
样本表格获取模块1501,用于获取样本表格及样本表格的描述文本;
模型训练模块1502,用于利用样本表格及样本表格的描述文本对抽取器、内容组织模型、文本生成模型进行联合训练,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型。
可见,通过本公开的表格描述文本生成装置,可以获取待描述表格,并利用预先训练的抽取器对所述待描述表格进行分析,得到所述待描述表格的元语集合,最后根据所述元语集合中的元语生成所述待描述表格的描述文本。从而实现表格描述文本的自动生成,不但可以降低人工成本,还可以减少生成表格描述文本的耗时,提高生成表格描述文本的效率。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图16示出了可以用来实施本公开的实施例的示例电子设备1600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图16所示,设备1600包括计算单元1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序,来执行各种适当的动作和处理。在RAM 1603中,还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。
设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1607,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理,例如表格描述文本生成方法。例如,在一些实施例中,表格描述文本生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时,可以执行上文描述的表格描述文本生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元1601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行表格描述文本生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (19)

1.一种表格描述文本生成方法,包括:
获取待描述表格;
对所述待描述表格进行分析,得到所述待描述表格的元语集合,其中,所述元语集合中包括至少一个元语,所述元语为根据所述待描述表格中的单元格确定的词句;
根据所述元语集合中的元语生成所述待描述表格的描述文本。
2.根据权利要求1所述的方法,其中,所述元语集合中包括第一类元语及第二类元语,所述第一类元语为表示所述待描述表格中单元格的语义的词句,所述第二类元语为表示至少两个第一类元语之间的关联关系的词句;
所述根据所述元语集合中的元语生成所述待描述表格的描述文本,包括:
根据所述第一类元语及所述第二类元语生成所述待描述表格的描述文本。
3.根据权利要求2所述的方法,其中,所述根据所述第一类元语及所述第二类元语生成所述待描述表格的描述文本,包括:
利用预先训练的内容组织模型对所述元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据;
将所述内容组织计划数据输入到预先训练的文本生成模型中,得到所述待描述表格的描述文本。
4.根据权利要求3所述的方法,其中,所述利用预先训练的内容组织模型对所述元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据,包括:
获取所述待描述表格的数据图;
利用预先训练的内容组织模型,基于所述数据图,对所述元语集合中的第一类元语及第二类元语进行筛选,得到筛选后的元语集合;
利用预先训练的内容组织模型,基于所述数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序,得到内容组织计划数据。
5.根据权利要求1所述的方法,其中,所述对所述待描述表格进行分析,得到所述待描述表格的元语集合,包括:
利用预先训练的抽取器对所述待描述表格进行类型分析,判断所述抽取器是否支持所述待描述表格的表格类型;
若支持,则从所述抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对所述待描述表格进行元语提取,得到所述待描述表格的元语集合。
6.根据权利要求5所述的方法,其中,在所述对所述待描述表格进行类型分析,判断所述抽取器是否支持所述待描述表格的表格类型之后,所述方法还包括:
若不支持,则输出表示不支持所述待描述表格的表格类型的错误消息。
7.根据权利要求1所述的方法,其中,所述方法还包括:
获取样本表格及所述样本表格的样本元语集合;
利用所述样本表格及所述样本表格的样本元语集合对抽取器进行训练,得到预先训练的抽取器。
8.根据权利要求3所述的方法,其中,所述方法还包括:
获取样本表格及所述样本表格的描述文本;
利用所述样本表格及所述样本表格的描述文本对抽取器、内容组织模型、文本生成模型进行联合训练,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型。
9.一种表格描述文本生成装置,包括:
表格获取模块,用于获取待描述表格;
表格分析模块,用于对所述待描述表格进行分析,得到所述待描述表格的元语集合,其中,所述元语集合中包括至少一个元语,所述元语为根据所述待描述表格中的单元格确定的词句;
文本生成模块,用于根据所述元语集合中的元语生成所述待描述表格的描述文本。
10.根据权利要求9所述的装置,其中,所述元语集合中包括第一类元语及第二类元语,所述第一类元语为表示所述待描述表格中单元格的语义的词句,所述第二类元语为表示至少两个第一类元语之间的关联关系的词句;
所述文本生成模块,具体用于根据所述第一类元语及所述第二类元语生成所述待描述表格的描述文本。
11.根据权利要求10所述的装置,其中,所述文本生成模块,包括:
组织计划生成子模块,用于利用预先训练的内容组织模型对所述元语集合中的第一类元语及第二类元语进行筛选及排序,得到内容组织计划数据;
描述文本生成子模块,用于将所述内容组织计划数据输入到预先训练的文本生成模型中,得到所述待描述表格的描述文本。
12.根据权利要求11所述的装置,其中,所述组织计划生成子模块,包括:
数据图获取子模块,用于获取所述待描述表格的数据图;
元语集合筛选子模块,用于利用预先训练的内容组织模型,基于所述数据图,对所述元语集合中的第一类元语及第二类元语进行筛选,得到筛选后的元语集合;
元语集合排序子模块,用于利用预先训练的内容组织模型,基于所述数据图对筛选后的元语集合中的第一类元语及第二类元语进行排序,得到内容组织计划数据。
13.根据权利要求9所述的装置,其中,所述表格分析模块,包括:
表格类型判断子模块,用于利用预先训练的抽取器对所述待描述表格进行类型分析,判断所述抽取器是否支持所述待描述表格的表格类型;
元语抽取子模块,用于若支持,则从所述抽取器的各算子中选取候选算子集合,并利用候选算子集合中的各算子对所述待描述表格进行元语提取,得到所述待描述表格的元语集合。
14.根据权利要求13所述的装置,其中,所述装置还包括:
错误消息输出子模块,用于若不支持,则输出表示不支持所述待描述表格的表格类型的错误消息。
15.根据权利要求9所述的装置,其中,所述装置还包括:
样本元语获取模块,用于获取样本表格及所述样本表格的样本元语集合;
抽取器训练模块,用于利用所述样本表格及所述样本表格的样本元语集合对抽取器进行训练,得到预先训练的抽取器。
16.根据权利要求11所述的装置,其中,所述装置还包括:
样本表格获取模块,用于获取样本表格及所述样本表格的描述文本;
模型训练模块,用于利用所述样本表格及所述样本表格的描述文本对抽取器、内容组织模型、文本生成模型进行联合训练,得到预先训练的抽取器、预先训练的内容组织模型、预先训练的文本生成模型。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202111164342.3A 2021-09-30 2021-09-30 一种表格描述文本生成方法、装置、设备及存储介质 Pending CN113901763A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111164342.3A CN113901763A (zh) 2021-09-30 2021-09-30 一种表格描述文本生成方法、装置、设备及存储介质
US17/714,891 US20220237388A1 (en) 2021-09-30 2022-04-06 Method and apparatus for generating table description text, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111164342.3A CN113901763A (zh) 2021-09-30 2021-09-30 一种表格描述文本生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113901763A true CN113901763A (zh) 2022-01-07

Family

ID=79189893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111164342.3A Pending CN113901763A (zh) 2021-09-30 2021-09-30 一种表格描述文本生成方法、装置、设备及存储介质

Country Status (2)

Country Link
US (1) US20220237388A1 (zh)
CN (1) CN113901763A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470700A (zh) * 2007-12-28 2009-07-01 日电(中国)有限公司 文本模板生成器、文本生成设备、文本检验设备及其方法
CN110377910A (zh) * 2019-07-22 2019-10-25 北京大学 一种表格描述的处理方法、装置、设备及存储介质
CN110825839A (zh) * 2019-11-07 2020-02-21 成都国腾实业集团有限公司 一种对文本信息中目标的关联关系分析方法
CN112163681A (zh) * 2020-10-15 2021-01-01 珠海格力电器股份有限公司 设备故障原因确定方法、存储介质以及电子设备
US20210117668A1 (en) * 2019-10-22 2021-04-22 International Business Machines Corporation Automatic delineation and extraction of tabular data using machine learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369984B2 (en) * 2002-02-01 2008-05-06 John Fairweather Platform-independent real-time interface translation by token mapping without modification of application code
US9164977B2 (en) * 2013-06-24 2015-10-20 International Business Machines Corporation Error correction in tables using discovered functional dependencies
CN110019471B (zh) * 2017-12-15 2024-03-08 微软技术许可有限责任公司 从结构化数据生成文本
WO2019130974A1 (ja) * 2017-12-25 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470700A (zh) * 2007-12-28 2009-07-01 日电(中国)有限公司 文本模板生成器、文本生成设备、文本检验设备及其方法
CN110377910A (zh) * 2019-07-22 2019-10-25 北京大学 一种表格描述的处理方法、装置、设备及存储介质
US20210117668A1 (en) * 2019-10-22 2021-04-22 International Business Machines Corporation Automatic delineation and extraction of tabular data using machine learning
CN110825839A (zh) * 2019-11-07 2020-02-21 成都国腾实业集团有限公司 一种对文本信息中目标的关联关系分析方法
CN112163681A (zh) * 2020-10-15 2021-01-01 珠海格力电器股份有限公司 设备故障原因确定方法、存储介质以及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘炎禄等: "面向语义Web的知识表示框架", 《上海交通大学学报》 *
蒋秀林等: "基于领域本体的临床语义关联知识抽取技术研究", 《常州工学院学报》 *
陈天莹: "基于语义推理的文本信息关联关系分析技术", 《电讯技术》 *

Also Published As

Publication number Publication date
US20220237388A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
CN114428677A (zh) 任务处理方法、处理装置、电子设备及存储介质
CN112784591A (zh) 数据的处理方法、装置、电子设备和存储介质
CN115168562A (zh) 一种智能问答系统的构建方法、装置、设备及介质
CN114461665B (zh) 用于生成语句转换模型的方法、装置及计算机程序产品
CN116155541A (zh) 面向网络安全应用的自动化机器学习平台以及方法
CN113901763A (zh) 一种表格描述文本生成方法、装置、设备及存储介质
CN114090601A (zh) 一种数据筛选方法、装置、设备以及存储介质
CN113138760B (zh) 一种页面生成方法、装置、电子设备和介质
CN115510212A (zh) 一种文本事件抽取方法、装置、设备及存储介质
CN113807390A (zh) 模型训练方法、装置、电子设备及存储介质
CN114970540A (zh) 训练文本审核模型的方法和装置
CN113360672A (zh) 用于生成知识图谱的方法、装置、设备、介质和产品
CN114187081A (zh) 估值表处理方法、装置、电子设备及计算机可读存储介质
CN113641724A (zh) 知识标签挖掘方法、装置、电子设备及存储介质
CN113850072A (zh) 文本情感分析方法、情感分析模型训练方法、装置、设备及介质
CN113420174A (zh) 难样本挖掘方法、装置、设备以及存储介质
CN112632999A (zh) 命名实体识别模型获取及命名实体识别方法、装置及介质
CN113297289A (zh) 从数据库提取业务数据的方法、装置和电子设备
CN112560987A (zh) 图像样本处理方法、装置、设备、存储介质和程序产品
CN112836529B (zh) 生成目标语料样本的方法和装置
CN114491040B (zh) 信息挖掘方法及装置
CN117574168A (zh) 信息报告的生成方法及其装置
CN114218384A (zh) 语料分类方法、模型训练方法及装置
CN114861820A (zh) 样本数据筛选方法、模型训练方法、装置及电子设备
CN114861676A (zh) 段落抽取方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220107