CN116010627A - 一种时间提取方法及系统 - Google Patents

Abstract

本申请公开了一种时间提取方法及系统，通过获取多种类型的文本数据，然后构建时间特征规则对文本数据进行匹配，获取包含多种时间特征的目标文本，再构建规则注册器池，根据规则注册器池对目标文本进行过滤，对过滤后的目标文本进行标注处理，获取标准时间文本，最后根据预设规则对已处理的标准时间文本进行时间提取；本方法通过构建时间特征规则和规则注册器池对文本数据进行过滤并标注，然后对标注后的文本数据按照预设规则进行时间提取，可以有效、灵活地对相对时间进行转换以及运用，同时还对初始文本数据进行多次筛选，得到最终的目标文本，然后对目标文本进行处理，减少了时间提取的时间成本和人工成本；该系统具有同样的有益效果。

Description

一种时间提取方法及系统

技术领域

本申请涉及数据处理技术领域，特别是涉及一种时间提取方法及系统。

背景技术

大数据（Big data）被首次提出来后就一直在计算机领域有着重要的地位，不仅被广泛应用在工业、医疗、人工智能等方面，更是一个划时代的技术革命。“大数据”被定义为“需要处理能产生更强决策力、洞察发现力、流程优化能力的海量、高增长率、多样化信息资产”，其战略意义不仅是对大数据海量数据信息技术的掌握，更重要的是如何对这些海量信息进行专业地分析处理。

在数据清洗环节，应对时间数据脏、乱、差，结构化非结构化等情况，进行提取并且输出标准的格式，在数据清洗中存在着时间数据复杂性，例如英文表示法、中文表示法、数字表示法、相对时间、结构化字段和非结构化文本块等时间的表现形式；在现有工具中一般需要针对固定格式范围内，然后针对格式进行标准化转换，会存在相对时间不能进行时间标准化转换的问题。

鉴于此，提供一种可以对相对时间进行时间标准化转换的时间提取方法及系统是本领域技术人员亟待解决的技术问题。

发明内容

本发明的目的在于提供一种时间提取方法及系统，可以有效解决对相对时间不能进行时间标准化转换的问题；

为解决上述技术问题，本发明提供的技术方案如下：

一种时间提取方法，包括如下步骤：

获取多种类型的文本数据；

构建时间特征规则；

将所述文本数据和所述时间特征规则进行匹配，以获取包含多种时间特征的目标文本；

构建规则注册器池；

根据所述规则注册器池对所述目标文本进行过滤，对过滤后的目标文本进行标注处理，以获取标准时间文本；

根据预设规则对已处理的所述标准时间文本进行时间提取。

优选地，所述时间特征规则包括：相对时间元素基本规则、相对时间表达语言种类规则和相对时间字体表示规则。

优选地，所述将所述文本数据和所述时间特征规则进行匹配，以获取包含多种时间特征的目标文本，包括如下步骤：

将所述文本数据和所述相对时间元素基本规则进行匹配，以提取包含相对时间元素的目标文本；

将所述文本数据和所述相对时间表达语言种类规则进行匹配，以提取包含时间表达语言种类的目标文本；

将所述文本数据和所述相对时间字体表示规则进行匹配，以提取包含时间字体表示的目标文本。

优选地，所述根据预设规则对所述标准时间文本进行时间提取，具体为：

根据第一预设函数，输入一行所述标准时间文本，提取单个标准时间。

优选地，所述根据预设规则对所述标准时间文本进行时间提取，具体为：

根据第二预设函数，输入多行所述标准时间文本，提前单个标准时间。

优选地，所述根据预设规则对所述标准时间文本进行时间提取，具体为：

根据第三预设函数，输入一行所述标准时间文本，提取多个标准时间。

优选地，一种时间提取系统，包括：获取模块、第一构建模块、匹配模块、第二构建模块、过滤模块和提取模块；

所述获取模块，用于获取多种类型的文本数据；

所述第一构建模块，用于构建时间特征规则；

所述匹配模块，用于将所述文本数据和所述时间特征规则进行匹配，以获取包含多种时间特征的目标文本；

所述第二构建模块，用于构建规则注册器池；

所述过滤模块，用于根据所述规则注册器池对所述目标文本进行过滤，对过滤后的目标文本进行标注处理，以获取标准时间文本；

所述提取模块，用于根据预设规则对所述标准时间文本进行时间提取。

本发明提供了一种时间提取方法，通过获取多种类型的文本数据，然后构建时间特征规则，再将文本数据和时间特征规则进行匹配，得到包含多种时间特征的目标文本，再构建规则注册器池，然后根据规则注册器池对目标文本进行过滤，然后对过滤后的目标文本进行标注处理，得到标准时间文本，最后根据预设规则对已标注的标准时间文本进行时间提取；本方法在对文本中的时间进行提取前，通过构建时间特征规则对文本数据进行初步处理，然后再构建规则注册器池，根据规则注册器池对处理后的文本数据进行过滤，再对过滤后的时间文本进行标注，以得到标准时间文本，然后再对标注后的标准时间文本根据预设的规则进行时间提取，可以有效、灵活地对相对时间进行时间标准化转换以及运用，同时还对初始文本数据进行多次筛选，得到最终的目标文本，然后对目标文本进行处理，减少了时间提取的时间成本和人工成本。

本发明还提供了一种时间提取系统，由于该系统与该时间提取方法解决相同的技术问题，属于相同的技术构思，理应具有相同的有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中时间提取方法的流程图；

图2为本发明实施例中时间提取系统的框架图。

具体实施方式

为了使本领域的技术人员更好地理解本申请中的技术方案，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本发明实施例提供一种时间提取方法，包括如下步骤：

S1.获取多种类型的文本数据；

S2.构建时间特征规则；

S3.将文本数据和时间特征规则进行匹配，以获取包含多种时间特征的目标文本；

S4.构建规则注册器池；

S5.根据规则注册器池对目标文本进行过滤，对过滤后的目标文本进行标注处理，以获取标准时间文本；

S6.根据预设规则对标准时间文本进行时间提取。

步骤S1中，首先获取需要进行时间提取的多种类型的文本数据，若本实施例采用的文本数据较长，可以考虑根据实际需求进行分段，然后再对分段的文本数据进行排序，后续可以按照顺序处理文本数据；

步骤S2中，由于现有的时间提取规则不满足相对时间的处理，所以将重新构建时间特征规则，便于可以扩大时间处理的范围，使用此时间调整规则，既可以将常规的时间特征进行处理，也可以对相对时间时间特征进行处理；

步骤S3中，将文本数据与时间特征规则进行匹配，以剔除掉没有包含时间特征的文本数据，从而留下包含多种时间特征的目标文本，便于后续处理，同时也节省了工作时间，加快工作效率，减少了人工成本；

步骤S4中，首先构造规则注册器，然后根据应用场景放入规则注册器中，形成包含多种应用场景的规则注册器池，便于应用于多种场景，减少应用切换环境时的风险，避免造成业务功能而产生的问题，本实施例中的应用场景为包含相对时间的应用场景，如：昨日、今日、5点之后。

步骤S5至S6中，首先采用规则注册器池中的规则器通过正则表达式对目标文本进行过滤处理，然后对过滤后的标准时间文本进行识别，将具有的相对时间特征进行标注，得到标准日期文本，如：识别之后是一个“5日前”，那么就标记为相对时间，然后跟随一个数字5；然后再通过预设规则对处理后的标准日期文本进行时间提取，并将提取的时间根据业务场景所需要的时间标准化格式输出，例如：年(y)-月(M)-日(d)-时(H)-分(m)-秒(s)。

优选地，时间特征规则包括：相对时间元素基本规则、时间表达语言种类规则和时间字体表示规则。

在实际运用过程中，时间特征规则包括相对时间元素基本规则、时间表达语言种类规则和时间字体表示规则，通过设置相对时间元素基本规则、时间表达语言种类规则和时间字体表示规则可以将文本数据涉及的时间特征进行概括，防止出现漏掉所需要的时间特征，导致所提取的时间不正确的问题。

优选地，所述步骤S3，包括如下步骤：

将文本数据和相对时间元素基本规则进行匹配，以提取包含相对时间元素的目标文本；

将文本数据和时间表达语言种类规则进行匹配，以提取包含时间表达语言种类的目标文本；

将文本数据和时间字体表示规则进行匹配，以提取包含时间字体表示的目标文本。

在实际运用过程中，将文本数据与相对时间元素基本规则进行匹配，得到包含相对时间元素的目标文本，其中，相对时间元素为具有相对的时间表达示词，如：昨日、今日和明日或昨天、今天和明天；将文本数据和时间表达语言种类规则进行匹配，得到包含时间表达语言种类的目标文本，其中，时间表达语言种类为中文和英文；将文本数据和时间字体表示规则进行匹配，得到包含时间字体表示的目标文本，由于输入法不同，表示时间的字体也会有所差距，如有的是采用全角字体，有的采用半角字体或者全角和半角均涉及；

本实施例还可以根据实际需要先将包含相对时间元素的目标文本提取出来之后，再将包含相对时间元素的目标文本与时间表达语言种类规则进行匹配，提取出包含时间表达语言种类的目标文本，最后再将包含时间表达语言种类的目标文本与间字体表示规则进行匹配，提取出包含时间字体表示的目标文本。

优选地，所述步骤S6，具体为：

根据第一预设函数，输入一行标准时间文本，提取单个标准时间。

在实际运用过程中，本实施例采用的第一预设函数为UDF函数，UDF函数为自定义函数，实现一对一的数据处理，当需要提取单个标准时间的时候就可以采用UDF函数，输入一行标准时间文本来提取单个标准时间，单个标准时间可以为只包括年份或者只包括月份或者只包括日，还可以是一个以年(y)-月(M)-日(d)-时(H)-分(m)-秒(s)为格式的标准时间。

优选地，所述步骤S6，具体为：

根据第二预设函数，输入多行标准时间文本，提前单个标准时间。

在实际运用过程中，本实施例采用的第二预设函数为UDAF函数，UDAF函数为自定义函数，实现多对一的数据处理，当需要提取单个标准时间的时候还可以采用UDAF函数，输入多行标准时间文本来提取单个标准时间，单个标准时间可以为只包括年份或者只包括月份或者只包括日，还可以是一个以年(y)-月(M)-日(d)-时(H)-分(m)-秒(s)为格式的标准时间。

优选地，所述步骤S6，具体为：

根据第三预设函数，输入一行标准时间文本，提取多个标准时间。

在实际运用过程中，本实施例采用的第三预设函数为UDTF函数，UDTF函数为自定义函数，实现一对多的数据处理，当需要提取多个标准时间的时候可以采用UDTF函数，输入一行标准时间文本来提取多个标准时间，多个标准时间可以为多个只包括年份的标准时间或者多个只包括月份的标准时间或者多个只包括日的标准时间，还可以是多个以年(y)-月(M)-日(d)-时(H)-分(m)-秒(s)为格式的标准时间。

如图2所示，优选地，本发明还提供一种时间提取系统，包括：获取模块、第一构建模块、匹配模块、第二构建模块、过滤模块和提取模块；

获取模块，用于获取多种类型的文本数据；

第一构建模块，用于构建时间特征规则；

匹配模块，用于将文本数据和时间特征规则进行匹配，以获取包含多种时间特征的目标文本；

第二构建模块，用于构建规则注册器池；

过滤模块，用于根据规则注册器池对目标文本进行过滤，对过滤后的目标文本进行标注处理，以获取标准时间文本；

提取模块，用于根据预设规则对标准时间文本进行时间提取。

获取模块和第一构建模块均与匹配模块连接，匹配模块和第二构建模块均与过滤模块连接，过滤模块与提取模块连接；获取模块将获取多种类型的文本数据发送至匹配模块中；第一构建模块将构建的时间特征规则发送至匹配模块中；匹配模块将获取模块发送的文本数据和第一构建模块发送的时间特征规则进行匹配，以获取包含多种时间特征的目标文本，然后将目标文本发送至过滤模块中；第二构建模块将构建的规则注册器池发送至过滤模块中；过滤模块将根据第二构建模块发送的规则注册器池对匹配模块发送的目标文本进行过滤，然后将过滤后的目标文本进行标注处理，以获取标准时间文本，再将标准时间文本发送至提取模块；提取模块对根据预设规则对过滤模块发送的标准时间文本进行时间提取。

在本申请所提供的实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

另外，在本发明各实施例中的各功能模块可以全部集成在一个处理器中，也可以是各模块分别单独作为一个器件，也可以两个或两个以上模块集成在一个器件中；本发明各实施例中的各功能模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

应当理解，本申请中如若使用了“系统”、“装置”、“单元”和/或“模块”，仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

本申请中如若使用了流程图，则该流程图是用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

以上对本发明所提供的一种时间提取方法及系统进行了详细介绍。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种时间提取方法，其特征在于，包括如下步骤：

获取多种类型的文本数据；

构建时间特征规则；

将所述文本数据和所述时间特征规则进行匹配，以获取包含多种时间特征的目标文本；

构建规则注册器池；

根据所述规则注册器池对所述目标文本进行过滤后，对过滤后的目标文本进行标注处理，以获取标准时间文本；

根据预设的规则对所述标准时间文本进行时间提取。

2.根据权利要求1所述的时间提取方法，其特征在于，所述时间特征规则包括：相对时间元素基本规则、相对时间表达语言种类规则和相对时间字体表示规则。

3.根据权利要求2所述的时间提取方法，其特征在于，所述将所述文本数据和所述时间特征规则进行匹配，以获取包含多种时间特征的目标文本，包括如下步骤：

将所述文本数据和所述相对时间元素基本规则进行匹配，以提取包含相对时间元素的目标文本；

将所述文本数据和所述相对时间表达语言种类规则进行匹配，以提取包含时间表达语言种类的目标文本；

将所述文本数据和所述相对时间字体表示规则进行匹配，以提取包含时间字体表示的目标文本。

4.根据权利要求1所述的时间提取方法，其特征在于，所述根据预设规则对所述标准时间文本进行时间提取，具体为：

根据第一预设函数，输入一行所述标准时间文本，提取单个标准时间。

5.根据权利要求1所述的时间提取方法，其特征在于，所述根据预设规则对所述标准时间文本进行时间提取，具体为：

根据第二预设函数，输入多行所述标准时间文本，提前单个标准时间。

6.根据权利要求1所述的时间提取方法，其特征在于，所述根据预设规则对所述标准时间文本进行时间提取，具体为：

根据第三预设函数，输入一行所述标准时间文本，提取多个标准时间。

7.一种时间提取系统，其特征在于，包括：获取模块、第一构建模块、匹配模块、第二构建模块、过滤模块和提取模块；

所述获取模块，用于获取多种类型的文本数据；

所述第一构建模块，用于构建时间特征规则；

所述匹配模块，用于将所述文本数据和所述时间特征规则进行匹配，以获取包含多种时间特征的目标文本；

所述第二构建模块，用于构建规则注册器池；

所述过滤模块，用于根据所述规则注册器池对所述目标文本进行过滤，对过滤后的目标文本进行标注处理，以获取标准时间文本；

所述提取模块，用于根据预设的规则对所述标准时间文本进行时间提取。

Images