CN109033077A - 时间类型的识别方法、装置、存储介质、电子装置 - Google Patents
时间类型的识别方法、装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN109033077A CN109033077A CN201810717928.XA CN201810717928A CN109033077A CN 109033077 A CN109033077 A CN 109033077A CN 201810717928 A CN201810717928 A CN 201810717928A CN 109033077 A CN109033077 A CN 109033077A
- Authority
- CN
- China
- Prior art keywords
- time type
- vector
- value
- time
- temporal information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种时间类型的识别方法、装置、存储介质、电子装置。其中,该方法包括:确定时间信息在样本文件中的位置;计算与所述时间信息相关的文本信息的向量值;根据所述向量值识别所述时间信息的时间类型。本发明解决了相关技术中不能在文本中识别时间类型的技术问题的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种时间类型的识别方法、装置、存储介质、电子装置。
背景技术
相关技术中对文本智能抓取过程,经常需要对时间所属的时间类型准确识别,如招标文件中的时间类型包括招标公告时间、投标截止时间、开标时间、中标公告时间等,当通过定位了一个时间后,需要智能识别出这个时间属于哪一个类型的时间,以进一步确定该时间的作用,以对投标人进行时间上的提醒,如识别出了投标截止时间后,就可以在截止时间前智能地提醒投标人提前做好标书等准备工作。相关技术中还没有出现识别时间类型的方案。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种时间类型的识别方法、装置、存储介质、电子装置,以至少解决相关技术中不能在文本中识别时间类型的技术问题的技术问题。
根据本发明实施例的一个方面,提供了一种时间类型的识别方法,包括:确定时间信息在样本文件中的位置;计算与所述时间信息相关的文本信息的向量值;根据所述向量值识别所述时间信息的时间类型。
根据本发明实施例的另一方面,还提供了一种时间类型的识别装置,包括:确定模块,用于确定时间信息在样本文件中的位置;计算模块,用于计算与所述时间信息相关的文本信息的向量值;识别模块,用于根据所述向量值识别所述时间信息的时间类型。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
在本发明实施例中,通过计算与时间信息相关的文本信息的向量值,通过向量值识别时间信息的时间类型,可以实现时间信息所属类型的识别,解决了相关技术中不能在文本中识别时间类型的技术问题,准确度高,提高了处理文本的效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的时间类型的识别方法的流程图;
图2是本发明实施例的时间类型的识别装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种时间类型的识别方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的时间类型的识别方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,确定时间信息在样本文件中的位置;
步骤S104,计算与时间信息相关的文本信息的向量值;
步骤S106,根据向量值识别时间信息的时间类型。
通过上述步骤,通过计算与时间信息相关的文本信息的向量值,通过向量值识别时间信息的时间类型,可以实现时间信息所属类型的识别,解决了相关技术中不能在文本中识别时间类型的技术问题,准确度高,提高了处理文本的效率。
在计算与时间信息相关的文本信息的向量值之前,方法还包括:
S11,在样本文件中提取与时间信息的位置相邻的预定长度的文本信息。如提取时间左侧若干字节的文字及右侧若干字节的文字;样本文件如招标文件,专利文件等,包括了关于时间描述的内容。一个样本文件中可能有一个或多个时间信息。
可选的,计算与时间信息相关的文本信息的向量值包括:
S21,对文本信息进行分词处理得到多个分词;分词处理可以是去标点等指定字符,得到分段的分词;
S22,在多个分词中选择一个或多个关键词;关键词是文本信息相关联的分析,如投标文本中的“开标”,“时间”等。
S23,对关键词进行数值化处理得到与关键词对应的分词向量。
可选的,根据向量值识别时间信息的时间类型包括:
S31,计算向量值与各时间类型的向量的预设数值之间的距离;可以在准备阶段将将各个时间类型进行数值化,形成二维向量,获得时间类型的数值度量;
S32,将距离最短的时间类型确定为时间信息的时间类型。
可选的,在计算向量值与各时间类型的向量的预设数值之间的距离之前,还包括:统计多个时间类型的文本信息,得到各个时间类型的关键词;对各个时间类型的关键词进行数值化处理得到与各时间类型对应的预设数值。
可以输入全部时间类型的文本,通过对多个文本的统计学习,得到各个时间类型所包含的关键词,进而进行数值化处理得到各时间类型对应的预设数值(向量值)。当确定需要识别时间类型的样本文件后,只用计算样本文件的关键字的向量值,通过比对识别,就可以得到其对应的时间类型。
可选的,在将距离最短的时间类型确定为所述时间信息的时间类型时,通过以下公式计算时间信息的时间类型:
class={j,j∈min{value(j)}};
其中,Value(j)为所述文本信息的向量值与所述各时间类型对应的所述预设数值的距离值,euclidean为距离计算函数,min为取最小值函数,class为所述时间信息所属的时间类型的编号(标识信息),arrayvoc(i)为所述文本信息的第i个关键词的分词向量,topk为所述文本信息的关键词的个数,arraytype(j,m)为第j个时间类型的第m个关键词的分词向量。在一个示例中,文本信息包括3个关键字,top k=3,也即i可以取值1、2、3,时间类型集合包括5个时间类型,也即j可以取值1…5,每个时间类型包括3个关键字,在公式计算过程中,计算i=1时,文本信息的第1个关键词的分词向量,依次计算与第1(j=1)个时间类型的第1个关键词的分词向量的距离、与第1(j=1)个时间类型的第2个关键词的分词向量的距离和与第1(j=1)个时间类型的第3个关键词的分词向量的距离,取其中的距离最小值作为文本信息的第1个关键词的分词向量与第1(j=1)个时间类型的距离值。按同样方法,计算文本信息的第2个、第3个关键词的分词向量与第1(j=1)个时间类型的距离值,计算它们的和,即文本信息的第1个、第2个、第3个关键词的分词向量与第1(j=1)个时间类型的距离值的和,作为文本信息的向量值与与第1(j=1)类型对应的所述预设数值的距离值Value(1)。同理,计算出文本信息的向量值与第2(j=2)类型对应的所述预设数值的距离值Value(2)、文本信息的向量值与第3(j=3)类型对应的所述预设数值的距离值Value(3)、文本信息的向量值与第4(j=4)类型对应的所述预设数值的距离值Value(4)、文本信息的向量值与第5(j=5)类型对应的所述预设数值的距离值Value(5)。在5个时间类型中选择距离值的最小值的时间类型,即Value(1)、Value(2)、Value(3)、Value(4)、Value(5)的最小的值对应的时间类型,作为本次识别得到的时间类型。
作为一个示例,此处对本是实施例的完整方案进行说明,包括:
步骤100、参数初始化,Left Length,Right Length,其中Left Length表示时间左边提取的字节数,Right Length右边提取的字节数,设置关键词个数top k;
步骤101、输入全部的时间类型的文本(以招标文件为例:存在投标截止时间、开标时间、标书购买时间的文字描述。)并分组group Num,type date={type1,type2,....typei,.....typegroupNum}其中i=1,2…group Num;
每一分组为一种时间类型,以及每个时间类型的描述方式,为后续确定提取与时间信息相关的文本长度提供参考。
对文本中的时间信息进行定位(定位方法可以采用正则表达式)找到所有的时间信息的位置Time={t1,t2...ti...tnum},其中ti表示第i个时间信息的位置,num表示一共找到时间信息的个数。
步骤102、逐一提取描述时间的相关文字(与时间信息相关的文本信息),即提取文本信息后,进行分词并数值化,方法如下:
步骤1021,令计数器i=1。
步骤1022,提取文字中t(i)位置的左边Left Length个字节,右边的Right Length个字节作为描述时间的文本信息sentence(i)。
例如:某某公司举行开标的时间为2018年4月24日,判断时间文本左侧8个字节可能是描述开标时间的,则左侧选择8个字符描述时间的文本信息(举行开标的时间为);也有可能写成,2018年4月24日进行开标,则将右侧的4个字节作为该描述时间的文本信息(进行开标)。
步骤1023,对描述时间的文本信息sentence(i)进行分词,得到top k个关键词作为分词向量vector(i)。
步骤1024(数值化),利用技术(例如word2vec)将词向量vector(i),转为arrayvec(i)={array(1),array(2)...array(i)...array(topk)}数值矩阵,其中下标i=1,2….topk,array(i)表示第i个关键词的向量。
步骤1025,令计数器i=i+1,如果i等于num,转到步骤1022,否则转到步骤103。
如上述例子中的开标时间,会对大量的文本进行分词,分词后统计数量最多的K个分词作为关键词,如将“开标”、“时间”作为关键词;对于每个关键词进行数值化,作为分词向量。
如上述例子中,提取文字的sentence为:某某公司举行开标的时间为2018年4月24日;对其进行分词:某某公司,举行,开标,的,时间,为,2018年4月24日;通过大量的文本学习,可以提取出的关键词中一定包含“开标”,“时间”;将“开标”,“时间”转化为分词向量,再转化为数值矩阵,数值矩阵是包括多个与时间信息相关的文本信息的向量值集合。
步骤103、对全部的时间类型,进行分词并数值化,方法如下:
步骤1031、令计数器m=1;
步骤1032、时间类型typedate(m)进行分词,得到top k个关键词作为分词向量vectype(m);
步骤1033,利用技术(例如word2vec)将词向量vectype(m),转为arraytype(m)={ap(1),ap(2)...ap(i)...ap(top k)}数值矩阵,其中下标i=1,2….topk,ap(i)表示第i个关键词的向量。
步骤1034,令计数器m=m+1,如果i等于num,转到步骤1022,否则转到步骤104。
步骤104、对文本中时间的时间类型的进行识别,方法如下:
步骤1041、令计数器i=1;
步骤1042、计算文本信息的向量值arrayvoc(i)所对应的时间信息的所属类别,计算方法如下:
class={j,j∈min{value(j)}};
其中,Value(j)为所述文本信息的向量值与所述各时间类型对应的所述预设数值的距离值,euclidean为距离计算函数,min为取最小值函数,class为所述时间信息所属的时间类型的编号,arrayvoc(i)为所述文本信息的第i个关键词的分词向量,top k为所述文本信息的关键词的个数,arraytype(j,m)为第j个时间类型的第m个关键词的分词向量。
步骤1043,令计数器i=i+1,如果i等于num,转到步骤1042,否则转到步骤105。
步骤105:结束。
本实施例还提供了时间类型的识别装置,图2是本发明实施例的时间类型的识别装置的结构框图,包括:
确定模块20,用于确定时间信息在样本文件中的位置;
计算模块22,用于计算与时间信息相关的文本信息的向量值;
识别模块24,用于根据向量值识别时间信息的时间类型。
可选的,计算模块包括:分词单元,用于对文本信息进行分词处理得到多个分词;选择单元,用于在多个分词中选择一个或多个关键词;处理单元,用于对关键词进行数值化处理得到与关键词对应的分词向量。
可选的,识别模块包括:计算单元,用于计算向量值与各时间类型的向量的预设数值之间的距离;确定单元,用于将距离最短的时间类型确定为时间信息的时间类型。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种时间类型的识别方法,其特征在于,包括:
确定时间信息在样本文件中的位置;
计算与所述时间信息相关的文本信息的向量值;
根据所述向量值识别所述时间信息的时间类型。
2.根据权利要求1所述的方法,其特征在于,在计算与所述时间信息相关的文本信息的向量值之前,所述方法还包括:
提取与所述位置相邻的预定长度的文本信息。
3.根据权利要求1所述的方法,其特征在于,计算与所述时间信息相关的文本信息的向量值包括:
对所述文本信息进行分词处理得到多个分词;
在所述多个分词中选择一个或多个关键词;
对所述关键词进行数值化处理得到与所述关键词对应的分词向量。
4.根据权利要求3所述的方法,其特征在于,根据所述向量值识别所述时间信息的时间类型包括:
计算所述向量值与各时间类型的向量的预设数值之间的距离;
将距离最短的时间类型确定为所述时间信息的时间类型。
5.根据权利要求4所述的方法,其特征在于,在计算所述向量值与各时间类型的向量的预设数值之间的距离之前,所述方法还包括:
统计多个时间类型的文本信息,得到各个时间类型的关键词;
对所述各个时间类型的关键词进行数值化处理得到与所述各时间类型对应的所述预设数值。
6.根据权利要求5所述的方法,其特征在于,在将距离最短的时间类型确定为所述时间信息的时间类型时,通过以下公式计算所述时间信息的时间类型:
class={j,j∈min{value(j)}};
其中,Value(j)为所述文本信息的向量值与所述各时间类型对应的所述预设数值的距离值,euclidean为距离计算函数,min为取最小值函数,class为所述时间信息所属的时间类型的编号,arrayvoc(i)为所述文本信息的第i个关键词的分词向量,top k为所述文本信息的关键词的个数,arraytype(j,m)为第j个时间类型的第m个关键词的分词向量。
7.一种时间类型的识别装置,其特征在于,包括:
确定模块,用于确定时间信息在样本文件中的位置;
计算模块,用于计算与所述时间信息相关的文本信息的向量值;
识别模块,用于根据所述向量值识别所述时间信息的时间类型。
8.根据权利要求7所述的装置,其特征在于,所述计算模块包括:
分词单元,用于对所述文本信息进行分词处理得到多个分词;
选择单元,用于在所述多个分词中选择一个或多个关键词;
处理单元,用于对所述关键词进行数值化处理得到与所述关键词对应的分词向量。
9.根据权利要求7所述的装置,其特征在于,所述识别模块包括:
计算单元,用于计算所述向量值与各时间类型的向量的预设数值之间的距离;
确定单元,用于将距离最短的时间类型确定为所述时间信息的时间类型。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
11.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810717928.XA CN109033077A (zh) | 2018-07-03 | 2018-07-03 | 时间类型的识别方法、装置、存储介质、电子装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810717928.XA CN109033077A (zh) | 2018-07-03 | 2018-07-03 | 时间类型的识别方法、装置、存储介质、电子装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109033077A true CN109033077A (zh) | 2018-12-18 |
Family
ID=65522211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810717928.XA Pending CN109033077A (zh) | 2018-07-03 | 2018-07-03 | 时间类型的识别方法、装置、存储介质、电子装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109033077A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081602A (zh) * | 2009-11-30 | 2011-06-01 | 日电(中国)有限公司 | 确定未登录词的类别的方法和设备 |
CN102831246A (zh) * | 2012-09-17 | 2012-12-19 | 中央民族大学 | 藏文网页分类方法和装置 |
CN107085581A (zh) * | 2016-02-16 | 2017-08-22 | 腾讯科技(深圳)有限公司 | 短文本分类方法和装置 |
CN107665221A (zh) * | 2016-07-29 | 2018-02-06 | 北京国双科技有限公司 | 关键词的分类方法和装置 |
-
2018
- 2018-07-03 CN CN201810717928.XA patent/CN109033077A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102081602A (zh) * | 2009-11-30 | 2011-06-01 | 日电(中国)有限公司 | 确定未登录词的类别的方法和设备 |
CN102831246A (zh) * | 2012-09-17 | 2012-12-19 | 中央民族大学 | 藏文网页分类方法和装置 |
CN107085581A (zh) * | 2016-02-16 | 2017-08-22 | 腾讯科技(深圳)有限公司 | 短文本分类方法和装置 |
CN107665221A (zh) * | 2016-07-29 | 2018-02-06 | 北京国双科技有限公司 | 关键词的分类方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872162B (zh) | 一种处理用户投诉信息的风控分类识别方法及系统 | |
CN110298035B (zh) | 基于人工智能的字向量定义方法、装置、设备及存储介质 | |
CN109033105A (zh) | 获取裁判文书焦点的方法和装置 | |
CN111125354A (zh) | 文本分类方法及装置 | |
CN109598517B (zh) | 商品通关处理、对象的处理及其类别预测方法和装置 | |
CN107590291A (zh) | 一种图片的搜索方法、终端设备及存储介质 | |
CN108897798A (zh) | 用电客服工单分类方法、装置以及电子设备 | |
CN112507704A (zh) | 多意图识别方法、装置、设备及存储介质 | |
CN111382248A (zh) | 一种问题回复方法、装置、存储介质及终端设备 | |
CN109582788A (zh) | 垃圾评论训练、识别方法、装置、设备及可读存储介质 | |
CN109284498A (zh) | 自提柜推荐方法、自提柜推荐装置和电子装置 | |
CN108205524B (zh) | 文本数据处理方法和装置 | |
CN113268615A (zh) | 资源标签生成方法、装置、电子设备及存储介质 | |
CN109446300A (zh) | 一种语料预处理方法、语料预标注方法及电子设备 | |
CN111401065A (zh) | 实体识别方法、装置、设备及存储介质 | |
CN109241529A (zh) | 观点标签的确定方法和装置 | |
CN110209772B (zh) | 一种文本处理方法、装置、设备及可读存储介质 | |
CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
CN106845880B (zh) | 运单号归属的识别方法及装置 | |
CN110287495A (zh) | 一种电力营销专业词识别方法及系统 | |
CN114049174A (zh) | 用于商品推荐的方法及装置、电子设备、存储介质 | |
CN110110087A (zh) | 一种基于二分类器的用于法律文本分类的特征工程方法 | |
CN109033078B (zh) | 语句类别识别方法及装置、存储介质、处理器 | |
CN112597299A (zh) | 文本的实体分类方法、装置、终端设备和存储介质 | |
CN111984764A (zh) | 流单原因分析方法、装置、计算机设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |