CN106933972A - 利用自然语言处理技术定义数据元素的方法以及装置 - Google Patents

利用自然语言处理技术定义数据元素的方法以及装置 Download PDF

Info

Publication number
CN106933972A
CN106933972A CN201710077669.4A CN201710077669A CN106933972A CN 106933972 A CN106933972 A CN 106933972A CN 201710077669 A CN201710077669 A CN 201710077669A CN 106933972 A CN106933972 A CN 106933972A
Authority
CN
China
Prior art keywords
information
data
word
field
multiple tables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710077669.4A
Other languages
English (en)
Other versions
CN106933972B (zh
Inventor
徐雄伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dt Dream Technology Co Ltd
Original Assignee
Hangzhou Dt Dream Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dt Dream Technology Co Ltd filed Critical Hangzhou Dt Dream Technology Co Ltd
Priority to CN201710077669.4A priority Critical patent/CN106933972B/zh
Publication of CN106933972A publication Critical patent/CN106933972A/zh
Application granted granted Critical
Publication of CN106933972B publication Critical patent/CN106933972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种利用自然语言处理技术定义数据元素的方法以及装置。其中方法包括：基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取多个数据表的字段信息；基于预先配置的语法规则，根据表示信息从多个数据表的字段信息中提取对象词和特性词；基于对象词、特性词和表示信息，对多个数据表的字段进行相似度计算；根据相似度计算结果，对字段信息进行聚类分析以得到多个聚类类别；根据每一个聚类类别中的特征信息定义类别名称，并将类别名称作为目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型。该方法实现了不依赖于事先定义的标准数据元素，减少了人工配置方面的工作量，提升使用体验。

Description

利用自然语言处理技术定义数据元素的方法以及装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种利用自然语言处理技术定义数据元素的方法以及装置。
背景技术
随着信息化水平的不断提升，政府、企业等单位都建立了众多的信息系统来支撑各种业务的开展，但是由于系统与系统之间业务口径的不一致、表达方式存在差异等影响着各个业务系统内部数据之间的交互。
为了能够更好地保证各个业务系统内部数据之间的交互，在相关技术中，提出了通过定义统一的标准数据元素信息来实现数据间的正常交互，具体可包括以下几种方式：其一，通过手工定义标准数据元素以及数据元素的各个要素；其二，基于标准数据元素，计算表字段与数据元素的相似度，形成字段与数据元素之间的映射关系。虽然通过上述几种方式可以解决数据之间不能正常交互的问题，但过于依赖于事先定义好的标准数据元素，且对数据元素的完整性要求比较高，此外存在较大的人工配置工作量，比较耗时耗力。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种利用自然语言处理技术定义数据元素的方法，该方法实现了不依赖于事先定义的标准数据元素，且减少了人工配置方面的工作量，提升了使用体验。
本发明的第二个目的在于提出一种利用自然语言处理技术定义数据元素的装置。
为达上述目的，根据本发明第一方面实施例提出了利用自然语言处理技术定义数据元素的方法，该方法包括以下步骤：包括以下步骤：基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取所述信息系统中多个数据表的字段信息；基于预先配置的语法规则，根据所述表示信息从所述多个数据表的字段信息中提取对象词和特性词；基于所述对象词、特性词和表示信息，对所述多个数据表的字段之间进行相似度计算；根据所述相似度计算的结果，对所述多个数据表的字段信息进行聚类分析以得到多个聚类类别；根据每一个聚类类别中的特征信息定义所述类别的名称，并将所述类别的名称作为所述目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为所述目标数据元素的数据类型。
本发明实施例的利用自然语言处理技术定义数据元素的方法，首先，基于信息系统中数据的基本信息定义出目标数据元素的表示信息，并且获取多个数据表字段信息；其次，基于预先配置的语法规则，根据表示信息从多个数据表字段信息中提取出对象词和特性词；再次，基于对象词、特性词和表示信息对多个数据表的字段信息进行聚类分析以得到多个聚类类别，进而根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，以及将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型，从而使得系统间的数据在交互时，不必过于依赖事先定义的标准数据元素，而是自动利用自然语言处理、数据挖掘等相关算法一次性完成对数据元素、数据元素的要素的定义，同时也能减少人工配置的工作量，提升了使用体验。
本发明第二方面实施例提供了一种利用自然语言处理技术定义数据元素的装置，该装置包括：预处理模块，用于基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取所述信息系统中多个数据表的字段信息；提取模块，用于基于预先配置的语法规则，根据所述表示信息从所述多个数据表的字段信息中提取对象词和特性词；相似度计算模块，用于基于所述对象词、特性词和表示信息，对所述多个数据表的字段之间进行相似度计算；聚类模块，用于根据所述相似度计算的结果，对所述多个数据表的字段信息进行聚类分析以得到多个聚类类别；定义模块，用于根据每一个聚类类别中的特征信息定义所述类别的名称，并将所述类别的名称作为所述目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为所述目标数据元素的数据类型。
本发明实施例的利用自然语言处理技术定义数据元素的装置，首先，基于信息系统中数据的基本信息定义出目标数据元素的表示信息，并且获取多个数据表字段信息；其次，基于预先配置的语法规则，根据表示信息从多个数据表字段信息中提取出对象词和特性词；再次，基于对象词、特性词和表示信息对多个数据表的字段信息进行聚类分析以得到多个聚类类别，进而根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，以及将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型，从而使得系统间的数据在交互时，不必过于依赖事先定义的标准数据元素，而是自动利用自然语言处理、数据挖掘等相关算法一次性完成对数据元素、数据元素的要素的定义，同时也能减少人工配置的工作量，提升了使用体验。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的一个实施例的利用自然语言处理技术定义数据元素的方法的流程图；
图2为本发明的另一个实施例的利用自然语言处理技术定义数据元素的方法的流程图；
图3为本发明实施例中对字段信息进行分析的具体实现过程的示意图；
图4为本发明的一个具体实施例的利用自然语言处理技术定义数据元素的方法的流程图；
图5为本发明的一个实施例的利用自然语言处理技术定义数据元素的装置的结构示意图；
图6为本发明的另一个实施例的利用自然语言处理技术定义数据元素的装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
可以理解，数据元素(Data element)又称数据类型，是在特定的语义环境中被认为是不可再分的最小数据单元。一个标准的数据元素有以下几个要素：中文名称、中文拼音、表示符、对象词、特性词、表示词、数据类型、值域等。
由于一个数据元素在不同应用环境下可以有多个同一名称，因此，需要定义出一个统一的标准数据元素结构。然而，在现有的数据元素定义中，通常会存在过于依赖于事先定义好的标准数据元素，且对数据元素的完整性要求比较高，此外存在较大的人工配置工作量等问题。
因此，为了解决上述问题，本发明提出了一种利用自然语言处理技术定义数据元素的方法，该方法从数据元素定义的角度，分析和研究数据资源整合中不同数据表字段之间的关系，并从识别不同应用环境中具有相同语义的数据表字段信息，进而定义出统一的数据元素结构，使得在数据整合方面提供了借鉴和指导。具体地，下面参考附图1描述本发明第一方面实施例提出的一种利用自然语言处理技术定义数据元素的方法。
图1为本发明一个实施例的利用自然语言处理技术定义数据元素的方法的流程图。如图1所示，本发明实施例的利用自然语言处理技术定义数据元素的方法，包括以下几个步骤：
S101，基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取信息系统中多个数据表的字段信息。
其中，在本实施例中，信息系统中存储数据的基本信息，至少可包括：数据的主题、内容、格式标准和表达方式等信息。也就是说，可对信息系统进行数据信息调研，了解信息系统中数据的主题、内容、格式标准和表达方式等基本信息，然后，可根据信息系统中存储的数据基本信息定义出目标数据元素的表示信息，以及获取信息系统中多个数据表的字段信息。
其中，根据信息系统中数据基本信息定义出的目标数据元素的表示信息至少可分为：名称、代码、时间、量、描述等信息，同时获取信息系统中多个数据表的字段信息可以是多个数据表的表名、字段名、字段格式等。
S102，基于预先配置的语法规则，根据表示信息从多个数据表的字段信息中提取对象词和特性词。
具体地，可基于预先配置的语法规则的方式将数据表的字段信息进行语义的拆分，并将数据表中的表名、字段名自动的提炼出表示词、特征词、对象词等数据元要素。具体的实现方式可参见后续实施例的具体描述。
可以理解，上述语法规则可以是预先配置的。举例说明，该预先配置的语法规则中可以包括但不限于：当核心词为动词时，存在主谓关系的词即为对象词，核心词为特性词。需要说明的是，上述预先配置的语法规则仅是示例性的，还可以根据实际使用需求设定不同的语法规则，在此不作具体限制。
S103，基于对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算。
具体地，在提取出对象词和特性词之后，可基于提取的对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算，举例说明如下：
以两个数据表为例，假设从第一个数据表的字段名“在逃人员作案时间”中获取到的对象词、特性词和表示信息分别为：在逃人员、作案、时间，从第二个数据表的字段名“通缉人员作案时间”中获取到的对象词、特性词和表示信息分别为：通缉人员、作案、时间，则可通过相似度计算公式计算出这两个数据表字段之间的相似度，即同时计算这两个数据表中对象与对象、特性与特性、表示与表示三者之间的相似度，该相似度结果即为这两个数据表字段之间的相似度。
其中，相似度计算公式可如下式(1)所示：
其中，A、B分别表示两个不同数据表字段的特征向量，该特征向量分别由对象、特性以及表示建立的，Ai、Bi分别表示两个不同特征向量中的第i个元素，该元素可以是对象、或特性、或表示，n表示该特征向量的长度。
可以理解，通过上述相似度计算公式计算两个数据表之间的相似度之前，首先将两个不同数据表中的字段基于对象、特性、表示建立两个不同的特征向量A、B，然后，再利用相似度计算公式(1)同时计算上述对象与对象、特性与特性、以及表示与表示三者之间的相似度，从而根据得到的相似度确定出两个数据表之间的相似度。
需要说明的是，上述计算多个数据表字段之间的相似度仅是示例性的，还可根据实际需要通过其他不同的方式计算多个数据表字段之间的相似度，在此不作具体限制。
S104，根据相似度计算的结果，对多个数据表的字段信息进行聚类分析以得到多个聚类类别。
具体地，在计算出多个数据表字段之间的相似度之后，可根据相似度计算结果继续对多个数据表的字段信息进行聚类分析。例如，假设计算出多个数据表的字段之间的相似度大于或等于预设阈值，则可认为该多个数据表的字段属于同一类别，则可将该多个数据表的字段聚为一类。这样，可以从不同应用环境中将具有相同或相似语义的数据表字段信息聚类一类，为后续标准数据元素的定义奠定基础。
S105，根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型。
具体地，对多个数据表的字段信息进行聚类分析之后，可根据每一个聚类类别中的特征信息，定义类别名称，即目标数据元素名称，并获取聚类后的数据表字段的字符类型定义为该目标数据元素的数据类型。其中，在本发明的实施例中，该聚类类别中的特征信息可理解为在该聚类类别下的词频信息。
也就是说，可根据每一个聚类类别下的词频定义该类别的名称，即将在该聚类类别下出现次数最多的字段名作为该目标数据元素名称。例如，以字段名为“在逃人员作案时间”、“通缉人员作案时间”为一个聚类类别为例，假设字段名“在逃人员作案时间”在该类别下出现的次数最大，则以该“在逃人员作案时间”为该类别的名称，即该目标数据元素名称，其中该目标数据元素对应的字段信息有：在逃人员作案时间、通缉人员作案时间。
本发明实施例的利用自然语言处理技术定义数据元素的方法，首先，基于信息系统中数据的基本信息定义出目标数据元素的表示信息，并且获取多个数据表字段信息；其次，基于预先配置的语法规则，根据表示信息从多个数据表字段信息中提取出对象词和特性词；再次，基于对象词、特性词和表示信息对多个数据表的字段信息进行聚类分析以得到多个聚类类别，进而根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，以及将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型，从而使得系统间的数据在交互时，不必过于依赖事先定义的标准数据元素，而是自动利用自然语言处理、数据挖掘等相关算法一次性完成对数据元素、数据元素的要素的定义，同时也能减少了人工配置的工作量，提升了使用体验。
图2为本发明的另一个实施例的利用自然语言处理技术定义数据元素的方法的流程图。
如图2所示，本发明实施例的利用自然语言处理技术定义数据元素的方法，包括以下几个步骤：
S201，基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取信息系统中多个数据表的字段信息。
S202，对表示信息进行语义扩展以生成表示的特征词库。
具体地，在基于信息系统中数据的基本信息定义出目标数据元素的表示信息，以及获取多个数据表的字段信息之后，可基于公开的同义词林词典对该表示信息进行语义扩展，以扩展出与该表示信息的语义具有相同或相似的词语，并将这些词语作为表示的特征词，以建立该表示的特征词库。举例说明如下：
假设在信息系统中，首先，定义出了目标数据元素的表示信息为“时间”；其次，根据同义词林词典对表示信息进行语义扩展，例如，时间的同义词有：时间、日期、小时等，进而根据上述时间以及与时间同义的词生成表示时间的特征词库，该特征词库包括时间、日期、小时等特征词，进而便于根据生成的特征词库进行进一步的归类操作。
S203，对多个数据表的字段信息进行表示信息的归类，形成多个数据表的字段与目标数据元素中表示的映射关系。
具体地，可通过文本分类的算法对多个数据表的字段信息进行表示信息的归类，即可通过文本分类算法将具体相同或相似的表示的数据表的字段信息归为一类，并形成数据表的字段与表示的映射关系。例如，以数据表的字段名“在逃人员作案时间”为例，可通过文本分类算法对“在逃人员作案时间”进行表示信息的归类，即可通过文本分类算法将该字段名与上述定义的表示信息进行分类计算，若计算结果达到某个阈值，则可将该字段名“在逃人员作案时间”归为一类，并形成该字段名与上述定义的表示的映射关系，如可将“在逃人员作案时间”的表示指向“时间”。
需要说明的是，在本发明的实施例中，上述文本分类算法的公式可如下式(2)所示：
其中，分类算法为朴素贝叶斯算法，A、B表示两组不同的事件组，P(Bi)表示事件组B中第i个事件的概率，P(A|Bi)表示事件组B中第i个事件已发生条件下事件组A的概率，P(Bi|A)表示事件组A发生条件下事件组B中第i个事件的概率,P(Bj)表示事件组B中第j个事件概率，P(A|Bj)表示事件组B中第j个事件已发生条件下事件组A的概率，j表示事件组B中的事件，n表示为事件组B中事件的个数。
S204，根据映射关系以及表示的特征词库，从多个数据表的字段信息中剔除表示特征词。
具体地，在生成映射关系以及表示的特征词库之后，可将多个数据表的字段信息中的表示特征词剔除掉。例如，以字段名“在逃人员作案时间”为例，其中的表示特征词为“时间”，则可将“在逃人员作案时间”中的“时间”剔除。
S205，对剔除表示特征词之后的多个数据表的字段信息进行语义依存分析，以提取剔除表示特征词之后的多个数据表的字段信息中各个词的语法关系。
可以理解，上述语义依存分析是指分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现。例如，使用语义依存刻画句子语义，好处在于不需要去抽象词汇本身，而是通过词汇所承受的语义框架来描述该词汇。语义依存分析目标是跨越句子表层句法结构的束缚，直接获取深层的语义信息。
例如，以数据表的字段名“在逃人员作案时间”为例，则该字段名剔除表示特征词“时间”之后，得到字符串“在逃人员作案”，对该字符串“在逃人员作案”进行语义依存分析，刻画出如图3所示的各个词之间的语法关系。例如，如图3所示，“HED”表示核心关系，“ATT”表示定中关系，“SBV”表示主谓关系。
S206，根据语法规则和语法关系生成多个数据表的字段信息的对象词和特性词。
具体地，在提取剔除表示特征词之后的多个数据表的字段信息中各个词的语法关系之后，可结合预先配置的语法规则从多个数据表中的字段信息中提炼出对象词和特性词。其中，可以理解，此处的字段信息应该是已经剔除了表示特征词之后的字符串。
举例而言，以上述步骤S205中所给出的例子为例，可根据预先配置的语法规则和得到的如图3所示的语法关系，从字符串“在逃人员作案”中提炼出对象词和特性词，即：核心词为“作案”，“作案”的上一层是“人员”，存在主谓关系，“人员”的上一层是“在逃”，存在定中关系，为修饰“人员”的。因此，可以将“人员”定义为对象词，“作案”定义为特性词。此外，由于“在逃”是修饰对象“人员”，并且为一个名词，属于“人员”的一个子类，因此可将“在逃人员”也定义为一个对象，进而得到最终的结果为：对象：在逃人员；特性：“作案”；表示：“时间”。
S207，基于对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算。
S208，根据相似度计算的结果，对多个数据表的字段信息进行聚类分析以得到多个聚类类别。
S209，根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型。
为了提高对象词、特性词的提炼准确率，提高目标数据元素的定义的标准化，进一步地，在本发明的一个实施例中，在根据语法规则和语法关系生成多个数据表的字段信息的对象词和特性词之后，该利用自然语言处理技术定义数据元素的方法还可包括：对生成的结果信息建立反向自学习机制，并基于反向自学习机制，将结果信息作为训练信息对对象词和特性词进行二次修正。
其中，在本发明的实施例中，基于对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算的具体实现过程可如下：基于二次修正后的对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算。也就是说，在对对象词和特性词进行二次修正之后，在对多个数据表的字段之间进行相似度计算时，可基于二次修正后的对象词、特性词和表示信息对该多个数据表的字段之间进行相似度计算。由此，可提高计算的准确率，进而提高聚类的准确度。
本发明实施例的利用自然语言处理技术定义数据元素的方法，通过自然语言处理、数据挖掘等相关算法以获取目标数据元素之间的语法关系，以及获知各个目标元素在信息系统中多个数据表之间的映射关系，可为目标数据元素标准化提供支持，并且还能减少人工配置的工作量，提高了系统之间进行数据交互的性能，更满足用户的使用需求。
为了方便不同数据元素的区分，进一步地，在本发明的一个实施例中，在将类别的名称作为目标数据元素的名称之后，该利用自然语言处理技术定义数据元素的方法还可包括：基于分词器对目标数据元素的名称进行拼音的转化，并截取拼音的首字母组合成目标数据元素的标识符。
具体地，在将类别的名称作为目标数据元素的名称之后，可对目标数据元素的名称进行扩展，通过分词器进行拼音的转化，截取拼音的首字母组合成该目标数据元素的标识符。例如，利用分词器对目标数据元素的名称“在逃人员作案时间”进行拼音转化，得到拼音(ZAI TAO REN YUAN ZUO AN SHI JIAN)，并截取该拼音首字母作为该目标数据元素的标识符(ZTRYZASJ)，以表示该数据元素的唯一性。
为了使得本发明实施例更清楚明确，下面通过一个具体实施例对本发明提出的利用自然语言处理技术定义数据元素的方法进行详细说明，具体可参见图4所示。
如图4所示，通过对信息系统进行调研，了解数据的基本信息，例如数据的主题、内容、格式标准、表达方式等，并定义数据元素的表示信息，同时获取数据表的表名、字段名、字段格式等字段信息(S401)；基于公开的同义词林词典，对表示信息进行语义扩展，形成表示的特征词库(S402)；通过文本分类的算法，对数据表信息进行归类，形成数据表字段与数据元素要素“表示”的映射关系(S403)；对剔除表示特征词之后信息进行文本的语义依存分析，提取短句中各个词的语法关系；定义若干语法规则，如：当核心词是动词时，存在主谓关系的词即是对象词，核心词为特性词；基于语法规则，生成数据表字段的对象词、特性词(S404)；对生成的结果建立反向自学习机制，将结果作为训练信息进行二次修正，从而达到提高准确率的目的(S405)；基于形成的对象、特性、表示信息，对数据表字之间进行相似度计算(S406)；聚类分析，并根据每一个聚类类别中的特征信息，定义类别名称，即为数据元名称；对数据元名称进行扩展，利用分词器进行拼音的转化，截取拼音的首字母组合成数据元的标识符，获取字段的字符类型定义为数据元的数据类型(S407)。
通过上述实施例使得系统间的数据在交互时，不必过于依赖事先定义的标准数据元素，而是自动利用自然语言处理、数据挖掘等相关算法一次性完成对数据元素、数据元素的要素的定义，同时也能减少了人工配置的工作量，提升了使用体验。
为了实现上述实施例，本发明还提出一种利用自然语言处理技术定义数据元素的装置。
图5为本发明一个实施例的利用自然语言处理技术定义数据元素的装置的结构示意图。
如图5示，本发明实施例的利用自然语言处理技术定义数据元素的装置包括：预处理模块10、提取模块20、相似度计算模块30、聚类模块40和定义模块50。
具体地，预处理模块10用于基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取信息系统中多个数据表的字段信息。其中，在本实施例中，信息系统中存储数据的基本信息，至少可包括：数据的主题、内容、格式标准和表达方式等信息。也就是说，可对信息系统进行数据信息调研，了解信息系统中数据的主题、内容、格式标准和表达方式等基本信息，然后，可根据信息系统中存储的数据基本信息定义出目标数据元素的表示信息，以及获取信息系统中多个数据表的字段信息。
其中，根据信息系统中数据基本信息定义出的目标数据元素的表示信息至少可分为：名称、代码、时间、量、描述等信息，同时获取信息系统中多个数据表的字段信息可以是多个数据表的表名、字段名、字段格式等。
提取模块20用于基于预先配置的语法规则，根据表示信息从多个数据表的字段信息中提取对象词和特性词。
具体地，可基于预先配置的语法规则的方式将数据表的字段信息进行语义的拆分，并将数据表中的表名、字段名自动的提炼出表示词、特征词、对象词等数据元要素。具体的实现方式可参见后续实施例的具体描述。
可以理解，上述语法规则可以是预先配置的。举例说明，该预先配置的语法规则中可以包括但不限于：当核心词为动词时，存在主谓关系的词即为对象词，核心词为特性词。需要说明的是，上述预先配置的语法规则仅是示例性的，还可以根据实际使用需求设定不同的语法规则，在此不作具体限制。
相似度计算模块30用于基于对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算。具体地，在提取出对象词和特性词之后，可基于提取的对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算，举例说明如下：
以两个数据表为例，假设从第一个数据表的字段名“在逃人员作案时间”中获取到的对象词、特性词和表示信息分别为：在逃人员、作案、时间，从第二个数据表的字段名“通缉人员作案时间”中获取到的对象词、特性词和表示信息分别为：通缉人员、作案、时间，则可通过相似度计算公式计算出这两个数据表字段之间的相似度，即同时计算这两个数据表中对象与对象、特性与特性、表示与表示三者之间的相似度，该相似度结果即为这两个数据表字段之间的相似度。
其中，相似度计算公式可如下式(1)所示：
其中，A、B分别表示两个不同数据表字段的特征向量，该特征向量分别由对象、特性以及表示建立的，Ai、Bi分别表示两个不同特征向量中的第i个元素，该元素可以是对象、或特性、或表示，n表示该特征向量的长度。
可以理解，通过上述相似度计算公式计算两个数据表之间的相似度之前，首先将两个不同数据表中的字段基于对象、特性、表示建立两个不同的特征向量A、B，然后，再利用相似度计算公式(1)同时计算上述对象与对象、特性与特性、以及表示与表示三者之间的相似度，从而根据得到的相似度确定出两个数据表之间的相似度。
需要说明的是，上述计算多个数据表字段之间的相似度仅是示例性的，还可根据实际需要通过其他不同的方式计算多个数据表字段之间的相似度，在此不作具体限制。
聚类模块40用于根据相似度计算的结果，对多个数据表的字段信息进行聚类分析以得到多个聚类类别。
具体地，在计算出多个数据表字段之间的相似度之后，可根据相似度计算结果继续对多个数据表的字段信息进行聚类分析。例如，假设计算出多个数据表的字段之间的相似度大于或等于预设阈值，则可认为该多个数据表的字段属于同一类别，则可将该多个数据表的字段聚为一类。这样，可以从不同应用环境中将具有相同或相似语义的数据表字段信息聚类一类，为后续标准数据元素的定义奠定基础。
定义模块50用于根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型。
具体地，对多个数据表的字段信息进行聚类分析之后，可根据每一个聚类类别中的特征信息，定义类别名称，即目标数据元素名称，并获取聚类后的数据表字段的字符类型定义为该目标数据元素的数据类型。其中，在本发明的实施例中，该聚类类别中的特征信息可理解为在该聚类类别下的词频信息。
也就是说，可根据每一个聚类类别下的词频定义该类别的名称，即将在该聚类类别下出现次数最多的字段名作为该目标数据元素名称。例如，以字段名为“在逃人员作案时间”、“通缉人员作案时间”为一个聚类类别为例，假设字段名“在逃人员作案时间”在该类别下出现的次数最大，则以该“在逃人员作案时间”为该类别的名称，即该目标数据元素名称，其中该目标数据元素对应的字段信息有：在逃人员作案时间、通缉人员作案时间。
本发明实施例的利用自然语言处理技术定义数据元素的装置，首先，基于信息系统中数据的基本信息定义出目标数据元素的表示信息，并且获取多个数据表字段信息；其次，基于预先配置的语法规则，根据表示信息从多个数据表字段信息中提取出对象词和特性词；再次，基于对象词、特性词和表示信息对多个数据表的字段信息进行聚类分析以得到多个聚类类别，进而根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，以及将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型，从而使得系统间的数据在交互时，不必过于依赖事先定义的标准数据元素，而是自动利用自然语言处理、数据挖掘等相关算法一次性完成对数据元素、数据元素的要素的定义，同时也能减少了人工配置的工作量，提升了使用体验。
图6为本发明的另一个实施例的利用自然语言处理技术定义数据元素的装置的结构示意图。
如图6所示，本发明实施例的利用自然语言处理技术定义数据元素的装置包括：预处理模块10、提取模块20、相似度计算模块30、聚类模块40和定义模块50。
具体地，预处理模块10用于基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取信息系统中多个数据表的字段信息。
提取模块20用于基于预先配置的语法规则，根据表示信息从多个数据表的字段信息中提取对象词和特性词；
具体地，在本实施例中提取模块20包括：第一生成单元21、归类单元22、剔除单元23、提取单元24和第二生成单元25。其中，第一生成单元21用于对表示信息进行语义扩展以生成表示的特征词库。具体地，在基于信息系统中数据的基本信息定义出目标数据元素的表示信息，以及获取多个数据表的字段信息之后，可基于公开的同义词林词典对该表示信息进行语义扩展，以扩展出与该表示信息的语义具有相同或相似的词语，并将这些词语作为表示的特征词，以建立该表示的特征词库。举例说明如下：
假设在信息系统中，首先，定义出了目标数据元素的表示信息为“时间”；其次，根据同义词林词典对表示信息进行语义扩展，例如，时间的同义词有：时间、日期、小时等，进而根据上述时间以及与时间同义的词生成表示时间的特征词库，该特征词库包括时间、日期、小时等特征词，进而便于根据生成的特征词库进行进一步的归类操作。
归类单元22用于对多个数据表的字段信息进行表示信息的归类，形成多个数据表的字段与目标数据元素中表示的映射关系。
具体地，可通过文本分类的算法对多个数据表的字段信息进行表示信息的归类，即可通过文本分类算法将具体相同或相似的表示的数据表的字段信息归为一类，并形成数据表的字段与表示的映射关系。例如，以数据表的字段名“在逃人员作案时间”为例，可通过文本分类算法对“在逃人员作案时间”进行表示信息的归类，即可通过文本分类算法将该字段名与上述定义的表示信息进行分类计算，若计算结果达到某个阈值，则可将该字段名“在逃人员作案时间”归为一类，并形成该字段名与上述定义的表示的映射关系，如可将“在逃人员作案时间”的表示指向“时间”。
需要说明的是，在本发明的实施例中，上述文本分类算法的公式可如下式(2)所示：
其中，分类算法为朴素贝叶斯算法，A、B表示两组不同的事件组，P(Bi)表示事件组B中第i个事件的概率，P(A|Bi)表示事件组B中第i个事件已发生条件下事件组A的概率，P(Bi|A)表示事件组A发生条件下事件组B中第i个事件的概率,P(Bj)表示事件组B中第j个事件概率，P(A|Bj)表示事件组B中第j个事件已发生条件下事件组A的概率，j表示事件组B中的事件，n表示为事件组B中事件的个数。
剔除单元23用于根据映射关系以及表示的特征词库，从多个数据表的字段信息中剔除表示特征词。具体地，在生成映射关系以及表示的特征词库之后，可将多个数据表的字段信息中的表示特征词剔除掉。例如，以字段名“在逃人员作案时间”为例，其中的表示特征词为“时间”，则可将“在逃人员作案时间”中的“时间”剔除。
提取单元24用于对剔除表示特征词之后的多个数据表的字段信息进行语义依存分析，以提取剔除表示特征词之后的多个数据表的字段信息中各个词的语法关系。
可以理解，上述语义依存分析是指分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现。例如，使用语义依存刻画句子语义，好处在于不需要去抽象词汇本身，而是通过词汇所承受的语义框架来描述该词汇。语义依存分析目标是跨越句子表层句法结构的束缚，直接获取深层的语义信息。
例如，以数据表的字段名“在逃人员作案时间”为例，则该字段名剔除表示特征词“时间”之后，得到字符串“在逃人员作案”，对该字符串“在逃人员作案”进行语义依存分析，刻画出如图3所示的各个词之间的语法关系。例如，如图3所示，“HED”表示核心关系，“ATT”表示定中关系，“SBV”表示主谓关系。
第二生成单元25用于根据语法规则和语法关系生成多个数据表的字段信息的对象词和特性词。具体地，在提取剔除表示特征词之后的多个数据表的字段信息中各个词的语法关系之后，可结合预先配置的语法规则从多个数据表中的字段信息中提炼出对象词和特性词。其中，可以理解，此处的字段信息应该是已经剔除了表示特征词之后的字符串。
举例而言，以上述步骤S205中所给出的例子为例，可根据预先配置的语法规则和得到的如图3所示的语法关系，从字符串“在逃人员作案”中提炼出对象词和特性词，即：核心词为“作案”，“作案”的上一层是“人员”，存在主谓关系，“人员”的上一层是“在逃”，存在定中关系，为修饰“人员”的。因此，可以将“人员”定义为对象词，“作案”定义为特性词。此外，由于“在逃”是修饰对象“人员”，并且为一个名词，属于“人员”的一个子类，因此可将“在逃人员”也定义为一个对象，进而得到最终的结果为：对象：在逃人员；特性：“作案”；表示：“时间”。
相似度计算模块30用于基于对象词、特性词和表示信息，对多个数据表的字段之间进行相似度计算。
聚类模块40用于根据相似度计算的结果，对多个数据表的字段信息进行聚类分析以得到多个聚类类别。
定义模块50用于根据每一个聚类类别中的特征信息定义类别的名称，并将类别的名称作为目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为目标数据元素的数据类型。
为了提高对象词、特性词的提炼准确率，提高目标数据元素的定义的标准化，进一步地，在本发明的一个实施例中，在根据语法规则和语法关系生成多个数据表的字段信息的对象词和特性词之后，该利用自然语言处理技术定义数据元素的装置还可包括：建立模块和修正模块。其中，建立模块用于在根据语法规则和语法关系生成多个数据表的字段信息的对象词和特性词之后，对生成的结果信息建立反向自学习机制；修正模块用于基于反向自学习机制，将结果信息作为训练信息对对象词和特性词进行二次修正。
其中，相似度计算模块30具体用于：基于二次修正后的对象词、特性词和所述表示信息，对多个数据表的字段之间进行相似度计算。也就是说，在对对象词和特性词进行二次修正之后，在对多个数据表的字段之间进行相似度计算时，可基于二次修正后的对象词、特性词和表示信息对该多个数据表的字段之间进行相似度计算。由此，可提高计算的准确率，进而提高聚类的准确度。
本发明实施例的利用自然语言处理技术定义数据元素的装置，通过自然语言处理、数据挖掘等相关算法以获取目标数据元素之间的语法关系，以及获知各个目标元素在信息系统中多个数据表之间的映射关系，可为目标数据元素标准化提供支持，并且还能减少人工配置的工作量，提高了系统之间进行数据交互的性能，更满足用户的使用需求。
为了方便不同数据元素的区分，进一步地，在本发明的一个实施例中，在将类别的名称作为目标数据元素的名称之后，该利用自然语言处理技术定义数据元素的装置还可包括：标识符生成模块。其中，标识符生成模块用于在将类别的名称作为目标数据元素的名称之后，基于分词器对目标数据元素的名称进行拼音的转化，并截取拼音的首字母组合成目标数据元素的标识符。
具体地，在将类别的名称作为目标数据元素的名称之后，可对目标数据元素的名称进行扩展，通过分词器进行拼音的转化，截取拼音的首字母组合成该目标数据元素的标识符。例如，利用分词器对目标数据元素的名称“在逃人员作案时间”进行拼音转化，得到拼音(ZAI TAO REN YUAN ZUO AN SHI JIAN)，并截取该拼音首字母作为该目标数据元素的标识符(ZTRYZASJ)，以表示该数据元素的唯一性。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种利用自然语言处理技术定义数据元素的方法，其特征在于，包括以下步骤：
基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取所述信息系统中多个数据表的字段信息；
基于预先配置的语法规则，根据所述表示信息从所述多个数据表的字段信息中提取对象词和特性词；
基于所述对象词、特性词和表示信息，对所述多个数据表的字段之间进行相似度计算；
根据所述相似度计算的结果，对所述多个数据表的字段信息进行聚类分析以得到多个聚类类别；
根据每一个聚类类别中的特征信息定义所述类别的名称，并将所述类别的名称作为所述目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为所述目标数据元素的数据类型。
2.如权利要求1所述的方法，其特征在于，所述基于预先配置的语法规则，根据所述表示信息从所述多个数据表的字段信息中提取对象词和特性词，包括：
对所述表示信息进行语义扩展以生成表示的特征词库；
对所述多个数据表的字段信息进行表示信息的归类，形成所述多个数据表的字段与所述目标数据元素中表示的映射关系；
根据所述映射关系以及所述表示的特征词库，从所述多个数据表的字段信息中剔除表示特征词；
对剔除表示特征词之后的多个数据表的字段信息进行语义依存分析，以提取所述剔除表示特征词之后的多个数据表的字段信息中各个词的语法关系；
根据所述语法规则和所述语法关系生成所述多个数据表的字段信息的对象词和特性词。
3.如权利要求2所述的方法，其特征在于，在根据所述语法规则和所述语法关系生成所述多个数据表的字段信息的对象词和特性词之后，所述方法还包括：
对生成的结果信息建立反向自学习机制；
基于所述反向自学习机制，将所述结果信息作为训练信息对所述对象词和特性词进行二次修正；
其中，基于所述对象词、特性词和表示信息，对所述多个数据表的字段之间进行相似度计算，包括：
基于二次修正后的所述对象词、特性词和所述表示信息，对所述多个数据表的字段之间进行相似度计算。
4.如权利要求1所述的方法，其特征在于，在将所述类别的名称作为所述目标数据元素的名称之后，所述方法还包括：
基于分词器对所述目标数据元素的名称进行拼音的转化，并截取所述拼音的首字母组合成所述目标数据元素的标识符。
5.如权利要求1至4中任一项所述的方法，其特征在于，所述数据的基本信息至少包括数据的主题、内容、格式标准和表达方式。
6.一种利用自然语言处理技术定义数据元素的装置，其特征在于，包括：
预处理模块，用于基于信息系统中数据的基本信息，定义目标数据元素的表示信息，并获取所述信息系统中多个数据表的字段信息；
提取模块，用于基于预先配置的语法规则，根据所述表示信息从所述多个数据表的字段信息中提取对象词和特性词；
相似度计算模块，用于基于所述对象词、特性词和表示信息，对所述多个数据表的字段之间进行相似度计算；
聚类模块，用于根据所述相似度计算的结果，对所述多个数据表的字段信息进行聚类分析以得到多个聚类类别；
定义模块，用于根据每一个聚类类别中的特征信息定义所述类别的名称，并将所述类别的名称作为所述目标数据元素的名称，并将聚类后的数据表字段的字符类型定义为所述目标数据元素的数据类型。
7.如权利要求6所述的装置，其特征在于，所述提取模块包括：
第一生成单元，用于对所述表示信息进行语义扩展以生成表示的特征词库；
归类单元，用于对所述多个数据表的字段信息进行表示信息的归类，形成所述多个数据表的字段与所述目标数据元素中表示的映射关系；
剔除单元，用于根据所述映射关系以及所述表示的特征词库，从所述多个数据表的字段信息中剔除表示特征词；
提取单元，用于对剔除表示特征词之后的多个数据表的字段信息进行语义依存分析，以提取所述剔除表示特征词之后的多个数据表的字段信息中各个词的语法关系；
第二生成单元，用于根据所述语法规则和所述语法关系生成所述多个数据表的字段信息的对象词和特性词。
8.如权利要求7所述的装置，其特征在于，还包括：
建立模块，用于在根据所述语法规则和所述语法关系生成所述多个数据表的字段信息的对象词和特性词之后，对生成的结果信息建立反向自学习机制；
修正模块，用于基于所述反向自学习机制，将所述结果信息作为训练信息对所述对象词和特性词进行二次修正；
其中，所述相似度计算模块具体用于：
基于二次修正后的所述对象词、特性词和所述表示信息，对所述多个数据表的字段之间进行相似度计算。
9.如权利要求6所述的装置，其特征在于，还包括：
标识符生成模块，用于在将所述类别的名称作为所述目标数据元素的名称之后，基于分词器对所述目标数据元素的名称进行拼音的转化，并截取所述拼音的首字母组合成所述目标数据元素的标识符。
10.如权利要求6至9中任一项所述的装置，其特征在于，所述数据的基本信息至少包括数据的主题、内容、格式标准和表达方式。
CN201710077669.4A 2017-02-14 2017-02-14 利用自然语言处理技术定义数据元素的方法以及装置 Active CN106933972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710077669.4A CN106933972B (zh) 2017-02-14 2017-02-14 利用自然语言处理技术定义数据元素的方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710077669.4A CN106933972B (zh) 2017-02-14 2017-02-14 利用自然语言处理技术定义数据元素的方法以及装置

Publications (2)

Publication Number Publication Date
CN106933972A true CN106933972A (zh) 2017-07-07
CN106933972B CN106933972B (zh) 2019-05-31

Family

ID=59422978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710077669.4A Active CN106933972B (zh) 2017-02-14 2017-02-14 利用自然语言处理技术定义数据元素的方法以及装置

Country Status (1)

Country Link
CN (1) CN106933972B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376298A (zh) * 2018-09-14 2019-02-22 广州神马移动信息科技有限公司 数据处理方法、装置、终端设备及计算机存储介质
CN109408510A (zh) * 2018-10-19 2019-03-01 中国银行股份有限公司 一种数据模型的规范方法及装置
CN110069633A (zh) * 2019-04-24 2019-07-30 普元信息技术股份有限公司 大数据治理中实现辅助制定数据标准的系统及方法
JP2019168820A (ja) * 2018-03-22 2019-10-03 株式会社日立製作所 データ分析支援システムおよびデータ分析支援方法
CN110765118A (zh) * 2019-10-21 2020-02-07 北京明略软件系统有限公司 一种数据的修订方法、修订装置及可读存储介质
CN110795482A (zh) * 2019-10-16 2020-02-14 浙江大华技术股份有限公司 数据对标方法、装置、及存储装置
CN111488327A (zh) * 2019-01-29 2020-08-04 卓望数码技术（深圳）有限公司 一种数据标准管理方法和系统
CN113688615A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 一种字段注释生成、字符串理解方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934892A (ja) * 1995-07-14 1997-02-07 Toshiba Corp 自然言語処理装置及び自然言語処理方法
CN102279843A (zh) * 2010-06-13 2011-12-14 北京四维图新科技股份有限公司 处理短语数据的方法以及装置
CN104572955A (zh) * 2014-12-29 2015-04-29 北京奇虎科技有限公司 一种基于聚类确定poi名称的系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0934892A (ja) * 1995-07-14 1997-02-07 Toshiba Corp 自然言語処理装置及び自然言語処理方法
CN102279843A (zh) * 2010-06-13 2011-12-14 北京四维图新科技股份有限公司 处理短语数据的方法以及装置
CN104572955A (zh) * 2014-12-29 2015-04-29 北京奇虎科技有限公司 一种基于聚类确定poi名称的系统及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019168820A (ja) * 2018-03-22 2019-10-03 株式会社日立製作所 データ分析支援システムおよびデータ分析支援方法
CN109376298A (zh) * 2018-09-14 2019-02-22 广州神马移动信息科技有限公司 数据处理方法、装置、终端设备及计算机存储介质
CN109408510A (zh) * 2018-10-19 2019-03-01 中国银行股份有限公司 一种数据模型的规范方法及装置
CN111488327A (zh) * 2019-01-29 2020-08-04 卓望数码技术（深圳）有限公司 一种数据标准管理方法和系统
CN111488327B (zh) * 2019-01-29 2023-08-22 卓望数码技术（深圳）有限公司 一种数据标准管理方法和系统
CN110069633A (zh) * 2019-04-24 2019-07-30 普元信息技术股份有限公司 大数据治理中实现辅助制定数据标准的系统及方法
CN110069633B (zh) * 2019-04-24 2022-12-06 普元信息技术股份有限公司 大数据治理中实现辅助制定数据标准的系统及方法
CN110795482A (zh) * 2019-10-16 2020-02-14 浙江大华技术股份有限公司 数据对标方法、装置、及存储装置
CN110765118A (zh) * 2019-10-21 2020-02-07 北京明略软件系统有限公司 一种数据的修订方法、修订装置及可读存储介质
CN110765118B (zh) * 2019-10-21 2022-05-17 北京明略软件系统有限公司 一种数据的修订方法、修订装置及可读存储介质
CN113688615A (zh) * 2020-05-19 2021-11-23 阿里巴巴集团控股有限公司 一种字段注释生成、字符串理解方法、设备及存储介质
CN113688615B (zh) * 2020-05-19 2024-02-27 阿里巴巴集团控股有限公司 一种字段注释生成、字符串理解方法、设备及存储介质

Also Published As

Publication number Publication date
CN106933972B (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
CN106933972B (zh) 利用自然语言处理技术定义数据元素的方法以及装置
CN106776711B (zh) 一种基于深度学习的中文医学知识图谱构建方法
CN111444723B (zh) 信息抽取方法、计算机设备和存储介质
US20180052823A1 (en) Hybrid Classifier for Assigning Natural Language Processing (NLP) Inputs to Domains in Real-Time
CN107608999A (zh) 一种适用于自动问答系统的问句分类方法
US9189748B2 (en) Information extraction system, method, and program
CN106547739A (zh) 一种文本语义相似度分析方法
CN110929520B (zh) 非命名实体对象抽取方法、装置、电子设备及存储介质
CN107992542A (zh) 一种基于主题模型的相似文章推荐方法
CN108228758A (zh) 一种文本分类方法及装置
CN106599054A (zh) 一种题目分类及推送的方法及系统
US20090300003A1 (en) Apparatus and method for supporting keyword input
CN114254653A (zh) 一种科技项目文本语义抽取与表示分析方法
CN109740053A (zh) 基于nlp技术的敏感词屏蔽方法和装置
CN109508458A (zh) 法律实体的识别方法及装置
CN106934005A (zh) 一种基于密度的文本聚类方法
CN110175585A (zh) 一种简答题自动批改系统及方法
CN108170678A (zh) 一种文本实体抽取方法与系统
CN108446295A (zh) 信息检索方法、装置、计算机设备和存储介质
CN110929498A (zh) 一种短文本相似度的计算方法及装置、可读存储介质
CN110502742A (zh) 一种复杂实体抽取方法、装置、介质及系统
CN109740164A (zh) 基于深度语义匹配的电力缺陷等级识别方法
CN111177367A (zh) 案件分类方法、分类模型训练方法及相关产品
CN105488098A (zh) 一种基于领域差异性的新词提取方法
CN114186567A (zh) 敏感词检测方法及其装置、设备、介质、产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant