CN112860677A - 实体判重方法、终端设备及存储介质 - Google Patents
实体判重方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN112860677A CN112860677A CN202110213526.8A CN202110213526A CN112860677A CN 112860677 A CN112860677 A CN 112860677A CN 202110213526 A CN202110213526 A CN 202110213526A CN 112860677 A CN112860677 A CN 112860677A
- Authority
- CN
- China
- Prior art keywords
- entity
- company
- determining
- similarity
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种实体判重方法、终端设备及存储介质,其中,所述方法包括以下步骤:获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体;根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度;在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。达成了提高去重方案的普适性的效果。
Description
技术领域
本发明涉及实体去重技术领域,尤其涉及实体判重方法、终端设备及计算机可读存储介质。
背景技术
自然人实体去重在数据融合场景中的应用极为广泛。在相关数据融合场景中,为了实现自然人实体去重的目的,一般需要获取待去重的自然人的身份证号,从而通过自然人身份证号进行实体去重,以进行数据融合。但是,在许多场景下,限于自然人隐私保护等客观因素,无法获取到每一自然人的身份证号。从而无法达到去重的效果。这样导致相关的去重方案的局限性较大。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种实体判重方法、终端设备及计算机可读存储介质,旨在达成提高去重方案的普适性的效果。
为实现上述目的,本发明提供一种实体判重方法,所述实体判重方法包括以下步骤:
获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体;
根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度;
在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。
可选地,所述网络结构特征包括以下至少一个:
所述第一实体对应的第一公司与所述第二实体对应的第二公司之间的拓扑距离;
所述第一公司和所述第二公司之间的同名实体对的数量;
所述第一实体对所述第一公司的控股比例,与所述第二实体对所述第二公司的控股比例之间的控股比例差值。
可选地,所述根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果的步骤包括:
在所述网络结构特征满足预设条件时,判定所述第一实体和所述第二实体为重复实体,其中,所述预设条件包括以下至少一个:
所述拓扑距离小于预设拓扑距离;
所述同名实体对的数量大于预设数量;
所述控股比例差值小于预设数值。
可选地,所述获取第一实体和第二实体对应的字符串特征和网络结构特征的步骤包括:
爬取所述第一实体和所述第二实体关联工商数据,并根据所述工商数据生成确定拓扑关系数据;
通过最短路径算法计算,基于拓扑关系数据确定所述拓扑距离;以及
获取所述字符串特征。
可选地,所述字符串特征包括多个文本子特征,所述根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度的步骤包括:
确定各个文本子特征之间的子相似度,其中,所述文本子特征包括:姓名、所在公司对应的名称、所在公司对应的行业和/或所在公司对应的地理位置;
根据所述各个所述文本子特征之间的所述子相似度,确定所述第一实体和所述第二实体之间的相似度。
可选地,所述根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度的步骤之后,还包括:
在所述相似度大于或者等于所述预设阈值时,判定所述第一实体和所述第二实体为重复实体。
可选地,所述获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体的步骤之前,还包括:
获取待去重公司列表,并基于所述待去重公司列表确定目标公司,其中,所述目标公司为所述待去重公司列表中的公司的邻域内的公司;
确定所述待去重公司列表与所述目标公司对应的重名实体对;
根据所述重名实体对确定所述第一实体和所述第二实体。
可选地,所述在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果的步骤之后,还包括:
在所述判重结果为所述第一实体和所述第二实体为重复实体时,融合所述第一实体和所述第二实体关联的数据。
此外,为实现上述目的,本发明还提供一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实体判重程序,所述实体判重程序被所述处理器执行时实现如上所述的实体判重方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有实体判重程序,所述实体判重程序被处理器执行时实现如上所述的实体判重方法的步骤。
本发明实施例提出的一种实体判重方法、终端设备及计算机可读存储介质,先获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体,然后根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度,进而在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果,由于可以根据实体的字符串特征和网络结构特征,因此,即便在无法获取实体对应的身份证信息时,也能准确的确定实体是否为重复实体,从而提高了实体去重方案的普适性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本发明实体判重方法的一实施例的流程示意图;
图3为本发明实施例涉及的拓扑关系示意图;
图4为本发明实体判重方法的一实施例中的一种可选实施方案的流程示意图;
图5为本发明实体判重方法的另一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
自然人实体去重在数据融合场景中的应用极为广泛。在相关数据融合场景中,为了实现自然人实体去重的目的,一般需要获取待去重的自然人的身份证号,从而通过自然人身份证号进行实体去重,以进行数据融合。但是,在许多场景下,限于自然人隐私保护等客观因素,无法获取到每一自然人的身份证号。从而无法达到去重的效果。这样导致相关的去重方案的局限性较大。
为解决相关技术的上述缺陷,本发明实施是提出一种实体判重方法、终端设备及计算机可读存储介质,其中,上述方法的主要解决方案,包括以下步骤:
获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体;
根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度;
在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。
由于可以根据实体的字符串特征和网络结构特征,因此,即便在无法获取实体对应的身份证信息时,也能准确的确定实体是否为重复实体,从而提高了实体去重方案的普适性。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC机或者服务器等终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)、鼠标等,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及实体判重程序。
在图1所示的终端中,网络接口1004主要用于连接其它终端,与其它终端进行数据通信;处理器1001可以用于调用存储器1005中存储的实体判重程序,并执行以下操作:
获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体;
根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度;
在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
所述第一实体对应的第一公司与所述第二实体对应的第二公司之间的拓扑距离;
所述第一公司和所述第二公司之间的同名实体对的数量;
所述第一实体对所述第一公司的控股比例,与所述第二实体对所述第二公司的控股比例之间的控股比例差值。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
在所述网络结构特征满足预设条件时,判定所述第一实体和所述第二实体为重复实体,其中,所述预设条件包括以下至少一个:
所述拓扑距离小于预设拓扑距离;
所述同名实体对的数量大于预设数量;
所述控股比例差值小于预设数值。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
爬取所述第一实体和所述第二实体关联工商数据,并根据所述工商数据生成确定拓扑关系数据;
通过最短路径算法计算,基于拓扑关系数据确定所述拓扑距离;以及
获取所述字符串特征。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
确定各个文本子特征之间的子相似度,其中,所述文本子特征包括:姓名、所在公司对应的名称、所在公司对应的行业和/或所在公司对应的地理位置;
根据所述各个所述文本子特征之间的所述子相似度,确定所述第一实体和所述第二实体之间的相似度。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
在所述相似度大于或者等于所述预设阈值时,判定所述第一实体和所述第二实体为重复实体。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
获取待去重公司列表,并基于所述待去重公司列表确定目标公司,其中,所述目标公司为所述待去重公司列表中的公司的邻域内的公司;
确定所述待去重公司列表与所述目标公司对应的重名实体对;
根据所述重名实体对确定所述第一实体和所述第二实体。
进一步地,处理器1001可以调用存储器1005中存储的实体判重程序,还执行以下操作:
在所述判重结果为所述第一实体和所述第二实体为重复实体时,融合所述第一实体和所述第二实体关联的数据。
参照图2,在本发明实体判重方法的一实施例中,所述实体判重方法包括以下步骤:
步骤S10、获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体;
步骤S20、根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度;
步骤S30、在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。
作为一种应用示例,所述实体判重方法可以应用于基于实体关系进行数据融合的系统,例如,应用于自然人数据查询平台,或者也可以应用于证券监督管理平台等,需要对同一自然人实体进行数据融合的场景。
在本实施例中,所述第一实体和第二实体其表征的是自然人实体,因为,为判定所述第一实体和第二实体是否为同一实体,即所述第一实体和所述第二实体是否对应的为同一自然人。
在相关技术中,自然人实体去重在数据融合场景中的应用极为广泛。在相关数据融合场景中,为了实现自然人实体去重的目的,一般需要获取待去重的自然人的身份证号,从而通过自然人身份证号进行实体去重,以进行数据融合。但是,在许多场景下,限于自然人隐私保护等客观因素,无法获取到每一自然人的身份证号。从而无法达到去重的效果。这样导致相关的去重方案的局限性较大。因此,为解决相关技术存在的上述缺陷,本发明本实施例提出一种实体判重方法。旨在提高相关数据融合技术,在进行实体判重时,判重(去重需要先判同)方案的普适性。
进一步地,作为一种可选的实现方案,可以选获取第一实体和第二实体对应的字符串特征和网络结构特征。其中,所述字符串特征表征的为自然人关联的文本类数据对应的特征。例如,可以是所述实体的姓名、姓名的长度(当姓名为中文姓名时,其所述长度一般以字数和/或姓名的笔画数来量化描述、当所述姓名为外文姓名时,可以根据其显示长度或者包含的字符个数来量化描述,其中,所述显示长度是指,以相同字号和字体进行计算机显示时,其显示占用位置的大小。)、自然人所在公司的投资比例,自然人所在公司的名称、自然人所在公司对应的位置信息(例如可以包括公司的注册地址、实际办公地址等),自然人所在公司对应的行业信息等多个文本子特征。
可选地,所述网络结构特征包括以下至少一个:
所述第一实体对应的第一公司与所述第二实体对应的第二公司之间的拓扑距离;
所述第一公司和所述第二公司之间的同名实体对的数量;
所述第一实体对所述第一公司的控股比例,与所述第二实体对所述第二公司的控股比例之间的控股比例差值。
需要说明的是,所述拓扑距离是指两个实体对应的公司之间的关联关系之间的最小跳数。为使得本领域技术人员根据加直观的确定上述拓扑距离的含义,本实施例提出一种具体示例。可以理解的是,本示例并不用于限定本发明:
参照图3,本示例中,第一实体对应于第一公司,第二实体对应于第二公司。其中,第一公司与公司A之间存在投资关系(如公司A控股第一公司,或者第一公司控股公司A、或者公司A和第一公司存在相同的控股主体,等等),公司A与公司B之间存在投资关系,公司B与第二公司之间存在投资关系。同理,于公司C和公司D而言。其与相邻公司之间存在投资关系关联。因此,基于上述关系可以构建如图3所示的拓扑关系图。根据所述拓扑关系图,基于最小路径算法,获取第一公司至第二公司的最小跳数。可以理解的是,在图3中,第一公司至第二公司之间的拓扑路径包括第一路径:第一公司-公司A-公司B-第二公司。该第一路径对应的跳数为3。第二路径:第一公司-公司C-公司D-公司B-第二公司。该第二路径对应的跳数为4。因此可以获取第一路径对应跳数作为所述第一公司与所述第二公司之间的拓扑距离。
示例性地,所述第一公司和所述第二公司之间的同名实体对的数量,是指所述第一公司和所述第二公司对应的,相同姓名的自然人的数量。例如,第一公司和第二公司均包括投资人和/或员工“张三”、“李四”和“王五”,则所述第一公司和所述第二公司之间的同名实体对的数量为3。
可以理解的是,在本示例中,可以先爬取所述第一实体和所述第二实体关联工商数据,并根据所述工商数据生成确定拓扑关系数据,即如图3示出的拓扑关系。然后通过最短路径算法计算,基于拓扑关系数据确定所述拓扑距离。
需要说明的是,在具体实施过程中,可以无需生成拓扑图,而直接确定对应的拓扑关系。图3示出的拓扑图,仅为便于理解所述拓扑关系的含义。当然,在一些系统中,也可以生成上述拓扑图。
所述第一实体对所述第一公司的控股比例,与所述第二实体对所述第二公司的控股比例之间的控股比例差值△。可以根据以下公式计算:
△=|Y-E|
其中,Y为第一实体对A公司的控股比例,E为第二实体对第二公司的控股比例。其中,可以根据控股比例来确定是否为同一实体是因为,一般来说,相同实体对应的投资偏好相同,因此,可以将投资比例差值作为判重的一个因素。
需要说明的是,在本实施例中,在网络结构特征计算层面,采用了图计算(例如最短路径算法、弱连通图算法)以及图的免索引邻接。这样达成了提高确定第一实体和第二实体之间的网络特征的相似度的计算速度的效果。当然,这并不用于限定本发明仅能通过上述方式来确定网络特征相似度。
进一步地,在获取到所述第一实体和所述第二实体对应的字符串特征和网络结构特征后,根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度。
具体地,所述字符串特征包括多个文本子特征,因可以先确定各个文本子特征之间的子相似度,其中,所述文本子特征包括:姓名、所在公司对应的名称、所在公司对应的行业和/或所在公司对应的地理位置,进而根据所述各个所述文本子特征之间的所述子相似度,确定所述第一实体和所述第二实体之间的相似度。
即先确定第一实体和第二实体之间的各个对应各个文本子特征对应的子相似度,然后累计各个子相似度,得出所述第一实体和第二实体之间的相似度。
示例性地,在一实施方案中,可以直接将各个子相似度的和,作为所述相似度。
在另一实施方案中,可以对所述各个子相似度进行加权求和,进而将加权求和的结果,作为所述相似度。
在本实施方案中,先确定所述第一实体之间姓名对应的第一子相似度,其中,姓名对应的第一子相似度可以根据其字符特征和文本长度特征综合确定。然后确定其所在公司名称特征对应的第二子相似度,计算其公司所在行业对应的第三子相似度,公司所在地区对应的第四子相似度等。
需要说明的是,在确定第四子相似度时,可以基于所在地区对应的行政地域划分确定。例如,以在中国为例,当仅所在省相同时,公司所在地区对应第四子相似度为第一数值,当仅所在市相同时,对应的第四子相似度为第二数,其中,第一数值小于第二数值。依此类推,对应的地区的行政级别越低,相似度越高。
当确定多个子相似度后,可以根据以下公式确定所述相似度X:
其中,n为子相似度的个数,β为各个子相似度对应的权重值xi为子相似度。
进一步地,在确定所述第一实体和所述第二实体之间的相似度后,在所述相似度大于或者等于所述预设阈值时,直接判定所述第一实体和所述第二实体为重复实体。在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。其中,所述预设阈值是预存的固定数值,可以根据系统设计,基于实际需求自定义调整。本实施例对此不作具体的限定。
具体地,在根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果时,可以在所述网络结构特征满足预设条件时,判定所述第一实体和所述第二实体为重复实体,其中,所述预设条件包括以下至少一个:
所述拓扑距离小于预设拓扑距离;
所述同名实体对的数量大于预设数量;
所述控股比例差值小于预设数值。
可选地,参照图4,作为一种实现方案,所述步骤S30之后,还包括:
步骤S40、在所述判重结果为所述第一实体和所述第二实体为重复实体时,融合所述第一实体和所述第二实体关联的数据。
具体地,在确定第一实体和第二实体为同一实体(同一自然人)后,可以将所述第一实体关联的数据和第二实体关联数据,进行数据融合。以提高数据的完整性和数据关联的合理性。
在本实施例公开的技术方案中,先获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体,然后根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度,进而在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果,由于可以根据实体的字符串特征和网络结构特征,因此,即便在无法获取实体对应的身份证信息时,也能准确的确定实体是否为重复实体,从而提高了实体去重方案的普适性。
参照图5,基于上述实施例,在另一实施例中,所述步骤S10之前,还包括:
步骤S50、获取待去重公司列表,并基于所述待去重公司列表确定目标公司,其中,所述目标公司为所述待去重公司列表中的公司的邻域内的公司;
步骤S60、确定所述待去重公司列表与所述目标公司对应的重名实体对;
步骤S70、根据所述重名实体对确定所述第一实体和所述第二实体。
在本实施例中,当需要对一个或者多个公司对应的实体对应的数据进行去重时,为了减少去重运算量。在本实施例中,可以获取该待去重的公司对应的公司列表,即待去重公司列表。进而根据所述待去重公司列表确定目标公司。其中,所述目标公司为所述待去重公司列表中的公司的邻域内的公司。
需要说明的是,在本实施例中,所述邻域内的公司1和公司2满足如下关系:
r1+r2-1=r
其中,r1为公司1与一参照公司之间的拓扑距离,r2为公司2与所述参照公司之间的拓扑距离,r为预设的判断系数,为固定值。
进一步地,在确定目标公司后,计算待去重公司与其关系邻域内的目标公司之间的姓名相同的人物实体对。进而将每一所述人物实体对对应的自然人作为所述第一实体和所述第二实体。
可选地,在本实施例中,当前确定所述人物实体对中的重复实体后,对重复实体关联的数据进行数据融合。
可选地,在数据融合后,还可以通过用户接口输出融合后的数据。或者将融合后的数据,通过网络接口,发送至其他终端。
此外,本发明实施例还提出一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实体判重程序,所述实体判重程序被所述处理器执行时实现如上各个实施例所述的实体判重方法的步骤。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有实体判重程序,所述实体判重程序被处理器执行时实现如上各个实施例所述的实体判重方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是PC机或者服务器等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种实体判重方法,其特征在于,所述实体判重方法包括以下步骤:
获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体;
根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度;
在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果。
2.如权利要求1所述的实体判重方法,其特征在于,所述网络结构特征包括以下至少一个:
所述第一实体对应的第一公司与所述第二实体对应的第二公司之间的拓扑距离;
所述第一公司和所述第二公司之间的同名实体对的数量;
所述第一实体对所述第一公司的控股比例,与所述第二实体对所述第二公司的控股比例之间的控股比例差值。
3.如权利要求2所述的实体判重方法,其特征在于,所述根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果的步骤包括:
在所述网络结构特征满足预设条件时,判定所述第一实体和所述第二实体为重复实体,其中,所述预设条件包括以下至少一个:
所述拓扑距离小于预设拓扑距离;
所述同名实体对的数量大于预设数量;
所述控股比例差值小于预设数值。
4.如权利要求2所述的实体判重方法,其特征在于,所述获取第一实体和第二实体对应的字符串特征和网络结构特征的步骤包括:
爬取所述第一实体和所述第二实体关联工商数据,并根据所述工商数据生成确定拓扑关系数据;
通过最短路径算法计算,基于拓扑关系数据确定所述拓扑距离;以及
获取所述字符串特征。
5.如权利要求1所述的实体判重方法,其特征在于,所述字符串特征包括多个文本子特征,所述根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度的步骤包括:
确定各个文本子特征之间的子相似度,其中,所述文本子特征包括:姓名、所在公司对应的名称、所在公司对应的行业和/或所在公司对应的地理位置;
根据所述各个所述文本子特征之间的所述子相似度,确定所述第一实体和所述第二实体之间的相似度。
6.如权利要求1所述的实体判重方法,其特征在于,所述根据所述字符串特征确定所述第一实体和所述第二实体之间的相似度的步骤之后,还包括:
在所述相似度大于或者等于所述预设阈值时,判定所述第一实体和所述第二实体为重复实体。
7.如权利要求1所述的实体判重方法,其特征在于,所述获取第一实体和第二实体对应的字符串特征和网络结构特征,其中,所述第一实体和所述第二实体为自然人实体的步骤之前,还包括:
获取待去重公司列表,并基于所述待去重公司列表确定目标公司,其中,所述目标公司为所述待去重公司列表中的公司的邻域内的公司;
确定所述待去重公司列表与所述目标公司对应的重名实体对;
根据所述重名实体对确定所述第一实体和所述第二实体。
8.如权利要求1所述的实体判重方法,其特征在于,所述在所述相似度小于预设阈值时,根据所述网络结构特征确定所述第一实体和所述第二实体的判重结果的步骤之后,还包括:
在所述判重结果为所述第一实体和所述第二实体为重复实体时,融合所述第一实体和所述第二实体关联的数据。
9.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的实体判重程序,所述实体判重程序被所述处理器执行时实现如权利要求1至8中任一项所述的实体判重方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实体判重程序,所述实体判重程序被处理器执行时实现如权利要求1至8中任一项所述的实体判重方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110213526.8A CN112860677B (zh) | 2021-02-25 | 2021-02-25 | 实体判重方法、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110213526.8A CN112860677B (zh) | 2021-02-25 | 2021-02-25 | 实体判重方法、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112860677A true CN112860677A (zh) | 2021-05-28 |
CN112860677B CN112860677B (zh) | 2023-10-03 |
Family
ID=75991568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110213526.8A Active CN112860677B (zh) | 2021-02-25 | 2021-02-25 | 实体判重方法、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112860677B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116304056A (zh) * | 2023-04-11 | 2023-06-23 | 河南大学 | 一种用于计算机软件开发数据的管理方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8346929B1 (en) * | 2003-08-18 | 2013-01-01 | Oracle America, Inc. | System and method for generating secure Web service architectures using a Web Services security assessment methodology |
CN107577791A (zh) * | 2017-09-18 | 2018-01-12 | 河北省科学院应用数学研究所 | 一种企业征信人名重名消歧的方法及运用该方法的征信系统 |
CN110020433A (zh) * | 2019-04-01 | 2019-07-16 | 中科天玑数据科技股份有限公司 | 一种基于企业关联关系的工商高管人名消歧方法 |
CN110019540A (zh) * | 2017-07-20 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 企业图谱的实现方法、展示方法及装置、设备 |
CN110175909A (zh) * | 2019-05-07 | 2019-08-27 | 交通银行股份有限公司 | 一种企业关联关系确定方法及系统 |
CN110569369A (zh) * | 2019-09-16 | 2019-12-13 | 神州数码融信软件有限公司 | 银行金融系统知识图谱的生成方法及装置、应用方法及装置 |
CN111382956A (zh) * | 2020-03-27 | 2020-07-07 | 中国建设银行股份有限公司 | 企业集团关系的挖掘方法和装置 |
CN111563133A (zh) * | 2020-05-06 | 2020-08-21 | 支付宝(杭州)信息技术有限公司 | 一种基于实体关系进行数据融合的方法及系统 |
US20210021431A1 (en) * | 2020-09-25 | 2021-01-21 | Intel Corporation | Methods, apparatus and systems to share compute resources among edge compute nodes using an overlay manager |
-
2021
- 2021-02-25 CN CN202110213526.8A patent/CN112860677B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8346929B1 (en) * | 2003-08-18 | 2013-01-01 | Oracle America, Inc. | System and method for generating secure Web service architectures using a Web Services security assessment methodology |
CN110019540A (zh) * | 2017-07-20 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 企业图谱的实现方法、展示方法及装置、设备 |
CN107577791A (zh) * | 2017-09-18 | 2018-01-12 | 河北省科学院应用数学研究所 | 一种企业征信人名重名消歧的方法及运用该方法的征信系统 |
CN110020433A (zh) * | 2019-04-01 | 2019-07-16 | 中科天玑数据科技股份有限公司 | 一种基于企业关联关系的工商高管人名消歧方法 |
CN110175909A (zh) * | 2019-05-07 | 2019-08-27 | 交通银行股份有限公司 | 一种企业关联关系确定方法及系统 |
CN110569369A (zh) * | 2019-09-16 | 2019-12-13 | 神州数码融信软件有限公司 | 银行金融系统知识图谱的生成方法及装置、应用方法及装置 |
CN111382956A (zh) * | 2020-03-27 | 2020-07-07 | 中国建设银行股份有限公司 | 企业集团关系的挖掘方法和装置 |
CN111563133A (zh) * | 2020-05-06 | 2020-08-21 | 支付宝(杭州)信息技术有限公司 | 一种基于实体关系进行数据融合的方法及系统 |
US20210021431A1 (en) * | 2020-09-25 | 2021-01-21 | Intel Corporation | Methods, apparatus and systems to share compute resources among edge compute nodes using an overlay manager |
Non-Patent Citations (3)
Title |
---|
YANG LIU等: "anticipating stock market of the renowned companies:a knowledge graph approach", FINANCIAL NETWORKS 2019, pages 1 - 16 * |
周晓楠;黄磊;王飞跃;储明;黄涛;: "图数据库在识别重大疾病保险团伙式欺诈中的应用研究", 保险研究, no. 09, pages 92 - 104 * |
林莉等: "基于企业知识图谱构建的可视化研究", 青岛大学学报(自然科学版), vol. 32, no. 1, pages 55 - 60 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116304056A (zh) * | 2023-04-11 | 2023-06-23 | 河南大学 | 一种用于计算机软件开发数据的管理方法 |
CN116304056B (zh) * | 2023-04-11 | 2024-01-30 | 山西玖邦科技有限公司 | 一种用于计算机软件开发数据的管理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112860677B (zh) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11544578B2 (en) | Method, device and equipment for fusing different instances describing same entity | |
CN111417954B (zh) | 基于数据去标识过程的可允许配置的检测的数据去标识 | |
CN107948255A (zh) | App的推送方法及计算机可读存储介质 | |
CN108366052B (zh) | 验证短信的处理方法及系统 | |
CN112559672B (zh) | 信息检测方法、电子设备及计算机存储介质 | |
CN114187633A (zh) | 图像处理方法及装置、图像生成模型的训练方法及装置 | |
CN116541883A (zh) | 基于信任的差分隐私保护方法、装置、设备及存储介质 | |
CN112860677A (zh) | 实体判重方法、终端设备及存储介质 | |
CN107948256A (zh) | App的推送方法及计算机可读存储介质 | |
CN110908980B (zh) | 用户标识映射关系建立方法、系统、设备及存储介质 | |
CN113761565B (zh) | 数据脱敏方法和装置 | |
CN113572721B (zh) | 一种异常访问检测方法、装置、电子设备及存储介质 | |
CN107948257A (zh) | App的推送方法及计算机可读存储介质 | |
CN109992960B (zh) | 一种伪造参数检测方法、装置、电子设备及存储介质 | |
CN113194107B (zh) | 基于互联网的区域特性的寻址方法和装置 | |
JP2007200119A (ja) | 閲覧管理システム、閲覧管理方法および閲覧管理プログラム | |
JP5204802B2 (ja) | 社会的環境にタグを付ける方法および装置 | |
CN113312895A (zh) | 自治系统as的组织机构映射方法、装置及电子设备 | |
JP2006033612A (ja) | 地域推定装置、地域推定方法および地域推定方法をコンピュータに実行させる地域推定プログラム | |
JP2006033612A5 (zh) | ||
JP2010250833A5 (zh) | ||
CN112015768A (zh) | 一种基于Rete算法的信息匹配方法及其相关产品 | |
JP4869448B1 (ja) | 名寄せ管理システム | |
Koteshwariah et al. | A fuzzy version of generalized DBSCAN clustering algorithm | |
US9747260B2 (en) | Information processing device and non-transitory computer readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |