CN109710626B - 数据入库管理方法、装置、电子设备,及存储介质 - Google Patents
数据入库管理方法、装置、电子设备,及存储介质 Download PDFInfo
- Publication number
- CN109710626B CN109710626B CN201811632105.3A CN201811632105A CN109710626B CN 109710626 B CN109710626 B CN 109710626B CN 201811632105 A CN201811632105 A CN 201811632105A CN 109710626 B CN109710626 B CN 109710626B
- Authority
- CN
- China
- Prior art keywords
- item
- data
- same
- project
- existing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明提出一种数据入库管理方法、装置、电子设备,及存储介质,数据为区块链的令牌项目数据,该方法包括对待入库项目的数据进行预处理;根据预处理结果判断待入库项目是否与数据库已有项目为相同项目;根据判断得到的结果,结合预设规则对数据进行入库处理。通过本发明能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据入库管理方法、装置、电子设备,及存储介质。
背景技术
相关技术中,对区块链令牌项目数据的管理比较杂乱,由于令牌项目的数据是动态变化更新的,市场上会不断有新的令牌项目发布,也会不断有令牌项目宣布终止,且单一令牌项目的数据非常多,包括令牌项目的简称、项目全称、标识、是否已上交易所、所属行业、项目简介、众筹开始时间、众筹结束时间、平台、接受币种、软顶、硬顶、众筹代币数量、网站地址、Twitter地址等,其中的部分数据是不断更新变化的。
因此,相关技术中的管理方式较难保证数据库中令牌项目数据的准确性和唯一性,数据入库管理效果不佳。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的目的在于提出一种数据入库管理方法、装置、电子设备,及存储介质,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为达到上述目的,本发明第一方面实施例提出的数据入库管理方法,所述数据为区块链的令牌项目数据,包括:对待入库项目的数据进行预处理;根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;根据判断得到的结果,结合预设规则对所述数据进行入库处理。
本发明第一方面实施例提出的数据入库管理方法,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为达到上述目的,本发明第二方面实施例提出的数据入库管理装置,所述数据为区块链的令牌项目数据,包括:预处理模块,用于对待入库项目的数据进行预处理;判断模块,用于根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;入库处理模块,用于根据判断得到的结果,结合预设规则对所述数据进行入库处理。
本发明第二方面实施例提出的数据入库管理装置,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为达到上述目的,本发明第三方面实施例提出的电子设备,包括:处理器,存储器,电源电路,多媒体组件,音频组件,输入/输出(I/O)的接口,传感器组件,以及通信组件;其中,电路板安置在壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:对待入库项目的数据进行预处理;根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;根据判断得到的结果,结合预设规则对所述数据进行入库处理。
本发明第三方面实施例提出的电子设备,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为达到上述目的,本发明第四方面实施例提出的非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器被执行时,使得移动终端能够执行一种数据入库管理方法,所述数据为区块链的令牌项目数据,所述方法包括:对待入库项目的数据进行预处理;根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;根据判断得到的结果,结合预设规则对所述数据进行入库处理。
本发明第四方面实施例提出的非临时性计算机可读存储介质,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为达到上述目的,本发明第五方面实施例提出的计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行一种数据入库管理方法,所述数据为区块链的令牌项目数据,所述方法包括:对待入库项目的数据进行预处理;根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;根据判断得到的结果,结合预设规则对所述数据进行入库处理。
本发明第五方面实施例提出的计算机程序产品,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一实施例提出的数据入库管理方法的流程示意图;
图2是本发明另一实施例提出的数据入库管理方法的流程示意图;
图3是本发明另一实施例提出的数据入库管理方法的流程示意图;
图4为本发明实施例中令牌项目展示示意图;
图5是本发明一实施例提出的数据入库管理装置的结构示意图;
图6是本发明实施例的一个电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。相反,本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的数据入库管理方法的流程示意图。
本发明中的数据为区块链的令牌项目数据。
本实施例以数据入库管理方法被配置为数据入库管理装置中来举例说明。
本实施例中数据入库管理方法可以被配置在数据入库管理装置中,数据入库管理装置可以设置在服务器中,或者也可以设置在电子设备中,本公开实施例对此不作限制。
本实施例以数据入库管理方法被配置在电子设备中为例。
需要说明的是,本公开实施例的执行主体,在硬件上可以例如为服务器或者电子设备中的中央处理器(Central Processing Unit,CPU),在软件上可以例如为服务器或者电子设备中的相关的后台服务,对此不作限制。
相关技术中,对区块链令牌项目数据的管理比较杂乱,由于令牌项目的数据是动态变化更新的,市场上会不断有新的令牌项目发布,也会不断有令牌项目宣布终止,且单一令牌项目的数据非常多,包括令牌项目的简称、项目全称、标识、是否已上交易所、所属行业、项目简介、众筹开始时间、众筹结束时间、平台、接受币种、软顶、硬顶、众筹代币数量、网站地址、Twitter地址等,其中的部分数据是不断更新变化的。因此,相关技术中的管理方式较难保证数据库中令牌项目数据的准确性和唯一性,数据入库管理效果不佳。
为了解决上述技术问题,本发明实施例中提供一种数据入库管理方法,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
参见图1,该方法包括:
S101:对待入库项目的数据进行预处理。
其中,待入库的数据所属的令牌项目可以被称为待入库项目。
本发明实施例在具体执行的过程中,可以采用数据爬取的技术,从多个网站中爬取令牌项目数据,其中的网站为需要对其数据进行入库管理的令牌项目所在的网站,而后,在爬取到待入库项目的数据后,可以触发对待入库项目的数据进行数据清洗、抽取、排重处理,以及对待入库项目的数据的格式进行转换等。
本发明实施例中,为了有效保证令牌项目数据的准确性和唯一性,可以对数据进行解析得到第一字段,其中对待入库项目的数据解析得到的字段可以被称为第一字段,字段可以包括:网站地址、项目简称,以及项目全称等,该第一字段可以用于后续对令牌项目数据进行排重处理,其中对待入库项目的数据解析得到的网站地址、项目简称,以及项目全称可以依次被称为:第一网站地址、第一项目简称,以及第一项目全称。
S102:根据预处理结果判断待入库项目是否与数据库已有项目为相同项目。
在上述解析得到第一字段之后,还提供一种排重处理方法(即判断待入库项目是否与数据库已有项目为相同项目),具体地,可以根据第一字段判断待入库项目是否与数据库中已有项目为相同项目。
本发明实施例在具体执行的过程中,根据第一字段判断待入库项目是否与数据库中已有项目为相同项目,包括:获取数据库中目标项目对应的第二字段;根据第一字段和第二字段确定待入库项目是否与已有项目为相同项目。
其中的目标项目可以为数据库中与待入库项目相似的项目,目标项目的选取规则可以是预先设定的,即基于相关技术中的相似度检测方法,确定与待入库项目最为相似的已有项目作为目标项目,例如,目标项目的判断可以是采用待入库项目的网址、简称、全称与数据库中已有项目的网址、简称、全称一致性进行匹配得到的,其可以是自动匹配的过程,或者,由人工进行匹配实现,对此不作限制。
本发明实施例中,为了有效保证令牌项目数据的准确性和唯一性,提升排重精准度,可以获取数据库中目标项目对应的第二字段,其中对目标项目的数据解析得到的字段可以被称为第二字段,字段可以包括:网站地址、项目简称,以及项目全称等,该第二字段可以用于对待入库项目的数据进行排重处理,其中对目标项目的数据解析得到的网站地址、项目简称,以及项目全称可以依次被称为:第二网站地址、第二项目简称,以及第二项目全称。
可选地,参见图2,根据第一字段和第二字段确定待入库项目是否与目标项目为相同项目可以包括:
S201:若各网站地址不为空,且第一网站地址和第二网站地址相同,以及第一项目简称和第二项目简称相同,则确定待入库项目与已有项目为相同项目。
S202:若各网站地址为空,且第一项目简称和第二项目简称相同,以及第一项目全称和第二项目全称相同,则确定待入库项目与已有项目为相同项目。
S103:根据判断得到的结果,结合预设规则对数据进行入库处理。
针对上述图2所示实施例,在执行S103时,若为相同项目,则直接根据待入库项目的数据对目标项目的第一数据进行更新;若不为相同项目,则对待入库项目的数据执行复检操作。
本发明实施例在具体执行的过程中,还可以在待入库项目与目标项目不为相同项目时,对待入库项目的数据执行复检操作,能够提供双重排重检测,进一步保障了数据库中令牌项目数据的准确性和唯一性,参见图3,若不为相同项目,则对待入库项目的数据执行复检操作,包括:
S301:确定数据库中已有项目对应的第三字段,第三字段包括:第三网站地址、第三项目简称,以及第三项目全称。
本发明实施例中,为了有效保证令牌项目数据的准确性和唯一性,提升排重精准度,可以确定数据库中已有项目对应的第三字段,其中对各已有项目的数据解析得到的字段可以被称为第三字段,字段可以包括:网站地址、项目简称,以及项目全称等,该第三字段可以用于对待入库项目的数据进行排重处理,其中对各已有项目的数据解析得到的网站地址、项目简称,以及项目全称可以依次被称为:第三网站地址、第三项目简称,以及第三项目全称。
S302:确定第一网站地址和第三网站地址之间的第一相似度,确定第一项目简称和第三项目简称之间的第二相似度,以及确定第一项目全称和第三项目全称之间的第三相似度。
S303:选取第一相似度,第二相似度,和第三相似度满足预设条件的已有项目并作为目标已有项目。
例如,在第一相似度大于或者等于80%,第二相似度大于或者等于70%,和第三相似度大于或者等于80%,则确定满足预设条件,对此不作限制。
在上述第一相似度,第二相似度,和第三相似度满足预设条件,将满足预设条件的已有项目作为目标已有项目,该目标已有项目的数量可以为多个。
由此可见,本发明实施例中在上述判断待入库项目和人工选定的目标项目是否为相同项目之后,若不为相同项目,可以进一步从数据库中选取其它相似的令牌项目进行排重处理,是考虑到实际应用中,在令牌项目进行过程中可能会对令牌项目简称、全称、网站地址做改动,所以存在简称不同,网站地址相同,是同一项目;简称、全称不同,网站地址相同,是同一项目的情况,因此,经由二次排重处理,起到了双重保险的作用,由此进一步提升了数据入库效果。
S304:采集目标已有项目的第一目标信息,并采集待入库项目的第二目标信息。
可选地,第一目标信息/第二目标信息包括以下至少之一:项目标识、网站地址、项目简介信息,以及项目白皮书信息。
S305:对第一目标信息和第二目标信息进行相似性检测处理。
其中,可以采用相关技术中的图像识别及相似性检测技术,对上述目标已有项目的项目标识、网站地址、项目简介信息,以及项目白皮书信息进行综合检测,判定待入库项目与目标已有项目是否为相同项目。
S306:根据相似性检测处理得到的结果确定待入库项目和目标已有项目是否为相同项目。
S307:在待入库项目与目标已有项目为相同项目时,直接根据待入库项目的数据对目标已有项目的第二数据进行更新。
本发明实施例中,在直接根据待入库项目的数据对目标已有项目的第二数据进行更新,并可以在更新处理之后,删除待入库项目。
S308:在待入库项目与目标已有项目不为相同项目时,将待入库的数据添加至数据库中。
作为一种示例,参见图4,图4为本发明实施例中令牌项目展示示意图,其中,第一行是在待入库项目与目标项目为不相同项目时,在数据中新添加的待入库项目,第二行为该新添加的待入库项目对应的目标已有项目。
例如,参见图4中页面中第一个令牌项目(ID:900005247,项目简称:UTN,项目全称:Universa,网站地址:https://universa.io/),通过图像识别技术(令牌项目的项目标识判定)+相似性检测(网站地址、项目白皮书信息),可判定与模糊匹配出来的令牌项目中第一个令牌项目为同一令牌项目(简称:UTNP,项目全称:Universa,网站地址:https://universa.io/),因此,为了有效保证数据库中令牌项目的唯一性,在根据待入库项目的数据对目标已有项目的第二数据进行更新之后,删除待入库项目。
本发明实施例中,由于整个令牌项目数据的入库管理流程采用双层排重逻辑,第一次,采用令牌项目数据的项目简称+网站地址或者项目简称+项目全称,过滤掉大部分项目数据,而后,利用图像识别+相似性检测技术进行精度排重,因此,可以保证数据库中令牌项目的唯一性,整个流程实现自动化,保证了数据更新效率。
本实施例中,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
图5是本发明一实施例提出的数据入库管理装置的结构示意图。
数据为区块链的令牌项目数据。
参见图5,该装置500包括:
预处理模块501,用于对待入库项目的数据进行预处理;
判断模块502,用于根据预处理结果判断待入库项目是否与数据库已有项目为相同项目;
入库处理模块503,用于根据判断得到的结果,结合预设规则对数据进行入库处理。
可选地,一些实施例中,预处理模块501,具体用于:
对数据进行解析得到第一字段;
判断模块502,具体用于:根据第一字段判断待入库项目是否与数据库中已有项目为相同项目。
可选地,一些实施例中,判断模块502,具体用于:
获取数据库中目标项目对应的第二字段;
根据第一字段和第二字段确定待入库项目是否与已有项目为相同项目。
可选地,一些实施例中,第一字段包括:第一网站地址、第一项目简称,以及第一项目全称,第二字段包括:第二网站地址、第二项目简称,以及第二项目全称。
可选地,一些实施例中,判断模块502,具体用于:
若各网站地址不为空,且第一网站地址和第二网站地址相同,以及第一项目简称和第二项目简称相同,则确定待入库项目与已有项目为相同项目;
若各网站地址为空,且第一项目简称和第二项目简称相同,以及第一项目全称和第二项目全称相同,则确定待入库项目与已有项目为相同项目。
可选地,一些实施例中,入库处理模块503,具体用于:
若为相同项目,则直接根据待入库项目的数据对目标项目的第一数据进行更新;
若不为相同项目,则对待入库项目的数据执行复检操作。
可选地,一些实施例中,入库处理模块503,具体用于:
确定数据库中已有项目对应的第三字段,第三字段包括:第三网站地址、第三项目简称,以及第三项目全称;
确定第一网站地址和第三网站地址之间的第一相似度,确定第一项目简称和第三项目简称之间的第二相似度,以及确定第一项目全称和第三项目全称之间的第三相似度;
选取第一相似度,第二相似度,和第三相似度满足预设条件的已有项目并作为目标已有项目;
采集目标已有项目的第一目标信息,并采集待入库项目的第二目标信息;
对第一目标信息和第二目标信息进行相似性检测处理;
根据相似性检测处理得到的结果确定待入库项目和目标已有项目是否为相同项目。
可选地,一些实施例中,入库处理模块503,具体用于:
在待入库项目与目标已有项目为相同项目时,直接根据待入库项目的数据对目标已有项目的第二数据进行更新,并在更新处理之后,删除待入库项目;
在待入库项目与目标已有项目不为相同项目时,将待入库的数据添加至数据库中。
可选地,一些实施例中,第一目标信息/第二目标信息包括以下至少之一:项目标识、网站地址、项目简介信息,以及项目白皮书信息。
需要说明的是,前述图1-图4实施例中对数据入库管理方法实施例的解释说明也适用于该实施例的数据入库管理装置500,其实现原理类似,此处不再赘述。
本实施例中,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
本发明实施例还提供了一种电子设备,参见图6,电子设备600可以包括以下一个或多个组件:处理器601,存储器602,电源电路603,多媒体组件604,音频组件605,输入/输出(I/O)的接口606,传感器组件607,以及通信组件608。电源电路603,用于为电子设备的各个电路或器件供电;存储器602用于存储可执行程序代码;处理器601通过读取存储器602中存储的可执行程序代码来运行与可执行程序代码对应的程序,以用于执行以下步骤:
对待入库项目的数据进行预处理;
根据预处理结果判断待入库项目是否与数据库已有项目为相同项目;
根据判断得到的结果,结合预设规则对数据进行入库处理。
需要说明的是,前述图1-图4实施例中对数据入库管理方法实施例的解释说明也适用于该实施例的电子设备600,其实现原理类似,此处不再赘述。
本实施例中,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,当存储介质中的指令由终端的处理器执行时,使得终端能够执行一种数据入库管理方法,数据为区块链的令牌项目数据,方法包括:
对待入库项目的数据进行预处理;
根据预处理结果判断待入库项目是否与数据库已有项目为相同项目;
根据判断得到的结果,结合预设规则对数据进行入库处理。
本实施例中的非临时性计算机可读存储介质,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
为了实现上述实施例,本发明还提出一种计算机程序产品,当计算机程序产品中的指令被处理器执行时,执行一种数据入库管理方法,数据为区块链的令牌项目数据,方法包括:
对待入库项目的数据进行预处理;
根据预处理结果判断待入库项目是否与数据库已有项目为相同项目;
根据判断得到的结果,结合预设规则对数据进行入库处理。
本实施例中的计算机程序产品,通过对待入库项目的数据进行预处理,并根据预处理结果判断待入库项目是否与数据库已有项目为相同项目,以及根据判断得到的结果,结合预设规则对数据进行入库处理,能够有效保障数据库中令牌项目数据的准确性和唯一性,提升数据入库管理效果。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (16)
1.一种数据入库管理方法,其特征在于,所述数据为区块链的令牌项目数据,所述方法包括:
对待入库项目的数据进行预处理;
根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;
根据判断得到的结果,结合预设规则对所述数据进行入库处理;
所述根据判断得到的结果,结合预设规则对所述数据进行入库处理,包括:
若为所述相同项目,则直接根据所述待入库项目的数据对目标项目的第一数据进行更新;
若不为所述相同项目,则对所述待入库项目的数据执行复检操作;
所述若不为所述相同项目,则对所述待入库项目的数据执行复检操作,包括:
确定所述数据库中已有项目对应的第三字段,所述第三字段包括:第三网站地址、第三项目简称,以及第三项目全称;
确定第一网站地址和所述第三网站地址之间的第一相似度,确定第一项目简称和所述第三项目简称之间的第二相似度,以及确定第一项目全称和所述第三项目全称之间的第三相似度;
选取所述第一相似度,所述第二相似度,和所述第三相似度满足预设条件的已有项目并作为目标已有项目;
采集所述目标已有项目的第一目标信息,并采集所述待入库项目的第二目标信息;
对所述第一目标信息和所述第二目标信息进行相似性检测处理;
根据相似性检测处理得到的结果确定所述待入库项目和所述目标已有项目是否为所述相同项目。
2.如权利要求1所述的数据入库管理方法,其特征在于,所述对待入库项目的数据进行预处理,包括:
对所述数据进行解析得到第一字段;
所述根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目,包括:根据所述第一字段判断所述待入库项目是否与数据库中已有项目为相同项目。
3.如权利要求2所述的数据入库管理方法,其特征在于,所述根据所述第一字段判断所述待入库项目是否与数据库中已有项目为相同项目,包括:
获取所述数据库中目标项目对应的第二字段;
根据所述第一字段和所述第二字段确定所述待入库项目是否与所述已有项目为相同项目。
4.如权利要求3所述的数据入库管理方法,其特征在于,所述第一字段包括:第一网站地址、第一项目简称,以及第一项目全称,所述第二字段包括:第二网站地址、第二项目简称,以及第二项目全称。
5.如权利要求4所述的数据入库管理方法,其特征在于,所述根据所述第一字段和所述第二字段确定所述待入库项目是否与所述已有项目为相同项目,包括:
若各所述网站地址不为空,且所述第一网站地址和所述第二网站地址相同,以及所述第一项目简称和所述第二项目简称相同,则确定所述待入库项目与所述已有项目为所述相同项目;
若各所述网站地址为空,且所述第一项目简称和所述第二项目简称相同,以及所述第一项目全称和所述第二项目全称相同,则确定所述待入库项目与所述已有项目为所述相同项目。
6.如权利要求1所述的数据入库管理方法,其特征在于,在所述若不为所述相同项目,则对所述待入库项目的数据执行复检操作之后,还包括:
在所述待入库项目与所述目标已有项目为相同项目时,根据所述待入库项目的数据对所述目标已有项目的第二数据进行更新;
在所述待入库项目与所述目标已有项目不为所述相同项目时,将所述待入库的数据添加至所述数据库中。
7.如权利要求1所述的数据入库管理方法,其特征在于,所述第一目标信息/所述第二目标信息包括以下至少之一:项目标识、网站地址、项目简介信息,以及项目白皮书信息。
8.一种数据入库管理装置,其特征在于,所述数据为区块链的令牌项目数据,所述装置包括:
预处理模块,用于对待入库项目的数据进行预处理;
判断模块,用于根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;
入库处理模块,用于根据判断得到的结果,结合预设规则对所述数据进行入库处理;
所述入库处理模块,具体用于:
若为所述相同项目,则直接根据所述待入库项目的数据对目标项目的第一数据进行更新;
若不为所述相同项目,则对所述待入库项目的数据执行复检操作;
所述入库处理模块,具体用于:
确定所述数据库中已有项目对应的第三字段,所述第三字段包括:第三网站地址、第三项目简称,以及第三项目全称;
确定第一网站地址和所述第三网站地址之间的第一相似度,确定第一项目简称和所述第三项目简称之间的第二相似度,以及确定第一项目全称和所述第三项目全称之间的第三相似度;
选取所述第一相似度,所述第二相似度,和所述第三相似度满足预设条件的已有项目并作为目标已有项目;
采集所述目标已有项目的第一目标信息,并采集所述待入库项目的第二目标信息;
对所述第一目标信息和所述第二目标信息进行相似性检测处理;
根据相似性检测处理得到的结果确定所述待入库项目和所述目标已有项目是否为所述相同项目。
9.如权利要求8所述的数据入库管理装置,其特征在于,所述预处理模块,具体用于:
对所述数据进行解析得到第一字段;
所述判断模块,具体用于:根据所述第一字段判断所述待入库项目是否与数据库中已有项目为相同项目。
10.如权利要求9所述的数据入库管理装置,其特征在于,所述判断模块,具体用于:
获取所述数据库中目标项目对应的第二字段;
根据所述第一字段和所述第二字段确定所述待入库项目是否与所述已有项目为相同项目。
11.如权利要求10所述的数据入库管理装置,其特征在于,所述第一字段包括:第一网站地址、第一项目简称,以及第一项目全称,所述第二字段包括:第二网站地址、第二项目简称,以及第二项目全称。
12.如权利要求11所述的数据入库管理装置,其特征在于,所述判断模块,具体用于:
若各所述网站地址不为空,且所述第一网站地址和所述第二网站地址相同,以及所述第一项目简称和所述第二项目简称相同,则确定所述待入库项目与所述已有项目为所述相同项目;
若各所述网站地址为空,且所述第一项目简称和所述第二项目简称相同,以及所述第一项目全称和所述第二项目全称相同,则确定所述待入库项目与所述已有项目为所述相同项目。
13.如权利要求8所述的数据入库管理装置,其特征在于,所述入库处理模块,具体用于:
在所述待入库项目与所述目标已有项目为相同项目时,直接根据所述待入库项目的数据对所述目标已有项目的第二数据进行更新;
在所述待入库项目与所述目标已有项目不为所述相同项目时,将所述待入库的数据添加至所述数据库中。
14.如权利要求8所述的数据入库管理装置,其特征在于,所述第一目标信息/所述第二目标信息包括以下至少之一:项目标识、网站地址、项目简介信息,以及项目白皮书信息。
15.一种电子设备,其特征在于,包括以下一个或多个组件:处理器,存储器,电源电路,多媒体组件,音频组件,输入/输出(I/O)的接口,传感器组件,以及通信组件;其中,电路板安置在壳体围成的空间内部,所述处理器和所述存储器设置在所述电路板上;所述电源电路,用于为所述电子设备的各个电路或器件供电;所述存储器用于存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:
对待入库项目的数据进行预处理;
根据预处理结果判断所述待入库项目是否与数据库已有项目为相同项目;
根据判断得到的结果,结合预设规则对所述数据进行入库处理;
所述根据判断得到的结果,结合预设规则对所述数据进行入库处理,包括:
若为所述相同项目,则直接根据所述待入库项目的数据对目标项目的第一数据进行更新;
若不为所述相同项目,则对所述待入库项目的数据执行复检操作;
所述若不为所述相同项目,则对所述待入库项目的数据执行复检操作,包括:
确定所述数据库中已有项目对应的第三字段,所述第三字段包括:第三网站地址、第三项目简称,以及第三项目全称;
确定第一网站地址和所述第三网站地址之间的第一相似度,确定第一项目简称和所述第三项目简称之间的第二相似度,以及确定第一项目全称和所述第三项目全称之间的第三相似度;
选取所述第一相似度,所述第二相似度,和所述第三相似度满足预设条件的已有项目并作为目标已有项目;
采集所述目标已有项目的第一目标信息,并采集所述待入库项目的第二目标信息;
对所述第一目标信息和所述第二目标信息进行相似性检测处理;
根据相似性检测处理得到的结果确定所述待入库项目和所述目标已有项目是否为所述相同项目。
16.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的数据入库管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811632105.3A CN109710626B (zh) | 2018-12-29 | 2018-12-29 | 数据入库管理方法、装置、电子设备,及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811632105.3A CN109710626B (zh) | 2018-12-29 | 2018-12-29 | 数据入库管理方法、装置、电子设备,及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109710626A CN109710626A (zh) | 2019-05-03 |
CN109710626B true CN109710626B (zh) | 2021-08-24 |
Family
ID=66259291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811632105.3A Active CN109710626B (zh) | 2018-12-29 | 2018-12-29 | 数据入库管理方法、装置、电子设备,及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109710626B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111392303B (zh) * | 2020-03-18 | 2022-04-01 | 浙江冒个泡电子商务有限公司 | 一种智能仓库管理方法和系统 |
CN112749154B (zh) * | 2020-12-30 | 2023-03-24 | 上海微盟企业发展有限公司 | 一种数据入库方法、装置、设备及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980187A (zh) * | 2010-10-13 | 2011-02-23 | 中兴通讯股份有限公司 | 数据入库方法和装置 |
CN103176991A (zh) * | 2011-12-21 | 2013-06-26 | 苏州威世博知识产权服务有限公司 | 专利下载方法及系统 |
CN104915719A (zh) * | 2015-06-10 | 2015-09-16 | 湖南菜鸟网络科技有限公司 | 体检预约登记方法和系统 |
CN105373891A (zh) * | 2015-11-17 | 2016-03-02 | 国家电网公司 | 智能电网数据管理和传输系统 |
CN105719185A (zh) * | 2016-01-22 | 2016-06-29 | 杭州复杂美科技有限公司 | 区块链的数据对比及共识方法 |
CN108334307A (zh) * | 2017-12-29 | 2018-07-27 | 北京欧链科技有限公司 | 基于区块链的数据筛选方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10114899B2 (en) * | 2012-08-02 | 2018-10-30 | Rule 14 | Real-time and adaptive data mining |
CN103605707A (zh) * | 2013-11-12 | 2014-02-26 | 福州市勘测院 | 地形图与管线数据库更新的方法 |
CN108681909B (zh) * | 2018-05-18 | 2021-09-24 | 浙江超脑时空科技有限公司 | 基于区块链智能合约实现的智能防伪装置及溯源防伪方法 |
-
2018
- 2018-12-29 CN CN201811632105.3A patent/CN109710626B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101980187A (zh) * | 2010-10-13 | 2011-02-23 | 中兴通讯股份有限公司 | 数据入库方法和装置 |
CN103176991A (zh) * | 2011-12-21 | 2013-06-26 | 苏州威世博知识产权服务有限公司 | 专利下载方法及系统 |
CN104915719A (zh) * | 2015-06-10 | 2015-09-16 | 湖南菜鸟网络科技有限公司 | 体检预约登记方法和系统 |
CN105373891A (zh) * | 2015-11-17 | 2016-03-02 | 国家电网公司 | 智能电网数据管理和传输系统 |
CN105719185A (zh) * | 2016-01-22 | 2016-06-29 | 杭州复杂美科技有限公司 | 区块链的数据对比及共识方法 |
CN108334307A (zh) * | 2017-12-29 | 2018-07-27 | 北京欧链科技有限公司 | 基于区块链的数据筛选方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109710626A (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230126005A1 (en) | Consistent filtering of machine learning data | |
US10366053B1 (en) | Consistent randomized record-level splitting of machine learning data | |
CN110489345B (zh) | 一种崩溃聚合方法、装置、介质和设备 | |
CN109471851B (zh) | 数据处理方法、装置、服务器和存储介质 | |
US20170371969A1 (en) | Identifying equivalent links on a page | |
CN111930962A (zh) | 文献数据价值评估方法、装置、电子设备及存储介质 | |
CN111553137B (zh) | 报告生成方法、装置、存储介质及计算机设备 | |
CN109710626B (zh) | 数据入库管理方法、装置、电子设备,及存储介质 | |
CN113010116A (zh) | 一种数据处理方法、装置、终端设备及可读存储介质 | |
US10528534B2 (en) | Method and system for deduplicating data | |
CN107748772B (zh) | 一种商标识别方法及装置 | |
CN112328592A (zh) | 数据存储方法、电子设备及计算机可读存储介质 | |
CN111651552A (zh) | 结构化信息确定方法、装置和电子设备 | |
CN112783749A (zh) | 一种静态代码扫描优化方法、装置、电子设备和存储介质 | |
EP3564833B1 (en) | Method and device for identifying main picture in web page | |
CN110895587A (zh) | 用于确定目标用户的方法和装置 | |
CN109740130B (zh) | 用于生成文件的方法和装置 | |
CN109472540B (zh) | 业务处理方法和装置 | |
CN110895582A (zh) | 一种数据处理的方法和设备 | |
CN113626483A (zh) | 一种填写表单的前端缓存方法、系统、设备及存储介质 | |
CN113360517A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112783751A (zh) | 一种增量代码扫描方法、装置、电子设备和存储介质 | |
CN115099922B (zh) | 财务数据查询方法、系统、可读存储介质及计算机设备 | |
CN113326004B (zh) | 云计算环境下高效日志集中化方法及设备 | |
CN109447386B (zh) | 工作考核方法及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |