CN108718341A - 数据的共享和搜索的方法 - Google Patents

数据的共享和搜索的方法 Download PDF

Info

Publication number
CN108718341A
CN108718341A CN201810544774.9A CN201810544774A CN108718341A CN 108718341 A CN108718341 A CN 108718341A CN 201810544774 A CN201810544774 A CN 201810544774A CN 108718341 A CN108718341 A CN 108718341A
Authority
CN
China
Prior art keywords
data
metadata
initial data
terminal
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810544774.9A
Other languages
English (en)
Other versions
CN108718341B (zh
Inventor
耿建华
袁力
韩昭芳
黄焱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Alshan Block Chain Alliance Technology Co., Ltd.
Original Assignee
Financial Technologies Ltd Arxan Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Financial Technologies Ltd Arxan Beijing filed Critical Financial Technologies Ltd Arxan Beijing
Priority to CN201810544774.9A priority Critical patent/CN108718341B/zh
Publication of CN108718341A publication Critical patent/CN108718341A/zh
Application granted granted Critical
Publication of CN108718341B publication Critical patent/CN108718341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/561Adding application-functional data or data for application control, e.g. adding metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/126Applying verification of the received information the source of the received data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明提供了数据的共享和搜索的方法,涉及互联网技术领域,以智能数据网关为执行主体,该方法包括:接收数据提供终端发送的第一原始数据,并对第一原始数据进行验签和分析,得到元数据;将元数据发送至区块链网络,以使区块链网络对元数据进行存储;接收数据使用终端发送的原始数据访问请求;根据原始数据访问请求在第一原始数据中搜索第二原始数据;将第二原始数据发送至数据使用终端,以使数据使用终端对第二原始数据进行打分,并将评分信息记录于区块链网络中。本发明通过利用智能数据网关和区块链网络,可以保证搜索到的数据的真实可信性,同时还可以使得搜索结果的排序算法透明公开,减少额外因素的干扰。

Description

数据的共享和搜索的方法
技术领域
本发明涉及互联网技术领域,尤其是涉及数据的共享和搜索的方法。
背景技术
随着人类社会的数字化程度越来越高,数字化的信息已经程爆发式增长的态势。每天个人用户通过各种互联网提供的服务进行聊天、写文字、拍照、录像、做ppt、画图、做视频,企业通过网络传输订单,进行交易,签订合同等。所有的这些活动,都在无时不刻的产生大量的电子化数据。而如何搜索到这些数据,并对其加以利用、分析和运算,日益受到关注。各类的数据搜索引擎便脱颖而出,如谷歌、百度等互联网巨头都是以提供数据搜索服务起家而逐渐做大做强的。
但目前的现状是,由于互联网中所公开的、能够被搜索引擎搜索到的数据,大多都是良莠不齐且无法确定其真实来源和真实性的。同时,大多数搜索引擎都会采取以竞价排名的方式来影响搜索结果。这就会使数据使用方无法在第一时间查询到自己真正需要的、真实的数据。另一方面,真实数据的提供方也不愿将自己的数据在毫无保护的前提下公开到互联网中,一旦这些数据被泄漏,就会在毫不知情的情况下被滥用而无法获得任何回报。
随着区块链技术的发展,因其具有的去中心化运行、分布式存等特点,而被应用于数据搜索。但是,在传统中心化方式下,数据提供方为了共享自己的数据,需要对外提供数据访问接口,数据查询方通过该接口访问数据。数据提供方需要自行维护各种复杂的用户访问控制机制和相关数提取密钥,成本之高可想而知。而中心化的传统搜索引擎,在搜索结果的真实性、公正性、实时性上都无法得到保障。
发明内容
有鉴于此,本发明的目的在于提供数据的共享和搜索的方法,通过利用智能数据网关和区块链网络,可以提高数据提供方共享数据的决定权,保证搜索到的数据的真实可信性,同时还可以使得搜索结果的排序算法透明公开,减少额外因素的干扰。
第一方面,本发明实施例提供了一种数据的共享和搜索的方法,应用于智能数据网关,其中,所述方法包括:
接收数据提供终端发送的第一原始数据,并对所述第一原始数据进行验签和分析,得到元数据;
将所述元数据发送至区块链网络,以使所述区块链网络对所述元数据进行存储;
接收数据使用终端根据数据网关访问接口发送的原始数据访问请求;
根据所述原始数据访问请求在所述第一原始数据中进行匹配搜索,得到第二原始数据;
将所述第二原始数据发送至所述数据使用终端,以使所述数据使用终端对所述第二原始数据进行打分,并将评分信息记录于所述区块链网络中。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,接收数据提供终端发送的第一原始数据,并对所述第一原始数据进行验签和分析,得到元数据,包括:
接收所述数据提供方对所述第一原始数据进行私钥签名后发送的签名信息;
利用内置公钥对所述签名信息进行验签,得到可信原始数据;
对所述可信原始数据进行分析,得到所述元数据。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述方法还包括:
当所述第一原始数据发生变化时,对所述区块链网络中的所述元数据进行同步更新。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,在将所述第一原始数据中与所述原始数据访问请求相匹配的第二原始数据发送至所述数据使用终端的步骤之前,所述方法还包括:
根据权限设定,对所述第二原始数据附加支付信息。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,在接收数据使用终端根据数据网关访问接口发送的原始数据访问请求的步骤之后,所述方法还包括:
根据所述原始数据访问请求对所述数据使用终端进行黑名单验证,并在验证通过的情况下,对所述第一原始数据中进行匹配搜索以得到第二原始数据。
第二方面,本发明实施例还提供一种数据的共享和搜索的方法,应用于区块链网络,其中,所述方法包括:
接收智能数据网关对第一原始数据进行验签和分析后发送的元数据;
对所述元数据建立具有层次关系的树形结构,并按照所述树形结构对所述元数据进行存储;
接收数据使用终端通过搜索引擎发送的搜索信息,所述搜索信息包括搜索关键词,根据所述搜索关键词对所述树形结构进行遍历,得到匹配的多个元数据结构,以及根据所述元数据结构获取对应元数据的数据网关访问接口;
将所述数据网关访问接口发送至所述数据使用终端,以使所述数据使用终端根据所述数据网关访问接口向所述智能数据网关发送原始数据访问请求并获取第二原始数据;
接收所述数据使用终端对所述第二原始数据进行打分后发送的评分信息,根据所述评分信息和数据排名规则生成数据质量信息,并将所述数据质量信息进行记录。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,所述元数据包括:关键字段信息和特征标签,对所述元数据建立具有层次关系的树形结构,并按照所述树形结构对所述元数据进行存储,包括:
根据所述关键字段信息和所述特征标签,对所述元数据建立具有层次关系的所述树形结构;
按照所述树形结构将所述元数据存储于分布式账本中。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所述方法还包括:
接收所述智能数据网关发送的元数据更新信息。
结合第二方面,本发明实施例提供了第二方面的第三种可能的实施方式,其中,所述搜索信息还包括公钥信息,在接收数据使用终端通过搜索引擎发送的搜索信息的步骤之后,所述方法还包括:
采用共识算法并根据所述公钥信息和所述数据使用终端的源IP地址生成黑名单维护信息,并将所述黑名单维护信息进行全网广播,以使所述智能数据网关对所述数据使用终端进行黑名单验证。
结合第二方面,本发明实施例提供了第二方面的第四种可能的实施方式,其中,所述方法还包括:
对所述数据排名规则的影响因素和与所述影响因素相应的权重值进行记录。
本发明实施例带来了以下有益效果:
本发明提供的数据的共享和搜索的方法,以智能数据网关为执行主体,该方法包括:接收数据提供终端发送的第一原始数据,并对第一原始数据进行验签和分析,得到元数据;将元数据发送至区块链网络,以使区块链网络对元数据进行存储;接收数据使用终端根据数据网关访问接口发送的原始数据访问请求;根据原始数据访问请求在第一原始数据中进行匹配搜索,得到第二原始数据;将第二原始数据发送至数据使用终端,以使数据使用终端对第二原始数据进行打分,并将评分信息记录于区块链网络中。本发明通过利用智能数据网关和区块链网络,可以提高数据提供方共享数据的决定权,保证搜索到的数据的真实可信性,同时还可以使得搜索结果的排序算法透明公开,减少额外因素的干扰。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的数据的共享和搜索的方法原理示意图;
图2为本发明实施例二提供的数据的共享和搜索的方法信令图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着人类社会的数字化程度越来越高,数字化的信息已经程爆发式增长的态势。而如何搜索到这些数据,并对其加以利用、分析和运算,日益受到关注。但目前的现状是,由于互联网中所公开的、能够被搜索引擎搜索到的数据,大多都是良莠不齐且无法确定其真实来源和真实性的。同时,大多数搜索引擎都会采取以竞价排名的方式来影响搜索结果。这就会使数据使用方无法在第一时间查询到自己真正需要的、真实的数据。另一方面,真实数据的提供方也不愿将自己的数据在毫无保护的前提下公开到互联网中,一旦这些数据被泄漏,就会在毫不知情的情况下被滥用而无法获得任何回报。随着区块链技术的发展,因其具有的去中心化运行、分布式存等特点,而被应用于数据搜索。但是,在传统中心化方式下,数据提供方为了共享自己的数据,需要对外提供数据访问接口,数据查询方通过该接口访问数据。数据提供方需要自行维护各种复杂的用户访问控制机制和相关数提取密钥,成本之高可想而知。而中心化的传统搜索引擎,在搜索结果的真实性、公正性、实时性上都无法得到保障。
基于此,本发明实施例提供的数据的共享和搜索的方法,通过利用智能数据网关和区块链网络,可以提高数据提供方共享数据的决定权,保证搜索到的数据的真实可信性,同时还可以使得搜索结果的排序算法透明公开,减少额外因素的干扰。
为便于对本实施例进行理解,首先对本发明实施例所公开的数据的共享和搜索的方法进行详细介绍。
实施例一:
图1为本发明实施例一提供的数据的共享和搜索的方法原理示意图。
参照图1,基于数据提供终端、智能数据网关、区块链网络和数据使用终端,实现数据的共享和搜索的方法。数据提供终端为至少一个,每个数据提供终端据均安装有一个智能数据网关。数据提供终端通过智能数据网关连接入区块链网络,数据使用终端也连接入区块链网络。
以智能数据网关为执行主体,数据的共享和搜索的方法方法主要包括:
第一步、接收数据提供终端发送的第一原始数据,并对所述第一原始数据进行验签和分析,得到元数据。
具体的,智能数据网关接收所述数据提供方对所述第一原始数据进行私钥签名后发送的签名信息;利用内置公钥对所述签名信息进行验签,得到可信原始数据;对所述可信原始数据进行分析,得到所述元数据。这里,智能数据网关替代了传统搜索引擎中的网络机器人或网络爬虫,使得人们更放心的在知情的前提下共享自己的数据。
第二步、将所述元数据发送至区块链网络,以使所述区块链网络对所述元数据进行存储。
具体的,当所述第一原始数据发生变化时,对所述区块链网络中的所述元数据进行同步更新。
第三步、接收数据使用终端根据数据网关访问接口发送的原始数据访问请求。
具体的,在本步骤之后,智能数据网关根据所述原始数据访问请求对所述数据使用终端进行黑名单验证,并在验证通过的情况下,执行下一步。
第四步、根据所述原始数据访问请求在所述第一原始数据中进行匹配搜索,得到第二原始数据。
具体的,在该步骤之前,智能数据网关还根据权限设定,对所述第二原始数据附加支付信息。
第五步、将所述第二原始数据发送至所述数据使用终端,以使所述数据使用终端对所述第二原始数据进行打分,并将评分信息记录于所述区块链网络中。
相对应的,以区块链网络为执行主体,数据的共享和搜索的方法主要包括:
第一步,接收智能数据网关对第一原始数据进行验签和分析后发送的元数据。
具体的,元数据主要包括:结构化数据的关键字段信息,非结构化数据的特征标签,原始数据的哈希值,相应数据的数据网关访问接口等。
第二步,对所述元数据建立具有层次关系的树形结构,并按照所述树形结构对所述元数据进行存储。
具体的,区块链网络根据所述关键字段信息和所述特征标签,对所述元数据建立具有层次关系的所述树形结构;按照所述树形结构将所述元数据存储于分布式账本中。这里,区块链分布式账本,替代了传统搜索引擎中数据库,使其去中心化保存,确保数据安全并且不被某个中心化巨头企业所控制。
另外,区块链网络还接收所述智能数据网关发送的元数据更新信息。
第三步,接收数据使用终端通过搜索引擎发送的搜索信息,所述搜索信息包括搜索关键词,根据所述搜索关键词对所述树形结构进行遍历,得到匹配的多个元数据结构,以及根据所述元数据结构获取对应元数据的数据网关访问接口。
另外,在这一步中,搜索信息还包括公钥信息,在接收数据使用终端通过搜索引擎发送的搜索信息之后,区块链网络采用共识算法并根据所述公钥信息和所述数据使用终端的源IP地址生成黑名单维护信息,并将所述黑名单维护信息进行全网广播,以使所述智能数据网关对所述数据使用终端进行黑名单验证。
第四步,将所述数据网关访问接口发送至所述数据使用终端,以使所述数据使用终端根据所述数据网关访问接口向所述智能数据网关发送原始数据访问请求并获取第二原始数据。
第五步,接收所述数据使用终端对所述第二原始数据进行打分后发送的评分信息,根据所述评分信息和数据排名规则生成数据质量信息,并将所述数据质量信息进行记录。
具体的,区块链网络对所述数据排名规则的影响因素和与所述影响因素相应的权重值进行记录。
实施例二:
图2为本发明实施例二提供的数据的共享和搜索的方法信令图。
参照图2,数据的共享和搜索的方法包括:
步骤S01,数据提供终端对第一原始数据进行私钥签名后发送的签名信息。
步骤S02,数据提供终端将签名信息发送至智能数据网关。
步骤S03,智能数据网关利用内置公钥对签名信息进行验签,得到可信原始数据。
步骤S04,对可信原始数据进行分析,得到元数据。
步骤S05,智能数据网关将元数据发送至区块链网络。
上述步骤在具体实现时,首先,对数据提供终端的真实身份进行验证,即:数据提供终端利用自己持有的私钥对第一原始数据进行签名,智能数据网关利用内置公钥对签名信息进行验签,以确保第一原始数据确为数据提供终端所提供,身份没有被伪造,确保第一原始数据的“可信”。其次,智能数据网关对第一原始数据进行智能自动化分析,提取出能够精确描述第一原始数据的元数据(元数据即描述原始数据的数据,用于协助检索原始数据)。这些元数据主要包括:结构化数据的关键字段信息、非结构化数据的特征标签、原始数据的哈希值、相应数据的数据网关访问接口等。这些提取出来的元数据将被发送到区块链网络,被存储到分布式账本中。同时,智能数据网关也负责确保当第一原始数据发生变化时,对区块链网络中相应的元数据也被及时的同步更新。在这些步骤中,利用智能数据网关确保了原始数据的提供者是可信的,以及保证了描述原始数据的元数据的精确度以及有效性。
步骤S06,区块链网络按照树形结构将元数据存储于分布式账本中。
具体的,为提高元数据的搜索效率,元数据彼此之间需根据其中数据的关键字段信息及特征标签建立起有层次关系的树形结构。这里,区块链分布式账本,替代了传统搜索引擎中数据库,使其去中心化保存,确保数据安全并且不被某个中心化巨头企业所控制。
步骤S07,数据使用终端将搜索关键词、公钥信息发送至区块链网络。
步骤S08,根据搜索关键词对树形结构进行遍历,得到匹配的多个元数据结构,以及根据元数据结构获取对应元数据的数据网关访问接口。
步骤S09,区块链网络将数据网关访问接口发送至数据使用终端。
步骤S10,数据使用终端将原始数据访问请求发送至智能数据网关。
这几步骤在具体实现时,数据使用终端通过搜索引擎发送自己的搜索关键词及个人公钥信息到区块链网络中的任意区块链节点上,搜索该区块链节点上的元数据账本,根据元数据中关键字段信息或特征标签找到与搜索关键词相匹配的的元数据集合。搜索引擎通过遍历树形结构获取精确匹配的多个元数据结构,然后获取各个元数据中的数据网关访问接口,数据使用终端根据数据网关访问接口向对应的数据网关发送原始数据访问请求。
步骤S11,智能数据网关对公钥信息和源IP地址进行黑名单验证,并在验证通过的情况下检索匹配的第二原始数据。
该步骤在具体实现时,智能数据网关在接收到原始数据访问请求后,首先对数据使用终端的公钥信息及源IP地址进行黑名单验证,排除恶意获取数据的请求的情况。另外,该黑名单的维护是通过区块链网络的共识算法来进行的,并在获取参与共识的节点同意后,将黑名单维护信息更新后的结果进行行全网广播,以使本步骤中能够实现智能数据网关进行黑名单验证。
步骤S12,智能数据网关将第二原始数据发送至数据使用终端。
具体的,智能数据网关根据访问请求在第一原始数据中搜索匹配的第二原始数据,对第二原始数据进行授权后返回给数据使用终端的搜索引擎;同时,还可以根据权限设定,在返回第二原始数据前附加支付信息,要求使用方支付相关费用。
步骤S13,数据使用终端对第二原始数据进行验签。
具体的,数据使用终端可以将获得第二原始数据与元数据中的原始数据哈希值进行对比,并使用自己的公钥进行数据签名验证,以确认第二原始数据的真伪。
步骤S14,对第二原始数据进行打分,得到评分信息。
具体的,数据使用终端对第二原始数据进行打分,搜索引擎可以将评分信息作为数据排名(PageRank)的依据之一。影响pagerank分数的因素主要包括:元数据中的关键字段和特征标签、数据网关访问地址的可用性、是否收费及收费标准、用户评分等,这些因素及其相应权重都将被记录在区块链网络中,接受公众监督。数据搜索结果的排名规则及权重信息在区块链网络中被公示,由区块链中的共识节点来确认这些信息的公正性,避免不不必要的纠纷。
本发明提供的数据的共享和搜索的方法,主要基于智能数据网关和区块链网络,该方法包括:智能数据网关接收数据提供终端发送的第一原始数据,并对第一原始数据进行验签和分析,得到元数据;将元数据发送至区块链网络,以使区块链网络对元数据进行存储;接收数据使用终端根据数据网关访问接口发送的原始数据访问请求;根据原始数据访问请求在第一原始数据中进行匹配搜索,得到第二原始数据;将第二原始数据发送至数据使用终端,以使数据使用终端对第二原始数据进行打分,并将评分信息记录于区块链网络中。本发明通过利用智能数据网关和区块链网络,可以提高数据提供方共享数据的决定权,保证搜索到的数据的真实可信性,同时还可以使得搜索结果的排序算法透明公开,减少额外因素的干扰。
本发明实施例还提供一种电子设备,包括存储器、处理器,存储器中存储有可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的数据的共享和搜索的方法的步骤。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的数据的共享和搜索的方法的步骤。
在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据的共享和搜索的方法,应用于智能数据网关,其特征在于,所述方法包括:
接收数据提供终端发送的第一原始数据,并对所述第一原始数据进行验签和分析,得到元数据;
将所述元数据发送至区块链网络,以使所述区块链网络对所述元数据进行存储;
接收数据使用终端根据数据网关访问接口发送的原始数据访问请求;
根据所述原始数据访问请求在所述第一原始数据中进行匹配搜索,得到第二原始数据;
将所述第二原始数据发送至所述数据使用终端,以使所述数据使用终端对所述第二原始数据进行打分,并将评分信息记录于所述区块链网络中。
2.根据权利要求1所述的方法,其特征在于,接收数据提供终端发送的第一原始数据,并对所述第一原始数据进行验签和分析,得到元数据,包括:
接收所述数据提供方对所述第一原始数据进行私钥签名后发送的签名信息;
利用内置公钥对所述签名信息进行验签,得到可信原始数据;
对所述可信原始数据进行分析,得到所述元数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述第一原始数据发生变化时,对所述区块链网络中的所述元数据进行同步更新。
4.根据权利要求1所述的方法,其特征在于,在将所述第一原始数据中与所述原始数据访问请求相匹配的第二原始数据发送至所述数据使用终端的步骤之前,所述方法还包括:
根据权限设定,对所述第二原始数据附加支付信息。
5.根据权利要求1所述的方法,其特征在于,在接收数据使用终端根据数据网关访问接口发送的原始数据访问请求的步骤之后,所述方法还包括:
根据所述原始数据访问请求对所述数据使用终端进行黑名单验证,并在验证通过的情况下,对所述第一原始数据中进行匹配搜索以得到第二原始数据。
6.一种数据的共享和搜索的方法,应用于区块链网络,其特征在于,所述方法包括:
接收智能数据网关对第一原始数据进行验签和分析后发送的元数据;
对所述元数据建立具有层次关系的树形结构,并按照所述树形结构对所述元数据进行存储;
接收数据使用终端通过搜索引擎发送的搜索信息,所述搜索信息包括搜索关键词,根据所述搜索关键词对所述树形结构进行遍历,得到匹配的多个元数据结构,以及根据所述元数据结构获取对应元数据的数据网关访问接口;
将所述数据网关访问接口发送至所述数据使用终端,以使所述数据使用终端根据所述数据网关访问接口向所述智能数据网关发送原始数据访问请求并获取第二原始数据;
接收所述数据使用终端对所述第二原始数据进行打分后发送的评分信息,根据所述评分信息和数据排名规则生成数据质量信息,并将所述数据质量信息进行记录。
7.根据权利要求6所述的方法,其特征在于,所述元数据包括:关键字段信息和特征标签,对所述元数据建立具有层次关系的树形结构,并按照所述树形结构对所述元数据进行存储,包括:
根据所述关键字段信息和所述特征标签,对所述元数据建立具有层次关系的所述树形结构;
按照所述树形结构将所述元数据存储于分布式账本中。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
接收所述智能数据网关发送的元数据更新信息。
9.根据权利要求6所述的方法,其特征在于,所述搜索信息还包括公钥信息,在接收数据使用终端通过搜索引擎发送的搜索信息的步骤之后,所述方法还包括:
采用共识算法并根据所述公钥信息和所述数据使用终端的源IP地址生成黑名单维护信息,并将所述黑名单维护信息进行全网广播,以使所述智能数据网关对所述数据使用终端进行黑名单验证。
10.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述数据排名规则的影响因素和与所述影响因素相应的权重值进行记录。
CN201810544774.9A 2018-05-30 2018-05-30 数据的共享和搜索的方法 Active CN108718341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810544774.9A CN108718341B (zh) 2018-05-30 2018-05-30 数据的共享和搜索的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810544774.9A CN108718341B (zh) 2018-05-30 2018-05-30 数据的共享和搜索的方法

Publications (2)

Publication Number Publication Date
CN108718341A true CN108718341A (zh) 2018-10-30
CN108718341B CN108718341B (zh) 2021-06-01

Family

ID=63912540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810544774.9A Active CN108718341B (zh) 2018-05-30 2018-05-30 数据的共享和搜索的方法

Country Status (1)

Country Link
CN (1) CN108718341B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684287A (zh) * 2018-12-29 2019-04-26 厦门链平方科技有限公司 基于区块链的网关信息共享查询方法及系统
CN110032568A (zh) * 2018-12-20 2019-07-19 阿里巴巴集团控股有限公司 数据结构的读取及更新方法、装置、电子设备
CN110032599A (zh) * 2018-12-20 2019-07-19 阿里巴巴集团控股有限公司 数据结构的读取及更新方法、装置、电子设备
CN110750541A (zh) * 2019-10-18 2020-02-04 天津理工大学 一种基于区块链的数据存储索引系统及方法
CN111161006A (zh) * 2018-11-08 2020-05-15 北京京东尚科信息技术有限公司 一种区块链信用服务方法、系统及存储介质
CN112487453A (zh) * 2020-12-07 2021-03-12 马力 一种基于中央协调方的数据安全共享方法及装置
CN112905945A (zh) * 2019-11-19 2021-06-04 中移物联网有限公司 计费方法、装置及可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902705A (zh) * 2014-03-31 2014-07-02 华中科技大学 一种基于元数据的跨机构云端数字内容集成系统和方法
US20160299918A1 (en) * 2015-04-07 2016-10-13 Dell Software, Inc. Device Control Using a Secure Decentralized Transactional Ledger
CN106330452A (zh) * 2016-08-13 2017-01-11 深圳市樊溪电子有限公司 一种用于区块链的安全网络附加装置及方法
WO2017011601A1 (en) * 2015-07-14 2017-01-19 Fmr Llc Computationally efficient transfer processing, auditing, and search apparatuses, methods and systems
CN106534273A (zh) * 2016-10-31 2017-03-22 中金云金融(北京)大数据科技股份有限公司 区块链元数据存储系统及其存储方法与检索方法
CN106612285A (zh) * 2016-12-30 2017-05-03 Tcl集团股份有限公司 基于对等网络的分布式云数据管理方法及系统
CN106651346A (zh) * 2016-11-28 2017-05-10 上海凯岸信息科技有限公司 基于区块链的征信数据共享与交易系统
WO2017136879A1 (en) * 2016-02-08 2017-08-17 Moloney Lindsay A system and method for document information authenticity verification
CN107103252A (zh) * 2017-04-27 2017-08-29 电子科技大学 基于区块链的数据访问控制方法
CN107124278A (zh) * 2017-03-30 2017-09-01 腾讯科技(深圳)有限公司 业务处理方法、装置以及数据共享系统
CN107180350A (zh) * 2017-03-31 2017-09-19 唐晓领 一种基于区块链的多方共享交易元数据的方法、装置及系统
CN107451275A (zh) * 2017-08-04 2017-12-08 北京明朝万达科技股份有限公司 基于区块链的业务数据处理方法、装置、系统和存储设备
CN107659429A (zh) * 2017-08-11 2018-02-02 四川大学 基于区块链的数据共享方法
CN108021821A (zh) * 2017-11-28 2018-05-11 北京航空航天大学 多中心区块链交易隐私保护系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902705A (zh) * 2014-03-31 2014-07-02 华中科技大学 一种基于元数据的跨机构云端数字内容集成系统和方法
US20160299918A1 (en) * 2015-04-07 2016-10-13 Dell Software, Inc. Device Control Using a Secure Decentralized Transactional Ledger
WO2017011601A1 (en) * 2015-07-14 2017-01-19 Fmr Llc Computationally efficient transfer processing, auditing, and search apparatuses, methods and systems
WO2017136879A1 (en) * 2016-02-08 2017-08-17 Moloney Lindsay A system and method for document information authenticity verification
CN106330452A (zh) * 2016-08-13 2017-01-11 深圳市樊溪电子有限公司 一种用于区块链的安全网络附加装置及方法
CN106534273A (zh) * 2016-10-31 2017-03-22 中金云金融(北京)大数据科技股份有限公司 区块链元数据存储系统及其存储方法与检索方法
CN106651346A (zh) * 2016-11-28 2017-05-10 上海凯岸信息科技有限公司 基于区块链的征信数据共享与交易系统
CN106612285A (zh) * 2016-12-30 2017-05-03 Tcl集团股份有限公司 基于对等网络的分布式云数据管理方法及系统
CN107124278A (zh) * 2017-03-30 2017-09-01 腾讯科技(深圳)有限公司 业务处理方法、装置以及数据共享系统
CN107180350A (zh) * 2017-03-31 2017-09-19 唐晓领 一种基于区块链的多方共享交易元数据的方法、装置及系统
CN107103252A (zh) * 2017-04-27 2017-08-29 电子科技大学 基于区块链的数据访问控制方法
CN107451275A (zh) * 2017-08-04 2017-12-08 北京明朝万达科技股份有限公司 基于区块链的业务数据处理方法、装置、系统和存储设备
CN107659429A (zh) * 2017-08-11 2018-02-02 四川大学 基于区块链的数据共享方法
CN108021821A (zh) * 2017-11-28 2018-05-11 北京航空航天大学 多中心区块链交易隐私保护系统及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161006A (zh) * 2018-11-08 2020-05-15 北京京东尚科信息技术有限公司 一种区块链信用服务方法、系统及存储介质
CN110032568A (zh) * 2018-12-20 2019-07-19 阿里巴巴集团控股有限公司 数据结构的读取及更新方法、装置、电子设备
CN110032599A (zh) * 2018-12-20 2019-07-19 阿里巴巴集团控股有限公司 数据结构的读取及更新方法、装置、电子设备
TWI722592B (zh) * 2018-12-20 2021-03-21 開曼群島商創新先進技術有限公司 資料結構的讀取及更新方法、裝置、電子設備
US11232098B2 (en) 2018-12-20 2022-01-25 Advanced New Technologies Co., Ltd. Data structure reading methods and apparatuses, data structure update methods and apparatuses, and electronic devices
US11775507B2 (en) 2018-12-20 2023-10-03 Advanced New Technologies Co., Ltd. Methods and apparatuses for reading and updating data structures, and electronic devices
CN109684287A (zh) * 2018-12-29 2019-04-26 厦门链平方科技有限公司 基于区块链的网关信息共享查询方法及系统
CN110750541A (zh) * 2019-10-18 2020-02-04 天津理工大学 一种基于区块链的数据存储索引系统及方法
CN110750541B (zh) * 2019-10-18 2023-05-02 天津理工大学 一种基于区块链的数据存储索引系统及方法
CN112905945A (zh) * 2019-11-19 2021-06-04 中移物联网有限公司 计费方法、装置及可读存储介质
CN112905945B (zh) * 2019-11-19 2023-08-15 中移物联网有限公司 计费方法、装置及可读存储介质
CN112487453A (zh) * 2020-12-07 2021-03-12 马力 一种基于中央协调方的数据安全共享方法及装置

Also Published As

Publication number Publication date
CN108718341B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108718341A (zh) 数据的共享和搜索的方法
Schäfer et al. BlackWidow: Monitoring the dark web for cyber security information
CN109087079B (zh) 数字货币交易信息分析方法
Phillips et al. Tracing cryptocurrency scams: Clustering replicated advance-fee and phishing websites
CN110781308B (zh) 一种基于大数据构建知识图谱的反欺诈系统
CN109086413A (zh) 用于搜索区块链数据的方法、设备及可读存储介质
CN112165462A (zh) 基于画像的攻击预测方法、装置、电子设备及存储介质
CN110677384B (zh) 钓鱼网站的检测方法及装置、存储介质、电子装置
CN107341183A (zh) 一种基于暗网网站综合特征的网站分类方法
KR102060766B1 (ko) 다크웹 범죄 사이트 모니터링 시스템
JP2019505865A (ja) ウェブ追跡サービスを検出するための方法
CN113454621A (zh) 用于从多域收集数据的方法、装置和计算机程序
CN109918375A (zh) 一种基于区块链和分布式存储的大文本存储、索引及检索方法
CN109831459A (zh) 安全访问的方法、装置、存储介质和终端设备
CN110516173A (zh) 一种非法网站识别方法、装置、设备及介质
CN107426148A (zh) 一种基于运行环境特征识别的反爬虫方法及系统
CN111125118B (zh) 关联数据查询方法、装置、设备及介质
Kigerl Behind the scenes of the underworld: hierarchical clustering of two leaked carding forum databases
Labrador et al. Examining the trends and operations of modern Dark-Web marketplaces
Badawi et al. The “bitcoin generator” scam
O’Kane Detecting patterns in the Ethereum transactional data using unsupervised learning
KR102240888B1 (ko) 전문가에 의해 생성되는 프로젝트 결과물을 블록체인에 저장된 빅데이터 기반으로 관리하는 방법 및 시스템
CN105302844B (zh) 互联网监测方法、装置及系统
CN109905388A (zh) 一种基于区块链的域名信用的处理方法及系统
TW201539217A (zh) 文件分析系統、文件分析方法、以及文件分析程式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200218

Address after: 100044 408a, floor 04, No. 112, Xizhimenwai street, Xicheng District, Beijing

Applicant after: Beijing Alshan Block Chain Alliance Technology Co., Ltd.

Address before: 100000 room 610, 3 building, Shengjing International Plaza, 31 Shijingshan Road, Shijingshan District, Beijing.

Applicant before: Financial Technologies Ltd, Arxan, Beijing

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant