CN115658620B - 一种基于大数据的数据授权共享方法及系统 - Google Patents

一种基于大数据的数据授权共享方法及系统 Download PDF

Info

Publication number
CN115658620B
CN115658620B CN202211528218.5A CN202211528218A CN115658620B CN 115658620 B CN115658620 B CN 115658620B CN 202211528218 A CN202211528218 A CN 202211528218A CN 115658620 B CN115658620 B CN 115658620B
Authority
CN
China
Prior art keywords
resource item
resource
item information
authorized
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211528218.5A
Other languages
English (en)
Other versions
CN115658620A (zh
Inventor
邱雯婷
马得成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haohuo Guizhou Network Technology Co ltd
Original Assignee
Haohuo Guizhou Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haohuo Guizhou Network Technology Co ltd filed Critical Haohuo Guizhou Network Technology Co ltd
Priority to CN202211528218.5A priority Critical patent/CN115658620B/zh
Publication of CN115658620A publication Critical patent/CN115658620A/zh
Application granted granted Critical
Publication of CN115658620B publication Critical patent/CN115658620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供的一种基于大数据的数据授权共享方法及系统,通过两轮联合分析,这样能够判定出第一业务资源共享记录中是否包含没有被解析出的异常资源项,然后根据异常资源项,对第一业务资源共享记录的资源项解析数据进行优化,如此,通过两个已授权资源项信息的分析报告的双重选择和比较,可以精准解析得到在共享使用了资源项之后的业务资源共享记录中的被忽略资源项,以尽可能保障业务资源共享记录中资源项的完整记录和分析,提高资源项的统计准确性和可信度,减少针对已授权资源项的统计错误,提升资源项统计日志的完整性和统计精度,保障数据授权共享过程的正常有序运行。

Description

一种基于大数据的数据授权共享方法及系统
技术领域
本发明涉及大数据处理技术领域,特别涉及一种基于大数据的数据授权共享方法及系统。
背景技术
随着信息时代的来临,信息交流在逐步加强。实现数据共享的意义是可以使更多的人更充分地使用已有数据资源,减少资料收集、数据采集等重复劳动和相应费用,而把精力集中放在开发新的应用程序及系统集成上。现目前,数据共享得到越来越多的关注,其应用范围也越来越广,比如智慧医疗的患者电子病历共享、数字办公的文件共享、区块链的电子商务信息共享等。为了保障数据共享的正常有序运行,对一些共享数据或者资源的统计处理较为重要,但是传统技术在实际应用时容易出现对一些资源项的忽略和遗漏,从而难以保障统计处理的精度。
发明内容
为改善相关技术中存在的技术问题,本发明提供了一种基于大数据的数据授权共享方法及系统。
第一方面,本发明实施例提供了一种基于大数据的数据授权共享方法,应用于大数据系统,该方法至少包括:获得在第一数据共享周期内收集的第一业务资源共享记录中解析得到的每个第一已授权资源项信息的第一AI捕捉窗口数据,以及在第二数据共享周期内收集的第二业务资源共享记录中解析得到的每个第二已授权资源项信息的第二AI捕捉窗口数据,所述第一数据共享周期晚于所述第二数据共享周期;结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组,所述待处理信息二元组包含所述第一已授权资源项信息和就所述第一已授权资源项信息而言符合设定要求的所述第二已授权资源项信息;利用解析得到的每个所述第二已授权资源项信息中关联失败的目标已授权资源项信息,确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项;如果包含,结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化。
可见,通过对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行关联,以进行第一轮联合分析,再通过第二数据共享周期收集的业务资源共享记录中关联失败的目标已授权资源项信息对第一数据共享周期收集的业务资源共享记录进行第二轮联合分析,这样能够判定出所述第一业务资源共享记录中是否包含没有被解析出的异常资源项,然后根据所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化,如此,通过两个已授权资源项信息的分析报告的双重选择和比较,可以精准解析得到在共享使用了资源项之后的业务资源共享记录中的被忽略资源项,以尽可能保障业务资源共享记录中资源项的完整记录和分析,提高资源项的统计准确性和可信度,减少针对已授权资源项的统计错误,提升资源项统计日志的完整性和统计精度,保障数据授权共享过程的正常有序运行。
对于一些可能的实施例而言,所述结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组,包括:结合所述第一AI捕捉窗口数据表征的、所述第一已授权资源项信息的第一AI捕捉窗口的每个第一窗口分布变量,确定所述第一已授权资源项信息的第一共享联动指数;结合所述第二AI捕捉窗口数据表征的、所述第二已授权资源项信息的第二AI捕捉窗口的每个第二窗口分布变量,确定所述第二已授权资源项信息的第二共享联动指数;对于各个所述第一已授权资源项信息,结合所述第一共享联动指数和每个所述第二共享联动指数,依次访问每个所述第二已授权资源项信息,确定符合设定要求的第二已授权资源项信息,并将所述第一已授权资源项信息和符合设定要求的第二已授权资源项信息确定为相同待处理信息二元组中的两个已授权资源项信息。
可见,根据AI捕捉窗口数据,可以精准高效地实现已授权资源项信息的关联,从而及时精准地实现已授权资源项信息的抽取。
对于一些可能的实施例而言,利用如下方式确定符合设定要求的第二已授权资源项信息:对于待关联的所述第一已授权资源项信息和所述第二已授权资源项信息,结合所述每个第一窗口分布变量、所述每个第二窗口分布变量、所述第一共享联动指数和所述第二共享联动指数,确定所述第一已授权资源项信息与所述第二已授权资源项信息之间存在资源交叉的数据集的目标共享联动指数;从所述第一已授权资源项信息和所述第二已授权资源项信息中筛选出待分析的已授权资源项信息,所述待分析的已授权资源项信息对应的共享联动指数低于所述第一已授权资源项信息和所述第二已授权资源项信息中除所述待分析的已授权资源项信息以外的另一已授权资源项信息对应的共享联动指数;如果所述目标共享联动指数与所述待分析的已授权资源项信息对应的共享联动指数之间的设定运算结果高于设定指数判定值,将所述第二已授权资源项信息确定为就所述第一已授权资源项信息而言符合设定要求的第二已授权资源项信息。
对于一些可能的实施例而言,在所述结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组之后,所述方法包括:如果包含相同所述第一已授权资源项信息对应被迁移至不低于两个待处理信息二元组中,将所述不低于两个待处理信息二元组中每个所述第二已授权资源项信息作为备用资源项信息;依据每个所述备用资源项信息对应的第二AI捕捉窗口数据,分别从所述第一业务资源共享记录中确定得到对应的参考资源项信息;分别确定每个所述备用资源项信息与对应的参考资源项信息之间的资源共性评分;获得每个所述备用资源项信息的资源特征向量和每个所述参考资源项信息的资源特征向量;从每个所述备用资源项信息中确定出选定资源项信息,所述选定资源项信息与对应的参考资源项信息的资源特征向量一致,并且在每个所述备用资源项信息中所述选定资源项信息与所述参考资源项信息之间的资源共性评分最大;将与所述选定资源项信息对应的所述第二已授权资源项信息所在的所述待处理信息二元组作为所述第一已授权资源项信息不重复的待处理信息二元组。
可见,在关联得到待处理信息二元组后,通过对待处理信息二元组中已授权资源项信息的关联结果进行联合分析核对,可以提高关联的精度和可信度,减少已授权资源项信息的忽略和统计错误等缺陷。
对于一些可能的实施例而言,所述利用解析得到的每个所述第二已授权资源项信息中关联失败的目标已授权资源项信息,确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项,包括:从解析得到的每个所述第二已授权资源项信息中确定出没有迁移到任何一个所述待处理信息二元组的目标已授权资源项信息;依据所述目标已授权资源项信息对应的第二AI捕捉窗口数据,从所述第一业务资源共享记录中确定得到对应的辅助资源项信息;如果所述辅助资源项信息与所述目标已授权资源项信息之间的资源共性评分高于设定判定值,确定所述第一业务资源共享记录中存在没有被解析出的异常资源项。
可见,通过第二数据共享周期收集的业务资源共享记录中关联失败的已授权资源项信息对第一数据共享周期收集的业务资源共享记录中所解析得到的已授权资源项信息进行联合分析核对,可以准确定位被忽略资源项。
对于一些可能的实施例而言,在所述如果所述辅助资源项信息与所述目标已授权资源项信息之间的资源共性评分高于设定判定值,确定所述第一业务资源共享记录中存在没有被解析出的异常资源项之后,所述方法包括:将所述辅助资源项信息对应的资源项确定为所述异常资源项。
对于一些可能的实施例而言,所述结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化,包括:结合所述目标已授权资源项信息的资源项解析数据,确定所述异常资源项的资源项分析报告;将所述资源项分析报告加入所述第一业务资源共享记录的资源项解析数据中,得到完成优化的、所述第一业务资源共享记录的资源项解析数据。
可见,通过资源项分析报告更新资源项解析数据,能够保障资源项解析数据的完整性,避免对个别已授权资源项的忽略,从而实现对整个数据授权共享任务/进程的精准可靠监测。
对于一些可能的实施例而言,在所述结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化之后,所述方法包括:依据完成优化的、所述第一业务资源共享记录的资源项解析数据和所述第二业务资源共享记录的资源项解析数据,确定所述已使用资源项的统计日志,所述已使用资源项包括每个所述第二已授权资源项信息对应的资源项和所述异常资源项中除每个所述第一已授权资源项信息对应的资源项以外的资源项。
可见,经过对分析报告的核对和改进,进而通过完成优化的分析报告确定统计日志,可以减少统计日志中可能有的缺陷,尽可能保障统计日志的可信度和准确性。
对于一些可能的实施例而言,在所述结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组之后,所述方法包括:在对所述第一业务资源共享记录的资源项解析数据进行优化时,如果包含如下状态中的至少一种,则终止对所述第一业务资源共享记录的资源项解析数据进行优化:相同所述第二已授权资源项信息对应被迁移至不低于两个待处理信息二元组中;任何一个所述待处理信息二元组中的所述第一已授权资源项信息对应的资源项与所述第二已授权资源项信息对应的资源项不同;任何一个所述第一已授权资源项信息没有被迁移至所述待处理信息二元组中。
第二方面,本发明还提供了一种大数据系统,包括处理器和存储器;所述处理器和所述存储器通信连接,所述处理器用于从所述存储器中读取计算机程序并执行,以实现上述的方法。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是本发明实施例提供的一种基于大数据的数据授权共享方法的流程示意图。
图2是本发明实施例提供的一种基于大数据的数据授权共享方法的应用环境的通信架构示意图。
实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明实施例所提供的方法实施例可以在大数据系统、计算机设备或者类似的运算装置中执行。以运行在大数据系统上为例,大数据系统10可以包括一个或多个处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述大数据系统还可以包括用于通信功能的传输装置106。本领域普通技术人员可以理解,上述结构仅为示意,其并不对上述大数据系统的结构造成限定。例如,大数据系统10还可包括比上述所示更多或者更少的组件,或者具有与上述所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的一种基于大数据的数据授权共享方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至大数据系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括大数据系统10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
基于此,请参阅图1,图1是本发明实施例所提供的一种基于大数据的数据授权共享方法的流程示意图,该方法应用于大数据系统,进一步可以包括步骤101-步骤104描述的技术方案。
步骤101、获得在第一数据共享周期内收集的第一业务资源共享记录中解析得到的每个第一已授权资源项信息的第一AI捕捉窗口数据,以及在第二数据共享周期内收集的第二业务资源共享记录中解析得到的每个第二已授权资源项信息的第二AI捕捉窗口数据。
其中,所述第一数据共享周期晚于所述第二数据共享周期。
可以理解的是,为了对分析报告(可以理解为对资源项进行统计处理之后得到的信息)进行改进,先要获得分析报告,可以先获得在第一数据共享周期内收集的第一业务资源共享记录中解析得到的每个第一已授权资源项信息以及第一已授权资源项信息对应的第一AI捕捉窗口数据,以及在第二数据共享周期内收集的第二业务资源共享记录中解析得到的每个第二已授权资源项信息以及第二已授权资源项信息对应的第二AI捕捉窗口数据。
在本发明实施例中,第一数据共享周期可理解为已使用资源项之后的某一数据共享周期,第二数据共享周期可理解为已使用资源项之前的某一数据共享周期,比如可以实时分析数据请求方是否存在资源项使用的行为等,从而在已使用资源项前后的相应数据共享周期分别确定业务资源共享记录,以得到第一业务资源共享记录和第二业务资源共享记录。
进一步地,数据共享周期的时间长短可以根据实际情况设定,比如可以是30s,又比如可以是2min等,在此不做限定。
进一步的,为了得到业务资源共享记录的资源项解析数据,在得到所述第一业务资源共享记录和所述第二业务资源共享记录之后,可以将所述第一业务资源共享记录和所述第二业务资源共享记录分别加载到已完成调试的、用作解析业务资源共享记录中所包含资源项的资源项捕捉网络中,所述资源项捕捉网络可以对加载的所述第一业务资源共享记录和所述第二业务资源共享记录分别进行知识向量挖掘(比如可以理解为特征提取)、回归分析(分类)等,然后生成得到所述第一业务资源共享记录中每个第一资源项的资源项解析数据和所述第二业务资源共享记录中每个第二资源项的资源项解析数据,所述资源项解析数据包括AI捕捉窗口数据。进一步地,资源项可以理解为数据授权共享过程中的各项数据资源或者信息资源,比如文件资源、图文资源、语音资源、软件资源等。而AI捕捉窗口数据可以是相应业务资源共享记录中用于标记或者突显资源项的窗口信息,在实际应用时,业务资源共享记录呈现在可视化界面中,而AI捕捉窗口数据能够在可视化界面中对相关的资源项以及资源项对应的数据集/信息集进行突出显示处理。
其中,已完成调试的资源项捕捉网络可以是基于AI技术生成的,资源项捕捉网络可以是现有的卷积神经网络模型、深度学习模型、特征金字塔模型、残差网络模型等,本领域技术人员可以根据需求自适应选择对应的网络模型并基于现有技术进行调试得到,在此不作赘述。
在上述内容的基础上,所述第一AI捕捉窗口数据包括用于反映所述第一业务资源共享记录中第一资源项的AI捕捉窗口,所述第二AI捕捉窗口数据包括用于反映所述第二业务资源共享记录中第二资源项的AI捕捉窗口,所述AI捕捉窗口的围合区域所呈现的形状不限。
步骤102、结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组,所述待处理信息二元组包含所述第一已授权资源项信息和就所述第一已授权资源项信息而言符合设定要求的所述第二已授权资源项信息。
进一步地,在分别得到所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据后,可以基于所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,比如AI捕捉窗口数据分别表征的AI捕捉窗口的分布、规模等原因,对所述第一已授权资源项信息和所述第二已授权资源项信息之间的关联情况进行确定,从而实现对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,进而通过关联的结果,得到不少于一个待处理信息二元组。一般而言,对已授权资源项信息进行关联可以理解为对已授权资源项信息进行匹配处理或者配对处理,从而实现已授权资源项信息的统计分析和改进。
示例性的,对于一些可能的实施例而言,结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组可以利用如下方式来实现:结合所述第一AI捕捉窗口数据表征的、所述第一已授权资源项信息的第一AI捕捉窗口的每个第一窗口分布变量,确定所述第一已授权资源项信息的第一共享联动指数;结合所述第二AI捕捉窗口数据表征的、所述第二已授权资源项信息的第二AI捕捉窗口的每个第二窗口分布变量,确定所述第二已授权资源项信息的第二共享联动指数;对于各个所述第一已授权资源项信息,结合所述第一共享联动指数和每个所述第二共享联动指数,依次访问每个所述第二已授权资源项信息,确定符合设定要求的第二已授权资源项信息,并将所述第一已授权资源项信息和符合设定要求的第二已授权资源项信息确定为相同待处理信息二元组中的两个已授权资源项信息。
举例而言,首先可以使用所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据分别计算得到的所述第一已授权资源项信息的第一共享联动指数和所述第二已授权资源项信息的第二共享联动指数,然后针对每一个所述第一已授权资源项信息,可以通过之前确定出的共享联动指数(用于反映不同已授权资源项信息所对应的信息集/数据集在业务资源共享记录中所占区域的大小),实现与每个第二已授权资源项信息之间的依次访问,以通过所述第一共享联动指数和所述第二共享联动指数之间的共享联动指数比较情况/共享联动指数关系,从每个第二已授权资源项信息中确定出就所述第一已授权资源项信息而言符合设定要求的第二已授权资源项信息,然后将所述第一已授权资源项信息和符合设定要求的第二已授权资源项信息确定为相同待处理信息二元组中的两个已授权资源项信息。
在本发明实施例中,所述第一AI捕捉窗口数据可以包含所述第一已授权资源项信息的第一AI捕捉窗口的分布变量,所述分布变量可以是所述第一AI捕捉窗口的多个窗口边界的分布变量,所述第一AI捕捉窗口数据能准确地反映所述第一已授权资源项信息在所述第一业务资源共享记录中的分布数据,基于此,所述第二AI捕捉窗口数据可以包含所述第二已授权资源项信息的第二AI捕捉窗口的分布变量,并且可以明确指示所述第二已授权资源项信息在所述第二业务资源共享记录中的分布数据。
在本发明实施例中,所述第一已授权资源项信息的第一共享联动指数可以是通过所述第一AI捕捉窗口数据表征的、所述第一已授权资源项信息的第一AI捕捉窗口的每个第一窗口分布变量确定所述第一已授权资源项信息的AI捕捉窗口的横向大小和纵向大小,进而确定得到,类似地,可得所述第二已授权资源项信息的第二共享联动指数。
在本发明实施例中,鉴于所述第一业务资源共享记录和所述第二业务资源共享记录为在相同数据共享任务/进程中第一数据共享周期和第二数据共享周期收集的业务资源共享记录,所述第一业务资源共享记录中的第一资源项和所述第二业务资源共享记录中的第二资源项中,除了已使用资源项之外,数据共享任务/进程中没有被使用的资源项应该符合一对一的分布或者对应关系,这样可以通过使用所述第一业务资源共享记录中每个第一已授权资源项信息对所述第二业务资源共享记录中每个第二已授权资源项信息进行依次访问,确定所述第二已授权资源项信息与所述第一已授权资源项信息相关联的情况。
在上述内容的基础上,可以通过所述第一已授权资源项信息的第一共享联动指数与所述第二已授权资源项信息的第二共享联动指数之间的关系从每个第二已授权资源项信息中确定出就所述第一已授权资源项信息而言符合设定要求的第二已授权资源项信息。
举例而言,可以利用如下方式确定符合设定要求的第二已授权资源项信息:对于待关联的所述第一已授权资源项信息和所述第二已授权资源项信息,结合所述每个第一窗口分布变量、所述每个第二窗口分布变量、所述第一共享联动指数和所述第二共享联动指数,确定所述第一已授权资源项信息与所述第二已授权资源项信息之间存在资源交叉的数据集的目标共享联动指数;从所述第一已授权资源项信息和所述第二已授权资源项信息中筛选出待分析的已授权资源项信息,所述待分析的已授权资源项信息对应的共享联动指数低于所述第一已授权资源项信息和所述第二已授权资源项信息中除所述待分析的已授权资源项信息以外的另一已授权资源项信息对应的共享联动指数;如果所述目标共享联动指数与所述待分析的已授权资源项信息对应的共享联动指数之间的设定运算结果高于设定指数判定值,将所述第二已授权资源项信息确定为就所述第一已授权资源项信息而言符合设定要求的第二已授权资源项信息。
可以理解的是,对于待关联的所述第一已授权资源项信息和所述第二已授权资源项信息,结合所述每个第一窗口分布变量、所述每个第二窗口分布变量,可以确定所述第一已授权资源项信息在所述第一业务资源共享记录中的分布数据和所述第二已授权资源项信息在所述第二业务资源共享记录中的分布数据,进而可以确定所述第一已授权资源项信息与所述第二已授权资源项信息之间存在资源交叉的数据集的重叠数据集,确定得到目标共享联动指数,同时根据所述第一共享联动指数和所述第二共享联动指数的大小比较结果,筛选出所述第一已授权资源项信息和所述第二已授权资源项信息中信息覆盖区域小的作为待分析的已授权资源项信息,然后计算目标共享联动指数与待分析的已授权资源项信息的信息覆盖区域值的设定运算结果,如果设定运算结果高于设定的判定值,确定所述第一已授权资源项信息和所述第二已授权资源项信息之间的共享联动指数比较情况符合设定要求。
在一些示例下,可以根据所述第一已授权资源项信息对应的所述第一AI捕捉窗口数据将所述第一已授权资源项信息映射至所述第二已授权资源项信息所在的所述第二业务资源共享记录中,然后通过所述第一已授权资源项信息对应的所述第一AI捕捉窗口数据和所述第二已授权资源项信息对应的所述第二AI捕捉窗口数据,在所述第二业务资源共享记录中找到与所述第一已授权资源项信息对应的所述第二已授权资源项信息,并将所述第一已授权资源项信息和对应的所述第二已授权资源项信息之间存在信息交叉的信息集确定为重叠数据集。
其中,所述待分析的已授权资源项信息的共享联动指数为所述第一共享联动指数和所述第二共享联动指数中共享联动指数小的一者,所述第一共享联动指数和所述第二共享联动指数大小的比对可以是通过确定所述第一共享联动指数和所述第二共享联动指数的差实现。
在本发明实施例中,针对所述第一业务资源共享记录中的一个所述第一已授权资源项信息,依次访问所述第二已授权资源项信息,可能会存在不止一个所述第二已授权资源项信息与第一已授权资源项信息存在重叠数据集的情况,因此需要进一步确定所述第一已授权资源项信息和所述第二已授权资源项信息之间的关系,从而找到能够与所述第一已授权资源项信息关联的第二已授权资源项信息,即符合设定要求的第二已授权资源项信息,示例性的,在得到所述目标共享联动指数与所述待分析的已授权资源项信息的信息覆盖区域值之后,可以确定所述第一已授权资源项信息和所述第二已授权资源项信息之间的信息重叠比例,即将所述目标共享联动指数与所述待分析的已授权资源项信息的信息覆盖区域值之间的设定运算结果作为对所述第二已授权资源项信息的分析依据。
进一步的,在得到信息重叠比例之后,可以设置一个信息重叠比例判定值对所述信息重叠比例进行筛选,当所述信息重叠比例高于信息重叠比例判定值时,将该信息重叠比例对应的所述第一已授权资源项信息和所述第二已授权资源项信息作为相同待处理信息二元组中的两个已授权资源项信息,比如,可以设置信息重叠比例判定值为0.75,即所述目标共享联动指数和所述待分析的已授权资源项信息的信息覆盖区域值的设定运算结果高于0.75时,将所述重叠数据集和所述待分析的已授权资源项信息对应的所述第一已授权资源项信息和所述第二已授权资源项信息作为相同待处理信息二元组中的两个已授权资源项信息。
进一步的,在依次访问/遍历时,可能由于资源项整理等原因的影响,或者依次访问策略等原因,对于所述第一已授权资源项信息来讲,依次访问出的所述第二已授权资源项信息可能为多个,当出现多个所述第二已授权资源项信息与一个所述第一已授权资源项信息关联时,可以利用如下方式来确定不重复的待处理信息二元组:如果包含相同所述第一已授权资源项信息对应被迁移至不低于两个待处理信息二元组中,将所述不低于两个待处理信息二元组中每个所述第二已授权资源项信息作为备用资源项信息;依据每个所述备用资源项信息对应的第二AI捕捉窗口数据,分别从所述第一业务资源共享记录中确定得到对应的参考资源项信息(用于进行对照分析的资源项信息);分别确定每个所述备用资源项信息与对应的参考资源项信息之间的资源共性评分(资源信息的相似度);获得每个所述备用资源项信息的资源特征向量和每个所述参考资源项信息的资源特征向量;从每个所述备用资源项信息中确定出选定资源项信息,所述选定资源项信息与对应的参考资源项信息的资源特征向量一致,并且在每个所述备用资源项信息中所述选定资源项信息与所述参考资源项信息之间的资源共性评分最大;将与所述选定资源项信息对应的所述第二已授权资源项信息所在的所述待处理信息二元组作为所述第一已授权资源项信息不重复的待处理信息二元组。
可以理解的是,如果包含相同所述第一已授权资源项信息被迁移至不低于两个待处理信息二元组的情况,可以将所述不低于两个待处理信息二元组中每个所述第二已授权资源项信息作为备用资源项信息,然后依据每个所述备用资源项信息对应的第二AI捕捉窗口数据,从所述第一业务资源共享记录中确定得到每个所述备用资源项信息对应的参考资源项信息,对于每个所述备用资源项信息和对应的参考资源项信息,可以通过特征挖掘等思路确定出所述备用资源项信息和对应的参考资源项信息中各自的资源特征向量(反映资源项细节信息的特征向量),借助资源特征向量和两组资源项信息之间的余弦距离对所述备用资源项信息和对应的参考资源项信息进行关联情况的分析,以分析所述备用资源项信息和对应的参考资源项信息是否是一对资源项信息,示例性的,对于每对所述备用资源项信息和对应的参考资源项信息,可以判定它们的资源特征向量是否一致,以及它们之间的资源共性评分,进而可以从资源特征向量一致的备用资源项信息和对应的参考资源项信息中,将彼此余弦距离最小的一个备用资源项信息确定为确定出的选定资源项信息,进而可以将所述选定资源项信息对应的所述第二已授权资源项信息所在的待处理信息二元组作为所述第一已授权资源项信息不重复的待处理信息二元组。
在一些示例中,每一个备用资源项信息都对应一个所述第二AI捕捉窗口数据,因此可以通过所述备用资源项信息对应的第二AI捕捉窗口数据在所述第一业务资源共享记录中确定得到所述第二AI捕捉窗口数据对应的参考资源项信息,所使用的确定思路可以是结合所述第二AI捕捉窗口数据在所述第一业务资源共享记录中进行数据分割等。
可以理解的是,得到多个所述备用资源项信息与所述参考资源项信息之间的资源共性评分后,通过比较资源共性评分高低,可以将多个待处理信息二元组依据资源共性评分降序的规则进行整理,进而得到余弦距离最小的所述备用资源项信息和所述参考资源项信息。
进一步地,还需要确定所述备用资源项信息的资源特征向量和所述参考资源项信息的资源特征向量是否一致,即所述备用资源项信息解析得到的资源项和所述参考资源项信息解析得到的资源项是否为同一资源项,示例性的,可以将所述备用资源项信息的资源特征向量与所述参考资源项信息的资源特征向量进行比较,得到资源特征向量一致的所述备用资源项信息和所述参考资源项信息。
其中,所述资源特征向量可以包括资源项的多个维度的特征信息或者细节内容等。其中,所述备用资源项信息的资源特征向量可以根据已存在的所述第二AI捕捉窗口数据进行进一步的分析得到,所述辅助资源项信息的资源特征向量可以通过将所述辅助资源项信息进行特征挖掘得到。
在上述内容的基础上,结合所述备用资源项信息和所述辅助资源项信息确定所述选定资源项信息,所述选定资源项信息与对应的参考资源项信息的资源特征向量一致,并且在每个所述备用资源项信息中所述选定资源项信息与所述参考资源项信息之间的资源共性评分最大。
在本发明实施例中,在对所述第一业务资源共享记录的资源项解析数据进行优化时,如果包含如下状态中的至少一种,则终止对所述第一业务资源共享记录的资源项解析数据进行优化:相同所述第二已授权资源项信息对应被迁移至不低于两个待处理信息二元组中;任何一个所述待处理信息二元组中的所述第一已授权资源项信息对应的资源项与所述第二已授权资源项信息对应的资源项不同;任何一个所述第一已授权资源项信息没有被迁移至所述待处理信息二元组中。
可以理解的是,得到不少于一个待处理信息二元组后,需要对待处理信息二元组进行核对,确定可以进行分析报告优化的待处理信息二元组,对于核对后不能进行分析报告优化的待处理信息二元组,将终止对所述第一业务资源共享记录的资源项解析数据进行优化。
其中,相同所述第二已授权资源项信息对应被迁移至不低于两个待处理信息二元组中,即所述第二已授权资源项信息相较于所述第一已授权资源项信息中每个资源项无法确定存在一对一关联的不重复关系。
在一些示例下,任何一个所述待处理信息二元组中的所述第一已授权资源项信息对应的资源项与所述第二已授权资源项信息对应的资源项不同,所述对应的资源项不同可能是资源项的类别不同、资源项的统计数据错误等,还可能是所述第一已授权资源项信息和所述第二已授权资源项信息完全不类似,比如,所述备用资源项信息与所述参考资源项信息之间的相似性值低于0.3等。
其中,任何一个所述第一已授权资源项信息没有被迁移至所述待处理信息二元组中,即所述第一已授权资源项信息与所述第二已授权资源项信息的信息重叠比例为0、在所述第二已授权资源项信息中没有与第一已授权资源项信息进行关联的已授权资源项信息等。
步骤103、利用解析得到的每个所述第二已授权资源项信息中没有迁移到任何一个所述待处理信息二元组的目标已授权资源项信息,确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项。
示例性的,得到所述第二业务资源共享记录中每个所述第二已授权资源项信息中未成功关联的目标已授权资源项信息之后,可以进一步通过确定资源共性评分的思路,确定所述第一业务资源共享记录中是否包含被忽略的资源项(可以理解为异常资源项或者遗漏资源项)。
示例性的,可以利用如下方式来确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项:从解析得到的每个所述第二已授权资源项信息中确定出没有迁移到任何一个所述待处理信息二元组的目标已授权资源项信息;依据所述目标已授权资源项信息对应的第二AI捕捉窗口数据,从所述第一业务资源共享记录中确定得到对应的辅助资源项信息;如果所述辅助资源项信息与所述目标已授权资源项信息之间的资源共性评分高于设定判定值,确定所述第一业务资源共享记录中存在没有被解析出的异常资源项。
举例而言,得到不少于一个待处理信息二元组后,从所述第二业务资源共享记录中每个所述第二已授权资源项信息中确定出未关联的已授权资源项信息,将之作为目标已授权资源项信息,然后依据所述目标已授权资源项信息对应的第二AI捕捉窗口数据,在所述第一业务资源共享记录中确定得到对应的辅助资源项信息(用于进行检测的资源项信息),进而可以通过所述辅助资源项信息和所述选定资源项信息之间的资源共性评分来确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项。
可以理解的是,所述目标已授权资源项信息为没有迁移到任何一个所述待处理信息二元组的第二已授权资源项信息。
举例而言,从所述第一业务资源共享记录中确定得到对应的辅助资源项信息,可以是在第二业务资源共享记录中得到未完成关联的目标已授权资源项信息之后,使用所述目标已授权资源项信息对应的第二AI捕捉窗口数据在所述第一业务资源共享记录的中进行分割得到与所述第二AI捕捉窗口的规模以及在相同信息特征空间下的分布数据一致的辅助资源项信息。在得到所述辅助资源项信息之后,由于最后是为了确定是否包含被忽略的资源项,因此可以根据所述辅助资源项信息与所述目标已授权资源项信息之间的资源共性评分判断所述辅助资源项信息中是否包含所述目标已授权资源项信息中的完成优化的资源项解析数据项。
示例性的,可以计算所述辅助资源项信息和所述选定资源项信息的特征相似值,然后通过设置一个特征相似值判定值,确定其特征相似值高于特征相似值判定值的两组资源项信息中的资源项为同一资源项,也即,所述第一业务资源共享记录中存在没有被解析出的异常资源项,比如,可以将特征相似值判定值设置为0.96,只要确定得到所述辅助资源项信息和所述目标已授权资源项信息的图像特征相似值高于0.96,就确定第一业务资源共享记录中存在没有被解析出的异常资源项。
在本发明实施例中,在判断出所述第一业务资源共享记录中存在没有被解析出的异常资源项之后,可以进行以下步骤:将所述辅助资源项信息对应的资源项确定为所述异常资源项。其中,结合所述辅助资源项信息,得到所述辅助资源项信息对应的资源项分析报告,所述辅助资源项信息识别得到的资源项可以理解为所述异常资源项。
步骤104、如果包含,结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化。
对于步骤104而言,如果所述第二业务资源共享记录中存在没有被解析出的异常资源项,结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化。
其中,对所述第一业务资源共享记录的资源项解析数据进行优化可以是利用如下方式进行:结合所述目标已授权资源项信息的资源项解析数据,确定所述异常资源项的资源项分析报告;将所述资源项分析报告加入所述第一业务资源共享记录的资源项解析数据中,得到完成优化的、所述第一业务资源共享记录的资源项解析数据。
可以理解的是,在得到未完成关联的目标已授权资源项信息后,未完成关联的目标已授权资源项信息的资源项解析数据就是异常资源项的资源项分析报告,然后将异常资源项的资源项分析报告添加到第一业务资源共享记录的资源项解析数据中,进而得到完成优化的、所述第一业务资源共享记录的资源项解析数据。
本发明实施例提供的基于大数据的数据授权共享方法,通过对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行关联,以进行第一轮联合分析,再通过第二数据共享周期收集的业务资源共享记录中关联失败目标已授权资源项信息对第一数据共享周期收集的业务资源共享记录进行第二轮联合分析,这样能够判定出第一业务资源共享记录中是否包含没有被解析出的异常资源项,以根据异常资源项,对第一业务资源共享记录的资源项解析数据进行优化,这样,通过两个已授权资源项信息的分析报告的双重选择和比较,可以精准解析得到在共享使用了资源项之后的业务资源共享记录中的被忽略资源项,避免对个别资源项的统计忽略,提高资源项的统计准确性和可信度。
以下为本发明实施例提供的另一种基于大数据的数据授权共享方法的设计思路。
步骤201、获得在第一数据共享周期内收集的第一业务资源共享记录中解析得到的每个第一已授权资源项信息的第一AI捕捉窗口数据,以及在第二数据共享周期内收集的第二业务资源共享记录中解析得到的每个第二已授权资源项信息的第二AI捕捉窗口数据,所述第一数据共享周期晚于所述第二数据共享周期。
步骤202、结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组,所述待处理信息二元组包含所述第一已授权资源项信息和就所述第一已授权资源项信息而言符合设定要求的所述第二已授权资源项信息。
步骤203、利用解析得到的每个所述第二已授权资源项信息中关联失败的目标已授权资源项信息,确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项。
步骤204、如果包含,结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化。
可以理解的是,步骤201-步骤204与步骤101-步骤104的实现方式类型。
步骤205、依据完成优化的、所述第一业务资源共享记录的资源项解析数据和所述第二业务资源共享记录的资源项解析数据,确定所述已使用资源项的统计日志,所述已使用资源项包括每个所述第二已授权资源项信息对应的资源项和所述异常资源项中除每个所述第一已授权资源项信息对应的资源项以外的资源项。
其中,使用完成优化的、所述第一业务资源共享记录的资源项解析数据和所述第二业务资源共享记录的资源项解析数据,确定已使用资源项的资源项信息,进而得到资源项的统计日志。
进一步地,所述已使用资源项包括每个所述第二已授权资源项信息对应的资源项和所述异常资源项中除每个所述第一已授权资源项信息对应的资源项以外的资源项。
示例性的,就数据共享任务/进程而言,得到完成优化的、已使用资源项后的所述第一业务资源共享记录的资源项解析数据后,与所述第二业务资源共享记录的资源项解析数据进行对比,确定已使用资源项的资源项信息,进而可以确定得到已使用资源项的统计日志,与直接使用所述第一业务资源共享记录的资源项解析数据和所述第二业务资源共享记录的资源项解析数据进行资源项信息的确定相比,可以尽可能规避分析报告误差造成的统计日志误差。
本发明实施例提供的基于大数据的数据授权共享方法,通过两个已授权资源项信息的分析报告的双重选择和比较,可以精准解析得到在共享使用了资源项之后的业务资源共享记录中的被忽略资源项,避免对个别资源项的统计忽略,提高资源项的统计准确性和可信度,确保整个数据授权共享过程中被使用的资源项能够被完整无误地统计出来,保障数据授权共享过程的正常有序运行。
在一些可独立的实施例中,上述的业务资源共享记录可以是智慧医疗领域的电子病历共享记录,已授权资源项可以是电子病历对应的各类就诊记录,在实际应用过程中,不同的已授权资源项可以分布式存储于不同的数据共享终端中,比如可以借助区块链的分布式存储技术保障已授权资源项的相关信息在没有被共享时的安全性,还可以在共享电子病历的相关信息时提前进行匿名化处理,以保障电子病历的患者个人隐私。
在一些可独立的实施例中,在结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化之后,该方法还可以包括如下内容:基于完成优化的资源项解析数据确定共享资源需求;如果所述共享资源需求包括针对目标电子病历的信息调用需求,则对目标电子病历进行匿名化处理。
进一步地,当上述技术方案应用到电子病历共享场景下时,需要考虑数据共享过程中的个人隐私保护,因此需要进行适应性的匿名化处理。
在一些可独立的实施例中,基于完成优化的资源项解析数据确定共享资源需求,可以包括如下内容:获取针对完成优化的资源项解析数据的资源偏好字段集合,所述资源偏好字段集合包括至少两个资源偏好字段;获得所述资源偏好字段集合中的各个资源偏好字段与所述完成优化的资源项解析数据之间的匹配系数;根据所述各个资源偏好字段对应的匹配系数,以及所述各个资源偏好字段的分类关键词,对所述各个资源偏好字段进行整理,得到相应的资源偏好字段序列;基于所述资源偏好字段序列生成针对所述完成优化的资源项解析数据的目标需求主题序列,所述目标需求主题序列包括至少两个目标共享需求特征。如此设计,目标共享需求特征可以按序进行记录,从而可以保障共享资源需求的完整性,便于快速定位和分析相关的目标共享需求特征。
在一些可独立的实施例中,所述根据所述各个资源偏好字段对应的匹配系数,以及所述各个资源偏好字段的分类关键词,对所述各个资源偏好字段进行整理,得到相应的资源偏好字段序列,具体包括:根据所述各个资源偏好字段对应的匹配系数,以及所述各个资源偏好字段的分类关键词,对所述各个资源偏好字段进行拆解,得到至少两个资源偏好字段子集;对各个资源偏好字段子集进行整理,并分别对所述各个资源偏好字段子集中的各个资源偏好字段进行整理,得到所述资源偏好字段序列。
在一些可独立的实施例中,所述根据所述各个资源偏好字段对应的匹配系数,以及所述各个资源偏好字段的分类关键词,对所述各个资源偏好字段进行拆解,得到至少两个资源偏好字段子集,具体包括:分别根据所述各个资源偏好字段对应的匹配系数,对所述各个资源偏好字段的分类关键词进行求和,得到所述各个资源偏好字段的个性化偏好关键词;根据所述各个资源偏好字段的个性化偏好关键词对所述各个资源偏好字段进行分组,得到至少两个资源偏好字段子集。
基于上述相同或相似的发明构思,请结合参阅图2,还提供了一种基于大数据的数据授权共享方法的应用环境30的架构示意图,包括互相之间通信的大数据系统10和业务资源共享设备20,大数据系统10和业务资源共享设备20在运行时实现或者部分实现上述方法实施例所描述的技术方案。
进一步地,还提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据的数据授权共享方法,其特征在于,应用于大数据系统,该方法至少包括:
获得在第一数据共享周期内收集的第一业务资源共享记录中解析得到的每个第一已授权资源项信息的第一AI捕捉窗口数据,以及在第二数据共享周期内收集的第二业务资源共享记录中解析得到的每个第二已授权资源项信息的第二AI捕捉窗口数据;其中,所述第一数据共享周期晚于所述第二数据共享周期;
结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组,所述待处理信息二元组包含所述第一已授权资源项信息和就所述第一已授权资源项信息而言符合设定要求的所述第二已授权资源项信息;
利用解析得到的每个所述第二已授权资源项信息中关联失败的目标已授权资源项信息,确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项;如果包含,结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化;
其中,AI捕捉窗口数据是相应业务资源共享记录中用于标记或者突显资源项的窗口信息,业务资源共享记录呈现在可视化界面中,AI捕捉窗口数据用于在可视化界面中对相关的资源项以及资源项对应的数据集/信息集进行突出显示处理;
其中,所述结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组,包括:
结合所述第一AI捕捉窗口数据表征的、所述第一已授权资源项信息的第一AI捕捉窗口的每个第一窗口分布变量,确定所述第一已授权资源项信息的第一共享联动指数;
结合所述第二AI捕捉窗口数据表征的、所述第二已授权资源项信息的第二AI捕捉窗口的每个第二窗口分布变量,确定所述第二已授权资源项信息的第二共享联动指数;
对于各个所述第一已授权资源项信息,结合所述第一共享联动指数和每个所述第二共享联动指数,依次访问每个所述第二已授权资源项信息,确定符合设定要求的第二已授权资源项信息,并将所述第一已授权资源项信息和符合设定要求的第二已授权资源项信息确定为相同待处理信息二元组中的两个已授权资源项信息;
其中,利用如下方式确定符合设定要求的第二已授权资源项信息:
对于待关联的所述第一已授权资源项信息和所述第二已授权资源项信息,结合所述每个第一窗口分布变量、所述每个第二窗口分布变量、所述第一共享联动指数和所述第二共享联动指数,确定所述第一已授权资源项信息与所述第二已授权资源项信息之间存在资源交叉的数据集的目标共享联动指数;
从所述第一已授权资源项信息和所述第二已授权资源项信息中筛选出待分析的已授权资源项信息,所述待分析的已授权资源项信息对应的共享联动指数低于所述第一已授权资源项信息和所述第二已授权资源项信息中除所述待分析的已授权资源项信息以外的另一已授权资源项信息对应的共享联动指数;
如果所述目标共享联动指数与所述待分析的已授权资源项信息对应的共享联动指数之间的设定运算结果高于设定指数判定值,将所述第二已授权资源项信息确定为就所述第一已授权资源项信息而言符合设定要求的第二已授权资源项信息。
2.根据权利要求1所述的方法,其特征在于,在所述结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组之后,所述方法包括:
如果包含相同所述第一已授权资源项信息对应被迁移至不低于两个待处理信息二元组中,将所述不低于两个待处理信息二元组中每个所述第二已授权资源项信息作为备用资源项信息;
依据每个所述备用资源项信息对应的第二AI捕捉窗口数据,分别从所述第一业务资源共享记录中确定得到对应的参考资源项信息;
分别确定每个所述备用资源项信息与对应的参考资源项信息之间的资源共性评分;
获得每个所述备用资源项信息的资源特征向量和每个所述参考资源项信息的资源特征向量;
从每个所述备用资源项信息中确定出选定资源项信息,所述选定资源项信息与对应的参考资源项信息的资源特征向量一致,并且在每个所述备用资源项信息中所述选定资源项信息与所述参考资源项信息之间的资源共性评分最大;
将与所述选定资源项信息对应的所述第二已授权资源项信息所在的所述待处理信息二元组作为所述第一已授权资源项信息不重复的待处理信息二元组。
3.根据权利要求1所述的方法,其特征在于,所述利用解析得到的每个所述第二已授权资源项信息中关联失败的目标已授权资源项信息,确定所述第一业务资源共享记录中是否包含没有被解析出的异常资源项,包括:
从解析得到的每个所述第二已授权资源项信息中确定出没有迁移到任何一个所述待处理信息二元组的目标已授权资源项信息;
依据所述目标已授权资源项信息对应的第二AI捕捉窗口数据,从所述第一业务资源共享记录中确定得到对应的辅助资源项信息;
如果所述辅助资源项信息与所述目标已授权资源项信息之间的资源共性评分高于设定判定值,确定所述第一业务资源共享记录中存在没有被解析出的异常资源项。
4.根据权利要求3所述的方法,其特征在于,在所述如果所述辅助资源项信息与所述目标已授权资源项信息之间的资源共性评分高于设定判定值,确定所述第一业务资源共享记录中存在没有被解析出的异常资源项之后,所述方法包括:将所述辅助资源项信息对应的资源项确定为所述异常资源项。
5.根据权利要求1所述的方法,其特征在于,所述结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化,包括:
结合所述目标已授权资源项信息的资源项解析数据,确定所述异常资源项的资源项分析报告;
将所述资源项分析报告加入所述第一业务资源共享记录的资源项解析数据中,得到完成优化的、所述第一业务资源共享记录的资源项解析数据。
6.根据权利要求1所述的方法,其特征在于,在所述结合所述异常资源项,对所述第一业务资源共享记录的资源项解析数据进行优化之后,所述方法包括:依据完成优化的、所述第一业务资源共享记录的资源项解析数据和所述第二业务资源共享记录的资源项解析数据,确定已使用资源项的统计日志,所述已使用资源项包括每个所述第二已授权资源项信息对应的资源项和所述异常资源项中除每个所述第一已授权资源项信息对应的资源项以外的资源项。
7.根据权利要求1所述的方法,其特征在于,在所述结合所述第一AI捕捉窗口数据和所述第二AI捕捉窗口数据,对每个所述第一已授权资源项信息和每个所述第二已授权资源项信息进行一对一关联,得到不少于一个待处理信息二元组之后,所述方法包括:
在对所述第一业务资源共享记录的资源项解析数据进行优化时,如果包含如下状态中的至少一种,则终止对所述第一业务资源共享记录的资源项解析数据进行优化:
第一种状态,相同所述第二已授权资源项信息对应被迁移至不低于两个待处理信息二元组中;
第二种状态,任何一个所述待处理信息二元组中的所述第一已授权资源项信息对应的资源项与所述第二已授权资源项信息对应的资源项不同;
第三种状态,任何一个所述第一已授权资源项信息没有被迁移至所述待处理信息二元组中。
8.一种大数据系统,其特征在于,包括处理器和存储器;所述处理器和所述存储器通信连接,所述处理器用于从所述存储器中读取计算机程序并执行,以实现权利要求1-7任一项所述的方法。
CN202211528218.5A 2022-12-01 2022-12-01 一种基于大数据的数据授权共享方法及系统 Active CN115658620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211528218.5A CN115658620B (zh) 2022-12-01 2022-12-01 一种基于大数据的数据授权共享方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211528218.5A CN115658620B (zh) 2022-12-01 2022-12-01 一种基于大数据的数据授权共享方法及系统

Publications (2)

Publication Number Publication Date
CN115658620A CN115658620A (zh) 2023-01-31
CN115658620B true CN115658620B (zh) 2023-08-22

Family

ID=85020055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211528218.5A Active CN115658620B (zh) 2022-12-01 2022-12-01 一种基于大数据的数据授权共享方法及系统

Country Status (1)

Country Link
CN (1) CN115658620B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028963B (zh) * 2023-03-27 2023-06-30 美云智数科技有限公司 权限管理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101525A (en) * 1995-05-19 2000-08-08 Emc Corporation Method and apparatus for shared memory cleanup
KR20130138597A (ko) * 2012-06-11 2013-12-19 에스케이플래닛 주식회사 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台
KR102307973B1 (ko) * 2020-05-11 2021-10-01 금오공과대학교 산학협력단 분산 시스템의 신뢰성 및 보안성 향상을 위한 블록체인 기반의 데이터 공유방법
CN114553658A (zh) * 2022-03-07 2022-05-27 哈尔滨垚邝科技有限公司 一种基于云计算的资源共享安全处理方法及服务器
CN114722034A (zh) * 2022-04-06 2022-07-08 陆小东 针对云资源共享的大数据分析方法及系统
CN114791925A (zh) * 2021-01-26 2022-07-26 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126472B2 (en) * 2019-06-05 2021-09-21 LogsHero Ltd. System and method for managing shared computer resources

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101525A (en) * 1995-05-19 2000-08-08 Emc Corporation Method and apparatus for shared memory cleanup
KR20130138597A (ko) * 2012-06-11 2013-12-19 에스케이플래닛 주식회사 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법
KR102307973B1 (ko) * 2020-05-11 2021-10-01 금오공과대학교 산학협력단 분산 시스템의 신뢰성 및 보안성 향상을 위한 블록체인 기반의 데이터 공유방법
CN112685385A (zh) * 2020-12-31 2021-04-20 广西中科曙光云计算有限公司 一种用于智慧城市建设的大数据平台
CN114791925A (zh) * 2021-01-26 2022-07-26 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN114553658A (zh) * 2022-03-07 2022-05-27 哈尔滨垚邝科技有限公司 一种基于云计算的资源共享安全处理方法及服务器
CN114722034A (zh) * 2022-04-06 2022-07-08 陆小东 针对云资源共享的大数据分析方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
代杨.政府数据共享交换平台的设计与实现.《中国优秀硕士学位论文全文数据库(信息科技辑)》.2019,第I138-229页. *

Also Published As

Publication number Publication date
CN115658620A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
US8453027B2 (en) Similarity detection for error reports
US10621492B2 (en) Multiple record linkage algorithm selector
US9390176B2 (en) System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data
CN111563051B (zh) 基于爬虫的数据核验方法、装置、计算机设备及存储介质
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
CN107329894B (zh) 应用程序系统测试方法、装置及电子设备
CN107168995B (zh) 一种数据处理方法及服务器
US20170149800A1 (en) System and method for information security management based on application level log analysis
CN115658620B (zh) 一种基于大数据的数据授权共享方法及系统
CN111767350A (zh) 数据仓库测试方法、装置、终端设备及存储介质
CN111104242A (zh) 基于深度学习的操作系统的异常日志的处理方法及装置
CN111639690A (zh) 基于关系图谱学习的欺诈分析方法、系统、介质及设备
CN113722719A (zh) 针对安全拦截大数据分析的信息生成方法及人工智能系统
CN113535773A (zh) 数据库优化方法、数据库优化装置、电子设备和存储介质
US20160261541A1 (en) Prioritizing log messages
CN113312258A (zh) 一种接口测试方法、装置、设备及存储介质
US11308130B1 (en) Constructing ground truth when classifying data
CN113791980B (zh) 测试用例的转化分析方法、装置、设备及存储介质
CN113780666B (zh) 一种缺失值的预测方法及装置、可读存储介质
CN116089446A (zh) 一种结构化查询语句的优化控制方法及装置
CN113781068A (zh) 线上问题解决方法、装置、电子设备和存储介质
CN111488269B (zh) 数据仓库的指标检测方法、装置和系统
CN115221135B (zh) 一种工业互联网数据的共享方法及系统
CN115099922B (zh) 财务数据查询方法、系统、可读存储介质及计算机设备
CN113535444B (zh) 异动检测方法、装置、计算设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230801

Address after: 550000 floor 6, building B7, Zhihui Yunjin incubation base of Guizhou dahealth pharmaceutical industry, No. 2, Gaoxin North Road, Wudang District, Guiyang City, Guizhou Province

Applicant after: Haohuo (Guizhou) Network Technology Co.,Ltd.

Address before: 138000, no.1460, Changning South Street, Ningjiang district, Songyuan City, Jilin Province

Applicant before: Songyuan Zhugui Network Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant