CN116070701A - 应用于智能可视化的数据处理方法及系统 - Google Patents
应用于智能可视化的数据处理方法及系统 Download PDFInfo
- Publication number
- CN116070701A CN116070701A CN202310187591.7A CN202310187591A CN116070701A CN 116070701 A CN116070701 A CN 116070701A CN 202310187591 A CN202310187591 A CN 202310187591A CN 116070701 A CN116070701 A CN 116070701A
- Authority
- CN
- China
- Prior art keywords
- big data
- knowledge
- interaction
- interaction big
- relation chain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/027—Frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供的应用于智能可视化的数据处理方法及系统,在初始智慧业务互动大数据包括拟处理匿名化互动大数据的基础上,该思路基于通过确定的画像知识调整关系链可以尽可能完整地确定拟处理匿名化互动大数据对应的匿名还原互动大数据,提高去匿名化效果;在初始智慧业务互动大数据包括拟处理公开化互动大数据的基础上,通过将画像知识调整关系链融合至拟处理公开化互动大数据,保障获得的已匿名互动大数据尽可能合理,从而提高已匿名互动大数据的可视化输出质量,还能够基于画像知识调整关系链提高匿名大数据和公开大数据的可视化输出智能化程度。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种应用于智能可视化的数据处理方法及系统。
背景技术
数据可视化的意义是帮助人更好的分析数据,信息的质量很大程度上依赖于其表达方式。数据可视化的本质是视觉对话,它将技术与艺术完美结合,借助图形化的手段,清晰有效地传达与沟通信息。一方面,数据赋予可视化以价值;另一方面,可视化增加数据的灵性,两者相辅相成,帮助企业从信息中提取知识、从知识中收获价值。然而相关技术在进行数据可视化输出时存在智能化程度地下的问题,比如难以灵活地将匿名/去匿名处理与数据可视化进行有效结合。
发明内容
为改善相关技术中存在的技术问题,本发明提供了一种应用于智能可视化的数据处理方法及系统。
第一方面,本发明实施例提供了一种应用于智能可视化的数据处理方法,应用于数据处理系统,所述方法包括:获得初始智慧业务互动大数据;所述初始智慧业务互动大数据包括拟处理匿名化互动大数据与拟处理公开化互动大数据中的至少一项;确定所述初始智慧业务互动大数据对应的画像知识调整关系链,其中,所述画像知识调整关系链反映匿名化互动大数据与所述匿名化互动大数据对应的公开化互动大数据之间知识向量映射的知识匿名策略;结合所述初始智慧业务互动大数据和所述画像知识调整关系链,输出最终智慧业务互动大数据;其中,在所述初始智慧业务互动大数据包括拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据包含所述拟处理匿名化互动大数据对应的匿名还原互动大数据;在所述初始智慧业务互动大数据包括拟处理公开化互动大数据的基础上,所述最终智慧业务互动大数据包含所述拟处理公开化互动大数据对应的已匿名互动大数据。
可见,对于获得到的初始智慧业务互动大数据,能够先确定拟处理知识关系链对应的画像知识调整关系链;鉴于画像知识调整关系链能够反映匿名化互动大数据与该匿名化互动大数据对应的公开化互动大数据之间知识向量映射的知识匿名策略,因而可以在结合初始智慧业务互动大数据和该初始智慧业务互动大数据对应的画像知识调整关系链,输出最终智慧业务互动大数据时,提高了最终智慧业务互动大数据的数据优劣评分。例如,在初始智慧业务互动大数据包括拟处理匿名化互动大数据的基础上,该思路基于通过确定的画像知识调整关系链可以尽可能完整地确定拟处理匿名化互动大数据对应的匿名还原互动大数据,提高去匿名化效果;在初始智慧业务互动大数据包括拟处理公开化互动大数据的基础上,通过将画像知识调整关系链融合至拟处理公开化互动大数据,保障获得的已匿名互动大数据尽可能合理,从而提高已匿名互动大数据的可视化输出质量,还能够基于画像知识调整关系链提高匿名大数据和公开大数据的可视化输出智能化程度。
在一些示例性实施例下,所述确定所述初始智慧业务互动大数据对应的画像知识调整关系链,包括:在所述初始智慧业务互动大数据包含所述拟处理匿名化互动大数据、且不包含所述拟处理公开化互动大数据的基础上,对所述初始智慧业务互动大数据进行知识提炼操作,得到所述初始智慧业务互动大数据对应的画像知识调整关系链;在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据、且不包含所述拟处理匿名化互动大数据的基础上,从预设的若干个画像知识调整关系链中,确定所述初始智慧业务互动大数据对应的画像知识调整关系链;或者,对获得的任一参考匿名化互动大数据进行知识提炼操作,得到画像知识调整关系链,并将所述画像知识调整关系链作为所述初始智慧业务互动大数据对应的画像知识调整关系链;在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据和所述拟处理匿名化互动大数据的基础上,对所述拟处理匿名化互动大数据进行知识提炼操作,得到画像知识调整关系链,并将所述画像知识调整关系链作为所述拟处理公开化互动大数据对应的画像知识调整关系链。
可见,对于初始智慧业务互动大数据包含的智慧业务互动大数据的类别,能够自适应地挑选对应的确定画像知识调整关系链的思路。
在一些示例性实施例下,所述结合所述初始智慧业务互动大数据和所述画像知识调整关系链,输出最终智慧业务互动大数据,包括:对所述初始智慧业务互动大数据和所述画像知识调整关系链进行知识翻译操作,输出所述初始智慧业务互动大数据对应的目标画像知识关系链;其中,所述目标画像知识关系链包括与所述初始智慧业务互动大数据的至少一个特征识别度的知识关系链相匹配的匿名策略指示;通过所述目标画像知识关系链,对所述初始智慧业务互动大数据进行处理,输出所述最终智慧业务互动大数据。
可见,鉴于目标画像知识关系链包括初始智慧业务互动大数据的至少一个特征识别度的知识关系链相匹配的匿名策略指示,故通过目标画像知识关系链,可以尽可能精准地对初始智慧业务互动大数据进行处理,输出数据优劣评分较高的最终智慧业务互动大数据。
在一些示例性实施例下,在所述初始智慧业务互动大数据包含所述拟处理匿名化互动大数据、且不包含所述拟处理公开化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第一机器学习算法输出;所述第一机器学习算法包括:知识提炼单元和第一知识翻译单元;所述知识提炼单元与所述第一知识翻译单元连接;在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据、且不包含所述拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第二机器学习算法输出;所述第二机器学习算法包括:所述知识提炼单元和第二知识翻译单元;所述知识提炼单元与所述第二知识翻译单元连接;在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据和所述拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第三机器学习算法输出;所述第三机器学习算法包括:所述知识提炼单元、第一知识翻译单元和第二知识翻译单元;所述知识提炼单元分别与所述第一知识翻译单元和第二知识翻译单元连接。
在一些示例性实施例下,所述第一知识翻译单元包括u个画像挖掘节点、u+1个变量更新节点、u个向量拼接节点;其中,u为正整数;第k个画像挖掘节点包括第k个第一梯度优化节点和第k个知识简化节点;第k个向量拼接节点包括第k个知识扩展节点、第k个联动节点、第k个第二梯度优化节点;第k-1个画像挖掘节点分别与第k-2个画像挖掘节点、第k个画像挖掘节点连接;第k-1个向量拼接节点分别与第k-2个向量拼接节点、第k个向量拼接节点连接;第k个变量更新节点分别与第k+1个变量更新节点、第k个画像挖掘节点中第k个第一梯度优化节点、第k个向量拼接节点中第k个联动节点连接;其中,k为大于等于1、且小于等于u的正整数;第u+1个变量更新节点分别与第u个画像挖掘节点中第u个知识简化节点、第u个向量拼接节点中第u个知识扩展节点连接。
可见,基于二次调优方案,可以使得调优所得的机器学习算法能够尽可能吸收互动大数据的知识调整细节(比如知识匿名策略),以便通过吸收到的大数据知识调整细节尽可能精准地辅助大数据去匿名化处理,机器学习算法的处理精度较高。
在一些示例性实施例下,通过如下内容调优得到所述第一机器学习算法:获得第一调优示例,其中,所述第一调优示例包括若干个第一示例互动大数据二元组,所述第一示例互动大数据二元组包括第一匿名化互动大数据和所述第一匿名化互动大数据对应的第一公开化互动大数据;通过第一待调优机器学习算法中的知识提炼单元,对所述第一匿名化互动大数据进行知识提炼操作,输出所述第一匿名化互动大数据对应的示例画像知识调整关系链;通过所述第一待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第一匿名化互动大数据进行知识翻译操作,输出所述第一匿名化互动大数据对应的第一示例知识关系链;将所述第一示例知识关系链和所述第一匿名化互动大数据进行向量拼接操作,输出所述第一匿名化互动大数据对应的第一测试型互动大数据;结合所述第一测试型互动大数据和所述第一公开化互动大数据,对所述第一待调优机器学习算法进行调优,直到所述第一待调优机器学习算法达到第一调优完成要求,得到所述第一机器学习算法。
可见,通过对第一匿名化互动大数据进行知识提炼操作,得到知识调整细节分布;并通过该画像知识调整关系链,对第一匿名化互动大数据进行去匿名化操作,得到第一匿名化互动大数据对应的第一测试型互动大数据;进而通过第一测试型互动大数据和第一匿名化互动大数据对应的第一公开化互动大数据,调优所得的第一机器学习算法能够尽可能吸收互动大数据的知识调整细节(比如知识匿名策略),以便可以通过该大数据知识调整细节尽可能精准地辅助大数据去匿名化处理,第一机器学习算法的处理精度较高。
在一些示例性实施例下,通过如下内容调优得到所述第二机器学习算法:获得第二调优示例,其中,所述第二调优示例包括若干个第二示例互动大数据二元组,所述第二示例互动大数据二元组包括第二匿名化互动大数据和所述第二匿名化互动大数据对应的第二公开化互动大数据;通过第二待调优机器学习算法中的知识提炼单元,对所述第二匿名化互动大数据进行知识提炼操作,输出所述第二匿名化互动大数据对应的示例画像知识调整关系链;通过所述第二待调优机器学习算法中的第二知识翻译单元,对所述示例画像知识调整关系链和所述第二公开化互动大数据进行知识翻译操作,输出所述第二公开化互动大数据对应的第二示例知识关系链;将所述第二示例知识关系链和所述第二公开化互动大数据进行向量拼接操作,输出所述第二公开化互动大数据对应的第二测试型互动大数据;结合所述第二测试型互动大数据和所述第二匿名化互动大数据,对所述第二待调优机器学习算法进行调优,直到所述第二待调优机器学习算法达到第二调优完成要求,得到所述第二机器学习算法。
可见,通过对第二匿名化互动大数据进行知识提炼操作,得到知识调整细节分布;并通过该画像知识调整关系链,对第二公开化互动大数据进行匿名处理,得到第二公开化互动大数据对应的第二测试型互动大数据;进而通过第二测试型互动大数据和的第二匿名化互动大数据,调优所得的第二机器学习算法能够尽可能吸收互动大数据的知识调整细节(比如知识匿名策略),以便可以通过该大数据知识调整细节尽可能精准地实现画像匿名,第二机器学习算法的处理精度较高。
在一些示例性实施例下,通过如下内容调优得到所述第三机器学习算法:获得第三调优示例,其中,所述第三调优示例包括若干个第三示例互动大数据二元组,所述第三示例互动大数据二元组包括第三匿名化互动大数据和所述第三匿名化互动大数据对应的第三公开化互动大数据;通过第三待调优机器学习算法中的知识提炼单元,对所述第三匿名化互动大数据进行知识提炼操作,输出所述第三匿名化互动大数据对应的示例画像知识调整关系链;通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第三匿名化互动大数据进行知识翻译操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链;并将所述第三示例知识关系链与所述第三匿名化互动大数据进行向量拼接操作,输出所述第三匿名化互动大数据对应的第一测试型互动大数据;以及通过所述第三待调优机器学习算法中的第二知识翻译单元,对所述示例画像知识调整关系链和所述第三公开化互动大数据进行知识翻译操作,输出所述第三公开化互动大数据对应的第四示例知识关系链;并将所述第四示例知识关系链和所述第三公开化互动大数据进行向量拼接操作,输出所述第三公开化互动大数据对应的第二测试型互动大数据;结合所述第二测试型互动大数据和所述第三匿名化互动大数据形成的第一回归分析二元组、以及所述第一测试型互动大数据和所述第三公开化互动大数据形成的第二回归分析二元组,对所述第三待调优机器学习算法进行调优,直到所述第三待调优机器学习算法达到第三调优完成要求,得到所述第三机器学习算法。
可见,通过第二测试型互动大数据和第三匿名化互动大数据构成第一回归分析二元组、和第一测试型互动大数据和第三公开化互动大数据构成第二回归分析二元组,使用联合调优方式对第三待调优机器学习算法进行调优,使得第三待调优机器学习算法能够尽可能吸收互动大数据知识调整细节,并有助于第三待调优机器学习算法中的知识提炼单元从匿名化互动大数据中挖掘与大数据内容不相关的知识调整细节;进而在调优得到第三机器学习算法之后,使得第三机器学习算法中知识提炼单元输出的画像知识调整关系链可以尽可能精准地表示匿名化互动大数据与该匿名化互动大数据对应的公开化互动大数据之间的知识向量映射。
在一些示例性实施例下,所述通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第三匿名化互动大数据进行知识翻译操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链,包括:通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述第三匿名化互动大数据进行知识翻译操作,输出多层第一知识关系链;结合所述示例画像知识调整关系链,确定每层所述第一知识关系链对应的画像知识调整关系链;结合所述多层第一知识关系链和所述每层第一知识关系链对应的画像知识调整关系链,输出所述每层第一知识关系链对应的第二知识关系链;将所述多层第一知识关系链分别对应的第二知识关系链进行向量拼接操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链。
可见,通过结合示例画像知识调整关系链,确定各层第一知识关系链分别对应的画像知识调整关系链,例如,可以对示例画像知识调整关系链进行知识衍生,得到不同层第一知识关系链对应的画像知识调整关系链,使得不同层知识调整指示能够表征不同的知识匿名策略;再将每层第一知识关系链与该层第一知识关系链对应的画像知识调整关系链进行拼接处理,输出每层第一知识关系链对应的第二知识关系链,使得输出的不同层第二知识关系链能够吸收到不同知识匿名策略的细节;进而通过将多层第二知识关系链进行向量拼接操作,得到第三示例知识关系链,可以使得第三示例知识关系链吸收到不同的知识匿名策略,以便通过第三示例知识关系链能够输出数据优劣评分较高的最终智慧业务互动大数据。
在一些示例性实施例下,所述结合所述多层第一知识关系链和所述每层第一知识关系链对应的画像知识调整关系链,输出所述每层第一知识关系链对应的第二知识关系链,包括:对于每层第一知识关系链,对该层第一知识关系链对应的画像知识调整关系链进行第一动态滤波操作,得到该层第一知识关系链对应的第一动态滤波知识关系链;以及,对该层第一知识关系链对应的画像知识调整关系链进行第二动态滤波操作,得到该层第一知识关系链对应的第二动态滤波知识关系链;对该层第一知识关系链进行去量纲处理,得到该层处理后的第一知识关系链;将所述第一动态滤波知识关系链、所述第二动态滤波知识关系链和该层处理后的第一知识关系链进行拼接,输出该层第一知识关系链对应的第二知识关系链;其中,所述第一动态滤波知识关系链用于更新处理后的第一知识关系链的离散指标;所述第二动态滤波知识关系链用于更新处理后的第一知识关系链的波动指标。
可见,通过对该层第一知识关系链进行去量纲处理,可以使得该层处理后的第一知识关系链的细节尽可能合理可信;以及对该层第一知识关系链对应的画像知识调整关系链进行第一动态滤波操作和第二动态滤波操作,得到第一动态滤波知识关系链和第二动态滤波知识关系链;再将第一动态滤波知识关系链、第二动态滤波知识关系链和该层处理后的第一知识关系链进行拼接,例如通过第一动态滤波知识关系链对该层处理后的第一知识关系链的离散指标进行更新,通过第二动态滤波知识关系链对该层处理后的第一知识关系链的波动指标进行更新,得到第二知识关系链,实现通过画像知识调整关系链对第一知识关系链的更新,以及使得第二知识关系链能够吸收到画像知识调整关系链中的知识匿名策略。
在一些示例性实施例下,所述初始智慧业务互动大数据为可视化数据终端爬取得到的拟处理智慧业务互动大数据,在所述输出最终智慧业务互动大数据之后,所述方法还包括:指示所述可视化数据终端呈现所述最终智慧业务互动大数据。
可见,在初始智慧业务互动大数据为可视化数据终端爬取得到拟处理智慧业务互动大数据的基础上,可以及时输出最终智慧业务互动大数据,并指示可视化数据终端呈现最终智慧业务互动大数据,例如可以对拟处理智慧业务互动大数据进行去匿名化操作输出尽可能完整丰富的最终智慧业务互动大数据,提高了可视化数据终端的输出质量。
在一些示例性实施例下,所述初始智慧业务互动大数据为智慧业务互动日志中任一处于匿名态势的智慧业务互动报告,在所述输出最终智慧业务互动大数据之后,所述方法还包括:结合所述智慧业务互动日志中的每一所述智慧业务互动报告分别对应的所述最终智慧业务互动大数据,输出去匿名化的智慧业务互动日志。
可见,在得到智慧业务互动日志之后,可以对智慧业务互动日志进行去匿名化操作,得到去匿名化的智慧业务互动日志,提高了智慧业务互动日志的可读性。
第二方面,本发明还提供了一种数据处理系统,包括处理器和存储器;所述处理器和所述存储器通信连接,所述处理器用于从所述存储器中读取计算机程序并执行,以实现上述的方法。
第三方面,本发明还提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是本发明实施例提供的一种应用于智能可视化的数据处理方法的流程示意图。
图2是本发明实施例提供的一种应用于智能可视化的数据处理方法的应用环境的通信架构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
本发明实施例所提供的方法实施例可以在数据处理系统、计算机设备或者类似的运算装置中执行。以运行在数据处理系统上为例,数据处理系统10可以包括一个或多个处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述数据处理系统还可以包括用于通信功能的传输装置106。本领域普通技术人员可以理解,上述结构仅为示意,其并不对上述数据处理系统的结构造成限定。例如,数据处理系统10还可包括比上述所示更多或者更少的组件,或者具有与上述所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的一种应用于智能可视化的数据处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至数据处理系统10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括数据处理系统10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
基于此,请参阅图1,图1是本发明实施例所提供的一种应用于智能可视化的数据处理方法的流程示意图,该方法应用于数据处理系统,进一步可以包括S1-S3描述的技术方案。
S1、获得初始智慧业务互动大数据。
在本发明实施例中,所述初始智慧业务互动大数据包括拟处理匿名化互动大数据与拟处理公开化互动大数据中的至少一项。进一步地,初始智慧业务互动大数据可以涉及云电商、云政企、元宇宙、数字社区、云游戏、智慧医疗、数字办公、远程教育等领域的用户交互大数据,而拟处理匿名化互动大数据可以理解为待处理的已完成匿名化的互动大数据,拟处理公开化互动大数据可以理解为待处理的非匿名化的互动大数据。此外,匿名化处理可以涉及用户个体画像的匿名保护处理。
S2、确定所述初始智慧业务互动大数据对应的画像知识调整关系链。
在本发明实施例中,所述画像知识调整关系链反映匿名化互动大数据与所述匿名化互动大数据对应的公开化互动大数据之间知识向量映射的知识匿名策略。其中,知识向量可以理解为画像特征或者画像特征向量,知识向量映射反映匿名化互动大数据与对应的公开化互动大数据之间的特征变化情况,知识匿名策略用于指示匿名化互动大数据与对应的公开化互动大数据之间的画像知识匿名处理/去匿名处理的方式/模式,比如K匿名模式。
S3、结合所述初始智慧业务互动大数据和所述画像知识调整关系链,输出最终智慧业务互动大数据。
一方面,在所述初始智慧业务互动大数据包括拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据包含所述拟处理匿名化互动大数据对应的匿名还原互动大数据。
另一方面,在所述初始智慧业务互动大数据包括拟处理公开化互动大数据的基础上,所述最终智慧业务互动大数据包含所述拟处理公开化互动大数据对应的已匿名互动大数据。
可见,画像知识调整关系链作为用户个体画像的匿名处理/匿名还原指示特征图,能够实现不同类型的互动大数据的双向转换,也即可实现匿名处理,也可以实现去匿名处理,从而提高针对初始智慧业务互动大数据的可视化处理智能性,在需要进行匿名输出时,可以适应性进行匿名化处理,在需要进行公开输出时,可以适应性进行去匿名化处理。
通过S1-S3,对于获得到的初始智慧业务互动大数据,能够先确定拟处理知识关系链对应的画像知识调整关系链;鉴于画像知识调整关系链能够反映匿名化互动大数据与该匿名化互动大数据对应的公开化互动大数据之间知识向量映射的知识匿名策略,因而可以在结合初始智慧业务互动大数据和该初始智慧业务互动大数据对应的画像知识调整关系链,输出最终智慧业务互动大数据时,提高了最终智慧业务互动大数据的数据优劣评分。例如,在初始智慧业务互动大数据包括拟处理匿名化互动大数据的基础上,该思路基于通过确定的画像知识调整关系链可以尽可能完整地确定拟处理匿名化互动大数据对应的匿名还原互动大数据,提高去匿名化效果;在初始智慧业务互动大数据包括拟处理公开化互动大数据的基础上,通过将画像知识调整关系链融合至拟处理公开化互动大数据,保障获得的已匿名互动大数据尽可能合理,从而提高已匿名互动大数据的可视化输出质量。
在一些示例性实施例下,S2所描述的所述确定所述初始智慧业务互动大数据对应的画像知识调整关系链,可以包括以下三类情况。
第一类情况、在所述初始智慧业务互动大数据包含所述拟处理匿名化互动大数据、且不包含所述拟处理公开化互动大数据的基础上,对所述初始智慧业务互动大数据进行知识提炼操作,得到所述初始智慧业务互动大数据对应的画像知识调整关系链。
第二类情况、在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据、且不包含所述拟处理匿名化互动大数据的基础上,从预设的若干个画像知识调整关系链中,确定所述初始智慧业务互动大数据对应的画像知识调整关系链;或者,对获得的任一参考匿名化互动大数据进行知识提炼操作,得到画像知识调整关系链,并将所述画像知识调整关系链作为所述初始智慧业务互动大数据对应的画像知识调整关系链。
第三类情况、在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据和所述拟处理匿名化互动大数据的基础上,对所述拟处理匿名化互动大数据进行知识提炼操作,得到画像知识调整关系链,并将所述画像知识调整关系链作为所述拟处理公开化互动大数据对应的画像知识调整关系链。
基于上述三类情况,对于初始智慧业务互动大数据包含的智慧业务互动大数据的类别,能够自适应地挑选对应的确定画像知识调整关系链的思路,然后通过特征挖掘处理(知识提炼操作)准确完整地得到画像知识调整关系链。
在一些示例性实施例下,S3所描述的所述结合所述初始智慧业务互动大数据和所述画像知识调整关系链,输出最终智慧业务互动大数据,可以包括S31和S32所描述的技术方案。
S31、对所述初始智慧业务互动大数据和所述画像知识调整关系链进行知识翻译操作,输出所述初始智慧业务互动大数据对应的目标画像知识关系链。
进一步地,所述目标画像知识关系链包括与所述初始智慧业务互动大数据的至少一个特征识别度的知识关系链相匹配的匿名策略指示。此外,知识翻译操作可以理解为特征翻译或者特征译码处理。
S32、通过所述目标画像知识关系链,对所述初始智慧业务互动大数据进行处理,输出所述最终智慧业务互动大数据。
应用于S31和S32,鉴于目标画像知识关系链包括初始智慧业务互动大数据的至少一个特征识别度的知识关系链相匹配的匿名策略指示,故通过目标画像知识关系链,可以尽可能精准地对初始智慧业务互动大数据进行处理,输出数据优劣评分(数据输出质量)较高的最终智慧业务互动大数据。
在一些示例性实施例下,在所述初始智慧业务互动大数据包含所述拟处理匿名化互动大数据、且不包含所述拟处理公开化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第一机器学习算法输出;所述第一机器学习算法包括:知识提炼单元和第一知识翻译单元;所述知识提炼单元与所述第一知识翻译单元连接。
在另一些示例性实施例下,在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据、且不包含所述拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第二机器学习算法输出;所述第二机器学习算法包括:所述知识提炼单元和第二知识翻译单元;所述知识提炼单元与所述第二知识翻译单元连接。
在又一些示例性实施例下,在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据和所述拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第三机器学习算法输出;所述第三机器学习算法包括:所述知识提炼单元、第一知识翻译单元和第二知识翻译单元;所述知识提炼单元分别与所述第一知识翻译单元和第二知识翻译单元连接。
举例而言,知识提炼单元和知识翻译单元分别对应编码单元和译码单元,机器学习模型的类型可以根据实际情况进行选择,在此不作限定。
在一些示例性实施例下,所述第一知识翻译单元包括u个画像挖掘节点、u+1个变量更新节点、u个向量拼接节点;其中,u为正整数;第k个画像挖掘节点包括第k个第一梯度优化节点和第k个知识简化节点;第k个向量拼接节点包括第k个知识扩展节点、第k个联动节点、第k个第二梯度优化节点;第k-1个画像挖掘节点分别与第k-2个画像挖掘节点、第k个画像挖掘节点连接;第k-1个向量拼接节点分别与第k-2个向量拼接节点、第k个向量拼接节点连接;第k个变量更新节点分别与第k+1个变量更新节点、第k个画像挖掘节点中第k个第一梯度优化节点、第k个向量拼接节点中第k个联动节点连接;其中,k为大于等于1、且小于等于u的正整数;第u+1个变量更新节点分别与第u个画像挖掘节点中第u个知识简化节点、第u个向量拼接节点中第u个知识扩展节点连接。
例如,画像挖掘节点可以为特征提取子模型,变量更新节点可以为变量调制子模型,向量拼接节点可以理解为特征融合子模型,梯度优化节点可以理解为残差子模型,知识简化节点和知识扩展节点则分别对应特征下采样子模型和特征上采样子模型。
可以理解,基于二次调优方案,能够使得调优所得的机器学习算法能够尽可能吸收互动大数据的知识调整细节(比如知识匿名策略),以便通过吸收到的大数据知识调整细节尽可能精准地辅助大数据去匿名化处理,机器学习算法的处理精度较高。
在一些示例性实施例下,通过如下内容调优得到所述第一机器学习算法:NODE1、获得第一调优示例,其中,所述第一调优示例包括若干个第一示例互动大数据二元组,所述第一示例互动大数据二元组包括第一匿名化互动大数据和所述第一匿名化互动大数据对应的第一公开化互动大数据;NODE2、通过第一待调优机器学习算法中的知识提炼单元,对所述第一匿名化互动大数据进行知识提炼操作,输出所述第一匿名化互动大数据对应的示例画像知识调整关系链;NODE3、通过所述第一待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第一匿名化互动大数据进行知识翻译操作,输出所述第一匿名化互动大数据对应的第一示例知识关系链;NODE4、将所述第一示例知识关系链和所述第一匿名化互动大数据进行向量拼接操作,输出所述第一匿名化互动大数据对应的第一测试型互动大数据;NODE5、结合所述第一测试型互动大数据和所述第一公开化互动大数据,对所述第一待调优机器学习算法进行调优,直到所述第一待调优机器学习算法达到第一调优完成要求,得到所述第一机器学习算法。
其中,上述的示例数据信息可以理解为用于进行机器学习算法训练调试的样本数据信息。通过对第一匿名化互动大数据进行知识提炼操作,得到知识调整细节分布;并通过该画像知识调整关系链,对第一匿名化互动大数据进行去匿名化操作,得到第一匿名化互动大数据对应的第一测试型互动大数据;进而通过第一测试型互动大数据和第一匿名化互动大数据对应的第一公开化互动大数据,调优所得的第一机器学习算法能够尽可能吸收互动大数据的知识调整细节(比如知识匿名策略),以便可以通过该大数据知识调整细节尽可能精准地辅助大数据去匿名化处理,第一机器学习算法的处理精度较高。
在一些示例性实施例下,通过如下内容调优得到所述第二机器学习算法:获得第二调优示例,其中,所述第二调优示例包括若干个第二示例互动大数据二元组,所述第二示例互动大数据二元组包括第二匿名化互动大数据和所述第二匿名化互动大数据对应的第二公开化互动大数据;通过第二待调优机器学习算法中的知识提炼单元,对所述第二匿名化互动大数据进行知识提炼操作,输出所述第二匿名化互动大数据对应的示例画像知识调整关系链;通过所述第二待调优机器学习算法中的第二知识翻译单元,对所述示例画像知识调整关系链和所述第二公开化互动大数据进行知识翻译操作,输出所述第二公开化互动大数据对应的第二示例知识关系链;将所述第二示例知识关系链和所述第二公开化互动大数据进行向量拼接操作,输出所述第二公开化互动大数据对应的第二测试型互动大数据;结合所述第二测试型互动大数据和所述第二匿名化互动大数据,对所述第二待调优机器学习算法进行调优,直到所述第二待调优机器学习算法达到第二调优完成要求,得到所述第二机器学习算法。
可以理解,通过对第二匿名化互动大数据进行知识提炼操作,得到知识调整细节分布;并通过该画像知识调整关系链,对第二公开化互动大数据进行匿名处理,得到第二公开化互动大数据对应的第二测试型互动大数据;进而通过第二测试型互动大数据和的第二匿名化互动大数据,调优所得的第二机器学习算法能够尽可能吸收互动大数据的知识调整细节(比如知识匿名策略),以便可以通过该大数据知识调整细节尽可能精准地实现画像匿名,第二机器学习算法的处理精度较高。
在一些示例性实施例下,通过如下内容调优得到所述第三机器学习算法:获得第三调优示例,其中,所述第三调优示例包括若干个第三示例互动大数据二元组,所述第三示例互动大数据二元组包括第三匿名化互动大数据和所述第三匿名化互动大数据对应的第三公开化互动大数据;通过第三待调优机器学习算法中的知识提炼单元,对所述第三匿名化互动大数据进行知识提炼操作,输出所述第三匿名化互动大数据对应的示例画像知识调整关系链;通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第三匿名化互动大数据进行知识翻译操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链;并将所述第三示例知识关系链与所述第三匿名化互动大数据进行向量拼接操作,输出所述第三匿名化互动大数据对应的第一测试型互动大数据;以及通过所述第三待调优机器学习算法中的第二知识翻译单元,对所述示例画像知识调整关系链和所述第三公开化互动大数据进行知识翻译操作,输出所述第三公开化互动大数据对应的第四示例知识关系链;并将所述第四示例知识关系链和所述第三公开化互动大数据进行向量拼接操作,输出所述第三公开化互动大数据对应的第二测试型互动大数据;结合所述第二测试型互动大数据和所述第三匿名化互动大数据形成的第一回归分析二元组、以及所述第一测试型互动大数据和所述第三公开化互动大数据形成的第二回归分析二元组,对所述第三待调优机器学习算法进行调优,直到所述第三待调优机器学习算法达到第三调优完成要求,得到所述第三机器学习算法。
进一步地,通过第二测试型互动大数据和第三匿名化互动大数据构成第一回归分析二元组、和第一测试型互动大数据和第三公开化互动大数据构成第二回归分析二元组,使用联合调优方式(对抗训练)对第三待调优机器学习算法进行调优,使得第三待调优机器学习算法能够尽可能吸收互动大数据知识调整细节,便于第三待调优机器学习算法中的知识提炼单元从匿名化互动大数据中挖掘与大数据内容不相关的知识调整细节;进而在调优得到第三机器学习算法之后,使得第三机器学习算法中知识提炼单元输出的画像知识调整关系链可以尽可能精准地表示匿名化互动大数据与该匿名化互动大数据对应的公开化互动大数据之间的知识向量映射。
在一些示例性实施例下,所述通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第三匿名化互动大数据进行知识翻译操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链,包括:通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述第三匿名化互动大数据进行知识翻译操作,输出多层第一知识关系链;结合所述示例画像知识调整关系链,确定每层所述第一知识关系链对应的画像知识调整关系链;结合所述多层第一知识关系链和所述每层第一知识关系链对应的画像知识调整关系链,输出所述每层第一知识关系链对应的第二知识关系链;将所述多层第一知识关系链分别对应的第二知识关系链进行向量拼接操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链。
可见,通过结合示例画像知识调整关系链,确定各层第一知识关系链分别对应的画像知识调整关系链,例如,可以对示例画像知识调整关系链进行知识衍生,得到不同层第一知识关系链对应的画像知识调整关系链,使得不同层知识调整指示能够表征不同的知识匿名策略;再将每层第一知识关系链与该层第一知识关系链对应的画像知识调整关系链进行拼接处理,输出每层第一知识关系链对应的第二知识关系链,使得输出的不同层第二知识关系链能够吸收到不同知识匿名策略的细节;进而通过将多层第二知识关系链进行向量拼接操作,得到第三示例知识关系链,可以使得第三示例知识关系链吸收到不同的知识匿名策略,以便通过第三示例知识关系链能够输出数据优劣评分较高的最终智慧业务互动大数据。
在一些示例性实施例下,所述结合所述多层第一知识关系链和所述每层第一知识关系链对应的画像知识调整关系链,输出所述每层第一知识关系链对应的第二知识关系链,包括:对于每层第一知识关系链,对该层第一知识关系链对应的画像知识调整关系链进行第一动态滤波操作,得到该层第一知识关系链对应的第一动态滤波知识关系链;以及,对该层第一知识关系链对应的画像知识调整关系链进行第二动态滤波操作,得到该层第一知识关系链对应的第二动态滤波知识关系链;对该层第一知识关系链进行去量纲处理,得到该层处理后的第一知识关系链;将所述第一动态滤波知识关系链、所述第二动态滤波知识关系链和该层处理后的第一知识关系链进行拼接,输出该层第一知识关系链对应的第二知识关系链;其中,所述第一动态滤波知识关系链用于更新处理后的第一知识关系链的离散指标;所述第二动态滤波知识关系链用于更新处理后的第一知识关系链的波动指标。
可以理解,通过对该层第一知识关系链进行去量纲(标准化或者归一化)处理,可以使得该层处理后的第一知识关系链的细节尽可能合理可信;以及对该层第一知识关系链对应的画像知识调整关系链进行第一动态滤波操作和第二动态滤波操作,得到第一动态滤波知识关系链和第二动态滤波知识关系链;再将第一动态滤波知识关系链、第二动态滤波知识关系链和该层处理后的第一知识关系链进行拼接,例如通过第一动态滤波知识关系链对该层处理后的第一知识关系链的离散指标(方差)进行更新,通过第二动态滤波知识关系链对该层处理后的第一知识关系链的波动指标(均值)进行更新,得到第二知识关系链,实现通过画像知识调整关系链对第一知识关系链的更新,以及使得第二知识关系链能够吸收到画像知识调整关系链中的知识匿名策略。
例如,动态滤波可以理解为卷积处理或者滑动平均处理。而上述的测试大数据可以理解为算法模型训练过程中得到的预测大数据。
在一些示例性实施例下,所述初始智慧业务互动大数据为可视化数据终端爬取得到的拟处理智慧业务互动大数据,在S3所描述的所述输出最终智慧业务互动大数据之后,所述方法还包括:指示所述可视化数据终端呈现所述最终智慧业务互动大数据。
可以理解的是,在初始智慧业务互动大数据为可视化数据终端爬取得到拟处理智慧业务互动大数据的基础上,可以及时输出最终智慧业务互动大数据,并指示可视化数据终端呈现最终智慧业务互动大数据,例如可以对拟处理智慧业务互动大数据进行去匿名化操作输出尽可能完整丰富的最终智慧业务互动大数据,提高了可视化数据终端的输出质量。
在一些示例性实施例下,所述初始智慧业务互动大数据为智慧业务互动日志中任一处于匿名态势的智慧业务互动报告,在S3所描述的所述输出最终智慧业务互动大数据之后,所述方法还包括:结合所述智慧业务互动日志中的每一所述智慧业务互动报告分别对应的所述最终智慧业务互动大数据,输出去匿名化的智慧业务互动日志。
可见,在得到智慧业务互动日志之后,可以对智慧业务互动日志进行去匿名化操作,得到去匿名化的智慧业务互动日志,提高了智慧业务互动日志的可读性。
基于上述相同或相似的发明构思,请结合参阅图2,还提供了一种应用于智能可视化的数据处理方法的应用环境30的架构示意图,包括互相之间通信的数据处理系统10和可视化数据终端20,数据处理系统10和可视化数据终端20在运行时实现或者部分实现上述方法实施例所描述的技术方案。
进一步地,还提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的方法。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种应用于智能可视化的数据处理方法,其特征在于,应用于数据处理系统,所述方法包括:
获得所述初始智慧业务互动大数据;其中,所述初始智慧业务互动大数据包括拟处理匿名化互动大数据与拟处理公开化互动大数据中的至少一项;
确定所述初始智慧业务互动大数据对应的画像知识调整关系链;其中,所述画像知识调整关系链反映匿名化互动大数据与所述匿名化互动大数据对应的公开化互动大数据之间知识向量映射的知识匿名策略;
结合所述初始智慧业务互动大数据和所述画像知识调整关系链,输出最终智慧业务互动大数据;其中,在所述初始智慧业务互动大数据包括拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据包含所述拟处理匿名化互动大数据对应的匿名还原互动大数据;在所述初始智慧业务互动大数据包括拟处理公开化互动大数据的基础上,所述最终智慧业务互动大数据包含所述拟处理公开化互动大数据对应的已匿名互动大数据。
2.根据权利要求1所述的方法,其特征在于,所述确定所述初始智慧业务互动大数据对应的画像知识调整关系链,包括:
在所述初始智慧业务互动大数据包含所述拟处理匿名化互动大数据、且不包含所述拟处理公开化互动大数据的基础上,对所述初始智慧业务互动大数据进行知识提炼操作,得到所述初始智慧业务互动大数据对应的画像知识调整关系链;
在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据、且不包含所述拟处理匿名化互动大数据的基础上,从预设的若干个画像知识调整关系链中,确定所述初始智慧业务互动大数据对应的画像知识调整关系链;或者,对获得的任一参考匿名化互动大数据进行知识提炼操作,得到画像知识调整关系链,并将所述画像知识调整关系链作为所述初始智慧业务互动大数据对应的画像知识调整关系链;
在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据和所述拟处理匿名化互动大数据的基础上,对所述拟处理匿名化互动大数据进行知识提炼操作,得到画像知识调整关系链,并将所述画像知识调整关系链作为所述拟处理公开化互动大数据对应的画像知识调整关系链。
3.根据权利要求1所述的方法,其特征在于,所述结合所述初始智慧业务互动大数据和所述画像知识调整关系链,输出最终智慧业务互动大数据,包括:
对所述初始智慧业务互动大数据和所述画像知识调整关系链进行知识翻译操作,输出所述初始智慧业务互动大数据对应的目标画像知识关系链;其中,所述目标画像知识关系链包括与所述初始智慧业务互动大数据的至少一个特征识别度的知识关系链相匹配的匿名策略指示;
通过所述目标画像知识关系链,对所述初始智慧业务互动大数据进行处理,输出所述最终智慧业务互动大数据。
4.根据权利要求4所述的方法,其特征在于,在所述初始智慧业务互动大数据包含所述拟处理匿名化互动大数据、且不包含所述拟处理公开化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第一机器学习算法输出;所述第一机器学习算法包括:知识提炼单元和第一知识翻译单元;所述知识提炼单元与所述第一知识翻译单元连接;
在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据、且不包含所述拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第二机器学习算法输出;所述第二机器学习算法包括:所述知识提炼单元和第二知识翻译单元;所述知识提炼单元与所述第二知识翻译单元连接;
在所述初始智慧业务互动大数据包含所述拟处理公开化互动大数据和所述拟处理匿名化互动大数据的基础上,所述最终智慧业务互动大数据由调优所得的第三机器学习算法输出;所述第三机器学习算法包括:所述知识提炼单元、第一知识翻译单元和第二知识翻译单元;所述知识提炼单元分别与所述第一知识翻译单元和所述第二知识翻译单元连接。
5.根据权利要求4所述的方法,其特征在于,所述第一知识翻译单元包括u个画像挖掘节点、u+1个变量更新节点、u个向量拼接节点;其中,u为正整数;第k个画像挖掘节点包括第k个第一梯度优化节点和第k个知识简化节点;第k个向量拼接节点包括第k个知识扩展节点、第k个联动节点、第k个第二梯度优化节点;第k-1个画像挖掘节点分别与第k-2个画像挖掘节点、第k个画像挖掘节点连接;第k-1个向量拼接节点分别与第k-2个向量拼接节点、第k个向量拼接节点连接;第k个变量更新节点分别与第k+1个变量更新节点、第k个画像挖掘节点中第k个第一梯度优化节点、第k个向量拼接节点中第k个联动节点连接;其中,k为大于等于1、且小于等于u的正整数;第u+1个变量更新节点分别与第u个画像挖掘节点中第u个知识简化节点、第u个向量拼接节点中第u个知识扩展节点连接。
6.根据权利要求4所述的方法,其特征在于,通过如下内容调优得到所述第一机器学习算法:
获得第一调优示例,其中,所述第一调优示例包括若干个第一示例互动大数据二元组,所述第一示例互动大数据二元组包括第一匿名化互动大数据和所述第一匿名化互动大数据对应的第一公开化互动大数据;
通过第一待调优机器学习算法中的知识提炼单元,对所述第一匿名化互动大数据进行知识提炼操作,输出所述第一匿名化互动大数据对应的示例画像知识调整关系链;
通过所述第一待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第一匿名化互动大数据进行知识翻译操作,输出所述第一匿名化互动大数据对应的第一示例知识关系链;
将所述第一示例知识关系链和所述第一匿名化互动大数据进行向量拼接操作,输出所述第一匿名化互动大数据对应的第一测试型互动大数据;
结合所述第一测试型互动大数据和所述第一公开化互动大数据,对所述第一待调优机器学习算法进行调优,直到所述第一待调优机器学习算法达到第一调优完成要求,得到所述第一机器学习算法。
7.根据权利要求4所述的方法,其特征在于,通过如下内容调优得到所述第二机器学习算法:
获得第二调优示例,其中,所述第二调优示例包括若干个第二示例互动大数据二元组,所述第二示例互动大数据二元组包括第二匿名化互动大数据和所述第二匿名化互动大数据对应的第二公开化互动大数据;
通过第二待调优机器学习算法中的知识提炼单元,对所述第二匿名化互动大数据进行知识提炼操作,输出所述第二匿名化互动大数据对应的示例画像知识调整关系链;
通过所述第二待调优机器学习算法中的第二知识翻译单元,对所述示例画像知识调整关系链和所述第二公开化互动大数据进行知识翻译操作,输出所述第二公开化互动大数据对应的第二示例知识关系链;
将所述第二示例知识关系链和所述第二公开化互动大数据进行向量拼接操作,输出所述第二公开化互动大数据对应的第二测试型互动大数据;
结合所述第二测试型互动大数据和所述第二匿名化互动大数据,对所述第二待调优机器学习算法进行调优,直到所述第二待调优机器学习算法达到第二调优完成要求,得到所述第二机器学习算法。
8.根据权利要求4所述的方法,其特征在于,通过如下内容调优得到所述第三机器学习算法:获得第三调优示例,其中,所述第三调优示例包括若干个第三示例互动大数据二元组,所述第三示例互动大数据二元组包括第三匿名化互动大数据和所述第三匿名化互动大数据对应的第三公开化互动大数据;通过第三待调优机器学习算法中的知识提炼单元,对所述第三匿名化互动大数据进行知识提炼操作,输出所述第三匿名化互动大数据对应的示例画像知识调整关系链;通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第三匿名化互动大数据进行知识翻译操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链;并将所述第三示例知识关系链与所述第三匿名化互动大数据进行向量拼接操作,输出所述第三匿名化互动大数据对应的第一测试型互动大数据;以及通过所述第三待调优机器学习算法中的第二知识翻译单元,对所述示例画像知识调整关系链和所述第三公开化互动大数据进行知识翻译操作,输出所述第三公开化互动大数据对应的第四示例知识关系链;并将所述第四示例知识关系链和所述第三公开化互动大数据进行向量拼接操作,输出所述第三公开化互动大数据对应的第二测试型互动大数据;结合所述第二测试型互动大数据和所述第三匿名化互动大数据形成的第一回归分析二元组、以及所述第一测试型互动大数据和所述第三公开化互动大数据形成的第二回归分析二元组,对所述第三待调优机器学习算法进行调优,直到所述第三待调优机器学习算法达到第三调优完成要求,得到所述第三机器学习算法;
其中,所述通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述示例画像知识调整关系链和所述第三匿名化互动大数据进行知识翻译操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链,包括:通过所述第三待调优机器学习算法中的第一知识翻译单元,对所述第三匿名化互动大数据进行知识翻译操作,输出多层第一知识关系链;结合所述示例画像知识调整关系链,确定每层所述第一知识关系链对应的画像知识调整关系链;结合所述多层第一知识关系链和所述每层第一知识关系链对应的画像知识调整关系链,输出所述每层第一知识关系链对应的第二知识关系链;将所述多层第一知识关系链分别对应的第二知识关系链进行向量拼接操作,输出所述第三匿名化互动大数据对应的第三示例知识关系链;
其中,所述结合所述多层第一知识关系链和所述每层第一知识关系链对应的画像知识调整关系链,输出所述每层第一知识关系链对应的第二知识关系链,包括:对于每层第一知识关系链,对该层第一知识关系链对应的画像知识调整关系链进行第一动态滤波操作,得到该层第一知识关系链对应的第一动态滤波知识关系链;以及,对该层第一知识关系链对应的画像知识调整关系链进行第二动态滤波操作,得到该层第一知识关系链对应的第二动态滤波知识关系链;对该层第一知识关系链进行去量纲处理,得到该层处理后的第一知识关系链;将所述第一动态滤波知识关系链、所述第二动态滤波知识关系链和该层处理后的第一知识关系链进行拼接,输出该层第一知识关系链对应的第二知识关系链;其中,所述第一动态滤波知识关系链用于更新处理后的第一知识关系链的离散指标;所述第二动态滤波知识关系链用于更新处理后的第一知识关系链的波动指标。
9.一种数据处理系统,其特征在于,包括处理器和存储器;所述处理器和所述存储器通信连接,所述处理器用于从所述存储器中读取计算机程序并执行,以实现权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时实现权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310187591.7A CN116070701A (zh) | 2023-03-02 | 2023-03-02 | 应用于智能可视化的数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310187591.7A CN116070701A (zh) | 2023-03-02 | 2023-03-02 | 应用于智能可视化的数据处理方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116070701A true CN116070701A (zh) | 2023-05-05 |
Family
ID=86178547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310187591.7A Pending CN116070701A (zh) | 2023-03-02 | 2023-03-02 | 应用于智能可视化的数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116070701A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116955560A (zh) * | 2023-07-21 | 2023-10-27 | 广州拓尔思大数据有限公司 | 基于思考链和知识图谱的数据处理方法及系统 |
CN117910906A (zh) * | 2024-02-19 | 2024-04-19 | 广东康利达物联科技有限公司 | 应用于智慧物流的数据可视化方法及系统 |
-
2023
- 2023-03-02 CN CN202310187591.7A patent/CN116070701A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116955560A (zh) * | 2023-07-21 | 2023-10-27 | 广州拓尔思大数据有限公司 | 基于思考链和知识图谱的数据处理方法及系统 |
CN116955560B (zh) * | 2023-07-21 | 2024-01-05 | 广州拓尔思大数据有限公司 | 基于思考链和知识图谱的数据处理方法及系统 |
CN117910906A (zh) * | 2024-02-19 | 2024-04-19 | 广东康利达物联科技有限公司 | 应用于智慧物流的数据可视化方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116070701A (zh) | 应用于智能可视化的数据处理方法及系统 | |
CN109472240B (zh) | 人脸识别多模型自适应特征融合增强方法和装置 | |
CA3069365A1 (en) | Generation of point of interest copy | |
CN108319888B (zh) | 视频类型的识别方法及装置、计算机终端 | |
CN110348012B (zh) | 确定目标字符的方法、装置、存储介质及电子装置 | |
CN116310667B (zh) | 联合对比损失和重建损失的自监督视觉表征学习方法 | |
CN111435367B (zh) | 知识图谱的构建方法、系统、设备及存储介质 | |
CN115470905B (zh) | 一种大数据分析处理方法及系统 | |
CN110909168A (zh) | 知识图谱的更新方法和装置、存储介质及电子装置 | |
CN116805002A (zh) | 问答方法、问答装置、设备及存储介质 | |
CN115344698A (zh) | 标签处理方法、装置、计算机设备、存储介质和程序产品 | |
CN117290488A (zh) | 基于大模型的人机交互方法、装置、电子设备及存储介质 | |
CN112749556A (zh) | 多语言模型的训练方法和装置、存储介质和电子设备 | |
CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
CN110991298A (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
CN110825866A (zh) | 一种基于深度网络和文本相似度的自动问答系统及装置 | |
CN114398973A (zh) | 一种媒体内容标签识别方法、装置、设备及存储介质 | |
CN103942554A (zh) | 一种图像识别方法及装置 | |
CN110490876B (zh) | 一种基于轻量级神经网络的图像分割方法 | |
CN110276283B (zh) | 图片识别方法、目标识别模型训练方法及装置 | |
KR102305981B1 (ko) | 신경망 압축 훈련 방법 및 압축된 신경망을 이용하는 방법 | |
CN113095506A (zh) | 基于端、边及云协同的机器学习方法、系统及介质 | |
KR102156249B1 (ko) | 변분 순환 오토인코딩 방식의 자동 색인 시스템 및 방법 | |
CN113886547B (zh) | 基于人工智能的客户实时对话转接方法、装置和电子设备 | |
CN115563069A (zh) | 基于人工智能的数据共享处理方法、系统及云平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |