CN110569406A - 一种可配置化的热点数据自动分析方法、装置、系统及介质 - Google Patents
一种可配置化的热点数据自动分析方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN110569406A CN110569406A CN201910677173.XA CN201910677173A CN110569406A CN 110569406 A CN110569406 A CN 110569406A CN 201910677173 A CN201910677173 A CN 201910677173A CN 110569406 A CN110569406 A CN 110569406A
- Authority
- CN
- China
- Prior art keywords
- data
- hot spot
- hotspot
- configuration template
- kafka
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种互联网信息的热点数据分析方法、装置、系统及介质，所述方法包括：获取外部数据；创建Kafka生产者对象，建立热点数据配置模板；判断所述外部数据是否属于热点数据，若是，创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；对所述热点数据进行相应的处理。根据本发明的方案，实现了对热点数据进行动态分析处理，降低了开发成本，减少了后期再次维护的工作量，降低了代码的冗余度，提高了处理性能与容错率，解耦了热点数据的过滤、分析、审核的业务处理逻辑，降低了人力与时间的工作成本。
Description
技术领域
本发明涉及信息处理领域，尤其涉及一种互联网信息的热点数据分析方法、装置、系统及介质，具体涉及一种可配置化的热点数据自动分析方法、装置、系统及介质。
背景技术
随着时代的发展与科技的进步，互联网已全民普及，现代社会已经全面进入了信息化时代，移动互联网让我们每时每刻都在生产与消费信息，在这样的大环境下，获取热点信息及确保数据信息安全变得尤为重要，其中对于数据的分析处理更是重中之重。
以往的工程项目中，在数据同步、数据采集、数据审核等阶段，若想对其中包含热点信息的数据进行特殊处理，需要在传输部分的代码中将具体操作行为写死。但在实际应用中，由于不同的数据所包含的信息量的多少、数据整体的重要程度都是不同的，无法采取统一的处理方式，为此，有时需要对热点数据做更特殊的处理与审核。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。
现有技术CN107943864A提出了一种多媒体内容媒体上安全可控的智能推荐系统，采用热点内容推荐、基于用户喜好的个性化推荐向用户推荐内容，根据推荐引擎输出的内容对热点内容进行了处理，但仍存在诸多缺陷：(1)采用人工处理热点数据，无法对热点数据进行自动分析与审核；(2)无法在数据传输时对热点数据进行动态分析处理；(3)重复代码编写量大。
发明内容
为解决上述技术问题，本发明提出了一种互联网信息的热点数据分析方法、装置、系统及介质，所述方法、装置、系统及介质，创新性的将Kafka处理机制应用于热点数据分析，用以解决现有技术中无法在数据传输时对热点数据进行动态分析处理、无法对热点数据进行自动分析与审核的技术问题。
根据本发明的第一方面，提供一种互联网信息的热点数据分析方法，包括：
步骤S101：获取外部数据；
步骤S102：创建Kafka生产者对象，建立热点数据配置模板；
步骤S103：所述Kafka生产者对象判断所述外部数据是否属于热点数据，若是，执行步骤S104；若否，存储所述外部数据，方法结束；
步骤S104：创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；
步骤S105：所述Kafka消费者对象根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；
步骤S106：根据热度等级，对所述热点数据进行相应的处理。
进一步地，所述建立热点数据配置模板包括：
步骤S1021：针对应用场景事先配置所述数据配置模板；
步骤S1022：根据使用情况动态调整所述数据配置文件。
进一步地，所述数据配置模板包括以下属性信息：
所述热点数据关键字、匹配所述热点数据的正则表达式、每类所述热点数据对应的权重系数。
进一步地，所述Kafka生产者对象判断所述外部数据是否属于热点数据，若是，执行步骤S104；若否，存储所述外部数据，方法结束，包括：
步骤S1031：根据所述热点数据配置模板对所述步骤S101获取的外部数据进行过滤、清洗；
步骤S1032：判断所述外部数据是否属于热点数据；若属于，执行步骤S1033；若不属于，执行步骤S1034；
步骤S1033：若所述外部数据属于热点数据，对所述热点数据统计其参数信息，将所述热点数据发送至Kafka与所述热点数据对应的热点主题中；
步骤S1034：若所述外部数据不属于热点数据，则将所述外部数据推送至存储部件中存储。
根据本发明第二方面，提供一种互联网信息的热点数据分析装置，包括：
数据获取模块：用于获取外部数据；
创建配置模板模块：用于创建Kafka生产者对象，建立热点数据配置模板；
判断模块：用于使所述Kafka生产者对象判断所述外部数据是否属于热点数据；
读取热点数据模块：用于创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；
确定热度等级模块：用于由所述Kafka消费者对象根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；
处理模块：用于根据热度等级，对所述热点数据进行相应的处理。
进一步地，所述创建配置模板模块包括：
建立配置模板子模块一：用于针对应用场景事先配置所述数据配置模板；
调整子模块二：用于根据使用情况动态调整所述数据配置文件。
进一步地，所述数据配置模板包括以下属性信息：所述热点数据关键字、匹配所述热点数据的正则表达式、每类所述热点数据对应的权重系数。
进一步地，所述判断模块包括：
判断子模块：用于判断所述外部数据是否属于热点数据；
统计子模块：用于对所述热点数据统计其参数信息，将所述热点数据发送至Kafka与所述热点数据对应的热点主题中；
存储子模块：用于将所述外部数据推送至存储部件中存储。
根据本发明第三方面，提供一种互联网信息的热点数据分析系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的互联网信息的热点数据分析方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的互联网信息的热点数据分析应用方法。
根据本发明的上述方案，通过预置配置文件的方式实现了对热点数据的自动分析过滤与审核，实现了对热点数据进行动态分析处理，降低了开发成本，减少了后期再次维护的工作量，降低了代码的冗余度，提高了处理性能与容错率，简化了重复代码编写，解耦了热点数据的过滤、分析、审核的业务处理逻辑，降低了人力与时间的工作成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明提出的互联网信息的热点数据分析方法流程图；
图2为本发明一个实施方式的Kafka生产者对象判断外部数据是否属于热点数据的方法流程图；
图3为本发明提出的互联网信息的热点数据分析装置组成框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先结合图1说明本发明的互联网信息的热点数据分析方法，图1示出了根据本发明的互联网信息的热点数据分析方法流程图。如图1所示，所述方法包括以下步骤：
步骤S101：获取外部数据；
获取外部数据源推送的外部数据，所述外部数据源包括普通日志库、热点数据日志库。
步骤S102：创建Kafka生产者对象，建立热点数据配置模板；
所述建立热点数据配置模板包括：
步骤S1021：针对应用场景事先配置所述数据配置模板，所述数据配置模板包括但不限于以下属性：
所述热点数据关键字、匹配所述热点数据的正则表达式、每类所述热点数据对应的权重系数。
所述热点数据关键字，例如新闻、体育等；
匹配所述热点数据的正则表达式，所述正则表达式可以设置多种选项软开关，用于匹配所述热点数据和/或过滤所述热点数据。在本实施例中，当不能确定所述热点数据的热点数据关键字时，若能确定所述热点数据所属类型，可以设置所述数据配置模板具有热点数据所属类型这一属性，在所述正则表达式中，将所属类型对应的部分的软开关打开，进而根据所述正则表达式对所述热点数据进行匹配和/或过滤；当需要获取特定的所述热点数据时，例如，需要过滤筛选出所述热点数据中的特殊数据或敏感数据时，可以在所述正则表达式中，将所述热点数据的具体数据值对应的部分的软开关打开，进而根据所述正则表达式对所述热点数据进行匹配和/或过滤。例如，当确定网站域名为所述数据配置模板属性时，可以将所述正则表达式中与所述网站域名对应的部分的软开关打开，通过具有网站域名部分的正则表达式对网站域名进行匹配和/或过滤，以实现对所述热点数据进行匹配和/或过滤。又如，当确定所述热点数据的具体数据值为所述数据配置模板属性时，可以将所述正则表达式中与所述热点数据的具体数据值对应的部分的软开关打开，通过具有网站域名部分的正则表达式对所述热点数据进行匹配和/或过滤，例如，所述热点数据的具体数据值为手机号，则由正则表达式对手机号码进行匹配和/或过滤，以实现对所述热点数据的匹配和/或过滤。
步骤S1022：根据使用情况动态调整所述数据配置文件；
步骤S103：所述Kafka生产者对象判断所述外部数据是否属于热点数据，若是，执行步骤S104；若否，存储所述外部数据，方法结束；
以下结合图2说明本发明的所述Kafka生产者对象判断所述外部数据是否属于热点数据的方法。所述Kafka生产者对象判断所述外部数据是否属于热点数据，若是，执行步骤S104；若否，存储所述外部数据，方法结束，包括：
步骤S1031：根据所述热点数据配置模板对所述步骤S101获取的外部数据进行过滤、清洗；
步骤S1032：判断所述外部数据是否属于热点数据；若属于，执行步骤S1033；若不属于，执行步骤S1034；
步骤S1033：若所述外部数据属于热点数据，对所述热点数据统计其参数信息，将所述热点数据发送至Kafka与所述热点数据对应的热点主题中；
所述参数信息包括：热点数据的命中信息、命中次数，根据所述参数信息计算所述热点数据的最终热度值。
步骤S1034：若所述外部数据不属于热点数据，则将所述外部数据推送至存储部件中存储。
所述存储部件包括：ElasticSearch或Mysql等其他存储部件。
步骤S104:创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；
所述建立热度等级阈值配置模板，包括：事先配置所述热度等级阈值配置模板，所述热度等级阈值配置模板包括但不限于以下属性：热度等级、各热度等级对应的阈值、与各热度等级对应的处理方式；
所述配置所述热度等级阈值配置模板，还包括对热度等级、各热度等级对应的阈值进行配置，例如，设置热度等级包括低热度等级、中热度等级、高热度等级，再设置如前所述各热度等级对应的阈值。所述阈值可以是数值范围，例如，设置低热度等级对应的阈值的数值范围为1-4，中热度等级对应的阈值的数值范围为5-8，高热度等级对应的阈值的数值范围是9-10。
所述读取所述热点数据，包括：读取所述Kafka与所述热点数据对应的热点主题中的所述热点数据；
步骤S105:所述Kafka消费者对象根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；
包括：对读取的所述热点数据进行计算，获得所述热点数据的最终热度值，再将所述最终热度值进行映射，与所述热度等级阈值配置模板进行匹配、对比，确定所述热点数据对应的热度等级。
所述对读取的所述热点数据进行计算，例如，
获取到所述热点数据中各热点数据关键字Keyi(其中i表示各热度关键字的序号，1≤i≤n，n为所述热点数据中热点数据关键字的个数)，查找所述各热点数据关键字Keyi对应的权重系数Xi，再获取到所述各热度关键字Keyi出现的频率Yi，
按如下公式计算所述热点数据的数据热度值：
将所述热点数据的最终热度值映射到所述热度等级对应的阈值的数值范围中；
根据映射值，参照所述热度等级阈值配置模板中的阈值，确定所述热点数据对应的热度等级。
步骤S106：根据热度等级，对所述热点数据进行相应的处理。
所述根据热度等级，对所述热点数据进行相应的处理，包括：对低热度等级的热点数据，进行前台页面展示；对中热度等级的热点数据，发送邮件进行告警操作；对高热度等级的热点数据，上报上级领导进行审阅，以完成对所述热点数据的记录、展示与处理。
请参考图3，其为本发明提出的互联网信息的热点数据分析装置组成框图。如图所示，该装置包括：
数据获取模块：用于获取外部数据；
创建配置模板模块：用于创建Kafka生产者对象，建立热点数据配置模板；
判断模块：用于使所述Kafka生产者对象判断所述外部数据是否属于热点数据；
读取热点数据模块：用于创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；
确定热度等级模块：用于由所述Kafka消费者对象根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；
处理模块：用于根据热度等级，对所述热点数据进行相应的处理。
进一步地，所述创建配置模板模块包括：
建立配置模板子模块一：用于针对应用场景事先配置所述数据配置模板；
调整子模块二：用于根据使用情况动态调整所述数据配置文件。
进一步地，所述数据配置模板包括以下属性信息：所述热点数据关键字、匹配所述热点数据的正则表达式、每类所述热点数据对应的权重系数。
进一步地，所述判断模块包括：
判断子模块：用于判断所述外部数据是否属于热点数据；
统计子模块：用于对所述热点数据统计其参数信息，将所述热点数据发送至Kafka与所述热点数据对应的热点主题中；
存储子模块：用于将所述外部数据推送至存储部件中存储。
本发明实施例进一步给出一种互联网信息的热点数据分析系统，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如上所述的互联网信息的热点数据分析方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如上所述的互联网信息的热点数据分析方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作系统)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种互联网信息的热点数据分析方法，其特征在于，所述方法包括：
步骤S101：获取外部数据；
步骤S102：创建Kafka生产者对象，建立热点数据配置模板；
步骤S103：所述Kafka生产者对象判断所述外部数据是否属于热点数据，若是，执行步骤S104；若否，存储所述外部数据，方法结束；
步骤S104：创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；
步骤S105：所述Kafka消费者对象根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；
步骤S106：根据热度等级，对所述热点数据进行相应的处理。
2.如权利要求1所述的互联网信息的热点数据分析方法，其特征在于，所述建立热点数据配置模板包括：
步骤S1021：针对应用场景事先配置所述数据配置模板；
步骤S1022：根据使用情况动态调整所述数据配置文件。
3.如权利要求2所述的互联网信息的热点数据分析方法，其特征在于，所述数据配置模板包括以下属性信息：所述热点数据关键字、匹配所述热点数据的正则表达式、每类所述热点数据对应的权重系数。
4.如权利要求1所述的互联网信息的热点数据分析方法，其特征在于，所述Kafka生产者对象判断所述外部数据是否属于热点数据，若是，执行步骤S104；若否，存储所述外部数据，方法结束，包括：
步骤S1031：根据所述热点数据配置模板对所述步骤S101获取的外部数据进行过滤、清洗；
步骤S1032：判断所述外部数据是否属于热点数据；若属于，执行步骤S1033；若不属于，执行步骤S1034；
步骤S1033：若所述外部数据属于热点数据，对所述热点数据统计其参数信息，将所述热点数据发送至Kafka与所述热点数据对应的热点主题中；
步骤S1034：若所述外部数据不属于热点数据，则将所述外部数据推送至存储部件中存储。
5.一种互联网信息的热点数据分析装置，其特征在于，所述装置包括：
数据获取模块：用于获取外部数据；
创建配置模板模块：用于创建Kafka生产者对象，建立热点数据配置模板；
判断模块：用于使所述Kafka生产者对象判断所述外部数据是否属于热点数据；
读取热点数据模块：用于创建Kafka消费者对象，建立热度等级阈值配置模板,读取所述热点数据；
确定热度等级模块：用于由所述Kafka消费者对象根据所述热度等级阈值配置模板，对读取的所述热点数据进行匹配归类，确定所述热点数据对应的热度等级；
处理模块：用于根据热度等级，对所述热点数据进行相应的处理。
6.如权利要求5所述的互联网信息的热点数据分析装置，其特征在于，所述创建配置模板模块包括：
建立配置模板子模块一：用于针对应用场景事先配置所述数据配置模板；
调整子模块二：用于根据使用情况动态调整所述数据配置文件。
7.如权利要求6所述的互联网信息的热点数据分析装置，其特征在于，所述数据配置模板包括以下属性信息：所述热点数据关键字、匹配所述热点数据的正则表达式、每类所述热点数据对应的权重系数。
8.如权利要求5所述的互联网信息的热点数据分析装置，其特征在于，所述判断模块包括：
判断子模块：用于判断所述外部数据是否属于热点数据；
统计子模块：用于对所述热点数据统计其参数信息，将所述热点数据发送至Kafka与所述热点数据对应的热点主题中；
存储子模块：用于将所述外部数据推送至存储部件中存储。
9.一种互联网信息的热点数据分析系统，其特征在于，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4任一所述的互联网信息的热点数据分析方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4任一所述的互联网信息的热点数据分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910677173.XA CN110569406B (zh) | 2019-07-25 | 2019-07-25 | 可配置化的热点数据自动分析方法、装置、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910677173.XA CN110569406B (zh) | 2019-07-25 | 2019-07-25 | 可配置化的热点数据自动分析方法、装置、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110569406A true CN110569406A (zh) | 2019-12-13 |
| CN110569406B CN110569406B (zh) | 2022-04-19 |
Family
ID=68773528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910677173.XA Active CN110569406B (zh) | 2019-07-25 | 2019-07-25 | 可配置化的热点数据自动分析方法、装置、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110569406B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113190528A (zh) * | 2021-04-21 | 2021-07-30 | 中国海洋大学 | 一种并行分布式大数据架构构建方法及系统 |
| CN113590343A (zh) * | 2020-04-30 | 2021-11-02 | 海南掌上能量传媒有限公司 | 一种解决信息占比不均的方法 |
| CN117217196A (zh) * | 2023-11-09 | 2023-12-12 | 杭州瀚斯科技有限公司 | 数据处理系统、方法及计算机装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077377A (zh) * | 2014-06-25 | 2014-10-01 | 红麦聚信(北京)软件技术有限公司 | 基于网络文章属性的网络舆情热点发现方法和装置 |
| CN105608223A (zh) * | 2016-01-12 | 2016-05-25 | 北京中交兴路车联网科技有限公司 | 针对kafka的Hbase数据库的入库方法和系统 |
| US20160294649A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing target model configuration metadata for a log analytics system |
| CN108491277A (zh) * | 2017-12-28 | 2018-09-04 | 华南师范大学 | 一种中小学生学习资源实时热点协同过滤及推荐的方法 |
-
2019
- 2019-07-25 CN CN201910677173.XA patent/CN110569406B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104077377A (zh) * | 2014-06-25 | 2014-10-01 | 红麦聚信(北京)软件技术有限公司 | 基于网络文章属性的网络舆情热点发现方法和装置 |
| US20160294649A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing target model configuration metadata for a log analytics system |
| CN105608223A (zh) * | 2016-01-12 | 2016-05-25 | 北京中交兴路车联网科技有限公司 | 针对kafka的Hbase数据库的入库方法和系统 |
| CN108491277A (zh) * | 2017-12-28 | 2018-09-04 | 华南师范大学 | 一种中小学生学习资源实时热点协同过滤及推荐的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 妮哈·纳克海德 等: "《Kafka权威指南》", 31 January 2018, 人民邮电出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590343A (zh) * | 2020-04-30 | 2021-11-02 | 海南掌上能量传媒有限公司 | 一种解决信息占比不均的方法 |
| CN113190528A (zh) * | 2021-04-21 | 2021-07-30 | 中国海洋大学 | 一种并行分布式大数据架构构建方法及系统 |
| CN113190528B (zh) * | 2021-04-21 | 2022-12-06 | 中国海洋大学 | 一种并行分布式大数据架构构建方法及系统 |
| CN117217196A (zh) * | 2023-11-09 | 2023-12-12 | 杭州瀚斯科技有限公司 | 数据处理系统、方法及计算机装置 |
| CN117217196B (zh) * | 2023-11-09 | 2024-01-26 | 杭州瀚斯科技有限公司 | 数据处理系统、方法及计算机装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110569406B (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569406B (zh) | 可配置化的热点数据自动分析方法、装置、系统及介质 | |
| US9075804B2 (en) | On-the fly pattern recognition with configurable bounds | |
| CN109033200B (zh) | 事件抽取的方法、装置、设备及计算机可读介质 | |
| CN111178380B (zh) | 数据分类方法、装置及电子设备 | |
| US8204837B2 (en) | Information processing apparatus and method, and program for providing information suitable for a predetermined mood of a user | |
| CN109918678B (zh) | 一种字段含义识别方法和装置 | |
| US20130006996A1 (en) | Clustering E-Mails Using Collaborative Information | |
| CN111309614A (zh) | A/b测试方法、装置及电子设备 | |
| CN113254255B (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
| CN111652661A (zh) | 一种手机客户端用户流失预警处理方法 | |
| CN108804563B (zh) | 一种数据标注方法、装置以及设备 | |
| KR101948603B1 (ko) | 데이터의 유용성 보존을 위한 익명화 장치 및 그 방법 | |
| CN113572721A (zh) | 一种异常访问检测方法、装置、电子设备及存储介质 | |
| CN114491184B (zh) | 一种数据处理方法及装置、存储介质及电子设备 | |
| CN111368864A (zh) | 识别方法、可用性评估方法及装置、电子设备、存储介质 | |
| CN114356712A (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 | |
| CN109784047B (zh) | 基于多特征的程序检测方法 | |
| CN112269879A (zh) | 基于k-means算法的中台日志分析方法及设备 | |
| CN111242195A (zh) | 模型、保险风控模型训练方法、装置及电子设备 | |
| CN111930883A (zh) | 一种文本聚类方法、装置、电子设备和计算机存储介质 | |
| CN111209284A (zh) | 基于元数据的分表方法及装置 | |
| CN115757302B (zh) | 一种数据分析的方法、装置、设备及存储介质 | |
| US9473556B1 (en) | Content discovery using description sequences | |
| CN114492360B (zh) | 一种授权合规管理方法及装置 | |
| CN113407859B (zh) | 一种资源推荐方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |