CN107992556A - 一种站点管理方法、装置、电子设备以及存储介质 - Google Patents
一种站点管理方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN107992556A CN107992556A CN201711218874.4A CN201711218874A CN107992556A CN 107992556 A CN107992556 A CN 107992556A CN 201711218874 A CN201711218874 A CN 201711218874A CN 107992556 A CN107992556 A CN 107992556A
- Authority
- CN
- China
- Prior art keywords
- information
- website
- service
- tag types
- information gathering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种站点管理方法、装置、电子设备以及存储介质,其中所述的站点管理方法包括:在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过所述各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理。本发明实施例实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种站点管理方法、装置、电子设备以及存储介质。
背景技术
由于信息的广泛性,需要对站点进行信息采集得到有效信息,以及将采集到的信息在站点端进行分类管理,以供项目使用。现有技术在对站点进行信息采集时,针对每个站点均单独设置一个采集程序,并单独管理该程序保证程序的正常采集功能。
然而,发明人在实现本发明的过程中发现,现有技术至少存在如下问题:
由于每个站点的内容样式存在许多差异,则对每个站点在设置采集以及管理程序时相当于重新配置采集程序,极大消耗时间,影响工作效率。
发明内容
本发明实施例的目的在于提供一种站点管理方法、装置、电子设备以及存储介质,以实现提高各站点的信息采集效率,并实现对采集的信息分类管理。具体技术方案如下:
为实现上述发明目的,在本发明实施例的第一方面公开了一种站点管理方法,包括:
在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过所述各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理。
可选地,构建所述各通用信息采集模板的过程,包括:
提取各站点的信息采集服务,并按照所述各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型,所述信息采集类型至少包括:政治、财经、社科、体育;
按照所述标签类型,对所述各站点的信息采集服务分类;
针对各标签类型,在该标签类型所对应的各信息采集服务中,提取所述各信息采集服务的共有采集服务;
在所述各信息采集服务对应的信息采集模板中,选取预设数量的信息采集模板,并将所述共有采集服务组合在各选取的信息采集模板中,生成各标签对应的各通用信息采集模板。
可选地,在所述在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息之前,所述方法还包括:
提取所述各站点的信息采集服务,并按照所述各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型;
按照所述标签类型,对所述各站点的信息采集服务分类,并确定各类信息采集服务所对应的通用信息采集模板;
所述在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,包括:
针对所述各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换所述该标签类型对应数量的各信息采集服务,批量采集所述该标签类型的各站点的信息。
可选地,在所述按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理之前,所述方法还包括:
按照各标签类型,在数据库中分别建立子数据库,并对各子数据库设置预设周期的检测程序;
所述按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理,包括:
按照标签类型,将采集的所述各站点的信息分类存储到对应的子数据库中;
根据各子数据库的所述检测程序,周期性的检测所述各子数据库的信息存储量以及维护、更新存储的信息。
为实现上述发明目的,在本发明实施例的第二方面公开了一种站点管理装置,包括:
信息采集模块,用于在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过所述各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
信息管理模块,用于按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理。
可选地,所述装置还包括:
第一标签添加模块,用于提取各站点的信息采集服务,并按照各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型,所述信息采集类型至少包括:政治、财经、社科、体育;
服务分类模块,用于按照所述标签类型,对所述各站点的信息采集服务分类;
服务提取模块,用于针对各标签类型,在该标签类型所对应的各信息采集服务中,提取所述各信息采集服务的共有采集服务;
模板生成模块,用于在所述各信息采集服务对应的信息采集模板中,选取预设数量的信息采集模板,并将所述共有采集服务组合在各选取的信息采集模板中,生成各标签对应的各通用信息采集模板。
可选地,所述装置还包括:
第二标签添加模块,用于提取所述各站点的信息采集服务,并按照所述各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型;
模板确定模块,用于按照所述标签类型,对所述各站点的信息采集服务分类,并确定各类信息采集服务所对应的通用信息采集模板;
所述信息采集模块,具体用于针对所述各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换所述该标签类型对应数量的各信息采集服务,批量采集所述该标签类型的各站点的信息。
可选地,所述装置还包括:
子数据库建立模块,用于按照各标签类型,在数据库中分别建立子数据库,并对各子数据库设置预设周期的检测程序;
所述信息管理模块,包括:
信息存储子模块,用于按照标签类型,将采集的所述各站点的信息分类存储到对应的子数据库中;
信息检测子模块,用于根据各子数据库的所述检测程序,周期性的检测所述各子数据库的信息存储量以及维护、更新存储的信息。
为实现上述发明目的,在本发明实施例的第三方面公开了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现上述一种站点管理方法中任一所述的方法步骤。
为实现上述发明目的,在本发明实施例的又一方面公开了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述一种站点管理方法中任一所述的方法步骤。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述一种站点管理方法中任一所述的方法步骤。
本发明实施例提供的一种站点管理方法、装置、电子设备以及存储介质,实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。具体为,在后台按照标签类型提前建立各类型的通用信息采集模板,进而将各类型站点的信息采集服务分别对应替换到各通用信息采集模板上,一次性批量采集多个类型多个站点的信息,缩短了现有技术单独采集多个站点的信息的时间,进而提高了信息采集的效率。在采集到各站点的信息后,按照预先建立的各标签类型对应的管理方式,对各类型的多个站点信息进行分类存储,实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种站点管理方法流程图;
图2为本发明实施例的一种站点管理方法中通用信息采集模板构建方法流程图;
图3为本发明实施例的一种站点管理装置结构示意图;
图4为本发明实施例的一种电子设置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着信息技术的快速发展,产生了越来越的站点,随着站点的增多,也产生了大量庞杂的信息,因此需要对站点进行信息采集,以及对每个站点采集的信息进行管理。现有技术在对站点进行信息采集时,针对每个站点均单独设置一个采集程序,并单独管理该程序保证程序的正常采集功能。然而,由于每个站点的内容样式存在许多差异,则对每个站点在设置采集以及管理程序时相当于重新配置采集程序,极大消耗时间,影响工作效率。
为解决上述问题,本发明实施例公开了一种站点管理方法、装置、电子设备以及存储介质,在站点管理方法中通过设置多种类型的通用信息采集模板,进而将各站点的信息采集服务替换到对应类型的通用信息采集模板,一次性批量采集多个站点信息,并对每种类型的站点信息设置不同的信息管理方式,以实现提高各站点的信息采集效率,以及对采集的信息分类管理的目的。具体技术方案如下:
为实现上述发明目的,在本发明实施例的第一方面公开了一种站点管理方法,如图1所示。图1为本发明实施例的一种站点管理方法流程图,包括:
S101,在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过各站点的信息采集服务中具有同一标签类型的信息采集服务建立的。
为解决现有技术中,针对每个站点均单独设置一个采集程序,由于每个站点的内容样式存在许多差异,则对每个站点在设置采集以及管理程序时相当于重新配置采集程序,极大消耗时间,影响工作效率的问题,本发明实施例通过设置多种以及多个通用信息采集模板,进而保证一次性采集多个站点的信息。
在本发明实施例中,可按照站点类型对应划分所要构建的多种类型的通用信息采集模板,并在每种类型下构建多个通用信息采集模板。例如,站点类型包括:政治、财经、社科、体育等。在每种类型下构建每个通用信息采集模板时,可提取该类型各站点对应的信息采集服务的共有采集服务,该共有采集服务为该类型的各站点对应的信息采集服务中为了实现信息采集功能所存在的共有服务。
在提取到每种类型各站点对应的信息采集服务的共有采集服务后,可在该类型的各站点的信息采集服务对应的信息采集模板中,选取一定数量的信息采集模板,并将上述确定的该类型的共有信息采集服务,通过信息组合技术组合在每个信息采集模板中,进而形成该类型下的各通用信息模板。
在需要采集各站点的信息时,对应提取各站点的信息采集服务,并将各站点的信息采集服务按照各站点的标签类型对应替换到各类型的通用信息采集模板上。进而使得各站点的信息采集服务通过通用信息采集模板,批量采集各类型站点的信息。
S102,按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理。
在本发明实施例中,为了便于对各类型的站点信息分类管理,可预先建立各类型站点信息的管理方式。
例如,管理方式可为将采集的每个站点的信息,按照站点的标签类型分类到对应类型的数据库中进行存储,在每种类型的数据库中设置定期扫描存储的站点信息,进而实时更新每个数据库中存储的数据。
另外,管理方式还可为将采集的每个站点的信息,按照站点的标签类型分类到对应类型的数据库中进行存储。设置周期检测程序,检测每种类型各站点的信息采集服务是否能够实现正常信息采集的功能,以及检测每种类型各站点的信息采集服务是否有更新,进而保证每种类型的数据库正确的存储对应类型的站点信息。
本发明实施例提供的一种站点管理方法,实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。具体为,在后台按照标签类型提前建立各类型的通用信息采集模板,进而将各类型站点的信息采集服务分别对应替换到各通用信息采集模板上,一次性批量采集多个类型多个站点的信息,缩短了现有技术单独采集多个站点的信息的时间,进而提高了信息采集的效率。在采集到各站点的信息后,按照预先建立的各标签类型对应的管理方式,对各类型的多个站点信息进行分类存储,实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
可选地,在本发明实施例的站点管理方法的一种实施例中,构建各通用信息采集模板的过程,如图2所示。图2为本发明实施例的一种站点管理方法中通用信息采集模板构建方法流程图,包括:
S201,提取各站点的信息采集服务,并按照各站点的信息采集类型,对各站点的信息采集服务添加对应的标签类型,信息采集类型至少包括:政治、财经、社科、体育。
本发明实施例为构建各类型通用信息采集模板的实施方法。具体为,首先可按照站点本身产生的信息类型,将站点划分为多种类型的站点,例如政治、财经、社科、体育等。进而提取各类型下所要采集的各站点的信息采集服务,按照信息采集服务本身对应的站点类型,对该信息采集服务添加上对应的标签类型。
S202,按照标签类型,对各站点的信息采集服务分类。
上述在对所要采集的各信息采集服务添加上对应的标签类型后,按照标签类型,对各站点的信息采集服务分类。
具体地,首先按照各类标签名称分别建立各标签类型集合,在提取信息采集服务添加标签的过程中,当对每个站点的信息采集服务添加标签后,将添加标签类型的该信息采集服务对应存放在该类型的标签集合中。
另外,在本发明实施例中,还可设置查找程序,在所有添加了标签类型的信息采集服务中,查找同一标签类型的各信息采集服务。
S203,针对各标签类型,在该标签类型所对应的各信息采集服务中,提取各信息采集服务的共有采集服务。
上述在对添加了标签类型的各信息采集服务分类后,在每种类型的各信息采集服务中提取共有采集服务。该共有采集服务表示该类型的各站点对应的信息采集服务中为了实现信息采集功能所存在的共有服务。
具体为,针对各标签类型,在该标签类型所对应的各信息采集服务中,通过功能对比技术,提取该类型各站点的信息采集服务中所共有的服务。例如,采集同一渠道的信息流的信息采集服务,渠道为表示信息流交互的各种途径,例如,信息产生端A→信息接收端;信息产生端A以及信息产生端B→信息接收端;信息产生端A→信息中转端B→信息接收端;信息产生端A→信息中转端B→信息处理端C→信息接收端,每种方式代表一种渠道的信息流。
共有采集服务还可例如,采集标题时使用的通用信息采集方法;采集文字内容时使用的通用信息采集方法;采集图片时使用的通用信息采集方法;采集视频时使用的通用信息采集方法等。
S204,在各信息采集服务对应的信息采集模板中,选取预设数量的信息采集模板,并将共有采集服务组合在各选取的信息采集模板中,生成各标签对应的各通用信息采集模板。
上述针对每种标签类型,在该标签类型所对应的各信息采集服务中,提取各信息采集服务的共有采集服务后,可建立该标签类型所对应的通用信息采集模板。
具体为,针对每种标签类型,在该标签类型的各信息采集服务对应的信息采集模板中,随机选择预设数量的信息采集模板。
或者对该标签类型的各信息采集服务对应的信息采集模板进行编号,进而选取预设数量奇数编号对应的信息采集模板,或者选取预设数量偶数编号对应的信息采集模板。
需要说明的是,该预设数量表示当前标签类型所要建立的通用信息模板的个数。为保证每种标签类型的通用信息采集模板能够满足需要,且每种标签类型的站点的信息采集服务对应替换到多个通用信息采集模板上,同时采集信息时不影响系统的服务性能,可通过历史数据以及实验数据分析,综合得出该预设数量具体地数值。
针对每种标签类型,在选取了该标签类型下预设数量的信息采集模板后,将该标签类型确定的共有采集服务,通过信息组合技术,将该共有采集服务对应组合在该标签类型选取的各信息采集模板对应位置处,生成该标签类型下各通用信息采集模板。
例如,针对每种标签类型,在选取的该标签类型的每个信息采集模板中,将采集同一渠道信息流的信息采集服务组合在同一渠道信息采集服务的信息采集模板中;将采集标题时使用的通用信息采集方法组合在该标签类型的每个信息采集模板中;将采集文字内容时使用的通用信息采集方法组合在该标签类型的每个信息采集模板中;将采集图片时使用的通用信息采集方法组合在该标签类型的每个信息采集模板中;将采集视频时使用的通用信息采集方法组合在该标签类型的每个信息采集模板中。
可见,通过本发明实施例,可实现对各类型的站点的信息采集服务分类,以及在每种标签类型下建立多个通用信息采集模板,进而实现本发明实施例的将各类型的信息采集服务对应替换到各类型的通用信息采集模板上。
可选地,在本发明实施例的站点管理方法的一种实施例中,在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息之前,方法还包括:
步骤一,提取各站点的信息采集服务,并按照各站点的信息采集类型,对各站点的信息采集服务添加对应的标签类型。
本发明实施例为在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息的实施方法。具体为,首先按照站点本身产生的信息类型,将站点划分为多种类型的站点。例如政治、财经、社科、体育等。进而提取各类型下所要采集的各站点的信息采集服务,按照信息采集服务本身对应的站点类型,对该信息采集服务添加上对应的标签类型。
步骤二,按照标签类型,对各站点的信息采集服务分类,并确定各类信息采集服务所对应的通用信息采集模板。
上述在对所要采集的各信息采集服务添加上对应的标签类型后,按照标签类型,对各站点的信息采集服务分类,以及确定各类信息采集服务所对应的通用信息采集模板。
具体地,首先按照各类标签名称分别建立各标签类型集合,在提取信息采集服务添加标签的过程中,当对每个站点的信息采集服务添加标签后,将添加标签类型的该信息采集服务对应存放在该类型的标签集合中。将该类型的标签集合对应在标签类型为相同名称的通用信息采集模板中。
另外,在本发明实施例中,还可设置查找程序,在所有添加了标签类型的信息采集服务中,查找同一标签类型的各信息采集服务。以及将查找到的同一标签类型的各信息采集服务对应在标签类型为相同名称的通用信息采集模板中。
在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,包括:
步骤三,针对各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换该标签类型对应数量的各信息采集服务,批量采集该标签类型的各站点的信息。
上述按照标签类型,对各站点的信息采集服务分类,并确定了各类信息采集服务所对应的通用信息采集模板后,针对各类通用信息采集模板,查找该标签类型对应的各通用信息采集模板,以及在该标签类型所对应的各信息采集服务中随机选取与该通用信息采集模板相同个数的信息采集服务。
针对各类通用信息采集模板,上述在确定了该标签类型对应的各通用信息采集模板以及相同个数的信息采集服务后,将各信息采集服务分别替换到该标签类型的各通用信息采集模板上。
上述在替换完成后,一次性将该多个信息采集服务同时下发到对应站点,进而实现批量采集多个站点的信息。
可见,通过本发明实施例,可实现通过各类型的多个通用信息采集模板,一次性批量采集多个站点的信息,进而实现提高站点的信息采集效率。
可选地,在本发明实施例的站点管理方法的一种实施例中,在按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理之前,方法还包括:
步骤一,按照各标签类型,在数据库中分别建立子数据库,并对各子数据库设置预设周期的检测程序。
本发明实施例为按照标签类型,分类管理各站点信息的实施方法。本步骤为按照各标签类型,在数据库中分别建立子数据库的实施方法。
具体为,按照各站点的标签类型,在数据库中建立多个子数据库,每个子数据库的名称可按照各类型标签名称命名。例如,政治、财经、社科、体育等。
在建立的每个子数据库中,设置周期性的检测程序,该检测程序可检测该子数据库中存储的站点信息的数量。在本发明实施例中,还可设置每种子数据库的阈值,进而周期性的检测该子数据库中存储的信息是否达到该阈值。
另外,在本发明实施例中,还可检测该子数据库中存储的每条信息的时间,将距离当前时间较长的信息删除,进而保证该子数据库能够存储更多的实时的信息。
按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理,包括:
步骤二,按照标签类型,将采集的各站点的信息分类存储到对应的子数据库中。
针对各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换该标签类型对应数量的各信息采集服务,批量采集该标签类型的各站点的信息后,按照标签类型,将采集的各站点的信息分类存储到对应的子数据库中。
具体为,在每个信息采集服务采集信息时,对应找到与该信息采集服务的标签名称相同的子数据库,进而当该信息采集服务采集完该站点的信息后,就可直接将该信息存储到该子数据库中。
另外,在本发明实施例中,还可通过查找程序查找每条信息对应的站点,即可确定每条信息的标签类型,进而将该信息存储到与该标签类型对应的子数据库中。
步骤三,根据各子数据库的检测程序,周期性的检测各子数据库的信息存储量以及维护、更新存储的信息。
上述将采集的每条信息存储到对应的子数据库中后,根据每个子数据库设置的检测程序,周期性的检测该子数据库的信息以及维护、更新存储的信息。
具体为,在每个子数据库中,按照设置的周期性检测程序,周期性的检测该子数据库中存储的站点信息的数量;按照该子数据库设置的阈值,周期性的检测该子数据库中存储的信息是否达到该阈值;还可检测该子数据库中存储的每条信息的时间,将距离当前时间较长的信息删除,进而保证该子数据库能够实时更新存储的信息。
可见,通过本发明实施例,可实现按照标签类型设置多个子数据库,进而将采集的信息分类存储到对应类型的子数据库中,以及对每个子数据库设置检测程序,周期性的检测每个子数据库中存储的信息,及时的更新每个子数据库中存储的信息,最终实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
为实现上述发明目的,在本发明实施例的第二方面公开了一种站点管理装置,如图3所示。包括:
信息采集模块301,用于在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
信息管理模块302,用于按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理。
本发明实施例提供的一种站点管理装置,实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。具体为,在后台按照标签类型提前建立各类型的通用信息采集模板,进而将各类型站点的信息采集服务分别对应替换到各通用信息采集模板上,一次性批量采集多个类型多个站点的信息,缩短了现有技术单独采集多个站点的信息的时间,进而提高了信息采集的效率。在采集到各站点的信息后,按照预先建立的各标签类型对应的管理方式,对各类型的多个站点信息进行分类存储,实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
需要说明的是,本发明实施例的装置是应用上述一种站点管理方法的装置,则上述一种站点管理方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。
可选地,在本发明实施例的一种站点管理装置的一种实施例中,装置还包括:
第一标签添加模块,用于提取各站点的信息采集服务,并按照各站点的信息采集类型,对各站点的信息采集服务添加对应的标签类型,信息采集类型至少包括:政治、财经、社科、体育;
服务分类模块,用于按照标签类型,对各站点的信息采集服务分类;
服务提取模块,用于针对各标签类型,在该标签类型所对应的各信息采集服务中,提取各信息采集服务的共有采集服务;
模板生成模块,用于在各信息采集服务对应的信息采集模板中,选取预设数量的信息采集模板,并将共有采集服务组合在各选取的信息采集模板中,生成各标签对应的各通用信息采集模板。
可选地,在本发明实施例的一种站点管理装置的一种实施例中,装置还包括:
第二标签添加模块,用于提取各站点的信息采集服务,并按照各站点的信息采集类型,对各站点的信息采集服务添加对应的标签类型;
模板确定模块,用于按照标签类型,对各站点的信息采集服务分类,并确定各类信息采集服务所对应的通用信息采集模板;
信息采集模块301,具体用于针对各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换该标签类型对应数量的各信息采集服务,批量采集该标签类型的各站点的信息。
可选地,在本发明实施例的一种站点管理装置的一种实施例中,装置还包括:
子数据库建立模块,用于按照各标签类型,在数据库中分别建立子数据库,并对各子数据库设置预设周期的检测程序;
信息管理模块302,包括:
信息存储子模块,用于按照标签类型,将采集的各站点的信息分类存储到对应的子数据库中;
信息检测子模块,用于根据各子数据库的检测程序,周期性的检测各子数据库的信息存储量以及维护、更新存储的信息。
为实现上述发明目的,在本发明实施例的第三方面公开了一种电子设备,如图4所示。图4为本发明实施例的一种电子设备结构示意图,包括处理器401、通信接口402、存储器403和通信总线404,其中,处理器401、通信接口402、存储器403通过通信总线404完成相互间的通信;
存储器403,用于存放计算机程序;
处理器401,用于执行存储器403上所存放的程序时,实现以下方法步骤:
在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理。
上述电子设备提到的通信总线404可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线404可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口402用于上述电子设备与其他设备之间的通信。
存储器403可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器403还可以是至少一个位于远离前述处理器401的存储装置。
上述的处理器401可以是通用处理器,包括中央处理器(Central ProcessingUnit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例提供的一种电子设备,实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。具体为,在后台按照标签类型提前建立各类型的通用信息采集模板,进而将各类型站点的信息采集服务分别对应替换到各通用信息采集模板上,一次性批量采集多个类型多个站点的信息,缩短了现有技术单独采集多个站点的信息的时间,进而提高了信息采集的效率。在采集到各站点的信息后,按照预先建立的各标签类型对应的管理方式,对各类型的多个站点信息进行分类存储,实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
为实现上述发明目的,在本发明实施例的又一方面公开了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时,实现以下方法步骤:
在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理。
本发明实施例提供的一种计算机可读存储介质,实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。具体为,在后台按照标签类型提前建立各类型的通用信息采集模板,进而将各类型站点的信息采集服务分别对应替换到各通用信息采集模板上,一次性批量采集多个类型多个站点的信息,缩短了现有技术单独采集多个站点的信息的时间,进而提高了信息采集的效率。在采集到各站点的信息后,按照预先建立的各标签类型对应的管理方式,对各类型的多个站点信息进行分类存储,实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行时实现以下方法步骤:
在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
按照预先建立的各标签类型对应的管理方式,对采集的各站点的信息进行分类管理。
本发明实施例提供的一种包含指令的计算机程序产品,实现了提高各站点的信息采集效率,并实现对采集的信息分类管理。具体为,在后台按照标签类型提前建立各类型的通用信息采集模板,进而将各类型站点的信息采集服务分别对应替换到各通用信息采集模板上,一次性批量采集多个类型多个站点的信息,缩短了现有技术单独采集多个站点的信息的时间,进而提高了信息采集的效率。在采集到各站点的信息后,按照预先建立的各标签类型对应的管理方式,对各类型的多个站点信息进行分类存储,实现对多个站点的采集信息进行分类管理,进而提高信息的管理效率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种站点管理方法,其特征在于,包括:
在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过所述各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理。
2.根据权利要求1所述的方法,其特征在于,构建所述各通用信息采集模板的过程,包括:
提取各站点的信息采集服务,并按照所述各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型,所述信息采集类型至少包括:政治、财经、社科、体育;
按照所述标签类型,对所述各站点的信息采集服务分类;
针对各标签类型,在该标签类型所对应的各信息采集服务中,提取所述各信息采集服务的共有采集服务;
在所述各信息采集服务对应的信息采集模板中,选取预设数量的信息采集模板,并将所述共有采集服务组合在各选取的信息采集模板中,生成各标签对应的各通用信息采集模板。
3.根据权利要求2所述的方法,其特征在于,在所述在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息之前,所述方法还包括:
提取所述各站点的信息采集服务,并按照所述各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型;
按照所述标签类型,对所述各站点的信息采集服务分类,并确定各类信息采集服务所对应的通用信息采集模板;
所述在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,包括:
针对所述各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换所述该标签类型对应数量的各信息采集服务,批量采集所述该标签类型的各站点的信息。
4.根据权利要求2所述的方法,其特征在于,在所述按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理之前,所述方法还包括:
按照各标签类型,在数据库中分别建立子数据库,并对各子数据库设置预设周期的检测程序;
所述按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理,包括:
按照标签类型,将采集的所述各站点的信息分类存储到对应的子数据库中;
根据各子数据库的所述检测程序,周期性的检测所述各子数据库的信息存储量以及维护、更新存储的信息。
5.一种站点管理装置,其特征在于,包括:
信息采集模块,用于在各通用信息采集模板上对应替换各站点的信息采集服务,批量采集各站点的信息,其中,任一通用信息采集模板是通过所述各站点的信息采集服务中具有同一标签类型的信息采集服务建立的;
信息管理模块,用于按照预先建立的各标签类型对应的管理方式,对采集的所述各站点的信息进行分类管理。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第一标签添加模块,用于提取各站点的信息采集服务,并按照各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型,所述信息采集类型至少包括:政治、财经、社科、体育;
服务分类模块,用于按照所述标签类型,对所述各站点的信息采集服务分类;
服务提取模块,用于针对各标签类型,在该标签类型所对应的各信息采集服务中,提取所述各信息采集服务的共有采集服务;
模板生成模块,用于在所述各信息采集服务对应的信息采集模板中,选取预设数量的信息采集模板,并将所述共有采集服务组合在各选取的信息采集模板中,生成各标签对应的各通用信息采集模板。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二标签添加模块,用于提取所述各站点的信息采集服务,并按照所述各站点的信息采集类型,对所述各站点的信息采集服务添加对应的标签类型;
模板确定模块,用于按照所述标签类型,对所述各站点的信息采集服务分类,并确定各类信息采集服务所对应的通用信息采集模板;
所述信息采集模块,具体用于针对所述各类通用信息采集模板,在该标签类型对应的通用信息采集模板上对应替换所述该标签类型对应数量的各信息采集服务,批量采集所述该标签类型的各站点的信息。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
子数据库建立模块,用于按照各标签类型,在数据库中分别建立子数据库,并对各子数据库设置预设周期的检测程序;
所述信息管理模块,包括:
信息存储子模块,用于按照标签类型,将采集的所述各站点的信息分类存储到对应的子数据库中;
信息检测子模块,用于根据各子数据库的所述检测程序,周期性的检测所述各子数据库的信息存储量以及维护、更新存储的信息。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711218874.4A CN107992556B (zh) | 2017-11-28 | 2017-11-28 | 一种站点管理方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711218874.4A CN107992556B (zh) | 2017-11-28 | 2017-11-28 | 一种站点管理方法、装置、电子设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107992556A true CN107992556A (zh) | 2018-05-04 |
CN107992556B CN107992556B (zh) | 2020-08-21 |
Family
ID=62033748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711218874.4A Active CN107992556B (zh) | 2017-11-28 | 2017-11-28 | 一种站点管理方法、装置、电子设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107992556B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110334259A (zh) * | 2019-04-22 | 2019-10-15 | 新分享科技服务(深圳)有限公司 | 网页数据采集方法、装置及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101320370A (zh) * | 2008-05-16 | 2008-12-10 | 崔志明 | 基于查询接口连接图的深层网页数据源分类管理方法 |
CN101957816A (zh) * | 2009-07-13 | 2011-01-26 | 上海谐宇网络科技有限公司 | 基于多页面比较的网页元数据自动抽取方法和系统 |
US20120167220A1 (en) * | 2010-12-23 | 2012-06-28 | Korea Internet & Security Agency | Seed information collecting device and method for detecting malicious code landing/hopping/distribution sites |
CN103853784A (zh) * | 2012-12-06 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 一种移动终端的网页匹配方法、装置和系统 |
CN104965992A (zh) * | 2015-07-13 | 2015-10-07 | 南开大学 | 一种基于在线医疗问答信息的文本挖掘方法 |
CN106570171A (zh) * | 2016-11-03 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种基于语义的科技情报处理方法及系统 |
-
2017
- 2017-11-28 CN CN201711218874.4A patent/CN107992556B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101320370A (zh) * | 2008-05-16 | 2008-12-10 | 崔志明 | 基于查询接口连接图的深层网页数据源分类管理方法 |
CN101957816A (zh) * | 2009-07-13 | 2011-01-26 | 上海谐宇网络科技有限公司 | 基于多页面比较的网页元数据自动抽取方法和系统 |
US20120167220A1 (en) * | 2010-12-23 | 2012-06-28 | Korea Internet & Security Agency | Seed information collecting device and method for detecting malicious code landing/hopping/distribution sites |
CN103853784A (zh) * | 2012-12-06 | 2014-06-11 | 腾讯科技(深圳)有限公司 | 一种移动终端的网页匹配方法、装置和系统 |
CN104965992A (zh) * | 2015-07-13 | 2015-10-07 | 南开大学 | 一种基于在线医疗问答信息的文本挖掘方法 |
CN106570171A (zh) * | 2016-11-03 | 2017-04-19 | 中国电子科技集团公司第二十八研究所 | 一种基于语义的科技情报处理方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110334259A (zh) * | 2019-04-22 | 2019-10-15 | 新分享科技服务(深圳)有限公司 | 网页数据采集方法、装置及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN107992556B (zh) | 2020-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110019396B (zh) | 一种基于分布式多维分析的数据分析系统及方法 | |
CN102104635B (zh) | 一种更新互联网协议ip地址库的方法和装置 | |
CN104021264B (zh) | 一种缺陷预测方法及装置 | |
CN104624509B (zh) | 一种快递自动分拣系统及自动分拣方法 | |
CN107038168A (zh) | 一种用户通勤轨迹管理方法、装置及系统 | |
CN106874266A (zh) | 用户画像方法和用于用户画像的装置 | |
CN107730394A (zh) | 基于大数据的全景电网多元异构数据融合方法 | |
CN106326413A (zh) | 一种个性化视频推荐系统及方法 | |
CN104375992A (zh) | 一种地址匹配的方法和装置 | |
CN102567494B (zh) | 网站分类方法及装置 | |
CN105808413A (zh) | 基于业务流程可视化的sql性能监控方法 | |
CN102164186A (zh) | 一种实现云搜索服务的方法及系统 | |
CN103577478A (zh) | 网页推送方法及系统 | |
CN104796300B (zh) | 一种数据包特征提取方法及装置 | |
CN104750826B (zh) | 一种结构化数据资源元数据自动甄别与动态注册方法 | |
CN107368471A (zh) | 一种网页文本中地名地址的提取方法 | |
CN103258027A (zh) | 基于智能终端的情境感知服务平台 | |
CN106155769A (zh) | 一种工作流处理方法、装置及工作流引擎 | |
CN108268445A (zh) | 一种处理地址信息的方法及装置 | |
CN109254901A (zh) | 一种指标监测方法及系统 | |
CN107194007A (zh) | 一种航天器异构测试数据集成管理系统 | |
CN104331335B (zh) | 门户网站的死链检查方法和装置 | |
CN102495916A (zh) | 一种基于对象匹配的多应用系统全景建模方法 | |
CN103699694A (zh) | 一种数据处理方法和装置 | |
CN110413839A (zh) | 一种图像采集设备的标签数据共享方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |