CN108874294A - 一种数据采集方法 - Google Patents
一种数据采集方法 Download PDFInfo
- Publication number
- CN108874294A CN108874294A CN201810420889.7A CN201810420889A CN108874294A CN 108874294 A CN108874294 A CN 108874294A CN 201810420889 A CN201810420889 A CN 201810420889A CN 108874294 A CN108874294 A CN 108874294A
- Authority
- CN
- China
- Prior art keywords
- data source
- data
- source set
- collecting method
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/05—Digital input using the sampling of an analogue quantity at regular intervals of time, input from a/d converter or output to d/a converter
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据采集方法，所述方法包括：S1：基于所述数据采集命令的类型获取目标数据源集合；S2：从所述目标数据源集合获取所要采集的数据。本发明能够通过对数据采集命令进行深入分析以确定进行数据采集的源头；在深入分析中充分的考虑用户对数据采集主题的了解程度而进行实时调整，使得针对同一个数据采集命令能够返回给用户独立化的数据采集结果，从而大大的提高了用户体验和数据采集效率。
Description
【技术领域】
本发明属于数据采集领域，尤其涉及一种数据采集方法。
【背景技术】
随着电子技术的不断进步与计算机技术的高速发展，仪器技术也发生着巨大的改变，在此背景下，虚拟仪器技术应运而生。凭借计算机强大的计算和处理能力，虚拟仪器在仪器仪表技术的基础上完成了对传统仪器技术的扩展。数据处理装置是某实时控制系统的指控计算机系统，它与系统中的众多设备相连，可以接受操作员的命令，在软件的控制下，进行实时控制系统的数据处理和计算，实现对各分系统的实时控制。正是由于数据处理装置是该实时控制系统的信息枢纽，所以通过对其总线上的数据流进行采集和分析可以掌握整个系统的工作状态，从而为系统的调试、维护以及各种试验的分析提供详细、完备的数据依据。数据采集器是为该实时控制系统设计的数据采集设备，它通过数据处理装置的多总线机制来获取实时控制系统的有关信息并进行存储，为系统维护和系统状态分析提供数据依据。如何在原始数据起点和最终存盘终点之间建立一个快速数据传输通道，能够满足实时、完整的数据采集要求是数据采集系统需要重点考虑的问题。基于上述诸多问题，现在亟需一种新的数据采集方法，本发明能够通过对数据采集命令进行深入分析以确定进行数据采集的源头；在深入分析中充分的考虑用户对数据采集主题的了解程度而进行实时调整，使得针对同一个数据采集命令能够返回给用户独立化的数据采集结果，从而大大的提高了用户体验和数据采集效率。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种数据采集方法，该方法包括如下步骤：
S1：基于所述数据采集命令的类型获取目标数据源集合；
S2：从所述目标数据源集合获取所要采集的数据。
进一步的，所述步骤S1具体为，基于所述数据采集命令的类型确定数据源集合，对所述数据源集合进行目标化以获取目标数据源集合。
进一步的，所述基于所述数据采集命令的类型确定数据源集合，具体为：基于所述数据采集命令的类型查询关联关系表以获取和所述类型对应的数据源集合。
进一步的，所述目标化为添加或者去除数据源集合中的数据源。
进一步的，所述对所述数据源集合进行目标化以获取目标数据源集合，具体为：根据用户参数对所述数据源集合进行目标化。
进一步的，所述根据用户参数对所述数据源集合进行目标化，具体为：基于所述用户参数计算所述用户的了解程度，如果所述了解程度小于第一了解程度阈值，则在所述数据源集合中添加统一数据源；否则，如果所述了解程度大于第二了解程度阈值，则在所述数据源集合中减少统一数据源；否则，不对所述数据源集合作处理。
进一步的，所述在所述数据源集合中减少统一数据源，具体为：在所述数据源集合中去除统一数据源。
进一步的，所述去除统一数据源，具体为：去除所述数据源集合中的所有统一数据源。
本发明的有益效果包括：能够通过对数据采集命令进行深入分析以确定进行数据采集的源头；在深入分析中充分的考虑用户对数据采集主题的了解程度而进行实时调整，使得针对同一个数据采集命令能够返回给用户独立化的数据采集结果，从而大大的提高了用户体验和数据采集效率。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明的数据采集方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
对本发明所应用的一种数据采集方法进行详细说明，所述方法包含下述步骤：
S1:对数据采集命令进行分析以获取所述数据采集命令的类型；具体的：通过对所述数据采集命令进行语义分析以获取所述数据采集命令的类型；
可替换的：通过对所述数据采集命令进行翻译以获取所述数据采集的类型；
S2：基于所述数据采集命令的类型获取目标数据源集合；具体的：基于所述数据采集命令的类型确定数据源集合，对所述数据源集合进行目标化以获取目标数据源集合；
所述基于所述数据采集命令的类型确定数据源集合，具体为：基于所述数据采集命令的类型查询关联关系表以获取和所述类型对应的数据源集合；
所述关联关系表中保存每类数据采集命令类型及其对应的数据源集合；所述关联关系表为通过周期性的对数据源的类型及其中包含的数据的类型进行分析后填写；例如：游戏类型对应游戏类论坛及游戏门户网站等数据源；
优选的：所述关联关系表保存在云服务器上；
其中：所述数据源为用于获取数据采集命令中所指示的数据的数据源；
所述目标化为添加或者去除数据源集合中的数据源；
所述对所述数据源集合进行目标化以获取目标数据源集合，具体为：根据用户参数对所述数据源集合进行目标化；
所述根据用户参数对所述数据源集合进行目标化，具体为：基于所述用户参数计算所述用户的了解程度，如果所述了解程度小于第一了解程度阈值，则在所述数据源集合中添加统一数据源；否则，如果所述了解程度大于第二了解程度阈值，则在所述数据源集合中减少统一数据源；否则，不对所述数据源集合作处理；其中：所述统一数据源为常见的统一入口搜索引擎，例如：谷歌等；
所述在所述数据源集合中添加统一数据源，具体为：基于数据采集命令对所述统一数据源进行定制，并将定制后的统一数据源添加到所述数据源集合中；
所述对所述统一数据源进行定制，具体为：将所述统一数据源的数据采集限定在所述数据采集的类型范围内；
优选的：通过高级查询命令的方式进行所述数据采集的限定；所述高级查询命令用于对查询的范围进行限定；
所述在所述数据源集合中减少统一数据源，具体为：在所述数据源集合中去除统一数据源；
所述去除统一数据源，具体为：去除所述数据源集合中的所有统一数据源；
所述基于所述用户参数计算所述用户的了解程度，具体为：所述用户参数为用户针对所述数据采集的类型进行数据采集的积累时长TL，用户获取数据的熟练度SK，用户的学历GL，基于下式计算所述了解程度DG；
其中BSTL为针对TL的基准调整值；
优选的：所述第一了解程度阈值和第二了解程度阈值均为预设值；
优选的：所述第一了解程度阈值和第二了解程度阈值为根据广泛用户问卷和用户主动反馈的方式获取；
S3：从所述目标数据源集合获取所要采集的数据；具体的；将所述数据采集发送到所述多个数据源，所述多个数据源基于所述数据采集命令获取所要采集的数据，从所述多个数据源接收所采集到的数据；并将所述采集到的数据呈现给用户；
优选的：将所述采集到的数据呈现在用户的个人终端上；
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。
Claims (8)
1.一种数据采集方法，其特征在于，该方法包括如下步骤：
S1：基于所述数据采集命令的类型获取目标数据源集合；
S2：从所述目标数据源集合获取所要采集的数据。
2.根据权利要求1所述的数据采集方法，其特征在于，所述步骤S1具体为，基于所述数据采集命令的类型确定数据源集合，对所述数据源集合进行目标化以获取目标数据源集合。
3.根据权利要求2所述的数据采集方法，其特征在于，所述基于所述数据采集命令的类型确定数据源集合，具体为：基于所述数据采集命令的类型查询关联关系表以获取和所述类型对应的数据源集合。
4.根据权利要求3所述的数据采集方法，其特征在于，所述目标化为添加或者去除数据源集合中的数据源。
5.根据权利要求4所述的数据采集方法，其特征在于，所述对所述数据源集合进行目标化以获取目标数据源集合，具体为：根据用户参数对所述数据源集合进行目标化。
6.根据权利要求5所述的数据采集方法，其特征在于，所述根据用户参数对所述数据源集合进行目标化，具体为：基于所述用户参数计算所述用户的了解程度，如果所述了解程度小于第一了解程度阈值，则在所述数据源集合中添加统一数据源；否则，如果所述了解程度大于第二了解程度阈值，则在所述数据源集合中减少统一数据源；否则，不对所述数据源集合作处理。
7.根据权利要求6所述的数据采集方法，其特征在于，所述在所述数据源集合中减少统一数据源，具体为：在所述数据源集合中去除统一数据源。
8.根据权利要求7所述的数据采集方法，其特征在于，所述去除统一数据源，具体为：去除所述数据源集合中的所有统一数据源。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810420889.7A CN108874294B (zh) | 2018-05-04 | 2018-05-04 | 一种数据采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810420889.7A CN108874294B (zh) | 2018-05-04 | 2018-05-04 | 一种数据采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108874294A true CN108874294A (zh) | 2018-11-23 |
| CN108874294B CN108874294B (zh) | 2022-10-04 |
Family
ID=64326979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810420889.7A Active CN108874294B (zh) | 2018-05-04 | 2018-05-04 | 一种数据采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108874294B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102629929A (zh) * | 2012-04-18 | 2012-08-08 | 华为技术有限公司 | 一种获取数据的方法、系统及装置 |
| JP2014071711A (ja) * | 2012-09-28 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 理解支援方法及びシステム |
-
2018
- 2018-05-04 CN CN201810420889.7A patent/CN108874294B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102629929A (zh) * | 2012-04-18 | 2012-08-08 | 华为技术有限公司 | 一种获取数据的方法、系统及装置 |
| JP2014071711A (ja) * | 2012-09-28 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 理解支援方法及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108874294B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105389349B (zh) | 词典更新方法及装置 | |
| CN105183897B (zh) | 一种视频搜索排序的方法和系统 | |
| CN104424229B (zh) | 一种多维度拆分的计算方法及系统 | |
| CN109240637B (zh) | 音量调节的处理方法、装置、设备及存储介质 | |
| CN103678590B (zh) | 基于olap的报表采集装置和报表采集方法 | |
| CN103778148B (zh) | Hadoop分布式文件系统数据文件的生命周期管理方法和设备 | |
| CN106601257B (zh) | 一种声音识别方法、设备和第一电子设备 | |
| CN103778251B (zh) | 面向大规模rdf图数据的sparql并行查询方法 | |
| EP2602786A3 (en) | Sound data processing device and method | |
| CN104902292B (zh) | 一种基于电视报道的舆情分析方法和系统 | |
| CN104361092A (zh) | 搜索方法及装置 | |
| TW201909047A (zh) | 用於交易風險實時偵測的方法和裝置 | |
| CN109471862A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN103164425B (zh) | 应用程序平台系统中推送应用程序的方法和装置 | |
| CN110019806A (zh) | 一种文档聚类方法及设备 | |
| CN108874294A (zh) | 一种数据采集方法 | |
| CN103714192A (zh) | 基于自适应r-树的大数据量铁路三维设计模型渲染方法 | |
| CN110995770B (zh) | 一种模糊测试应用效果对比方法 | |
| CN100462936C (zh) | 通用串行总线主机控制器快速测试系统及其方法 | |
| CN107277095B (zh) | 会话分割方法及装置 | |
| CN103235784A (zh) | 一种用于获取搜索结果的方法与设备 | |
| CN116028446A (zh) | 时序数据文件化管理方法、装置、设备及其存储介质 | |
| CN110019432A (zh) | 针对读者行为信息的海量数据分析及可视化系统 | |
| CN107679240A (zh) | 一种虚拟身份挖掘方法 | |
| CN111159203B (zh) | 一种数据关联分析的方法、平台、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |