CN108874294B - 一种数据采集方法 - Google Patents

一种数据采集方法 Download PDF

Info

Publication number
CN108874294B
CN108874294B CN201810420889.7A CN201810420889A CN108874294B CN 108874294 B CN108874294 B CN 108874294B CN 201810420889 A CN201810420889 A CN 201810420889A CN 108874294 B CN108874294 B CN 108874294B
Authority
CN
China
Prior art keywords
data
data source
source set
data acquisition
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810420889.7A
Other languages
English (en)
Other versions
CN108874294A (zh
Inventor
崔占华
左晓栋
周亚超
刘雨桁
杨晨
张弛
王石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Information Safety Research Institute Co ltd
Original Assignee
China Information Safety Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Information Safety Research Institute Co ltd filed Critical China Information Safety Research Institute Co ltd
Priority to CN201810420889.7A priority Critical patent/CN108874294B/zh
Publication of CN108874294A publication Critical patent/CN108874294A/zh
Application granted granted Critical
Publication of CN108874294B publication Critical patent/CN108874294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/05—Digital input using the sampling of an analogue quantity at regular intervals of time, input from a/d converter or output to d/a converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据采集方法，所述方法包括：S1：基于所述数据采集命令的类型获取目标数据源集合；S2：从所述目标数据源集合获取所要采集的数据。本发明能够通过对数据采集命令进行深入分析以确定进行数据采集的源头；在深入分析中充分的考虑用户对数据采集主题的了解程度而进行实时调整，使得针对同一个数据采集命令能够返回给用户独立化的数据采集结果，从而大大的提高了用户体验和数据采集效率。

Description

一种数据采集方法
【技术领域】
本发明属于数据采集领域，尤其涉及一种数据采集方法。
【背景技术】
随着电子技术的不断进步与计算机技术的高速发展，仪器技术也发生着巨大的改变，在此背景下，虚拟仪器技术应运而生。凭借计算机强大的计算和处理能力，虚拟仪器在仪器仪表技术的基础上完成了对传统仪器技术的扩展。数据处理装置是某实时控制系统的指控计算机系统，它与系统中的众多设备相连，可以接受操作员的命令，在软件的控制下，进行实时控制系统的数据处理和计算，实现对各分系统的实时控制。正是由于数据处理装置是该实时控制系统的信息枢纽，所以通过对其总线上的数据流进行采集和分析可以掌握整个系统的工作状态，从而为系统的调试、维护以及各种试验的分析提供详细、完备的数据依据。数据采集器是为该实时控制系统设计的数据采集设备，它通过数据处理装置的多总线机制来获取实时控制系统的有关信息并进行存储，为系统维护和系统状态分析提供数据依据。如何在原始数据起点和最终存盘终点之间建立一个快速数据传输通道，能够满足实时、完整的数据采集要求是数据采集系统需要重点考虑的问题。基于上述诸多问题，现在亟需一种新的数据采集方法，本发明能够通过对数据采集命令进行深入分析以确定进行数据采集的源头；在深入分析中充分的考虑用户对数据采集主题的了解程度而进行实时调整，使得针对同一个数据采集命令能够返回给用户独立化的数据采集结果，从而大大的提高了用户体验和数据采集效率。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种数据采集方法，该方法包括如下步骤：
S1：基于所述数据采集命令的类型获取目标数据源集合；
S2：从所述目标数据源集合获取所要采集的数据。
进一步的，所述步骤S1具体为，基于所述数据采集命令的类型确定数据源集合，对所述数据源集合进行目标化以获取目标数据源集合。
进一步的，所述基于所述数据采集命令的类型确定数据源集合，具体为：基于所述数据采集命令的类型查询关联关系表以获取和所述类型对应的数据源集合。
进一步的，所述目标化为添加或者去除数据源集合中的数据源。
进一步的，所述对所述数据源集合进行目标化以获取目标数据源集合，具体为：根据用户参数对所述数据源集合进行目标化。
进一步的，所述根据用户参数对所述数据源集合进行目标化，具体为：基于所述用户参数计算所述用户的了解程度，如果所述了解程度小于第一了解程度阈值，则在所述数据源集合中添加统一数据源；否则，如果所述了解程度大于第二了解程度阈值，则在所述数据源集合中减少统一数据源；否则，不对所述数据源集合作处理。
进一步的，所述在所述数据源集合中减少统一数据源，具体为：在所述数据源集合中去除统一数据源。
进一步的，所述去除统一数据源，具体为：去除所述数据源集合中的所有统一数据源。
本发明的有益效果包括：能够通过对数据采集命令进行深入分析以确定进行数据采集的源头；在深入分析中充分的考虑用户对数据采集主题的了解程度而进行实时调整，使得针对同一个数据采集命令能够返回给用户独立化的数据采集结果，从而大大的提高了用户体验和数据采集效率。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明的数据采集方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
对本发明所应用的一种数据采集方法进行详细说明，所述方法包含下述步骤：
S1:对数据采集命令进行分析以获取所述数据采集命令的类型；具体的：通过对所述数据采集命令进行语义分析以获取所述数据采集命令的类型；
可替换的：通过对所述数据采集命令进行翻译以获取所述数据采集的类型；
S2：基于所述数据采集命令的类型获取目标数据源集合；具体的：基于所述数据采集命令的类型确定数据源集合，对所述数据源集合进行目标化以获取目标数据源集合；
所述基于所述数据采集命令的类型确定数据源集合，具体为：基于所述数据采集命令的类型查询关联关系表以获取和所述类型对应的数据源集合；
所述关联关系表中保存每类数据采集命令类型及其对应的数据源集合；所述关联关系表为通过周期性的对数据源的类型及其中包含的数据的类型进行分析后填写；例如：游戏类型对应游戏类论坛及游戏门户网站等数据源；
优选的：所述关联关系表保存在云服务器上；
其中：所述数据源为用于获取数据采集命令中所指示的数据的数据源；
所述目标化为添加或者去除数据源集合中的数据源；
所述对所述数据源集合进行目标化以获取目标数据源集合，具体为：根据用户参数对所述数据源集合进行目标化；
所述根据用户参数对所述数据源集合进行目标化，具体为：基于所述用户参数计算所述用户的了解程度，如果所述了解程度小于第一了解程度阈值，则在所述数据源集合中添加统一数据源；否则，如果所述了解程度大于第二了解程度阈值，则在所述数据源集合中减少统一数据源；否则，不对所述数据源集合作处理；其中：所述统一数据源为常见的统一入口搜索引擎，例如：谷歌等；
所述在所述数据源集合中添加统一数据源，具体为：基于数据采集命令对所述统一数据源进行定制，并将定制后的统一数据源添加到所述数据源集合中；
所述对所述统一数据源进行定制，具体为：将所述统一数据源的数据采集限定在所述数据采集的类型范围内；
优选的：通过高级查询命令的方式进行所述数据采集的限定；所述高级查询命令用于对查询的范围进行限定；
所述在所述数据源集合中减少统一数据源，具体为：在所述数据源集合中去除统一数据源；
所述去除统一数据源，具体为：去除所述数据源集合中的所有统一数据源；
所述基于所述用户参数计算所述用户的了解程度，具体为：所述用户参数为用户针对所述数据采集的类型进行数据采集的积累时长TL，用户获取数据的熟练度SK，用户的学历GL，基于下式计算所述了解程度DG；
Figure BDA0001650658620000051
其中BSTL为针对TL的基准调整值；
优选的：所述第一了解程度阈值和第二了解程度阈值均为预设值；
优选的：所述第一了解程度阈值和第二了解程度阈值为根据广泛用户问卷和用户主动反馈的方式获取；
S3：从所述目标数据源集合获取所要采集的数据；具体的；将所述数据采集发送到所述多个数据源，所述多个数据源基于所述数据采集命令获取所要采集的数据，从所述多个数据源接收所采集到的数据；并将所述采集到的数据呈现给用户；
优选的：将所述采集到的数据呈现在用户的个人终端上；
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (3)

1.一种数据采集方法，其特征在于，该方法包括如下步骤：
S1：基于数据采集命令的类型获取目标数据源集合；
S2：从所述目标数据源集合获取所要采集的数据；
所述步骤S1具体为，基于所述数据采集命令的类型确定数据源集合，对所述数据源集合进行目标化以获取目标数据源集合；
所述基于所述数据采集命令的类型确定数据源集合，具体为：基于所述数据采集命令的类型查询关联关系表以获取和所述类型对应的数据源集合；
所述目标化为添加或者去除数据源集合中的数据源；
所述对所述数据源集合进行目标化以获取目标数据源集合，具体为：根据用户参数对所述数据源集合进行目标化；
所述根据用户参数对所述数据源集合进行目标化，具体为：基于所述用户参数计算所述用户的了解程度，如果所述了解程度小于第一了解程度阈值，则在所述数据源集合中添加统一数据源；否则，如果所述了解程度大于第二了解程度阈值，则在所述数据源集合中减少统一数据源；否则，不对所述数据源集合作处理；
所述基于所述用户参数计算所述用户的了解程度，具体为：所述用户参数为用户针对所述数据采集的类型进行数据采集的积累时长TL，用户获取数据的熟练度SK，用户的学历GL，基于下式计算所述了解程度DG；
Figure FDA0003788665060000011
其中BSTL为针对TL的基准调整值。
2.根据权利要求1所述的数据采集方法，其特征在于，所述在所述数据源集合中减少统一数据源，具体为：在所述数据源集合中去除统一数据源。
3.根据权利要求2所述的数据采集方法，其特征在于，所述去除统一数据源，具体为：去除所述数据源集合中的所有统一数据源。
CN201810420889.7A 2018-05-04 2018-05-04 一种数据采集方法 Active CN108874294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810420889.7A CN108874294B (zh) 2018-05-04 2018-05-04 一种数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810420889.7A CN108874294B (zh) 2018-05-04 2018-05-04 一种数据采集方法

Publications (2)

Publication Number Publication Date
CN108874294A CN108874294A (zh) 2018-11-23
CN108874294B true CN108874294B (zh) 2022-10-04

Family

ID=64326979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810420889.7A Active CN108874294B (zh) 2018-05-04 2018-05-04 一种数据采集方法

Country Status (1)

Country Link
CN (1) CN108874294B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629929A (zh) * 2012-04-18 2012-08-08 华为技术有限公司 一种获取数据的方法、系统及装置
JP2014071711A (ja) * 2012-09-28 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> 理解支援方法及びシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629929A (zh) * 2012-04-18 2012-08-08 华为技术有限公司 一种获取数据的方法、系统及装置
JP2014071711A (ja) * 2012-09-28 2014-04-21 Nippon Telegr & Teleph Corp <Ntt> 理解支援方法及びシステム

Also Published As

Publication number Publication date
CN108874294A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN106601257B (zh) 一种声音识别方法、设备和第一电子设备
JP7356973B2 (ja) 複数の文書をランキングするための方法、コンピュータ・プログラムおよびコンピュータ・システム
EP3165982B1 (en) An event analysis apparatus, an event analysis method, and an event analysis program
CN109240637B (zh) 音量调节的处理方法、装置、设备及存储介质
CN1877583A (zh) 访问标识索引系统及访问标识索引库生成方法
WO2020024455A1 (zh) 基于上下文的输入方法、装置、存储介质及计算机设备
CN108197091B (zh) 一种创建数据表的方法、系统及相关设备
CN110069763A (zh) 合同文本定制方法、装置、设备及可读存储介质
CN103440243A (zh) 一种教学资源推荐方法及其装置
CN110765247A (zh) 一种用于问答机器人的输入提示方法及装置
CN105653673A (zh) 信息搜索方法及装置
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN112346950B (zh) 基于查询日志分析的数据库索引性能估计系统与方法
CN112749266A (zh) 一种工业问答方法、装置、系统、设备及存储介质
US20090024591A1 (en) Device, method and program for producing related words dictionary, and content search device
EP3622383A1 (en) Data transfers from memory to manage graphical output latency
CN112162966A (zh) 分布式存储系统参数调节方法、装置及电子设备和介质
CN103164425B (zh) 应用程序平台系统中推送应用程序的方法和装置
CN105069034A (zh) 一种生成推荐信息的方法及装置
CN108874294B (zh) 一种数据采集方法
CN106611012A (zh) 一种大数据环境下异构数据实时检索方法
CN103324567A (zh) 一种应用引擎的调试方法和调试系统
CN117171296A (zh) 信息获取方法、装置和电子设备
US8856152B2 (en) Apparatus and method for visualizing data
TWI477996B (zh) 自動分析個人化輸入之方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant