CN111382336B - 一种数据采集方法和系统 - Google Patents

一种数据采集方法和系统 Download PDF

Info

Publication number
CN111382336B
CN111382336B CN202010150890.XA CN202010150890A CN111382336B CN 111382336 B CN111382336 B CN 111382336B CN 202010150890 A CN202010150890 A CN 202010150890A CN 111382336 B CN111382336 B CN 111382336B
Authority
CN
China
Prior art keywords
acquisition
data
domain
target
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010150890.XA
Other languages
English (en)
Other versions
CN111382336A (zh
Inventor
李天舒
王文彬
吴连旺
焦子鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Quick Decision Information Technology Co ltd
Original Assignee
Guangzhou Quick Decision Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Quick Decision Information Technology Co ltd filed Critical Guangzhou Quick Decision Information Technology Co ltd
Priority to CN202010150890.XA priority Critical patent/CN111382336B/zh
Publication of CN111382336A publication Critical patent/CN111382336A/zh
Application granted granted Critical
Publication of CN111382336B publication Critical patent/CN111382336B/zh
Priority to US17/606,958 priority patent/US20220180384A1/en
Priority to EP21763855.0A priority patent/EP3951621A4/en
Priority to PCT/CN2021/079184 priority patent/WO2021175302A1/zh
Priority to TW110107987A priority patent/TW202135094A/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0674Disk device
    • G06F3/0676Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了一种数据采集方法及系统。所述方法包括:采集端为至少一个数据采集模块中每一个设置至少一个采集域,以及为采集域的采集次数预设阈值;分流端生成公共采集单元,并将公共采集单元发送给多个用户终端;基于用户终端对公共采集单元反馈的第一数据,判断至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;目标采集域是指与第一数据匹配的采集域;是则判断目标数据采集模块的目标采集域的采集次数是否达到阈值;否则将目标数据采集模块发送给用户终端;用户终端对接收的目标数据采集模块反馈第二数据,并将第二数据发送给采集端。本申请可以避免问卷回收时流量的浪费,节约流量资源,降低成本。

Description

一种数据采集方法和系统
技术领域
本申请涉及数据传输领域,特别涉及一种数据采集方法和系统。
背景技术
近年来,网络问卷已大量普及日常生活中,网络问卷作为针对某种信息进行调查、统计的重要手段。为了实现用户对网络问卷的回答,需要分配相应的流量。
通常,回收不同问卷的作答问卷时是分开进行的,当一个问卷的某个选项收集的数量达到要求之后,例如,回答年龄20-30岁的数量达到30份,后续再为回答该选项分配流量会导致资源的浪费,增加成本。
发明内容
本申请实施例之一提供一种数据采集方法。在一些实施例中,所述数据采集方法包括:采集端为至少一个数据采集模块中每一个设置至少一个采集域,以及为所述采集域的采集次数预设阈值;分流端生成公共采集单元,并将所述公共采集单元发送给多个用户终端;基于所述用户终端对所述公共采集单元反馈的第一数据,判断所述至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;所述目标采集域是指与所述第一数据匹配的采集域;是则判断所述目标数据采集模块的所述目标采集域的采集次数是否达到所述阈值;否则将所述目标数据采集模块发送给所述用户终端;所述用户终端对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给所述采集端。
在一些实施例中,所述数据采集系统包括:采集端,用于为至少一个数据采集模块中每一个设置至少一个采集域,以及为所述采集域的采集次数预设阈值;分流端,用于生成公共采集单元,并将所述公共采集单元发送给多个用户终端;基于所述用户终端对所述公共采集单元反馈的第一数据,判断所述至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;所述目标采集域是指与所述第一数据匹配的采集域;是则判断所述目标数据采集模块的所述目标采集域的采集次数是否达到所述阈值;否则将所述目标数据采集模块发送给所述用户终端;用户终端,用于对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给所述采集端。
本申请实施例之一提供一种数据采集装置,包括处理器,所述处理器用于执行数据采集方法。
本申请实施例之一提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行数据采集方法。
附图说明
本申请将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本申请一些实施例所示的数据采集系统的应用场景示意图;
图2是根据本申请一些实施例所示的数据采集系统的模块图;
图3是根据本申请一些实施例所示的数据采集方法的示例性流程图;
图4是根据本申请一些实施例所示的第二数据存储方法的示例性流程图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本申请一些实施例所示的数据采集系统的应用场景示意图。
数据采集系统100可以用于问卷回收领域,具体的,可以对多个问卷中的选项预设相应的指标,并基于指标完成的情况对多个问卷进行分发和回收。只将配额指标未达标的问卷分发给用户并进行回收,具体的,可以在一个问卷中的一个选项回收的数量达标之后,不再将该问卷分发给回答该选项的用户。而且,若其他问卷该选项的回收数量未达标时,可以将其他问卷发送给该用户。用户在对网络问卷进行作答时,需要分配相应的流量进行,因此,通过该系统可以防止流量的浪费,节约成本。
数据采集系统100可以是用于互联网服务的线上服务平台。例如,该通过数据采集系统100可以用于线上的问卷调查平台。数据采集系统100可以包含服务器110、网络120、用户终端130和数据库140。服务器110可包含处理设备112。
在一些实施例中,服务器110可以用于对多个问卷中的选项预设相应的指标相关的信息和/或数据。例如,服务器110可以为至少一个数据采集模块中每一个设置至少一个采集域(相当于问卷中的某个选项),以及为采集域的采集次数预设阈值(相当于问卷中的每个选项对应回收配额指标)。服务器110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如:服务器110可以是分布系统)。在一些实施例中该服务器110可以是区域的或者远程的。例如,服务器110可通过网络访问存储于用户终端130、数据库140中的信息和/或资料。在一些实施例中,服务器110可直接与用户终端130、数据库140直接连接以访问存储于其中的信息和/或资料。在一些实施例中,服务器110可在云平台上执行。例如,该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
在一些实施例中,服务器110可包含处理设备112。该处理设备112可处理与设置数据采集模块相关的数据和/或信息以执行一个或多个本申请中描述的功能。例如处理设备112可以为至少一个数据采集模块中每一个设置至少一个采集域(相当于问卷中的某个选项),以及为采集域的采集次数预设阈值(相当于问卷中的每个选项对应回收配额指标)。在一些实施例中,处理设备112可包含一个或多个子处理设备(例如,单芯处理设备或多核多芯处理设备)。仅仅作为范例,处理设备112可包含中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
网络120可促进数据和/或信息的交换,数据和/或信息可以包括用户终端130发送给服务器110第一数据和第二数据,即用户对公共采集模型反馈的数据和对数据采集模块反馈的数据。在一些实施例中,数据采集系统100中的一个或多个组件(用户终端130、数据库140)可通过网络120发送数据和/或信息给数据采集系统100中的其他组件。在一些实施例中,网络120可是任意类型的有线或无线网络。例如,网络120可包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络(WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或以上任意组合。在一些实施例中,网络120可包括一个或多个网络进出点。例如,网络120可包含有线或无线网络进出点,如基站和/或网际网络交换点120-1、120-2、…,通过这些进出点,数据采集系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。
用户终端130可以是一种具有数据处理功能的设备的终端,可包括手机130-1、平板电脑130-2、笔记本电脑130-3等中的一种或任意组合。在一些实施例中,用户终端130可包括具有发送数据功能的装置,在反馈第一数据时,将数据发送给服务器110。在一些实施例中,用户终端130可以通过网络120将数据发送送给服务器110。例如,用户终端130可以通过网络120将第一数据发送给服务器110。
数据库140是用于为系统100提供信息的来源。数据库140可以用于为系统100提供与服务相关的信息,例如,提供多份需要进行回收的问卷。又例如,数据库140还可以包括针对于一个特定领域的所有问卷等。该特定领域可以是医疗、传媒、科技领域。数据库140可以在单个中央服务器、通过通信链路连接的多个服务器或多个个人设备中实现。数据库140可以由多个个人设备和云服务器生成。在一些实施例中,数据库140可以用于存储回收的问卷。在一些实施例中,数据库140中可以包含多个数据池,用于存储不同采集域的问卷。在一些实施例中,数据库140可存储每个问卷的采集域以及每个采集域的采集次数阈值。在一些实施例中,数据库140可存储供服务器110执行或使用的信息和/或指令,以执行本申请中描述的示例性方法。在一些实施例中,数据库140可包括大容量存储器、可移动存储器、挥发性读写存储器(例如,随机存取存储器RAM)、只读存储器(ROM)等或以上任意组合。在一些实施例中,数据库140可在云平台上实现。例如,该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等或以上任意组合。
在一些实施例中,数据库140可与网络120连接以与系统100的一个或多个组件(例如,服务器110、用户终端130等)通讯。数据采集系统100的一个或多个组件可通过网络120访问存储于数据库140中的资料或指令。在一些实施例中,数据库140可直接与数据采集系统100中的一个或多个组件(例如,服务器110、用户终端130等)连接或通讯。在一些实施例中,数据库140可以是服务器110的一部分。
图2是根据本申请一些实施例所示的数据采集系统的模块图。如图2所示,该数据采集系统可以包括采集端210、分流端220、用户终端230。
采集端210可以用于为至少一个数据采集模块中每一个设置至少一个采集域,以及为所述采集域的采集次数预设阈值。在一些实施例中,采集端210用于分别为所述至少一个数据采集模块中的每一个构建数据池;将所述数据池分割为多个子数据池,所述多个子数据池分别用于存储与所述采集域匹配的用户终端反馈的第二数据。在一些实施例中,所述子数据池的存储容量与所述采集域的采集次数正相关。
分流端220可以用于生成公共采集单元,并将所述公共采集单元发送给多个用户终端;基于所述用户终端对所述公共采集单元反馈的第一数据,判断所述至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;所述目标采集域是指与所述第一数据匹配的采集域;是则判断所述目标数据采集模块的所述目标采集域的采集次数是否达到所述阈值;否则将所述目标数据采集模块发送给所述用户终端。在一些实施例中,所述分流端220用于从所述至少一个数据采集模块中抽取所述公共采集单元。在一些实施例中,所述分流端220用于基于所述采集域生成所述公共采集单元。
用户终端230可以用于对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给所述采集端。
应当理解,图2所示的系统及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,以上对于候选项显示、确定系统及其模块的描述,仅为描述方便,并不能把本申请限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,在一些实施例中,例如,图2中披露的采集端210、分流端220、用户终端230可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,采集端210、分流端220可以是两个模块,也可以是一个模块同时具有数据采集功能和数据分流功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本申请的保护范围之内。
图3是根据本申请一些实施例所示的数据采集方法的示例性流程图。如图3所示,方法300包括:
步骤302,采集端为至少一个数据采集模块中每一个设置至少一个采集域,以及为所述采集域的采集次数预设阈值。具体的,该步骤302可以由采集端210执行。
采集端是指用于信息采集的终端,例如一台计算设备,又例如计算设备的通讯设备或计算设备上用于信息采集功能的应用程序。在一些实施例中,采集端可以具备多个功能。在一些实施例中,采集端可以根据应用场景的不同,具备相应的功能。例如,采集端可以应用于问卷调研的场景,相应地,采集端可以具备编辑调研问卷、发放问卷、回收问卷等功能。在一些实施例中,采集端还可以为回收问卷设置不同的条件,例如,回收一种或者多种类型的问卷;又例如,为不同类型的问卷设置不同的回收量。
数据采集模块可以是采集端用于承载数据的模块。在一些实施例中,数据采集模块可以用于承载问卷题目。在一些实施例中,不同的问卷类型可以对应不同的数据采集模块,例如,问卷1对应数据采集模块1,问卷2对应数据采集模块2等。在一些实施例中,采集端可以通过数据采集模块采集数据,例如,采集端将数据采集模块发送给不同采集对象,采集对象对数据采集模块反馈数据,反馈的数据即为采集端采集的数据。其中,采集可以针对不同的采集对象。对于调研场景,采集端采集的数据为采集对象作答后的问卷。
在一些实施例中,采集域可以代表采集对象的信息。例如,采集对象的不同年龄,20-30岁、30-40岁等;采集对象的不同性别,男性、女性等;采集对象的其他特点,关注母婴产品的用户、关注电子产品的用户等。在一些实施例中,采集域可以是问卷中的选项。例如,问卷中“请问您的爱好是?A、书、B、电影”则采集域可以是选择“书”或选择“电影”。采集域的采集次数可以是回收该采集域的采集对象的作答问卷的份数。例如,20-30岁100份代表回收100份20-30岁用户的作答问卷,30-40岁50份代表回收50份30-40岁用户的作答问卷。在一些实施例中,一个用户作答一份问卷可以视为采集次数中的一次。在一些实施例中,同一个用户作答同一份问卷可以视为采集次数中的一次,例如,用户A作答了问卷1三次可以视为作答一次。通过该实施例,可以防止采集的数据重复,对于调研领域而言,3个不同用户的作答问卷相比于同一个用户的3份作答问卷,前者的调研参考价值更大。
在一些实施例中,采集端可以为每个数据采集模块设置采集域。对于调研领域,为不同的问卷设置采集域,例如,为问卷1设置采集域20-30岁、30-40岁、40-50岁;为问卷2设置采集域20-30岁、40-50岁。在一些实施例中,采集端可以为每个数据采集模块的不同采集域的采集次数设置阈值。其中,不同的数据采集模块相同的采集域的采集次数阈值可以相同,也可以不同,同一个数据采集模块的不同采集域的采集次数可以相同也可以不同。例如,为问卷1设置采集域20-30岁采集次数阈值为20份、30-40岁采集次数阈值为40份、40-50岁采集次数阈值为20份;为问卷2设置采集域20-30岁采集次数阈值为20份、40-50岁采集次数阈值为50份。
步骤304,分流端生成公共采集单元,并将所述公共采集单元发送给多个用户终端;基于所述用户终端对所述公共采集单元反馈的第一数据,判断所述至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;所述目标采集域是指与所述第一数据匹配的采集域。具体的,该步骤304可以由分流端220执行。
分流端可以是具备数据处理功能以及数据分流功能的端口。公共采集单元可以是具有公共数据存储功能以及公共数据采集功能的单元。在一些实施例中,公共采集单元可以用于确定用户是否符合采集域,以及属于哪个采集域。可以理解,公共采集单元承载的公共数据可以是与采集域相关的数据,如与采集域相关的试题。示例的,采集域是针对采集对象年龄,则公共采集单元中的公共数据可以是关于年龄的试题,如“请问您的年龄是?A、20-30,B、30-40,C、40-50”。在一些实施例中,采集端可以根据不同数据采集模块的采集域生成公共采集单元,例如,问卷A的采集域为不同年龄段,问卷B的采集域为不同性别,则公共采集单元承载的数据可以包含性别试题和年龄试题。在一些实施例中,采集端可以从数据采集模块中提取公共采集单元。具体的,将数据采集模块中涉及的与采集域相关的试题提取出来放于公共采集单元。例如,问卷A的采集域为不同年龄段,且问卷A中包含询问用户年龄的试题,则将该试题提取出来放于公共采集单元,问卷B的采集域为不同性别,且问卷B包含性别的试题,则将该试题提取出来放于公共采集单元。特别的,当采集域为问卷中的选项时,将该选项对应的题目放于公共采集模块。在一些实施例中,可以根据实际情况选择直接基于数据采集模块生成公共采集单元或/和直接提取。例如,问卷A的采集域为不同年龄,且包含年龄的试题,问卷B采集域为性别,但不包含性别试题,则采集端可以提取问卷A中的年龄试题,以及自动生成性别试题放于公共采集单元中。
用户终端是指采集对象(或用户)对数据采集模块或/公共采集单元反馈数据所用的终端。例如,电脑、手机等。第一数据可以是用户对公共数据采集端反馈的数据。例如,用户对年龄题目作答结果,如选择的“A、20-30”。
目标采集域可以是与第一数据匹配的采集域,例如,与上述“A、20-30”匹配的采集域是年龄20-30。在一些实施例中,目标数据采集模块是指设置有目标采集域的数据采集模块,例如,问卷1的采集域为20-30、30-40,问卷2的采集域为30-40、40-50,则问卷1为目标数据采集模块。
在一些实施例中,可以根据用户反馈的第一数据确定是否存在目标数据采集模块。例如,对于第一数据“A、20-30”,若有问卷的采集域为20-30,则存在;若没有,则不存在。在一些实施例中,确定目标采集模块可以是一个或多个。
步骤306,是则判断所述目标数据采集模块的所述目标采集域的采集次数是否达到所述阈值。具体的,该步骤306可以由分流端220执行。
在一些实施例中,根据用户反馈的第一数据确定存在目标数据采集模块时,则判断该目标数据采集模块的与第一数据对应的采集域的采集次数是否达到预设阈值。例如,对于第一数据“A、20-30”,存在问卷A和问卷B的采集域为20-30,则判断问卷A和问卷B的采集域20-30的实际回收数量是否已达到预设回收数量阈值。
在一些实施例中,根据用户反馈的第一数据确定不存在目标数据采集模块时,则不存在需要该用户进行作答的问卷,可以不进行操作。
步骤308,否则将所述目标数据采集模块发送给所述用户终端。具体的,该步骤308可以由分流端220执行。
在一些实施例中,若目标数据采集模块的目标采集域的采集次数尚未达到预设阈值时,则将该目标数据采集模块发送给反馈该第一数据的用户终端。例如,对于第一数据“A、20-30”,存在问卷A的采集域为20-30,关于问卷A的采集域20-30的预设阈值为50份,实际收入38份,则问卷A的采集域20-30的预设阈值尚未饱和,将问卷A发送给回答“A、20-30”对应的用户。
在一些实施例中,在目标数据采集模块的目标采集域的采集次数已达到预设阈值时,则不对目标数据采集模块进行操作。关于问卷A的采集域20-30的预设阈值为40份,实际收入40份,得知问卷A的采集域20-30的预设阈值已饱和,则不对问卷A进行操作,或不将问卷A发送给回答“A、20-30”的用户。
可以理解,若目标数据采集模块为多个时,且每一个的目标采集域的采集次数均未达到对应的阈值,则可以将多个目标数据采集模块发给该用户终端。例如,用户A反馈的第一数据为20-30岁,确定的目标数据采集模块包含问卷1和2,且两个问卷的目标采集域20-30都未达到各自的阈值,则将问卷1和问卷2都发给用户A。
步骤310,所述用户终端对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给所述采集端。具体的,该步骤310可以由用户终端230执行。
所述第二数据可以是用户对目标数据采集模块反馈的数据。对于问卷领域,第二数据为用户对接收到的调研问卷题目的回答信息。继续以上述示例为例,则第二数据为用户对问卷A中题目作答后的信息。
在一些实施例中,用户终端对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给采集端,从而实现对问卷的回收。
通过以上实施例,可以实现对问卷的有效回收,避免用于回收问卷的流量的浪费。可以理解,调研方为了达到调研目的,一般会对问卷设置一定的采集要求,例如,需要回收回答某个选项的问卷份数(如题目12中A选项30份等),或者需要回收某个调研范围的问卷份数(如,男性的问卷20份等)。通过上述实施例,将选项或者调研范围作为采集域,当问卷的采集域的采集份数达到阈值之后,不再将问卷发送给用户,可以避免流量的浪费。
而且,当对多个问卷同时回收时,不仅可以避免流量的浪费,还可以提高整体的回收效率。通过上述实施可知,当同时对多份问卷进行回收时,当多份问卷的某个采集域的份数都未达标时,则将多份问卷都发送给满足该采集域的用户;当多份问卷只有部分问卷的某个采集域的份数不达标时,则将未达标的问卷发送给满足该采集域的用户即可。
图4是根据本申请一些实施例所示的第二数据存储方法的示例性流程图。如图4所示,方法400包括:
步骤402,采集端分别为所述至少一个数据采集模块中的每一个构建数据池。具体的,该步骤402可以由采集端210执行。
数据池可以是容纳数据的存储空间。例如,网络磁盘、云磁盘等。
在一些实施例中,采集端分别为至少一个数据采集模块中的每一个构建具有一定存储空间的网络磁盘。例如,通过采集端为每一种问卷构建与每一种问卷一一对应的网络磁盘,用于存储每种问卷的回收数据(即用户作答后的问卷)。如问卷A对应网络磁盘A,网络磁盘A用于存储作答后的问卷A,问卷B对应网络磁盘B,网络磁盘B用于存储作答后的问卷B。在一些实施例中,网络磁盘容量可以根据每种问卷的回收需求进行设置。例如,问卷A回收需求为40份,则网络磁盘A容量至少可以容纳40份问卷,问卷B回收需求为30份,则网络磁盘B容量至少可以容纳30份问卷,且网络磁盘A的容量可以大于网络B的磁盘容量。
步骤404,采集端将所述数据池分割为多个子数据池,所述多个子数据池分别用于存储与所述采集域匹配的用户终端反馈的第二数据。具体的,该步骤404可以由采集端210执行。
子数据池可以是数据池中的部分存储空间。例如,网络磁盘A中的子磁盘A1、A2、A3,其中A容量等于A1、A2、A3容量的总和。
在一些实施例中,采集端将所述数据池分割为多个子数据池,所述多个子数据池分别用于存储与所述采集域匹配的用户终端反馈的第二数据。例如,问卷A对应的网络磁盘A,其中问卷A的采集域及其采集次数阈值分别为:年龄20-30需回收50份,男性需回收40份,女性需回收60份,则网络磁盘A的总容量至少可以容纳150份(50份+40份+60份)问卷,而网络磁盘的子磁盘A1、A2、A3的容量分别至少可以容纳50份、40份、60份的问卷,具体的,子磁盘A1用于存储年龄为20-30岁用户作答问卷A的结果;子磁盘A2用于存储男性用户作答问卷A的结果;子磁盘A3用于存储女性用户作答问卷A的结果。
在一些实施例中,子数据池的存储容量与所述采集域的采集次数正相关。子数据池的存储容量越大,则采集域的采集次数越大,继续以上述示例为例,子磁盘A1的容量可以大于子磁盘A2容量。
通过该实施例,为不同的问卷、不同的采集域设置对应的存储空间,可以便于后续分类查询对应的回收问卷或者查询不同采集域的回收问卷。
在一些实施例中,本申请提供一种数据采集装置,包括处理器,所述处理器用于执行上述的数据采集方法。
在一些实施例中,本申请提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行上述的数据采集方法。
应当注意的是,上述有关流程数据采集方法的描述仅仅是为了示例和说明,而不限定本申请的适用范围。对于本领域技术人员来说,在本申请的指导下可以对流程数据采集方法进行各种修正和改变。然而,这些修正和改变仍在本申请的范围之内。例如,在流程数据采集方法中添加其他步骤,例如,存储步骤、检验步骤等。
本申请实施例可能带来的有益效果包括但不限于:(1)本申请可以避免问卷回收时流量的浪费,节约流量资源,降低成本。(2)对多份问卷同时进行回收时,可以提高整体的回收效率。需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,本领域技术人员可以理解,本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述,包括任何新的和有用的工序、机器、产品或物质的组合,或对他们的任何新的和有用的改进。相应地,本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外,本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品,该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写,包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等,常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP,动态编程语言如Python、Ruby和Groovy,或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下,远程计算机可以通过任何网络形式与用户计算机连接,比如局域网(LAN)或广域网(WAN),或连接至外部计算机(例如通过因特网),或在云计算环境中,或作为服务使用如软件即服务(SaaS)。
此外,除非权利要求中明确说明,本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本申请披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外,对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是,如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方,以本申请的描述、定义和/或术语的使用为准。
最后,应当理解的是,本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本申请的教导一致。相应地,本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (12)

1.一种数据采集方法,其特征在于,包括:
采集端为至少一个数据采集模块中每一个设置至少一个采集域,以及为所述采集域的采集次数预设阈值;
分流端生成公共采集单元,并将所述公共采集单元发送给多个用户终端;基于所述用户终端对所述公共采集单元反馈的第一数据,判断所述至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;所述目标采集域是指与所述第一数据匹配的采集域;
是则判断所述目标数据采集模块的所述目标采集域的采集次数是否达到所述阈值;
否则将所述目标数据采集模块发送给所述用户终端;
所述用户终端对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给所述采集端。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集端分别为所述至少一个数据采集模块中的每一个构建数据池;
采集端将所述数据池分割为多个子数据池,所述多个子数据池分别用于存储与所述采集域匹配的用户终端反馈的第二数据。
3.根据权利要求2所述的方法,所述子数据池的存储容量与所述采集域的采集次数正相关。
4.根据权利要求1所述的方法,其特征在于,所述分流端生成公共采集单元,包括:
所述分流端从所述至少一个数据采集模块中抽取所述公共采集单元。
5.根据权利要求1所述的方法,其特征在于,所述分流端生成公共采集单元,包括:
所述分流端基于所述采集域生成所述公共采集单元。
6.一种数据采集系统,其特征在于,包括:
采集端,用于为至少一个数据采集模块中每一个设置至少一个采集域,以及为所述采集域的采集次数预设阈值;
分流端,用于生成公共采集单元,并将所述公共采集单元发送给多个用户终端;基于所述用户终端对所述公共采集单元反馈的第一数据,判断所述至少一个数据采集模块中是否存在设置有目标采集域的目标数据采集模块;所述目标采集域是指与所述第一数据匹配的采集域;
是则判断所述目标数据采集模块的所述目标采集域的采集次数是否达到所述阈值;
否则将所述目标数据采集模块发送给所述用户终端;
用户终端,用于对接收的所述目标数据采集模块反馈第二数据,并将所述第二数据发送给所述采集端。
7.根据权利要求6所述的数据采集系统,其特征在于,所述采集端用于:
为所述至少一个数据采集模块中的每一个构建数据池;
将所述数据池分割为多个子数据池,所述多个子数据池分别用于存储与所述采集域匹配的用户终端反馈的第二数据。
8.根据权利要求7所述的数据采集系统,其特征在于,
所述子数据池的存储容量与所述采集域的采集次数正相关。
9.根据权利要求6所述的数据采集系统,其特征在于,所述分流端用于:
从所述至少一个数据采集模块中抽取所述公共采集单元。
10.根据权利要求6所述的数据采集系统,其特征在于,所述分流端用于:
基于所述采集域生成所述公共采集单元。
11.一种数据采集装置,包括处理器,其特征在于,所述处理器用于执行如权利要求1~5任一项所述的数据采集方法。
12.一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如权利要求1~5任一项所述的数据采集方法。
CN202010150890.XA 2020-03-05 2020-03-05 一种数据采集方法和系统 Active CN111382336B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010150890.XA CN111382336B (zh) 2020-03-05 2020-03-05 一种数据采集方法和系统
US17/606,958 US20220180384A1 (en) 2020-03-05 2021-03-05 Data collection method and system
EP21763855.0A EP3951621A4 (en) 2020-03-05 2021-03-05 DATA COLLECTION PROCEDURE AND SYSTEM
PCT/CN2021/079184 WO2021175302A1 (zh) 2020-03-05 2021-03-05 一种数据采集方法和系统
TW110107987A TW202135094A (zh) 2020-03-05 2021-03-05 一種數據採集方法和系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010150890.XA CN111382336B (zh) 2020-03-05 2020-03-05 一种数据采集方法和系统

Publications (2)

Publication Number Publication Date
CN111382336A CN111382336A (zh) 2020-07-07
CN111382336B true CN111382336B (zh) 2021-01-15

Family

ID=71221441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010150890.XA Active CN111382336B (zh) 2020-03-05 2020-03-05 一种数据采集方法和系统

Country Status (1)

Country Link
CN (1) CN111382336B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021175302A1 (zh) * 2020-03-05 2021-09-10 广州快决测信息科技有限公司 一种数据采集方法和系统
CN112818208A (zh) * 2021-02-25 2021-05-18 长沙冉星信息科技有限公司 一种实现问卷配额实际计算的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715061A (zh) * 2015-03-31 2015-06-17 陈永万 一种中医体质辨识中数据快速批量采集和处理的方法
CN110162603A (zh) * 2018-11-30 2019-08-23 腾讯科技(深圳)有限公司 一种智能对话方法、动态存储方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8412661B2 (en) * 2010-11-24 2013-04-02 International Business Machines Corporation Smart survey with progressive discovery
CN103092863A (zh) * 2011-11-03 2013-05-08 郭亮 一种问卷数据处理方法
CN104574139A (zh) * 2014-12-18 2015-04-29 冯力新 一种大题量问卷信息采集方法
CN105512173B (zh) * 2015-11-23 2019-02-01 国云科技股份有限公司 一种数据采集调查及统计模型实现方法
JP6771146B2 (ja) * 2016-06-07 2020-10-21 パナソニックIpマネジメント株式会社 アンケート集計方法及びアンケート集計システム
CN110020233B (zh) * 2017-07-28 2023-06-20 阿里巴巴集团控股有限公司 调研数据处理方法、装置及系统
CN110837551B (zh) * 2019-11-27 2022-06-28 广州快决测信息科技有限公司 一种在线数据采集的方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715061A (zh) * 2015-03-31 2015-06-17 陈永万 一种中医体质辨识中数据快速批量采集和处理的方法
CN110162603A (zh) * 2018-11-30 2019-08-23 腾讯科技(深圳)有限公司 一种智能对话方法、动态存储方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
医学生一般健康状况调查研究;史艳琴;《山西高等学校社会科学学报》;20191125;第31卷(第11期);51-56 *

Also Published As

Publication number Publication date
CN111382336A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
Metag et al. Audience segments in environmental and science communication: Recent findings and future perspectives
CN110837551B (zh) 一种在线数据采集的方法及系统
US11475055B2 (en) Artificial intelligence based method and apparatus for determining regional information
CN107704527A (zh) 数据存储方法、装置及存储介质
CN108733681A (zh) 信息处理方法及装置
CN111382336B (zh) 一种数据采集方法和系统
CN110766438B (zh) 一种通过人工智能对电网用户的用户行为进行分析的方法
CN109002515A (zh) 一种智能应答的方法和装置
US20220180384A1 (en) Data collection method and system
CN111369290A (zh) 一种自动生成数据采集模块的方法和系统
CN107977678A (zh) 用于输出信息的方法和装置
CN112396325A (zh) 案件处理方法、装置、介质及电子设备
CN113435859A (zh) 信访件处理方法、装置、电子设备和计算机可读介质
CN112308590B (zh) 一种参数处理方法、装置以及计算设备、存储介质
CN113741930A (zh) 应用升级方法、装置、电子设备及计算机可读存储介质
CN106933873A (zh) 一种跨平台数据查询方法和设备
CN108922632A (zh) 一种数据管理方法及系统
CN107943981A (zh) HBase行分页方法、服务器及计算机可读存储介质
CN112328616A (zh) 一种数据更新方法、装置和存储介质
CN106790635A (zh) cookie信息管理方法及服务器
CN114841165B (zh) 用户数据分析及展示方法、装置、电子设备及存储介质
US20190304040A1 (en) System and Method for Vetting Potential Jurors
CN111445317B (zh) 一种基于服务群的在线客户服务方法和系统
CN114896294A (zh) 产品测试数据表生成方法、装置、设备及存储介质
CN109636451B (zh) 一种养老模式自动推荐方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant