CN112231521A - 一种基于app小程序的快速采集数据的方法及系统 - Google Patents

Abstract

一种基于APP小程序的快速采集数据的方法及系统，所述方法包括：步骤1，定义数据的字段以及字段属性；步骤2，选择步骤1定义的字段配置数据源，在该数据源下快速选取若干字段组建表结构；步骤3，在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；步骤4，通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器；步骤5，后台服务器对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

Description

一种基于APP小程序的快速采集数据的方法及系统

技术领域

本发明涉及数据采集领域，具体涉及一种基于APP小程序的快速采集数据的方法及系统。

背景技术

在现有技术中，由于公安系统的特殊性和涉密性，信息采集的渠道单一，主要依靠建立起来的信息员网格获取社会治安和政治稳定的信息，效率低下、成效不高以及时效性不强。随着互联网的高速发展，各类信息越来越多，如何有效及时的收集到公安部门想要的数据信息，积极探索一种高效的采集数据的方法，并通过该方法快速收集并处理数据，提高公安民警的工作质量和效率，降低人力物力财力的损耗，成为行业内亟待解决的问题。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种基于APP小程序的快速采集数据的方法及系统，具体方案如下：

作为本发明的第一方面，提供一种基于APP小程序的快速采集数据的方法，所述方法包括：

步骤1，定义数据的字段以及字段属性；

步骤2，选择步骤1定义的字段配置数据源，在该数据源下快速选取若干字段组建表结构；

步骤3，在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；

步骤4，通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器；

步骤5，后台服务器对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

进一步地，所述方法还包括：

在手机端APP小程序和web网页端提供编辑和删除功能，对展示的数据结果进行编辑和删除操作。

进一步地，步骤5中，后台服务器进行数据处理具体为：

后台服务器接收到APP小程序采集的数据后，将数据存入定义的数据库，通过k-means聚类算法，自动将数据归类，并作为样本数据，根据样本数据之间的距离或者相似性，把距离小于预设距离阈值或相似性大于预设相似性阈值的样本数据聚成一类，形成簇划分，最后向手机端APP小程序和web网页端输出对应的簇划分，通过手机端APP小程序和web网页端进行展示。

进一步地，所述k-means聚类算法具体为：

步骤4.1，令输入样本集D＝{x₁,x₂,...x_m},其中，x₁,x₂,...x_m分别为第1至第m个样本数据，

步骤4.2，令聚类的簇树k,最大迭代次数N，从数据集D中随机选择k个样本作为初始的k个质心向量{μ₁,μ₂,...,μ_k}；

步骤4.3，对于n＝1,2,...,N：

a，将簇划分C初始化为

b，对于i＝1,2...m,计算样本数据x_i和各个质心向量μ_j(j＝1,2,...k)的距离：d_ij＝||x_i-μ_j||² ₂，将x_i标记最小的为d_ij所对应的类别λ_i，此时更新C_λi＝C_λi∪{x_i}；

c，对于j＝1,2,...,k,对C_j中所有的样本点重新计算新的质心

d，如果所有的k个质心向量都没有发生变化，则转到步骤4.4，

步骤4.4，输出簇划分C＝{C₁,C₂,...C_k}。

进一步地，所述字段属性包括字段类型和字段校验机制。

作为本发明的第二方面，提供一种基于APP小程序的快速采集数据的系统，所述系统包括定义模块、配置模块、二维码创建模块、信息采集模块以及后台服务器；

所述定义模块用于定义数据的字段以及字段属性；

所述配置模块用于选择定义模块定义的字段配置数据源，在该数据源下快速选取若干字段组建表结构；

所述二维码创建模块用于在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；

所述信息采集模块用于通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器；

所述后台服务器用于对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

进一步地，所述系统还包括编辑模块，所述编辑模块用于在手机端APP小程序和web网页端提供编辑和删除功能，对展示的数据结果进行编辑和删除操作。

进一步地，所述后台服务器进行数据处理具体为：

后台服务器接收到APP小程序采集的数据后，将数据存入定义的数据库，通过k-means聚类算法，自动将数据归类，并作为样本数据，根据样本数据之间的距离或者相似性，把距离小于预设距离阈值或相似性大于预设相似性阈值的样本数据聚成一类，形成簇划分，最后向手机端APP小程序和web网页端输出对应的簇划分，通过手机端APP小程序和web网页端进行展示。

进一步地，所述k-means聚类算法具体为：

步骤4.1，令输入样本集D＝{x₁,x₂,...x_m},其中，x₁,x₂,...x_m分别为第1至第m个样本数据，

步骤4.2，令聚类的簇树k,最大迭代次数N，从数据集D中随机选择k个样本作为初始的k个质心向量{μ₁,μ₂,...,μ_k}；

步骤4.3，对于n＝1,2,...,N：

a，将簇划分C初始化为

b，对于i＝1,2...m,计算样本数据x_i和各个质心向量μ_j(j＝1,2,...k)的距离：d_ij＝||x_i-μ_j||² ₂，将x_i标记最小的为d_ij所对应的类别λ_i，此时更新C_λi＝C_λi∪{x_i}；

c，对于j＝1,2,...,k,对C_j中所有的样本点重新计算新的质心

d，如果所有的k个质心向量都没有发生变化，则转到步骤4.4，

步骤4.4，输出簇划分C＝{C₁,C₂,...C_k}。

本发明具有以下有益效果：

与现有技术相比，本发明操作起来快速简单，整个流程只需要极短暂的时间，且无论是手机端还是PC端，都不需要安装专门的采集系统或APP，大大避免了一些诸如受限于版本控制、下载安装麻烦等问题。此外，采集的数据格式可以任意指定，避免了以往针对一类数据就要开发一个定制化应用的麻烦，数据采集后还有提供了相应的处理算法，保证数据的可用性和有效性。

附图说明

图1为本发明实施例提供的一种基于APP小程序的快速采集数据的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，作为本发明的第一实施例，提供一种基于APP小程序的快速采集数据的方法，所述方法包括：

步骤1，定义数据的字段以及字段属性；

其中，所述字段包括如性别、民族、类型、学历……等等，字段属性包括字段类型和字段校验机制，字段校验机制包括为空、长度、是否作为查询条件等。

步骤2，选择步骤1定义的字段，基于所述选的字段配置数据源，在该数据源下快速选取若干字段组建表结构；

步骤3，在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；

步骤4，通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器；

其中，所述程序可以为各大型app内的小程序，例如微信小程序；通过二维码获得表结构，基于所述表结构创建数据录入界面，供用户填写相关数据，并在数据填写完成后提交至后台服务器进行处理。

步骤5，后台服务器对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

其中，在手机端APP小程序和web网页端提供编辑和删除功能，对展示的数据结果进行编辑和删除操作。

本发明操作起来快速简单，整个流程只需要极短暂的时间，且无论是手机端还是PC端，都不需要安装专门的采集系统或APP，大大避免了一些诸如受限于版本控制、下载安装麻烦等问题。此外，采集的数据格式可以任意指定，避免了以往针对一类数据就要开发一个定制化应用的麻烦，数据采集后还有提供了相应的处理算法，保证数据的可用性和有效性。

优选地，步骤5中，后台服务器进行数据处理具体为：

后台服务器接收到APP小程序采集的数据后，将数据存入定义的数据库，通过k-means聚类算法，自动将数据归类，并作为样本数据，根据样本数据之间的距离或者相似性，把距离小于预设距离阈值或相似性大于预设相似性阈值的样本数据聚成一类，即把越相似、差异越小的样本聚成一类(簇)，最后形成多个簇，即形成簇划分，使同一个簇内部的样本相似度高，不同簇之间差异性高形成簇划分，最后向手机端APP小程序和web网页端输出对应的簇划分，通过手机端APP小程序和web网页端进行展示。

优选地，所述k-means聚类算法具体为：

步骤4.1，令输入样本集D＝{x₁,x₂,...x_m},其中，x₁,x₂,...x_m分别为第1至第m个样本数据，

步骤4.2，令聚类的簇树k,最大迭代次数N，从数据集D中随机选择k个样本作为初始的k个质心向量{μ₁,μ₂,...,μ_k}；

步骤4.3，对于n＝1,2,...,N：

a，将簇划分C初始化为

b，对于i＝1,2...m,计算样本数据x_i和各个质心向量μ_j(j＝1,2,...k)的距离：d_ij＝||x_i-μ_j||² ₂，将x_i标记最小的为d_ij所对应的类别λ_i，此时更新C_λi＝C_λi∪{x_i}；

c，对于j＝1,2,...,k,对C_j中所有的样本点重新计算新的质心

d，如果所有的k个质心向量都没有发生变化，则转到步骤4.4，

步骤4.4，输出簇划分C＝{C₁,C₂,...C_k}。

数据经过后台处理后后，在手机端APP小程序和web网页端展示录入的某类数据所有数据记录，即输出簇划分C，从而展示所有的表及表数据，同时还支持对具体数据进行编辑和删除操作，数据服务端以统计图表的形式进行分类展示。

作为本发明的第二实施例，提供一种基于APP小程序的快速采集数据的系统，所述系统包括定义模块、配置模块、二维码创建模块、信息采集模块以及后台服务器；

所述定义模块用于定义数据的字段以及字段属性，其中，所述字段包括如性别、民族、类型、学历……等等，字段属性包括字段类型和字段校验机制，字段校验机制包括为空、长度、是否作为查询条件等；

所述配置模块用于选择定义模块定义的字段配置数据源，在该数据源下快速选取若干字段组建表结构；

所述二维码创建模块用于在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；

所述信息采集模块用于通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器，其中，所述程序可以为各大型app内的小程序，例如微信小程序；通过二维码获得表结构，基于所述表结构创建数据录入界面，供用户填写相关数据，并在数据填写完成后提交至后台服务器进行处理；

所述后台服务器用于对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

优选地，所述系统还包括编辑模块，所述编辑模块用于在手机端APP小程序和web网页端提供编辑和删除功能，对展示的数据结果进行编辑和删除操作。

优选地，所述后台服务器进行数据处理具体为：

后台服务器接收到APP小程序采集的数据后，将数据存入定义的数据库，通过k-means聚类算法，自动将数据归类，并作为样本数据，根据样本数据之间的距离或者相似性，把距离小于预设距离阈值或相似性大于预设相似性阈值的样本数据聚成一类，形成簇划分，最后向手机端APP小程序和web网页端输出对应的簇划分，通过手机端APP小程序和web网页端进行展示。

优选地，所述k-means聚类算法具体为：

步骤4.1，令输入样本集D＝{x₁,x₂,...x_m},其中，x₁,x₂,...x_m分别为第1至第m个样本数据，

步骤4.2，令聚类的簇树k,最大迭代次数N，从数据集D中随机选择k个样本作为初始的k个质心向量{μ₁,μ₂,...,μ_k}；

步骤4.3，对于n＝1,2,...,N：

a，将簇划分C初始化为

b，对于i＝1,2...m,计算样本数据x_i和各个质心向量μ_j(j＝1,2,...k)的距离：d_ij＝||x_i-μ_j||² ₂，将x_i标记最小的为d_ij所对应的类别λ_i，此时更新C_λi＝C_λi∪{x_i}；

c，对于j＝1,2,...,k,对C_j中所有的样本点重新计算新的质心

d，如果所有的k个质心向量都没有发生变化，则转到步骤4.4，

步骤4.4，输出簇划分C＝{C₁,C₂,...C_k}。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于APP小程序的快速采集数据的方法，其特征在于，所述方法包括：

步骤1，定义数据的字段以及字段属性；

步骤2，选择步骤1定义的字段配置数据源，在该数据源下快速选取若干字段组建表结构；

步骤3，在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；

步骤4，通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器；

步骤5，后台服务器对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

2.根据权利要求1所述的基于APP小程序的快速采集数据的方法，其特征在于，所述方法还包括：

在手机端APP小程序和web网页端提供编辑和删除功能，对展示的数据结果进行编辑和删除操作。

3.根据权利要求1所述的基于APP小程序的快速采集数据的方法，其特征在于，步骤5中，后台服务器进行数据处理具体为：

后台服务器接收到APP小程序采集的数据后，将数据存入定义的数据库，通过k-means聚类算法，自动将数据归类，并作为样本数据，根据样本数据之间的距离或者相似性，把距离小于预设距离阈值或相似性大于预设相似性阈值的样本数据聚成一类，形成簇划分，最后向手机端APP小程序和web网页端输出对应的簇划分，通过手机端APP小程序和web网页端进行展示。

4.根据权利要求3所述的基于APP小程序的快速采集数据的方法，其特征在于，所述k-means聚类算法具体为：

步骤4.1，令输入样本集D＝{x₁,x₂,...x_m},其中，x₁,x₂,...x_m分别为第1至第m个样本数据，

步骤4.2，令聚类的簇树k,最大迭代次数N，从数据集D中随机选择k个样本作为初始的k个质心向量{μ₁,μ₂,...,μ_k}；

步骤4.3，对于n＝1,2,...,N：

a，将簇划分C初始化为

b，对于i＝1,2...m,计算样本数据x_i和各个质心向量μ_j(j＝1,2,...k)的距离：d_ij＝||x_i-μ_j||² ₂，将x_i标记最小的为d_ij所对应的类别λ_i，此时更新C_λi＝C_λi∪{x_i}；

c，对于j＝1,2,...,k,对C_j中所有的样本点重新计算新的质心

d，如果所有的k个质心向量都没有发生变化，则转到步骤4.4，

步骤4.4，输出簇划分C＝{C₁,C₂,...C_k}。

5.根据权利要求1所述的基于APP小程序的快速采集数据的方法，其特征在于，所述字段属性包括字段类型和字段校验机制。

6.一种基于APP小程序的快速采集数据的系统，其特征在于，所述系统包括定义模块、配置模块、二维码创建模块、信息采集模块以及后台服务器；

所述定义模块用于定义数据的字段以及字段属性；

所述配置模块用于选择定义模块定义的字段配置数据源，在该数据源下快速选取若干字段组建表结构；

所述二维码创建模块用于在web网页端实时展示各类表结构，为每一个表结构自动创建专属二维码并实时展示；

所述信息采集模块用于通过APP小程序扫码所述专属二维码进入对应的数据录入界面，采集用户填写的相关数据并提交至后台服务器；

所述后台服务器用于对数据进行处理，获得该类数据的所有数据记录并推送给手机端APP小程序和web网页端，通过手机端APP小程序和web网页端进行数据展示。

7.根据权利要求6所述的基于APP小程序的快速采集数据的系统，其特征在于，所述系统还包括编辑模块，所述编辑模块用于在手机端APP小程序和web网页端提供编辑和删除功能，对展示的数据结果进行编辑和删除操作。

8.根据权利要求6所述的基于APP小程序的快速采集数据的系统，其特征在于，所述后台服务器进行数据处理具体为：

后台服务器接收到APP小程序采集的数据后，将数据存入定义的数据库，通过k-means聚类算法，自动将数据归类，并作为样本数据，根据样本数据之间的距离或者相似性，把距离小于预设距离阈值或相似性大于预设相似性阈值的样本数据聚成一类，形成簇划分，最后向手机端APP小程序和web网页端输出对应的簇划分，通过手机端APP小程序和web网页端进行展示。

9.根据权利要求8所述的基于APP小程序的快速采集数据的系统，其特征在于，所述k-means聚类算法具体为：

令输入样本集D＝{x₁,x₂,...x_m},其中，x₁,x₂,...x_m分别为第1至第m个样本数据，

令聚类的簇树k,最大迭代次数N，从数据集D中随机选择k个样本作为初始的k个质心向量{μ₁,μ₂,...,μ_k}；

对于n＝1,2,...,N：

将簇划分C初始化为

对于i＝1,2...m,计算样本数据x_i和各个质心向量μ_j(j＝1,2,...k)的距离：d_ij＝||x_i-μ_j||² ₂，将x_i标记最小的为d_ij所对应的类别λ_i，此时更新C_λi＝C_λi∪{x_i}；

对于j＝1,2,...,k,对C_j中所有的样本点重新计算新的质心

如果所有的k个质心向量都没有发生变化，则输出簇划分C＝{C₁,C₂,...C_k}。

Images