CN105550916A - 一种基于多维标识的数据采集方法 - Google Patents

一种基于多维标识的数据采集方法 Download PDF

Info

Publication number
CN105550916A
CN105550916A CN201510854061.9A CN201510854061A CN105550916A CN 105550916 A CN105550916 A CN 105550916A CN 201510854061 A CN201510854061 A CN 201510854061A CN 105550916 A CN105550916 A CN 105550916A
Authority
CN
China
Prior art keywords
order model
mark
data acquisition
source data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510854061.9A
Other languages
English (en)
Inventor
缪勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Reflection Technology Co Ltd
Original Assignee
Chengdu Reflection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Reflection Technology Co Ltd filed Critical Chengdu Reflection Technology Co Ltd
Priority to CN201510854061.9A priority Critical patent/CN105550916A/zh
Publication of CN105550916A publication Critical patent/CN105550916A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G06Q30/0637—Approvals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多维标识的数据采集方法，包括：（1）、登陆认证；（2）、访问业务服务器并拉取最新设置；（3）、填写源数据；（4）、对基础标识进行多维标识采集；（5）、对已看订单型号进行多维标识采集；（6）、对时间标识进行多维标识采集；（7）、对意向订单型号进行多维标识采集；用户选择至少1个意向订单型号，然后将基础标识、时间标识、已看订单型号标识、意向订单型号标识发送到数据采集服务器，完成源数据采集。该方法改变了传统网页数据采集的采集模式，由广泛采集转变为区域注册用户采集，由网页采集转变为移动APP注册认证用户的采集，避免了源数据的重复采集，让源数据的更加精准。

Description

一种基于多维标识的数据采集方法
技术领域
本发明涉及一种数据采集技术领域，尤其涉及一种基于多维标识的数据采集方法。
背景技术
传统网络环境下，汽车、房地产等特殊行业客户的采集捕获数据变化的方式比较常见的是垂直门户网上采集和线下采集，这里主要将网络环境的门户网站线上采集，垂直门户网站通过网上团购、会员用户注册信息中抓取客户基本信息。
通过数据采集技术，网站将通过活动链接方式，将用户导流到团购或活动申请界面，用户通过注册报名的方式，按网页输入框输入姓名、联系电话、预计订单时间等，通过网页对应入口，用户基本信息采集完成后（简称源数据），源数据通过采集、上传的方式来处理数据流，其工作原理是：客户在网站填写一份源数据，所在网页服务器负责收集并上传数据，并将描述客户数据源的元数据即主题(共享数据模型)发布到一个或多个公共的信息目录服务器，使有需求的一个或多个需求者可从信息目录服务器获得主题信息、基于主题通过组合裁剪等手段定向信息，并将客户提交给平台专题数据库。
但是，网上数据采集技术存在如下问题：
（一）、网站采集方式需要进入门户网站，找到活动入口，在通过活动宣传网页，选择申请报名，再进入采集填写入口，且采集填写入口的数据为基本信息，无法实现精准采集和后期的精准分发；
（二）使用采集入口触发器方式捕获数据变化主要是基础信息，维度比较单一且精准度不高，同时因维度单一，网站需要为每个源数据进行二次筛选和加工，采集效率很低、精准度低。
发明内容
本发明的目的是提供一种基于多维标识的数据采集方法，该方法改变了传统网页数据采集的采集模式，由广泛采集转变为区域注册用户采集，由网页采集转变为移动APP注册认证用户的采集，避免了源数据的重复采集，让源数据的更加精准。
本发明实现其发明目的，所采用的技术方案是：
一种基于多维标识的数据采集方法，包括以下步骤：
（1）、登陆认证
在客户端上输入用户信息，用户管理服务器对用户信息进行认证判断，若认证注册，则成功登陆，然后进行下一步；
（2）、访问业务服务器并拉取最新设置
成功登陆后，用户管理服务器生成用户token并返回给客户端，同时用户访问业务服务器，并向业务服务器拉取最新设置，然后返回客户端进行下一步；
（3）、填写源数据
用户在最新设置中填写源数据，包括基础标识、选择至少一个已看订单型号、选择至少一个意向订单型号、时间标识，并将其发送到数据采集服务器；当用户调用源数据采集时，数据采集服务器通过与用户管理服务器关联，启动数据采集服务器，然后进行下一步；
（4）、对基础标识进行多维标识采集
通过遍历N日内的历史采集数据，N由数据采集服务器设置，判断源数据中基础标识是否存在；若基础标识存在，则进行下一步；
（5）、对已看订单型号进行多维标识采集
用户选择已看订单型号，将已看订单型号作为意向订单型号的比对标识，当意向订单型号标识与已看订单型号标识不重复、不冲突时，进行下一步；
（6）、对时间标识进行多维标识采集
通过调用时钟服务，选择源数据的时间标识，对源数据进行年、月、日、时刻的时间标识；然后进行下一步；
（7）、对意向订单型号进行多维标识采集
用户选择至少1个意向订单型号，然后将基础标识、时间标识、已看订单型号标识、意向订单型号标识发送到数据采集服务器，完成源数据采集。
进一步地，上述步骤（1）用户管理服务器对用户信息进行认证判断，还包括：若无法登陆，则用户未注册，用户管理服务器收到未注册提示。
进一步地，上述步骤（4）对基础标识进行多维标识采集，还包括：通过遍历N日内的历史采集数据，N由数据采集服务器设置，判断源数据中基础标识是否存在；若不存在则提示客户端不可上传分享，不将其发送到数据采集服务器。
进一步地，上述步骤（5）对已看订单型号进行多维标识采集，还包括：用户选择已看订单型号，将已看订单型号作为意向订单型号的比对标识，当意向订单型号标识与已看订单型号标识重复、冲突时，无法完成源数据采集。
与现有技术相比，本发明的有益效果是：
（一）、本发明改变了传统网页数据采集的采集模式，由广泛采集转变为区域注册用户采集，由网页采集转变为移动APP注册认证用户的采集。
（二）、本发明用户上传的客户源数据，发生在用户与客户就订单意向进行现场沟通、追踪和深度沟通后的时间段，客户意向行为已进入订单比价实施阶段。
（三）、本发明无论注册用户何时进行源数据采集，平台得到的都是具有多维标识的精准数据，同时配合更新标识位策略、优先上传机制、维度标识数据剔重策略，避免了源数据的重复采集，让源数据的更加精准。
下面结合具体实施方式对本发明作进一步的详细说明。
具体实施方式
实施例
本例的数据采集方法是这样实现的：
1、登陆认证
移动APP用户输入手机号码与密码，用户管理服务器判断经纪人状态两种状态：已注册、未注册；未注册，则无法登陆，经纪人收到未激活提示。
若已注册：成功登陆，用户管理服务器生成用户唯一token（记号）并返回给手机端，然后访问业务服务器，向服务器拉取最新设置（包括：分享奖励值、可分享源数据、每一条源数据可选择品牌数、今日已分享数、用户关联品牌、城市等基本信息），再返回手机APP端。
2、源数据采集调用：
移动APP认证通过的用户填写源数据：包括基础标识（姓名、电话）、选择已看订单型号（必选1个）、选择意向订单型号（必选1个，最多N个，N由数据采集服务器返回）、离开注册用户店面时间（必填），然后再发送到数据采集服务器。
3、多维标识采集之基础标识
通过遍历N日内（N由数据采集服务器设置，可更改）的历史采集数据，判断源数据中基础标识的手机号是否存在，存在则提示手机端不可上传分享，不做入库处理（指不发送到数据采集服务器）。基础标识的手机号存在则继续下一步：采集已看订单型号。
4、多维标识采集之时间标识
通过调用时钟服务，选择源数据的时间标识,即离开注册用户店面的时间标识，对源数据进行年、月、日、时刻的时间标识。
5、多维标识采集之已看订单型号标识
经纪人必须选择已看订单型号，否则手机端无法提交，采集服务器也不做入库处理，同时已看品牌型号将作为意向订单型号的比对标识，当意向订单型号标识与已看订单型号标识重复、冲突时，无法完成源数据采集。
6、多维标识采集之意向订单型号标识
登陆认证后的用户必须选择至少1个意向订单型号，否则移动APP端无法提交，采集服务器也不做入库处理，已选择则将基础标识、时间标识、已看订单型号标识、意向订单型号标识、采集时间进行入库处理，即发送到数据采集服务器，完成数据的采集。
本发明是将原有网页采集入口变为移动端采集入口，同时每个移动端登陆用户是经过多重核定（姓名、身份证、联系电话、个人工作名片、短信验证码、自营品牌等）认证、并签署平台协议的；在采集方式上，进行多维标识采集，APP认证用户通过采集入口，对一条源数据元素进行描述，包括：姓名、联络方式、具体时间、已看订单型号、其他两个意向订单型号数据等，当注册用户上线并调用源数据采集服务时，后台数据采集服务器通过与用户服务器关联，启动数据采集服务，用户在多维标识采集入口进行多维标识数据的编辑、选择、录入，此过程会关联调用订单型号共享数据库、关联调用时间服务，源数据通过多维标识数据认证、审核服务向源数据库进行写入，源数据库里对在数据模型里包含的数据表对象进行<维度标识位>字段匹配，同时新增<更新标识位>字段。源数据字段由移动端APP应用程序维护，如果移动端APP应用程序修改了数据，需要相应的修改<维度标识位>字段，通过检测这些标识位是否发生了满足数据要求及变化来判断数据是否有更新，同时<更新标识位>字段由后台服务进行维护，一旦有移动APP上传过来的数据，数据库即匹配一个<更新标识位>字段，并因此捕获变化的数据。这样就不需要为每张表对象建立触发器等对象，从而较好的提高了捕获数据的效率。

Claims (4)

1.一种基于多维标识的数据采集方法，包括以下步骤：
（1）、登陆认证
在客户端上输入用户信息，用户管理服务器对用户信息进行认证判断，若认证注册，则成功登陆，然后进行下一步；
（2）、访问业务服务器并拉取最新设置
成功登陆后，用户管理服务器生成用户token并返回给客户端，然后用户访问业务服务器，并向业务服务器拉取最新设置，然后进行下一步；
（3）、填写源数据
用户在最新设置中填写源数据，包括基础标识、选择至少一个已看订单型号、选择至少一个意向订单型号、时间标识，并将其发送到数据采集服务器；当用户调用源数据采集时，数据采集服务器通过与用户管理服务器关联，启动数据采集服务器，然后进行下一步；
（4）、对基础标识进行多维标识采集
通过遍历N日内的历史采集数据，N由数据采集服务器设置，判断源数据中基础标识是否存在；若基础标识存在，则进行下一步；
（5）、对已看订单型号进行多维标识采集
用户选择已看订单型号，将已看订单型号作为意向订单型号的比对标识，当意向订单型号标识与已看订单型号标识不重复、不冲突时，进行下一步；
（6）、对时间标识进行多维标识采集
通过调用时钟服务，选择源数据的时间标识，对源数据进行年、月、日、时刻的时间标识；然后进行下一步；
（7）、对意向订单型号进行多维标识采集
用户选择至少一个意向订单型号，然后将基础标识、已看订单型号标识、时间标识、意向订单型号标识发送到数据采集服务器，完成源数据采集。
2.根据权利要求1所述的一种基于多维标识的数据采集方法，其特征在于，所述步骤（1）用户管理服务器对用户信息进行认证判断，还包括：若无法登陆，则用户未注册，用户管理服务器收到未注册提示。
3.根据权利要求1所述的一种基于多维标识的数据采集方法，其特征在于，所述步骤（4）对基础标识进行多维标识采集，还包括：通过遍历N日内的历史采集数据，N由数据采集服务器设置，判断源数据中基础标识是否存在；若不存在则提示客户端不可上传分享，不将其发送到数据采集服务器。
4.根据权利要求1所述的一种基于多维标识的数据采集方法，其特征在于，所述步骤（5）对已看订单型号进行多维标识采集，还包括：用户选择已看订单型号，将已看订单型号作为意向订单型号的比对标识，当意向订单型号标识与已看订单型号标识重复、冲突时，无法完成源数据采集。
CN201510854061.9A 2015-11-30 2015-11-30 一种基于多维标识的数据采集方法 Pending CN105550916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510854061.9A CN105550916A (zh) 2015-11-30 2015-11-30 一种基于多维标识的数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510854061.9A CN105550916A (zh) 2015-11-30 2015-11-30 一种基于多维标识的数据采集方法

Publications (1)

Publication Number Publication Date
CN105550916A true CN105550916A (zh) 2016-05-04

Family

ID=55830095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510854061.9A Pending CN105550916A (zh) 2015-11-30 2015-11-30 一种基于多维标识的数据采集方法

Country Status (1)

Country Link
CN (1) CN105550916A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042747A (zh) * 2006-03-24 2007-09-26 上海中经互联网络有限公司 经济运行分析系统
CN102591891A (zh) * 2011-01-17 2012-07-18 常州合网网络科技有限公司 一种基于用户数据获取业务数据的方法及系统
CN103186871A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 基于车载交易系统的验证方法及验证系统
CN103838741A (zh) * 2012-11-22 2014-06-04 天津好市道营销科学应用科技有限公司 一种新的网页业务数据结构化采集系统及方法
CN104318466A (zh) * 2014-10-20 2015-01-28 深圳市深信信息技术有限公司 一种交易系统及交易结算方法
CN104394118A (zh) * 2014-07-29 2015-03-04 焦点科技股份有限公司 一种用户身份识别方法及系统
US20150143475A1 (en) * 2013-11-19 2015-05-21 Tencent Technology (Shenzhen) Company Limited Operation Processing Method and Device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042747A (zh) * 2006-03-24 2007-09-26 上海中经互联网络有限公司 经济运行分析系统
CN102591891A (zh) * 2011-01-17 2012-07-18 常州合网网络科技有限公司 一种基于用户数据获取业务数据的方法及系统
CN103186871A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 基于车载交易系统的验证方法及验证系统
CN103838741A (zh) * 2012-11-22 2014-06-04 天津好市道营销科学应用科技有限公司 一种新的网页业务数据结构化采集系统及方法
US20150143475A1 (en) * 2013-11-19 2015-05-21 Tencent Technology (Shenzhen) Company Limited Operation Processing Method and Device
CN104394118A (zh) * 2014-07-29 2015-03-04 焦点科技股份有限公司 一种用户身份识别方法及系统
CN104318466A (zh) * 2014-10-20 2015-01-28 深圳市深信信息技术有限公司 一种交易系统及交易结算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏帮贵: "《夏老师教你学Java》", 28 February 2010, 中国铁道出版社 *

Similar Documents

Publication Publication Date Title
CN101018259B (zh) 电信综合信息系统及方法
CN102800008B (zh) 一种积分兑换与积分赠送的系统和方法
CN111181946A (zh) 一种基于区块链和物联网的可信溯源系统及方法
CN104301436B (zh) 待显示内容推送、订阅、更新方法及其相应的装置
Rey-Moreno et al. Experiences, challenges and lessons from rolling out a rural WiFi mesh network
CN102663545A (zh) 一种基于智能手机的配电网检修作业管理系统
FR2868896B1 (fr) Procede et dispositif de controle d&#39;acces a un document numerique partage dans un reseau de communication de type poste a poste
CN103220305A (zh) 网络媒介信息的分享处理系统和处理方法
CN103489105A (zh) 一种构建移动应用商店的系统和方法
CN102932775A (zh) 一种利用imei与ua结合进行终端识别的方法及装置
CN106372847A (zh) 基于移动互联网的招聘或应聘系统
CN105721629A (zh) 用户标识匹配方法和装置
CN102347985B (zh) 个性化云服务网报系统
CN101815122A (zh) 一种用于移动通讯设备终端的自动情景切换方法
CN104376005A (zh) 软件心跳机制信令接入探针用户详单处理方法及系统
Grubesic The broadband provision tensor
CN102202259B (zh) 神经网络路径匹配实现gps轨迹交友的方法
JP2008009950A (ja) アフィリエイトサーバ装置およびアフィリエイトシステム
CN103533044A (zh) 云端互助方法和系统
CN1996989B (zh) 一种个人网页系统及其实现方法
CN104243221A (zh) 基于智能手机平台的校园网络维护记录系统及方法
CN102821151A (zh) 一种互联网许愿系统
CN106330899A (zh) 私有云设备账号管理方法、系统、电子设备及服务器
CN104575133A (zh) 一种移动互联网泛在教育系统
CN107040619A (zh) 硬件唯一标识码的生成和管理系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160504