CN102868726A

CN102868726A - 一种互联网信息发布方法及系统

Info

Publication number: CN102868726A
Application number: CN2012103035840A
Authority: CN
Inventors: 黄震中; 蒋志勤
Original assignee: BEIJING SHENYING CHENGXUN TECHNOLOGY CO LTD
Current assignee: Beijing City Eagle news Polytron Technologies Inc
Priority date: 2012-08-23
Filing date: 2012-08-23
Publication date: 2013-01-09
Anticipated expiration: 2032-08-23
Also published as: CN102868726B

Abstract

本发明涉及一种互联网信息发布方法，其步骤如下：1）用户在数据库服务器中录入发布信息并提交发布任务；2）根据得到的用户发布信息验证用户提交信息是否有效；3）将验证有效的任务在进程池中进行拆分得到发布信息与发布平台对应关系；4）根据拆分后的对应关系模拟用户登录并提交发布信息；5）获取发布成功信息的URL和ID并保存至本地数据库，完成发布。本发明通过在模版程序中定义不同的操作字段和步骤，保证了对各类信息平台的信息发布均能做到信息的各个字段。另外，本发明通过统一的任务调度管理模块，保证了信息发布的成功率和并发性能均有较大提高。

Description

一种互联网信息发布方法及系统

技术领域

本发明涉及一种互联网信息发布方法及系统，具体涉及以模拟人工方式自动将不同行业信息发布到网络信息发布平台的方法及系统，属于互联网信息领域。

背景技术

在实际生活中，人们经常希望把某些信息（如招聘、二手物品买卖、房产、技术问题咨询等）发布到多个对应行业网络信息平台，以期让更多的人群能够关注，给予反馈。在当前除了人工进行逐条发布外，仅有两种方法能够完成信息的自动发布传播：1、某些网络信息平台提供信息发布的API接口，可通过调用API接口实现在这些网站的信息发布。2、利用一些论坛、即时通信群群发软件进行特定平台的信息群发。

对于第一种方法，提供信息发布API接口的一般是一些通用性信息平台，如SNS网站、微博等，对于希望被特定行业或特性人群关注的信息来说，通过此类平台发布信息针对性差，效果不佳；而细分行业的信息平台，几乎都不提供API接口，通过此种方式无法发布。

对于第二种方法，存在同样的缺点，此类软件通常是只能泛泛的将信息发到采用通用引擎的论坛或某款即时通信软件的群中，对于绝大部分受众来说，此类信息为垃圾信息，不但收不到好的效果，反而可能造成负面影响。同时，此类软件使用受限于用户网络带宽，信息发送到达率低。

现有技术中，还未有能够实现对多个特定行业、特性人群相关网络信息平台进行对应信息自动发布的产品、设备和方法。

发明内容

本发明解决的技术问题：本发明的目的是提供能够实现将不同行业信息实时自动发布到相应领域的网络信息平台中的系统及方法，信息的各个字段，包括图片信息均能达到完整对应；同时，能对所发布的信息进行管理，实现同步修改、更新和删除。

为实现上述目的，本发明的解决方案是：一种互联网信息发布方法，其步骤如下：

1）用户在数据库服务器中录入发布信息并提交发布任务；

2）根据得到的用户发布信息验证用户提交信息是否有效；

3）将验证有效的任务在进程池中进行拆分得到发布信息与发布平台对应关系；

4）根据拆分后的对应关系模拟用户登录并提交发布信息；

5）获取发布成功信息的URL和ID并保存至本地数据库，完成发布。

所述发布任务通过数据调用总接口分发到任务分发程序，所述任务分发程序启动一数据发布接口程序，所述数据发布接口程序调用一发布模板程序。

所述用户发布信息包括：用户在各信息平台账号密码、用户需要推送业务数据、用户所属城市地理区域信息。

验证用户提交信息是否有效的方法是：验证用户是否具有发布权限、数据内容及格式是否正确、所需发布网站是否可用。

所述拆分方法为：将一组需要发布的信息拆分为单条，并与用户在各信息发布平台的账号相关数据对应。

一种互联网信息发布系统，包括WEB服务器、数据库服务器、文件服务器和多个信息发布服务器，所述WEB服务器、数据库服务器和文件服务器通信连接，

所述多个新消息发布服务器用过相同和/或不同的服务器组成；

所述信息发布服务器通过调用数据发布接口程序接收用户录入信息，

所述信息发布服务器还通过发布模版程序对发布信息进行模拟登陆；

所述信息发布服务器通过发布后处理程序将执行记录写入数据库服务器保存，并向用户界面提交执行结果。

所述数据发布接口程序查询当前发布进程池是否有空闲，将当前进程插入等待队列循环等待或将当前进程插入执行队列后对需要发布的信息进行拆分。

所述数据发布接口程序调用指定发布信息平台对应的发布模版程序进行信息发布。

所述发布模版程序包括基础代码和模板文件，所述基础代码是由PHP5中的CURL扩展实现执行的HTTP网络访问代码；所述模板文件是与各信息发布平台对应的网络操作文件，定义不同信息平台的用户登录、信息发布、更新、修改、删除操作步骤和对应字段。

所述CURL扩展实现封装HTTP协议的GET和POST方法。

本发明的有益效果：

与现有技术相比，本系统实现了发布整体引擎与不同信息平台业务的独立（通过模版程序方式实现），通过一套体系即可实现多个行业及多类网络信息平台的信息发布支持，这是现在已有的所有技术均做不到的；通过在模版程序中定义不同的操作字段和步骤，保证了对各类信息平台的信息发布均能做到信息的各个字段，包括图片信息均能达到完整对应，这也是现有技术做不到的；另外，通过统一的任务调度管理模块，保证了信息发布的成功率和并发性能均有较大提高。如图5所示，发布成功率超过95%，现有技术基本没有超过60%的；向30个以上信息发布平台发布一条信息，全部返回在一分钟之内，现有技术至少需要五分钟。

附图说明

图1是本发明信息发布方法的逻辑流程图；

图2是本发明信息发布方法中数据流图；

图3是本发明信息发布系统应用部署网络结构示意图；

图4是本发明信息发布系统工作流程图；

图5是本发明信息发布系统的与现有技术相比效果图。

具体实施方式

本发明信息发布方法逻辑实现流程如图1所示，具体如下：

（1）用户选择通过系统后台界面手工录入的信息，同时选择需要发布的多个信息平台，选择进行发布；发布命令和所需发布数据将自动提交到数据调用总接口。

（2）数据调用总接口接收到用户传入的需要发布的信息数据和命令（指定发布的网站平台），数据调用总接口首先验证用户是否具有发布权限、数据内容及格式是否正确、所需发布网站是否可用，如验证失败返回错误原因，成功则将任务分发到用户指定发布平台所对应的发布接口程序。

（3）发布接口程序被调用后，首先进行状态检测，查询当前发布进程池是否有空闲，没有则将当前进程插入等待队列，循环等待；有则将当前进程插入执行队列，然后对需要发布的信息进行逐条拆分。拆分方式为，将一组需要发布的信息拆分为单条，（包含结构化字段和附带的图片、附件等数据），并与用户在各信息发布平台的账号相关（包含用户名、密码、注册时间、是否通过认证、对应的信息发布平台编号）数据对应。

并与用户在各信息发布平台的账号相关数据一一对应。

（4）发布接口程序调用对应信息发布平台的发布模版程序，并传入用户账号相关数据及发布信息数据，执行发布操作。（发布模块程序是信息发布平台中已有，发布接口程序只需调用即可）

（5）各发布模版程序与不同的信息发布平台一一对应，其中定义了不同信息平台的用户登录，信息发布、更新、修改、删除操作步骤和对应字段。在被调用并接收到传入的用户账号信息及需要发布信息后，模版程序根据定义步骤（在发布模块程序中已被定义）自动进行模拟登录（通过模拟浏览器的HTTPGET和HTTPPOST行为，并在会话过程中一直保持cookie及session状态实现），进入后台，信息上传发布。发布成功后获取信息URL和ID，模拟退出登录，并将URL和ID回传发布接口程序。

（6）模版程序执行完成后，发布接口程序将信息URL和ID通过接口写入数据库（用于向客户展现及发布结果，同时也是以后进行修改、删除、刷新的标示），并将当前进程从执行队列中移除，完成整个发布过程。

一种行业细分信息的网络整体发布及管理系统，它包括：

a.数据调用总接口：接收外部传入的业务数据和控制指令，进行处理，并根据指令要求对数据发布子模块进行调用；最后在任务处理完成后，调用信息回调接口返回状态和处理结果。

b.任务调度管理子模块：对发布任务进行整体调度管理，防止任务冲突，根据实际情况将资源分配给各数据发布子模块，以提高发布效率并保证系统稳定运行。

c.数据发布子模块：功能实现的核心模块，可以在多台服务器部署，被数据调用总接口调用，实现在相应网站进行信息发布、信息更新、信息修改、信息删除的功能。

d.信息回调接口：任务处理完成后，被数据调用总接口调用，返回处理状态和处理结果，提供给用户。

图4是信息发布系统工作流程图，1）用户在数据库服务器中录入发布信息并提交发布任务；

2）根据得到的用户发布信息验证用户提交信息是否有效；

4）根据拆分后的对应关系模拟用户登录并提交发布信息；

图3为系统应用部署网络结构示意图。整套应用由两大部分组成，一部分为用户交互及信息管理机组，负责处理存储用户上传信息，根据用户指令下发信息自动发布、更新、修改、删除指令，同时向用户汇总展现信息在各发布平台的操作结果；另一部分为信息发布机组（即是本发明方法提出的数据调用总接口，其中部署任务调度管理模块、数据发布模块（由信息平台发布模版程序实现）、信息回调接口），负责调度发布任务，将信息发布到各指定的信息发布平台，同步更新、修改、删除操作，并返回处理结果。两部分分别通过外网网关和防火墙接入互联网，两部分之间通过内网交换机相连进行数据通信。

如图3所示，用户交互及信息管理机组由三类服务器组成：

第一类，Web服务器：完成用户与系统的交互接口，同时也负责向推送机组分发信息发布、更新、修改、删除指令。

第二类，数据库服务器：整个系统的数据中心，用户在各信息发布平台的账号密码信息、需要发布的业务信息、在各平台的信息发布结果均存储于此。同时，不同城市的地理区域划分信息、信息发布机组中各发布机各自对应的信息平台关系信息等基础数据也存储于此。

第三类，文件服务器：存储业务信息中所附带的图片、附件等非文本数据。

信息发布机组为可灵活扩充的一系列信息发布服务器，负责将业务数据发布到各信息平台，根据用户需要实时进行更新、修改和删除，并返回执行结果。不同的信息发布服务器装载不同的信息平台对应发布模版程序。信息发布服务器与信息平台的对应关系存储在数据库服务器中，Web服务器在下发指令时，根据此对应关系选择不同的发布服务器向对应信息平台发布信息。

如图2和图3，本发明提出的互联网信息发布系统，包括WEB服务器、数据库服务器、文件服务器和多个信息发布服务器，所述WEB服务器、数据库服务器和文件服务器通信连接，多个新消息发布服务器用过相同和/或不同的服务器组成；信息发布服务器通过调用数据发布接口程序接收用户录入信息，信息发布服务器还通过发布模版程序对发布信息进行模拟登陆；信息发布服务器通过发布后处理程序将执行记录写入数据库服务器保存，并向用户界面提交执行结果。

系统执行数据流如图2所示，具体如下：

1）用户提交发布命令后，数据发布任务分发程序（部署于Web服务器）从数据库服务器中查询得到用户在各信息平台的账号密码、需要推送的业务数据、用户所属城市地理区域等信息，调用数据发布接口程序（部署于各信息发布服务器）并传入数据。

2）数据发布接口程序首先进行状态检测，查询当前发布进程池是否有空闲，没有则将当前进程插入等待队列，循环等待；有则将当前进程插入执行队列，然后对需要发布的信息进行逐条拆分，调用指定发布信息平台所对应的发布模版程序（部署于信息发布服务器）进行信息发布。

3）发布模版程序为信息发布执行核心，分为两部分，基础代码和模板文件，一部分为执行HTTP网络访问的基础代码，由PHP5中的CURL扩展实现，在其中封装了HTTP协议的GET和POST方法，并保持在会话过程中的cookie及session，（具体操作步骤为：初始化一个新的curl会话，设置好需要访问的URL地址，如为POST操作，还需准备好提交数据，再将上次状态保持的cookie及session设置入会话，提交访问；对于访问得到的结果，首先通过正则表达式匹配HTTP头部传回的cookie及session，保存作为下次访问所用，再根据不同网站的编码不同对返回内容进行页面转码，即得到正确的页面内容；通过对返回内容的关键字段进行正则匹配判断，即可得知此次访问，对方平台所返回的结果）此部分代码被所有发布模版程序所共用；另一部分为网络操作模版文件，各不相同，与各信息发布平台一一对应（此模板文件是模拟了各个不同信息发布平台的情况，再将用户需要发布的信息对应到这个模拟平台上），其中定义了不同信息平台的用户登录，信息发布、更新、修改、删除操作步骤和对应字段。发布模版程序在具体执行时，根据不同的信息发布平台，读取对应的操作模版文件，根据其中定义结构和次序调用GET和POST方法，模拟人工动作进行信息发布、更新、修改和删除，并调用发布后处理程序（部署于信息发布服务器）返回执行结果。

4）发布后处理程序通过内网通信，将执行记录写入数据库服务器保存，并向用户界面提交执行结果。

本发明对系统物理环境的要求是：数据库服务器和文件服务器要有较大存储空间，以保证能够存储海量的原始信息和向各信息发布平台发布管理信息后的执行结果；信息发布服务器需要具有较大的内存容量和互联网带宽，以保证大量信息发布及管理进程能够同步并发执行，保证信息发布管理的效率和实时性，如图5所示，本发明信息发布系统的与现有技术相比效果图。

本发明对系统软件环境的要求是：采用linux操作系统，内核版本在2.4以上；所有服务器安装LAMP架构，apache版本在2.2以上，PHP版本在5.1以上，Mysql版本在5.0以上。

Claims

1.一种互联网信息发布方法，其步骤如下：

1）用户在数据库服务器中录入发布信息并提交发布任务；

2）根据得到的用户发布信息验证用户提交信息是否有效；

4）根据拆分后的对应关系模拟用户登录并提交发布信息；

2.如权利要求1所述的互联网信息发布方法，其特征在于，所述发布任务通过数据调用总接口分发到任务分发程序，所述任务分发程序启动一数据发布接口程序，所述数据发布接口程序调用一发布模板程序。

3.如权利要求1所述的互联网信息发布方法，其特征在于，所述用户发布信息包括：用户在各信息平台账号密码、用户需要推送业务数据、用户所属城市地理区域信息。

4.如权利要求1所述的互联网信息发布方法，其特征在于，验证用户提交信息是否有效的方法是：验证用户是否具有发布权限、数据内容及格式是否正确、所需发布网站是否可用。

5.如权利要求1所述的互联网信息发布方法，其特征在于，所述拆分方法为：将一组需要发布的信息拆分为单条，并与用户在各信息发布平台的账号相关数据对应。

6.一种互联网信息发布系统，包括WEB服务器、数据库服务器、文件服务器和多个信息发布服务器，所述WEB服务器、数据库服务器和文件服务器通信连接，其特征在于，

7.如权利要求6所述的互联网信息发布系统，其特征在于，所述数据发布接口程序查询当前发布进程池是否有空闲，将当前进程插入等待队列循环等待或将当前进程插入执行队列后对需要发布的信息进行拆分。

8.如权利要求6所述的互联网信息发布系统，其特征在于，所述数据发布接口程序调用指定发布信息平台对应的发布模版程序进行信息发布。

9.如权利要求6所述的互联网信息发布系统，其特征在于，所述发布模版程序包括基础代码和模板文件，所述基础代码是由PHP5中的CURL扩展实现执行HTTP中网络访问代码；所述模板文件是与各信息发布平台对应的网络操作文件，定义不同信息平台的用户登录、信息发布、更新、修改、删除操作步骤和对应字段。

10.如权利要求9所述的互联网信息发布系统，其特征在于，所述CURL扩展实现封装HTTP协议的GET和POST方法。