CN103473636B - 一种收集、分析和分发网络商业信息的系统数据组件 - Google Patents

Abstract

收集、分析和分发网络商业信息的系统数据组件，所述系统的数据组件：包括信息收集模块、信息处理模块、信息交换模块、信息分发模块及其相应的程序服务模块；自动化、构建和管理收集、分析和分发网络商业信息的关键业务流程，将系统数据组件统一部署在提供商业信息的服务平台上，系统数据组件根据商业信息的实际应用需求，通过网络汇聚、挖掘和提供所需商业信息数据，系统服务模式的商业信息资源是应用对象，在系统数据组件应用模式下，按业务逻辑组合到若干业务类内的程序服务模块，业务类的特性组成属性，接口是业务类的抽象及实现对象，业务类继承父类中的方法。

Description

一种收集、分析和分发网络商业信息的系统数据组件

技术领域

本发明涉及利用信息通信与数据处理技术，实现对分布于互联网的不同结构、海量的商业信息进行实时收集、处理、交换和分发的系统，特别是针对国际跨境贸易碎片化商业信息进行处理的系统数据组件。

背景技术

商业信息的系统通过实时收集国际贸易业务流程中各个环节的碎片化商业信息，包括国际贸易交易数据、实时物流信息、国际贸易参与者发布内容等信息数据，进行实时的归类分析，并通过提供系统数据组件：以支持多种不同形式的终端服务方式，即时收集、分析和分发国际贸易中有效的商业信息。

本发明主要用于国际跨境贸易参与者实时了解国际贸易市场动态，参与网络交易及信息交互，及时纠正或修正在国际贸易交易过程中的偏差。特别是：本发明能够将国际贸易中碎片化的商业信息进行及时有效的收集和汇总，并通过数据挖掘分析，将用户从大数据流中获取有效商业数据的纷繁复杂业务流程中解放出来，并及时作出正确的商业贸易判断和决策，并有效的推动商业信息收集、分析和分发技术的发展与创新。

“信息碎片化”、“垃圾内容多”已成为网络商业信息传播与应用中被诟病最多的缺陷。基于网络的商业信息、特别是国际跨境贸易信息的数据量非常大，而其中真正有价值的商业信息却不多。同时海量分散的网络信息来源也不是都与商业应用有关联，这就要求通过数据处理技术的使用对大量的商业信息数据流进行深层分析，以获得有利于商业贸易判断与决策的信息，数据实时收集处理就成为巨大的技术挑战。商业网络不缺乏信息，缺的是从海量商业信息中，将有价值的内容提炼并展现至用户面前的功能和机制。

商业竞争是知识生产率而不是劳动生产率的竞争，商业数据分析产生的价值可能比较碎片化，分布在商业贸易流程的各个环节，其实网络碎片化商业数据的综合应用问题：一是要在以前没有收集商业数据的网络节点收集商业数据，这主要是利用信息通信的技术；二是要让不同系统的数据有效对接起来，这是系统整合的任务；最后，还要利用数据可视化的技术把海量商业数据中隐藏的有效的商业信息揭示、展现出来，也就是说，数据的收集、整合、分析、展现才是网络商业信息传播与应用的核心，要解决用户对网络商业信息的收集、分析和分发需求，提供有效的服务，就必须围绕价值信息与关系链进行分组，将数据内容和用户需求进行高关联度重组，依托后台数据与语义分析的强大功能，将网络碎片化的商业信息与商业贸易信息需求做即时匹配，直接指向商业贸易关联事件的时间轴发展页面，以全面提升用户体验。

由于商业信息零散分散在互联网的各个不同节点、不同系统，统一的商业贸易业务不同环节产生的商业信息也零碎的保存在不同地方，因此收集、分析和分发网络商业信息，就需要将各零散的网络商业数据以数据交换的方式整合汇总到一起，使其原来零散信息根据业务进行集成。整合后的商业数据便可以根据需要进行数据分析和挖掘，这样也才能真正发挥出商业数据的价值。零碎的数据只对本系统和局部有意义，数据整合和数据交换就是必经的环节。现在已有这方面的技术产品和数据集成方面的公司，专门从事信息方面的处理。数据集成是信息化发展必经的一个过程。

现有提供收集、分析和分发网络商业信息的服务系统：大多采用基于LAMP（Linux-Apache-MySQL-PHP/Perl/Python）的架构，该架构包括：Linux操作系统，Apache服务器，MySQL数据库，Perl、PHP或者Python脚本语言，所有组成产品均是开源软件，是国际上成熟的架构，很多流行的互联网商业应用都是采取这个架构。和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、快速开发等特点，其形成原因如下：

1）选择了高性能OS

首先，不难理解，任何一个server最底层的支撑还是OS，而OS的选择，主要包括Unix,Windows server,Linux,BSD等等。其中，开源的OS，有Linux,BSD及部分unix。从目前使用情况来看，linux还是网站首选OS之一。

2）选择了高性能web server

Apache是LAMP架构最核心的web server，开源，模块丰富，功能强大，稳定是它的绝对优势。

3）选择了高性能database

数据库是任何网站走动态化内容展现及业务数据存储的保障。市面上的开源数据库主要有mysql,postgresql,berkeley db,sqlite等。其中，对比如下：

mysql：多线程，多处理器，高性能，5.0以上支持事务，丰富数据类型和sql语法，跨平台。postgresql：面向对象，集成web，支持事务，使用进程，速度略慢于mysql。

berkeley db：嵌入式，数据操作通过接口完成，跨语言。

sqlite：与php集成，支持ACID特性，支持大并发量，库锁。

从上面的对比中，不难看出，mysql应该是性能，稳定性与功能性的综合之选。

4）选择了高性能script language php,python,perl从性能角度都是比较卓越的。

以上基于LAMP架构的网络商业信息收集、分析和分发服务系统缺点非常明显，主要是维护成本高，安全性低，稳定性低，尤其是后两者，非常不适合商业化的大型数据服务应用。具体分析如下：

a)维护：由于LAMP是用开源的php语言作为主要开发语言，由此衍生的一系列框架虽然总类繁多，但都缺乏一个强有力的维护团队对框架进行持久而有效的改进，更谈不上技术支持，所以一旦发生问题就会束手无策，对整个项目的持续性开发都会造成影响。

b)安全：LAMP使用的三个主体技术都是独立的，不是由一个技术组织或者公司主导，所以三者之间的衔接和对单个独体的漏洞修补都是需要同等3倍的时间和费用，这在强调安全性的数据分发系统上是不能容忍的。c)稳定性：在大规模的部署情况下，LAMP架构由于过分的强调扩展性，所以往往不能采用统一的，可控的技术来进行部署，一般情况下都需要对部署服务器采用微调，而且一旦出现问题将没有一个统一而有效的手段来第一时间解决问题，这也是大数据情况下需要优先考虑的。

发明内容

本发明的目的是，本发明针对现有网络商业信息收集、分析和分发服务系统所存在的缺点，放弃了前期开发成本低的LAMP常规开发技术方案，提出一种收集、分析和分发网络商业信息的系统数据组件，采用基于Microsoft的企业网站开发架构（.net+mssql+mvc）作为主体技术，并在前端部署中加入了商业化负载均衡（nginx+linux），和在后台数据处理融入了（solr+hadoop+zookeeper）的搜索引擎技术，并对整个数据中心引入了oracle的集中管理方式，通过部署系统数据组件，使整体系统的收集、分析和分发网络商业信息的稳定性和安全性达到了较高的水平，同时整个平台的开发成本也大为降低，相比LAMP大约只多花费了20%。本发明还提供数据的收集和访问规则和路由规则，将/分析规则直接内嵌入系统；引入数据库分布集群（Group）的概念，保证数据的高可用性；引入集群节点可用性探测机制，以保证收集、分析和分发策略的正确实施，以确保系统的高度稳定性。

本发明针对网络商业数据应用的复杂信息环境，提供一种碎片化商业信息收集、处理、交换、分发的可能，通过部署系统数据组件：用户可以订购不同的商业信息服务，追踪国际贸易业务流程中不同环节的信息传递，是一种融合了分布式信息收集、云计算、复杂数据处理、计算机软硬件和移动智能设备等技术先进信息处理系统。

本发明技术方案是，收集、分析和分发网络商业信息的系统数据组件，所述系统数据组件：主要包括信息收集模块、信息处理模块、信息交换模块、信息分发模块及其相应的程序服务模块；以灵活而动态的方法来自动化、构建和管理收集、分析和分发网络商业信息的关键业务流程，将系统数据组件统一部署在提供商业信息的服务平台上，系统数据组件根据商业信息的实际应用需求，通过网络汇聚、挖掘和提供所需商业信息数据，系统服务模式的商业信息资源是应用对象，在系统数据组件应用模式下，这些资源属于不同的网络节点，节点系统之间的商业数据彼此物理或者逻辑上独立；对商业信息资源应用操作称为方法，方法按业务逻辑组合到若干业务类内的程序服务模块，业务类的特性组成属性，接口是业务类的抽象及实现对象，业务类继承父类中的方法；同时，业务类之间存在相互的关系和约束，以上各个元素的有序集合组成了复杂而庞大的基于收集、分析和分发网络商业信息的系统数据组件部署的网络商业信息收集、分析和分发的程序服务模块构成的服务平台（应用系统）。操作由签名和操作内容组成。

采用基于中间件的业务集成方法，用中间件实现网络商业信息应用业务流程集成，基于数据组件部署模式的系统集成方法采用分层模块架构，包括：负载层、逻辑层、数据搜索层和数据中心层，业务流程定制了消息格式，可按照功能实现方法实现网络商业信息收集、分析和分发控制规则链的业务集成；

模块-1：负载层，完成负载均衡，控制流量，防止DDOS攻击；采用开源的nginx技术，架构在linux上，根据需要可以零成本的部署到多台负载机器上，以分层的结构再次负载；

模块-2：前端展示层，也叫逻辑层；主要完成与数据中心数据存取，与搜索层结果交互，与负载层数据交换；

模块3：数据搜索层，该层主要解决数据处理和归类需求，是整个系统的核心部分。具体来说就把原始数据根据展示层需求进行分级，整理和重组，以一个开源文本的形式（xml/json）返回给展示层，同时在满足业务逻辑的基础上要求以ms级别的处理时间来满足需求，并且吞吐量被设计为满足并发1w/s；于以上需求这里采用了solr技术来处理，并且在这基础上增加了满足并发的hadoop的并行处理基础，用zookeeper来统一管理；

模块4：数据中心层，数据中心采用成熟的ORACLE技术，由数据中心分发到各个前端展示层的mssql轻量级数据库中，以方便前端部署和减轻开发成本。

进一步，上述模块通过子类化方式进行功能扩展，适用于大规模碎片化商业信息的收集、处理、交换、分发特性、具有可重用的商业信息应用管理控制框架。

本发明收集、分析和分发网络商业信息的系统数据组件（图1），借助面向对象的设计思想，提供灵活的管理权限，维护角色的方法，减轻了因角色操作的变动而对系统数据组件部署产生的影响，通过子类化方式进行功能扩展，适用于大规模碎片化商业信息的收集、处理、交换、分发特性、具有可重用的商业信息应用管理控制框架。

本发明一种收集、分析和分发网络商业信息的系统数据组件，将商业信息的收集、处理、交换、分发的资源、规则、应用、控制等在框架内实现，作为独立的中间件，在服务器系统需要商业数据应用控制时，通过配置搭建商业信息资源的系统控制管理环境将该中间件外挂在服务平台（应用系统）上，而应用系统移除管理控制时，中间件脱离应用系统，不影响应用系统继续运行；一个中间件可以同时支持并控制多个服务平台即应用系统，而无需提供多份拷贝.根据以上设计思想，给出该中间件——系统数据组件的定义：在尽可能少的改变基于商业信息服务模式的应用系统的前提条件下，可以按需求随时将中间件部署／分离应用系统，并可同时对多个系统／系统下的多个收集、处理、交换、分发商业信息应用进行管理控制的系统组件。

本发明一种收集、分析和分发网络商业信息的系统数据组件，其软件架构采用自定义属性、类型及反射等技术，通过中间件对系统不同收集、处理、交换、分发商业信息应用的数据汇聚、挖掘和信息服务等资源生成、访问方式，以及资源树访问接口的定义，给出一套简洁、实用的系统架构方案。

本发明一种收集、分析和分发网络商业信息的系统数据组件，采用中间件方式来完成对应用系统的挂接，在运行时将截获系统方法的调用，根据信息服务模式的商业数据资源，对商业信息资源的应用进行控制管理，数据组件包括三个基本功能：信息调用(收集)、信息整理(分析)和信息被调用(分发)。对于调用(用户)，首先判断属于哪个节点，然后在获取在网络中的角色；而对于被调用，首先要获取系统信息，然后根据系统信息，得到具体的类、方法、接口等信息.分析介于调用和被调用之间，通过截获两者间的消息来完成数据挖掘。

本发明一种收集、分析和分发网络商业信息的系统数据组件，定义为可嵌入的、可扩展的中间件，系统功能服务通过维护资源访问列表、应用程序Session、数据库访问Session等进行数据管理控制，并建立严格的商业信息数据组织、组、用户树和维护机制。系统数据组件的中间件接口能够快速的开发给应用系统、利用其提供的快速部署工具能够快速的部署到基于网络分布模式的服务器、利用其提供的管理控制功能进行必要的测试后就可以开通多个商业信息服务功能，并提供网络信息的大规模收集、分析和分发服务。

同时由于本发明所述系统的数据组件技术框架有效的解决了收集、分析和分发网络商业信息的安全性和稳定问题，所以整个基于碎片化商业数据应用的服务系统才能行之有效的搭建，并且可降低后期维护成本，对于大规模部署碎片化商业信息收集、处理、交换、分发的和网络商业信息传播中的突发事件都有了低成本的应对策略，更重要的是由于整套技术有了统一的规划和支持，使得系统数据组件模块化的开发和第三方API的介入和分发成为了可能。

本发明一种收集、分析和分发网络商业信息的系统数据组件：适用于网络商业数据的汇聚、挖掘和信息服务等应用，可将其部署在支持商业信息应用的网络分布式环境下，通过定义服务平台系统的角色、权限、用户以及不同商业贸易业务信息系统之间角色、用户的相互关联等，实现统一的网络商业数据管理策略，同时实现网络商业信息资源查询以及BPO各业务信息系统之间的安全互访和权限的查询；通过将设置好的收集、分析和分发网络商业信息的控制策略，通过系统数据组件：部署在同一台服务器或互联网中不同服务器上实现，可为系统服务提供网络商业数据应用的管理控制，实现跨域操作的商业信息服务模型。

本发明一种收集、分析和分发网络商业信息的系统数据组件：由于技术框架成功而有效的解决了系统应用的安全性和稳定问题，所以整个基于商业数据服务系统才能行之有效的搭建，并且后期维护成本降低，对于大规模的部署和突发事件都有了低成本的应对策略，更重要的是由于整套技术有了统一的规划和支持才使得模块化的开发和第三方API的介入和分发成为了可能。

随着网络信息应用的广泛普及，"碎片"（Shard）化的海量数据的收集/分析和访问成为了信息系统设计的瓶颈问题。难点在于信息碎片化分布后，数据迁移路由规则的制定和选择以及后期的扩展性，比如：如何做到用最少的数据迁移量，达到扩充数据库容量（增加机器节点）的目的。核心问题是如何围绕数据库分库分表的路由规则和负载均衡策略展开。在具体技术细节之上的抽象处理，是水平扩展(Scale Out，亦或横向扩展、向外扩展)的完整数据层解决方案，其主要目的是为突破单节点数据库服务器的I/O能力限制，解决数据库扩展性问题。

收集、分析和分发网络商业信息的方法和系统拟提供功能如下：

（1）提供数据的收集和访问规则和路由规则，将分析规则直接内嵌入系统；

（2）引入数据库网络分布集群（Group）的概念，保证数据的高可用性；

（3）引入集群节点可用性探测机制，以保证收集、分析和分发策略的正确实施，以确保系统的高度稳定性；

（4）引入集群的数据库分发负载均衡策略；

（5）引入可用性的数据推送机制，提高客户端的数据访问查询速度；

采用集群的数据库网络分布方案，也就是说有N台机器（服务器）通过网络集群组成了一个完整的DB；通过一系列的收集规则将数据水平分布到不同的DB或table中，在通过相应的DB路由或者table路由规则找到需要查询分析的具体的DB或者table，以进行数据分发操作。

数据收集是物理上的，对网络分布数据通过一系列的收集规则将数据分布到不同的DB服务器上，并通过一系列对数据的分析规则，将数据分布到一个数据库的不同表中，比如将数据信息划分为若干子表，若干个子表水平拼合有组成了逻辑上一个完整的数据信息索引表，建立一个DB，这个DB单独保存user_id到DB的映射关系，每次访问数据库的时候都要先查询一次这个数据库，以得到具体的DB信息，数据分析可以通过规则路由访问特定的数据库，访问面对的就不是单台服务器了，而是N台服务器，这样就可以降低单台机器的负载压力，并可以充分利用多台机器各种处理能力，同时可以避免单点失败，提供系统的可用性，进行很好的错误隔离。

设计中：系统的整个数据层多个分布数据库集群组成了一个包含完整数据的DB。每一个数据库包括1个DB信息列表和N个"碎片"（Shard）化的数据。数据收集/分析和访问的过程如下：请求数据层，并传递必要的分库区分字段（通常情况下是user_id）；数据层根据区分字段Route到具体的DB，在这个确定的DB内进行数据的收集、分析操作，而数据层客户端，不定时对集群中各个数据库进行可用性的尝试，实现原理就是尝试性链接，或者数据库端口的尝试性访问，也通过负载均衡实现集群的数据库负载分发策略，提供可用性的数据推送机制。数据分发的推送机制可将数据库的当前状态通过程序的方式推送到客户端，也就是分布式数据层的应用端，这个时候通过主动的监听机制更新一个本地的DB状态的列表。并告知LB（负载均衡LoadBalance），这个数据库节点是否可用，是否需要分配负载。

本发明有益效果是，与现有技术的同时分析和比较如下：

总的来说本发明提出搭建的是一个安全可靠的、可大规模部署的收集、分析和分发网络商业信息的系统数据组件，现有技术不能满足商业数据应用在安全性和大规模上的需求，因为有了统一的系统开发框架，高度适配的底层系统，唯一的入口以及分层的数据输入，才有了高度的安全性。同时因为有了底层的执行速度，高度智能的搜索结果，集群的系统数据组件部署基础，才会形成可靠的商业信息服务系统。

附图说明

图1本发明收集、分析和分发网络商业信息的系统数据组件的功能示意图。

图2收集、分析和分发网络商业信息的系统数据组件软件构成示意图。

图3收集、分析和分发网络商业信息的系统数据组件软件架构图。

图4收集、分析和分发网络商业信息的系统数据组件应用示意图。

图5为图2中模块-1：负载层示意图。

图6为图2中模块-2：前端展示层，也叫逻辑层模块的功能结构示意图。

图7为图2中模块3：数据搜索层分解结构示意图。

图8为图2中模块4：数据中心层逻辑分级示意图。

图9是碎片化信息数据的收集分析分发模型。

具体实施方式

本发明一种收集、分析和分发网络商业信息的系统数据组件可以做到:支持网络商业信息的收集、分析和分发策略，提供独立的、可重构的系统平台信息服务;网络商业数据管理策略与信息服务业务的解耦合——实现更清晰的平台与服务系统控制架构;提供网络商业数据应用的所有管理控制被集中、规范化——实现系统服务模式的统一，减少安全漏洞;系统数据组件适用于分布式多域网络应用环境——跨平台、web服务器和主流数据库。

网络商业信息收集、分析和分发的系统数据组件：包括用户管理、角色管理、权限管理和多域管理等功能模块，其商业信息数据可以采用手动或自动方式获取，对于少量信息的获取，可以采用手工输入的方式，对于大批量的用户信息获取则应采用自动方式。批量信息导入采用预先定义的接口，从事先选定好的商业信息最全的应用系统中中导入信息数据。

根据预先定义好的商业数据访问接口，可以实现商业信息关键字段的自动匹配，商业信息自动分类，信息来源匹配，分发权限自动分配等功能，方便对信息来源的授权和信息应用操作权限的授权。

信息导入流程：

(1)、针对业务流程，选择信息资源系统或信息全面的信息应用系统作为信息导入源

(2)、按照事先定义的Web接口，向系统数据组件导入信息

(3)、基于系统数据组件，根据事先定义好的字段设置，将商业信息完整的建立起来，管理员可在此基础上对信息应用进行分组或自动分组，便于进行分发授权。

网络商业信息收集、分析和分发的系统数据组件，具有高度可扩展性，提供了智能装载、卸载、组件自动匹配等高级能力，并提供了API，使得能够快速和高效的应用开发。系统数据组件能够直接部署，对网络商业信息收集、分析和分发系统提供了健壮性、安全性和灵活性支持。

本发明功能描述：贸易参与人在贸易前的有各类的信息需求，其中包括对于目标采购商、供应商的寻找、评估、联系方式搜索、自身产品的发布、推广、同行业内人脉累计等不同信息服务要求，本发明就是针对以上商业信息服务需求，逐一满足了用户对于各类信息的需求，并根据用户的实际情况，以碎片化的形式进行商业数据的收集、分析，并按需提供商业信息服务，降低了商业用户、特别是国际贸易商业用户快速获得各类有效商业信息的门槛。

本发明的收集、分析和分发网络商业信息的系统数据组件：采用基于中间件的业务集成方法，用中间件实现网络商业信息应用业务流程集成，具有高效率、高可重用性、适合平台服务等优点。

基于数据组件部署模式的系统集成方法采用分层模块架构，包括：负载层、逻辑层、数据搜索层和数据中心层，业务流程定制了消息格式，可按照功能实现方法实现网络商业信息收集、分析和分发控制规则链的业务集成。整套组件主要由4部分组成，结构图如图5－8：

模块-1：负载层。主要完成负载均衡，控制流量，防止DDOS攻击。采用的是开源的nginx技术，架构在linux上，根据需要可以零成本的部署到多台负载机器上，以分层的结构再次负载，示例如图5。

模块-2：前端展示层，也叫逻辑层。主要完成与数据中心数据存取，与搜索层结果交互，与负载层数据交换，由于这里的开发是使用mvc，所以数据/逻辑是独立的，更换任何一个数据来源或者逻辑展示都不会影响其他功能，而且各个功能之间是模块化的，新增加功能或者删减功能都是独立的。通过快速的复制部署可以以相对较低的成本获得成倍的性能增长，而且多台部署服务器是以高度容错的模式工作的，也就是一台服务的功能损失更本不会对整体造成影响，这对大规模数据分发非常重要。该模块的功能结构可以分解如图6。

模块3：数据搜索层。该层主要解决数据处理和归类需求，是整个系统的核心部分。具体来说就把原始数据根据展示层需求进行分级，整理和重组，以一个开源文本的形式（xml/json）返回给展示层，同时在满足业务逻辑的基础上要求以ms级别的处理时间来满足需求，并且吞吐量被设计为满足并发1w/s。基于以上需求这里采用了solr技术来处理，并且在这基础上增加了满足并发的hadoop的并行处理基础，用zookeeper来统一管理。分解结构如图7。

模块4：数据中心层。数据中心采用成熟的ORACLE技术，对商业应用有着良好的支持和扩展性，最重要的是有着业界第一的稳定性，单位一的缺点是太重量级了，使用不友好，所以在整个技术框架中数据的实际使用是会由数据中心分发到各个前端展示层的mssql轻量级数据库中，以方便前端部署和减轻开发成本，但又不影响数据的统一性和正确性。该逻辑可以分级成图8的表示。

上述模块通过子类化方式进行功能扩展，适用于大规模碎片化商业信息的收集、处理、交换、分发特性、具有可重用的商业信息应用管理控制框架的流程：其每个管理控制由一张或多张表加一个默认目标组成，其中BEGIN表是系统内建表，所有控制从BEGIN开始。每张表可以定义若干条“链”，在一张表中控制按顺序从上到下对规则链进行匹配。数据业务应用的规则链通过系统数据组件的主要功能模块组合：由一个目标和任意个匹配模块和标记模块组成。

在表中，可以按业务应用需要随意添加、删除、编辑或反转规则链。

在“请求业务应用”内有一个系统表：“BEGIN表”

在“回应业务应用”内有两个系统表“BEGIN表”和“POSTMAP表”

“POSTMAP表”完成url到物理文件的映射。使用“POSTMAP表”，需要自行创建。

如果发现业务应用的请求匹配了一个规则链中的匹配模块，则进入标记模块对请求做简单的处理，之后就按该条规则链指定的目标处理。

如果目标是继续，则还要进行下一条规则链处理，否则就返回控制，按控制“目标”进行处理。

如果目标是“继续”，则还要进行下一条规则链的处理。

如果目标是“默认”，则控制按默认目标处理（默认目标有：拒绝、回写数据、服务器、虚拟主机等）。

如果目标是“拒绝”，则将对用户的请求拒绝并发送错误信息给用户，之后中断连接。

本发明利用的"Shard"分片软件方法。利用MySQL5数据表分区功能，利用"Shard"在单一数据库上处理应用数据捉襟见肘而需要进行分区化之类的处理，Shard不是一个某个特定数据库软件附属的功能，而是在具体技术细节之上的抽象处理，是水平扩展(ScaleOut，亦或横向扩展、向外扩展)的解决方案，其主要目的是为突破单节点数据库服务器的I/O能力限制，解决数据库扩展性问题。

本发明主要保护一种收集、分析和分发网络商业信息的系统数据组件，本发明主要侧重对于系统在网络信息大规模应用安全性以及稳定性上的问题解决，也是需要保护的重点。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (1)

1.收集、分析和分发网络商业信息的系统数据组件，其特征是所述系统的数据组件：包括信息收集模块、信息处理模块、信息交换模块、信息分发模块及其相应的程序；自动化、构建和管理收集、分析和分发网络商业信息的关键业务流程，将系统数据组件统一部署在提供商业信息的服务平台上，系统数据组件根据商业信息的实际应用需求，通过网络汇聚、挖掘和提供所需商业信息数据，系统服务模式的商业信息资源是应用对象，在系统数据组件应用模式下，这些资源属于不同的网络节点，节点系统之间的商业数据彼此物理或者逻辑上独立；对商业信息资源应用操作称为方法，方法按业务逻辑组合到若干业务类内的程序服务模块，业务类的特性组成属性，接口是业务类的抽象及实现对象，业务类通过继承父类中的方法；同时，业务类之间存在相互的关系和约束，以上各个模块及相应的程序的有序集合组成了基于收集、分析和分发网络商业信息的系统数据组件部署的网络商业信息收集、分析和分发的程序服务模块构成的服务平台；操作由签名和操作内容组成；

所述系统的数据组件采用基于中间件的业务集成方法，用中间件实现网络商业信息应用业务流程集成，基于数据组件部署模式的系统集成方法采用分层模块架构，分层模块包括模块1-4：分别为负载层、逻辑层、数据搜索层和数据中心层，业务流程定制了消息格式，按照功能实现方法实现网络商业信息收集、分析和分发控制规则链的业务集成；

模块1：负载层， 完成负载均衡，控制流量，防止DDOS攻击；采用开源的nginx技术，架构在linux上，根据需要能够零成本的部署到多台负载机器上，以分层的结构再次负载；

模块2：前端展示层，也叫逻辑层；完成与数据中心数据存取，与搜索层结果交互，与负载层数据交换；

模块3：数据搜索层，该层解决数据处理和归类需求，是整个系统的核心部分：具体来说就把原始数据根据展示层需求进行分级，整理和重组，以一个开源文本的形式xml/json返回给展示层，同时在满足业务逻辑的基础上要求以ms级别的处理时间来满足需求，并且吞吐量被设计为满足并发1w/s；采用solr技术来处理，并且在此基础上增加满足并发的hadoop的并行处理基础，用zookeeper来统一管理；

模块4：数据中心层，数据中心采用成熟的ORACLE技术，由数据中心分发到各个前端展示层的mssql轻量级数据库中；

所述系统数据组件，将商业信息的收集、处理、交换、分发的资源、规则、应用、控制在框架内实现，作为独立的中间件，在服务器系统需要商业数据应用控制时，通过配置搭建商业信息资源的系统控制管理环境将该中间件外挂在服务平台即应用系统上，而应用系统移除管理控制时，中间件脱离应用系统，不影响应用系统继续运行；一个中间件同时支持并控制多个服务平台即应用系统；

架构采用自定义属性、类型及反射技术，通过中间件对系统不同收集、处理、交换、分发商业信息应用的数据汇聚、挖掘和信息服务资源生成、访问；

采用中间件方式来完成对应用系统的挂接，在运行时将截获系统方法的调用，根据信息服务模式的商业数据资源，对商业信息资源的应用进行控制管理，数据组件包括三个功能：信息调用收集、信息整理分析和信息被调用分发；

对于调用用户，首先判断属于哪个节点，然后在获取在网络中的角色；而对于被调用，首先要获取系统信息，然后根据系统信息，得到具体的类、方法、接口信息；分析介于调用和被调用之间，通过截获两者间的消息来完成数据挖掘；

所述系统数据组件，定义为可嵌入的、可扩展的中间件，系统功能服务通过维护资源访问列表、应用程序Session、数据库访问Session进行数据管理控制，并建立严格的商业信息数据组织、组、用户树和维护机制；

通过将设置好的收集、分析和分发网络商业信息的控制策略，通过系统数据组件：部署在同一台服务器或互联网中不同服务器上实现，为系统服务提供网络商业数据应用的管理控制，实现跨域操作的商业信息服务模型；

每一个数据库包括1个DB信息列表和 N个碎片Shard化的数据；数据收集/分析和访问的过程如下：请求数据层，并传递必要的分库区分字段user_id；数据层根据区分字段Route到具体的DB，在这个确定的DB内进行数据的收集、分析操作，而数据层客户端，不定时对集群中各个数据库进行可用性的尝试性链接，或者数据库端口的尝试性访问，也通过负载均衡实现集群的数据库负载分发策略，提供可用性的数据推送机制；数据分发的推送机制可将数据库的当前状态通过程序的方式推送到客户端，也就是分布式数据层的应用端，这个时候通过主动的监听机制更新一个本地的DB状态的列表；并告知负载均衡LoadBalance 即LB，这个数据库节点是否可用，是否需要分配负载。