CN101551898B

CN101551898B - 基于分布式的图像处理方法和图像处理系统

Info

Publication number: CN101551898B
Application number: CN2009100837104A
Authority: CN
Inventors: 马轶
Original assignee: Beijing Ruian Technology Co Ltd
Current assignee: Beijing Ruian Technology Co Ltd
Priority date: 2009-05-08
Filing date: 2009-05-08
Publication date: 2012-12-26
Anticipated expiration: 2029-05-08
Also published as: EP2431939A1; WO2010127475A1; US20120042052A1; CN101551898A

Abstract

本发明公开了一种基于分布式的大流量图像处理方法和图像处理系统，属于计算机图像处理领域。本发明的图像处理系统分为三层结构，从上而下为文件服务器、流量转发服务器和图像处理服务器，各服务器间通过以太网连接硬件，并通过tcpIP协议的socket接口进行连接。在处理更大的图像数据时，可以使用多个流量转发服务器针对一个或几个文件服务器分别进行文件处理，增加图像分析服务器和流量转发服务器来增大处理能力，并增加一台用于实现图像数据获取、格式化、传输和分发的高层流量转发服务器。本发明应用与大流量的图像分布式处理，提高计算能力及处理能力；可以最大化的使用计算机及网络资源，高效快速的完成复杂的图像处理。

Description

基于分布式的图像处理方法和图像处理系统

技术领域

本发明属于计算机图像处理领域，具体涉及到基于分布式的大流量图像处理方法和图像处理系统。

背景技术

目前已经面世的多种图像应用主要有，照相机中的人脸识别，高速公路中的车牌识别，门禁系统中的处理系统，指纹考勤机等多种设备。现有技术中实现图像处理的系统都是单机版本，即单台电脑负责数据采集，数据处理。也是由于这些应用本身需要处理的数据量小，因此可以在一台电脑上，或者是单片机上就可以实现。

但是对于更加庞大数据量的应用需求，单机的解决方案就难以支撑，因为单台电脑的处理能力总是有限的。因此本发明提出一种基于分布式的大数据量图像处理解决结构，可以通过增加处理网络带宽，增加图像处理设备的数量，快速高效的解决数据量增大的问题。

发明内容

针对上述问题，本发明提出一种基于分布式的图像处理方法和一种基于分布式的图像处理系统，采用分布式信息分析，集中处理分析结果的系统架构，能够在短时间内处理大流量数据，得出图像分布式处理结果。

为实现上述目的，如图1所示，本发明的基于分布式的图像处理方法，包括步骤：

1)文件服务器生成图像数据，生成的同时对每一个图像赋予唯一ID；利用网络通信协议或windows默认共享协议，将数据进行传输到下一层流量转发服务器；通过反馈的各个流量转发服务器的状态信息进行分析，选取待处理队列最短的服务器进行发送，如果都很短就可以发送到按顺序发到队列最短的第一个服务器。

2)流量转发服务器接到文件服务器发送的数据后，保存图像的ID，同时记录并保存数据状态信息或数据丢失后的重发(如：可以规定重发两次都处理失败则认为处理失败)。流量转发服务器按照接口及使用接口相关协议，传输图像数据到下一层图像分析服务器。流量转发服务器记录并保存的数据状态信息包括接收图像数据的时间，从哪个文件服务器获得，发到哪个图像分析服务器，第几次发送，以便获得结果后的反馈。

3)图像分析服务器接到流量转发服务器发送的数据后，进行数据处理，分析出各项图像算法所定义的内容。按照接口与协议的要求将处理结果信息反馈回图像分析服务器。

4)流量转发服务器接收图像分析服务器的分析结果，对保存的发送状态信息查询图像数据ID反馈给相应的文件服务器。

5)文件服务器接收到流量转发服务器的结果后，将结果进行存储，或进行界面展示。

进一步，在文件服务器和图像分析服务器中记录保存图像状态信息，各个服务器会定期收集图像状态信息，并把状态信息汇总到上一层的服务器中去。文件服务器同时记录并保存数据状态信息或数据丢失后的重发(如：可以规定重发两次都处理失败则认为处理失败)。文件服务器记录并保存的数据状态信息包括图像数据传输的时间、图像ID，第几次发送和被分配到哪个服务器；并在收到图像处理结果后，对保存的发送状态信息查询图像数据ID，存储分析结果。

进一步，在上述步骤2)中，若数据量比较大，则会将图像数据转发到下一级流量转发服务器，由下一级流量转发服务器将图像数据转发到图像分析服务器上，通过分析各个图像分析服务器反馈的状态信息，选取待处理队列最短的服务器进行转发。

本发明提出的基于分布式的图像处理系统，从高到低逐层为文件服务器、流量转发服务器和图像分析服务器，所述文件服务器与流量转发服务器之间，及流量转发服务器与图像分析服务器之间通过以太网和tcpIP协议的socket接口连接；所述文件服务器用于生成图像数据；所述流量转发服务器用于分发图像数据到图像分析服务器；并将图像分析服务器的分析结果返回给文件服务器；所述图像分析服务器用于分析图像数据，并反馈给流量转发服务器。

1、系统的逻辑结构：

本发明提出的基于分布式的图像处理系统包括文件服务器、流量转发服务器(包括大规模应用时的高层流转发服务器和底层流转发服务器)和图像分析服务器。系统在逻辑结构上大致分为三层，文件服务器在最高层，负责图像数据的生成与最后分析结果的展现。流量转发服务器为第二层，负责数据的接收、格式化、分发，及分析信息的反馈，运行状态的反馈等任务。图像分析服务器在第三层，负责接收图像数据并且对数据进行分析处理后反馈给流量转发层分析结果。

2、各服务器间接口：

本发明的各服务器之间通过以太网络连接硬件，主要以tcpIP协议的socket接口进行连接，tcpip协议内部再以网络通信协议或windows默认共享协议进行通信。连接以后一直保持通信，并监控连接状态，如果连接断开程序会重复连接。

文件服务器层有两种数据接口方式：

1)文件服务器主动方式：由文件服务器主动发起，当文件服务器产生图像数据时根据网络传输协议或本发明定义的通信协议进行格式化，传送给流量转发服务器；流量转发服务器会把分析结果按照协议规格传送给文件服务器。文件服务器再进行下一步处理。

2)文件服务器被动方式：考虑到文件服务器的广泛性与易用性，本发明的文件服务器中包括windows网络默认共享协议为基础的文件数据处理方式。由流量转发服务器负责发起，首先连接并登录到文件服务器的windows网络共享，然后流量转发服务器根据指定的目录获取文件服务器生成的图像文件。最后流量转发服务器将处理完成的数据以txt或xml的格式写在文件服务器的共享目录中，文件的具体格式可以由使用者根据需求及技术实现程度自行定义。

3、物理结构

在流量不大的情况下可以放在统一个以太网环境。如果数据量需求大，可以给流量转发服务器安装双网卡。分为不同的网段来进行数据传输。

4、大流量扩展

在数据量更大的情况下，本发明给出对流量转发服务器进行分布式拆分与堆叠的图像处理系统。分布式拆分包括水平拆分和垂直拆分：

其中，水平拆分是使用多个流量转发服务器针对一个或几个文件服务器分别进行文件处理，具体可以在文件服务器上指定不同的目录或IP以示区分。

垂直拆分是将流量转发服务器分为高层流量转发服务器和底层流量转发服务器。高层流量转发服务器要求性能比较高，要能完成文件服务器数据获取、格式化、传输和分发。底层的流量转发服务器可以性能较低不需要对数据获取和格式化，但需要完成文件服务器数据文件的传输和分发。增加图像分析服务器和流量转发服务器来增大处理能力，并增加一台用于实现图像数据传输和分发的高层流量转发服务器，所述高层流量转发服务器的网络速度在资源饱和的条件下要求比底层流量转发服务器的传输量大；服务器的数据分发能力相应要高，类似路由器的功能，在电信级的应用中速度已经完全能够满足最大图像处理量的要求。在实际中可以同时使用水平拆分垂直拆分。

如果处理的图像数据更大，则仅需在高层流转发服务器部分进行堆叠就可实现。如图4所示，左侧为一组打数据处理量的服务器。右侧为更加数据量较小时的整合方案。

5、运行过程

文件服务器连接流量转发服务器，流量转发服务器与图像分析服务器连接，所述文件服务器用于生成图像文件，并发给流量转发服务器；所述流量转发服务器中配置图像分析服务器的IP和端口，用于将需要分析的图像文件通过网络协议进行格式化，赋予ID，分发给图像分析服务器；并配置文件服务器的IP，端口和文件目录，用于将图像分析结果返回到文件服务器中；所述图像分析服务器获取流量转发服务器分发的图像数据包，分析图像数据，并将分析结果返回给流量转发服务器，如图3所示。

在文件服务器上生成图像或视频文件，并按照时间顺序存储，对需要分析的图像或视频文件，以windows默认共享方式由流量转发服务器将文件获取，格式化并分发给系统中处于工作状态的图像分析服务器。图像分析服务器开机后就自动启动图像分析程序，并且持续运行，随时等待处理流量转发服务器分发的图像数据，图像分析服务器按照设定的数据接收方式(如可以到文件服务器的固定目录去轮询新文件，如果存在新文件就进行转移并分析)接收到图像数据后，通过图像算法分析接收到的图像文件，识别含有关注信息(随应用不同会有不同的关注方面，如色情信息的过滤等)的图像数据，并将分析结果(如：是否色情图片的判断结果)以分析报告的形式返回给流量转发服务器。流量转发服务器依据接收的分析报告，将分析结果返回给文件服务器上的展现模块进行展现。展现模块的具体内容可由应用领域中的算法及应用进行定义，本发明的数据传输协议完全支持自定义字段扩展，完成图像处理的全过程。

本发明图像处理系统的状态监控功能，通过在流量转发服务器中的设置图像分析服务器IP及端口，为用户提供流量转发服务器和图像分析服务器的监控界面，可以监控本机及本级负责流量转发的服务器的运行状态，包括CPU，内存，硬盘使用量等信息。信息是由下属机器定时按照网络协议要求的格式发送到相应流量转发服务器上的。当层级比较多时，高层的流量转发服务器会收集较多的下层运行状态信息。通过在文件分析服务器中的设置流量转发服务器IP，端口和文件目录，设置了文件服务器生成的图像如何转发到流量转发服务器中，及处理后的信息如何通过流转发服务器发回为文件服务器的展现模块提供分析结果。

本发明中，文件服务器包括文件模块及展现模块，文件模块用于生成图像，并存储图像处理后的结果，展现模块用于展现图像处理后的结果。流量转发服务器包括格式化模块和传输分发模块，所述格式化模块用于将从文件服务器中接收的图像文件格式化为图像分析服务器识别的文件，并将分析结果格式化后返回给流量转发服务器；传输分发模块用于将所述图像文件分发并传输到图像分析服务器中。图像分析服务器用于完成图像数据的分析处理功能。

本发明的格式化模块中将图像文件格式化的方法为：从指定的文件服务器上读取图像文件，对文件后缀名及文件内容按照网络传输协议进行格式化后传输。

本发明中将图像文件分发到图像分析服务器的最优化原则是按照图像分析服务器反馈，等待处理队列长度选择最短队列来安排任务。

进一步，还在各层流量转发服务器中设置运行状态监控模块。各层流量转发服务器为用户提供系统各部分统一的状态监测界面，检测浏览下属系统运行状态的实时信息。

本发明具有如下的优点和积极效果：

1.本发明可最大化的使用计算机及网络资源，高效快速的完成复杂的图像计算。

2.本发明的配置结构灵活方便，适应于大流量的图像分布式处理，并提高到了计算能力及处理能力。

附图说明

图1本系统运行顺序图；

图2本系统状态监控运行顺序图。

图3本系统各服务器间的连接框架图；

图4本系统处理大流量图像数据的示意图；

具体实施方式

为了使本技术领域的人员更好的理解本发明，下面结合附图和具体实施例对本发明作进一步的详细说明。

一、本发明图像处理流程

如图1所示，流量转发服务器主动去文件服务器的某个目录取图像数据，将处理后的结果存放在文件服务器上的指定目录。

下面给出文件服务器被动方式的图像处理方法的详细流程：

1.开启并连接各服务器。

2.在windows默认共享方式下，在流量转发服务器中配置文件服务器的IP、端口和文件目录；流量转发服务器登陆文件服务器，获取读写权限。

3.在流量转发服务器中配置图像分析服务器的IP，端口；与图像分析服务器建立连接。

4.流量转发服务器获取文件服务器上的图像文件，根据网络传输协议将获取的图像文件格式化，对每个图像文件赋予ID，进行打包；并将图像文件包按照图像分析服务器反馈的等待处理队列长度，选择最短队列来安排任务的最优化原则分发给图像分析服务器。

5.图像分析服务器分析收到的图像数据包，并将分析结果打包发回流量转发服务器。

6.流量转发服务器将图像分析结果格式化，并将图像分析结果文件返回到文件服务器的指定目录中，完成图像处理。

二、本发明图像处理系统的结构

如图4所示，本实施例中给出在数据量很大时，本发明的图像处理系统结构，包括多台文件服务器、图像分析服务器和底层流量转发服务器及一台高层流量转发服务器，其中，所述图像分析服务器的数量由目标需要每秒处理的图片张数除以每台图像处理机的每秒处理张数获得。所述底层流量转发服务器的数量由图像分析服务器的数量除以每台流量转发服务器处理的图像分析服务器台数获得，所述底层的流量分析服务器中包括格式化模块和传输分发模块，用于完成图像数据的格式化、传输和分发功能。所述高层流量转发服务器用于实现图像数据的数据进行传输和分发。

文件服务器连接高层流量转发服务器；所述高层流量转发服务器通过路由器连接多台底层流量转发服务器或直接连接图像分析服务器；所述底层流量转发服务器通过路由器连接图像分析服务器。理论上连接高层流量转发服务器和底层流量转发服务器的路由器流量比连接底层流量转发服务器和图像分析服务器的路由器流量大。

本实施例给出，需要处理的图像数据量为每秒1000张，每台图像分析服务器每秒可以处理10张，每台流量转发服务器可以支持10台图像分析服务器的数据格式化及转发任务，则图像处理系统中需要100台图像分析服务器、10台底层流量转发服务器。本实施例中给出连接高层流量转发服务器和底层流量转发服务器的为千兆流量路由器；连接底层流量转发服务器和图像分析服务器的为百兆流量路由器。

图像处理系统中的高层流量转发服务器不需要进行数据的格式化，仅需要对数据进行传输和分发。因此这部分服务器的网络速度在资源饱和的条件下要求比底层流量转发服务器的传输量大。服务器的数据分发能力相应要高，类似路由器的功能，在电信级的应用中速度已经完全能够满足最大图像处理量的要求。

本发明的图像处理系统还在各层流量转发服务器中设置运行状态监控模块。各层流量转发服务器为用户提供系统各部分统一的状态监测界面，可以检测浏览下属系统运行状态的实时信息：包括运行时长，运行状态，处理数据个数，正在处理数据个数，cpu使用率，硬盘使用率，网络使用率等。具体运行流程图4所示。

三、系统通信协议

用于文件传输的网络通信协议都可以实现大批量的图像处理，本发明给出一种能够更快速地完成图像分布式处理通信协议。通信协议中主要的传输数据类型有三种：图像数据、图像分析结果(即分析报告)、系统运行状态数据(即状态报告)，具体的数据传输协议如表1所示：

序号	名称	数据类型	描述
				1	ID	CString	数据的唯一标识
2	Type	integer	数据类型0：图像数据1：分析报告2：状态报告
				3	DataLength	long	数据字段长度
4	ExtensionLong	long	扩展字段
				5	ExtensionString	CString	扩展字段图像数据：图像文件类型分析报告：分析报告内容状态报告：状态报告内容
6	Data	char^*	数据字段图像数据：FILE分析报告：NULL状态报告：NULL

表1数据传输协议

下面具体说明数据传输协议，系统中传输的图像数据均有唯一的标识ID，ID的生成不同服务器以本身的服务器程序类别不同为前缀，以本身不同IP为前缀，本身产生的随机数不同，不同类型的传输数据段内容不同。

0：图像数据ExtensionString字段是图像文件类型数据，格式如下：

DataSource标签：表示图像数据来源文件服务器的IP

Ext标签：表示图像数据的扩展名

可以扩展添加其他标签

标签间不存在嵌套关系

1：分析报告ExtensionString字段是图像分析结果的数据，格式为字符串转字节数组，表示如下：

DataID标签：表示分析报告对应的图像数据的ID

EEL标签、FLG标签、OCR标签均为用户在展现模块中定义的研究及展现内容。

2：状态报告ExtensionString字段是系统运行状态的数据，格式如下：

其中：IP标签：表示本地主机IP地址；

TaskProcessed标签：表示已处理任务数；

TaskProcessing标签：表示待处理任务数；

AppState标签：系统运行状态；

HostState标签：主机运行状态；

NetState标签：网络传输状态；

Time标签：表示系统运行时长，以秒(S)为单位；

CPU标签：表示主机CPU使用率；

RAM标签：表示主机内存使用率；

Disk标签：表示硬盘各分区中最高使用率；

NetFlux标签：表示网络流量，以兆字节每秒(MB/S)为单位；

IBuffer标签：表示系统输入缓冲区的使用率；

OBuffer标签：表示系统输出缓冲区的使用率。

尽管为说明目的公开了本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书最佳实施例和附图所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims

1.一种基于分布式的图像处理方法，包括步骤：

1)文件服务器生成图像数据，每个图像数据设一ID，按照网络通信协议格式化后发给高层流量转发服务器；所述高层流量转发服务器收集各底层流量转发服务器的运行状态信息，并将图像数据分发到各底层流量转发服务器；

2)底层流量转发服务器获取图像数据，记录并保存图像数据状态信息，根据ID将图像数据分发给图像分析服务器；

3)图像分析服务器分析接收到的图像数据，并将分析结果返回给底层流量转发服务器；底层流量转发服务器将分析结果发送给所述高层流量转发服务器；

4)所述高层流量转发服务器接收图像分析服务器的分析结果，查询保存的图像数据状态信息，根据ID将结果反馈给文件服务器；

5)文件服务器接收并存储分析结果，完成图像处理。

2.如权利要求1所述的一种基于分布式的图像处理方法，其特征在于：所述底层流量转发服务器保存的图像数据状态信息包括接收图像数据的时间，发来图像数据的文件服务器，收到图像数据的图像分析服务器和第几次发送图像数据。

3.如权利要求1所述的一种基于分布式的图像处理方法，其特征在于：步骤1)的图像数据包括所属文件服务器的IP、图像数据的扩展名、图像数据是否可扩展。

4.如权利要求1所述的一种基于分布式的图像处理方法，其特征在于：步骤2)中底层流量转发服务器选择图像分析服务器反馈的最短等待处理队列，分发图像数据。

5.一种基于分布式的图像处理系统，从高到低逐层为文件服务器、底层流量转发服务器和图像分析服务器、高层流量转发服务器，所述文件服务器与高层流量转发服务器之间，高层流量转发服务器与底层流量转发服务器之间，及底层流量转发服务器与图像分析服务器之间通过以太网和tcpIP协议的socket接口连接；

所述文件服务器用于生成图像数据；

所述高层流量转发服务器用于监控各底层流量转发器运行状态信息，并分发图像数据到各底层流量转发服务器；

所述底层流量转发服务器用于分发图像数据到图像分析服务器；并将图像分析服务器的分析结果返回给高层流量转发服务器；

所述图像分析服务器用于分析图像数据，并反馈给底层流量转发服务器；

所述高层流量转发服务器将分析结果返回给文件服务器。

6.如权利要求5所述的一种基于分布式的图像处理系统，其特征在于，所述文件服务器包括文件模块和展现模块，其中文件模块用于生成图像数据，并存储图像处理结果，展现模块用于展现流量转发服务器返回给文件服务器的图像处理结果；所述底层流量转发服务器包括格式化模块和传输分发模块，其中格式化模块用于格式化图像数据为图像分析服务器识别的文件；传输分发模块用于分发传输图像数据到图像分析服务器。