CN102510376A - 一种多部件安全隔离并发处理方法 - Google Patents
一种多部件安全隔离并发处理方法 Download PDFInfo
- Publication number
- CN102510376A CN102510376A CN2011103182582A CN201110318258A CN102510376A CN 102510376 A CN102510376 A CN 102510376A CN 2011103182582 A CN2011103182582 A CN 2011103182582A CN 201110318258 A CN201110318258 A CN 201110318258A CN 102510376 A CN102510376 A CN 102510376A
- Authority
- CN
- China
- Prior art keywords
- concurrent
- processing method
- security isolation
- concurrent processing
- isolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及计算机网络信息系统安全隔离与信息交换技术领域，尤其涉及多系统安全互联部件的多部件安全隔离并发处理方法。一种多部件安全隔离并发处理方法，该方法包括：1）支持一个进程打开大数目的socket描述符FD；2）IO效率不随FD数目增加而下降；3）使用mmap加速内核与用户空间的消息传递。本发明带来的有益效果是，当多个组成部件进行大并发数据处理工作时，极大减少系统资源的消耗，减少对并发业务处理的影响，保持数据交换的连续性。
Description
技术领域
本发明涉及计算机网络信息系统安全隔离与信息交换技术领域，尤其涉及多系统安全互联部件的多部件安全隔离并发处理方法。
背景技术
安全隔离与信息交换技术，基本原理是：切断网络之间的通用协议连接；将数据包进行分解或重组为静态数据；对静态数据进行安全审查，包括网络协议检查和代码扫描等；确认后的安全数据流入内部单元；内部用户通过严格的身份认证机制获取所需数据。在现有安全隔离与信息交换技术中，内外网客户端与服务端通过安全互联部件进行数据交换。
安全互联部件为多系统架构，即与外网络连接的外端系统，与内网连接的内端系统，以及处理安全策略和控制信息的仲裁系统。如申请人2011-8-29申请的发明专利申请（申请号为：201110250370.7、201110250372.6、201110250375.X、201110250369.4、201110250349.7）。在多级互联会话的建立与中止过程中，存在大量的并发连接，对于多个互联部件的系统资源消耗提出了非常高的要求。在高并发的情况下，系统进程需要监视的文件描述符FD会非常多，如果采用select/poll技术，每次只能查询一部分描述符，效率较低。
发明内容
本发明的发明目的在于提供并发处理技术，以实现多部件在进行安全隔离与信息交换处理时的高效率稳定交换。
为了实现上述的目的，本发明是通过下述技术方案解决上述技术问题的：
一种多部件安全隔离并发处理方法，该方法包括：
1) 支持一个进程打开大数目的socket描述符(FD)：支持的FD上限是最大可以打开文件的数目，数目只与系统内存有关；
2) IO 效率不随FD数目增加而下降：采用事件触发机制，通过在操作系统内核添加一个自创的文件系统，每一个或者多个要监视的文件描述符都有一个对应的文件系统的inode节点，有数据接收时，触发事件进行自动调用回调函数进行接收处理，大幅提高处理效率；
3) 使用mmap加速内核与用户空间的消息传递：使用内核空间映射技术，把收到的信息直接映射到应用层，无需重复地拷贝参数、不必扫描文件描述符。
本发明的多部件安全隔离并发处理方法的设计思路是：在操作系统内核添加一个自创的文件系统，每一个或者多个要监视的文件描述符都有一个对应的文件系统的inode节点，并在节点中建立事件回调。由于在创建文件描述符时，已经把用户态的信息保存到内核态了，之后等待事件时，不会重复地拷贝参数、不必扫描文件描述符。另外对接收的数据，事先建立了内核与用户空间的映射，避免内存拷贝动作。通过以上技术改进，可以有效提高在高并发环境下的网络通信效率。
本发明带来的有益效果是，当多个组成部件进行大并发数据处理工作时，极大减少系统资源的消耗，减少对并发业务处理的影响，保持数据交换的连续性。
具体实施方式
下面对本发明作进一步详细描述：
一种多部件安全隔离并发处理方法，该方法包括：
1) 支持一个进程打开大数目的socket描述符(FD)
单个进程所能打开的FD在使用select技术时是有一定限制的，一般是1024或2048，这对于那些需要支持上万连接数目的应用服务来说显然不够。有两种方法突破此限制：一是修改内核参数重新编译内核；二是选择多进程编程。第一种方法将使select遍历空间增大从而降低查询效率，第二种方法必然带来创建进程，进程间通信，同步等额外开销，也存在不足。本发明的方法则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，数目只与系统内存有关,在1GB内存的机器上大约是10万左右；
2) IO 效率不随FD数目增加而下降
传统的select/poll必须不断地遍历整个socket集合，查看每一个连接是否有数据需要接收，导致效率呈现线性下降。本发明的方法采用事件触发机制，通过在操作系统内核添加一个自创的文件系统，每一个或者多个要监视的文件描述符都有一个对应的文件系统的inode节点，有数据接收时，触发事件进行自动调用回调函数进行接收处理，大幅提高处理效率；
3) 使用mmap加速内核与 用户空间的消息传递，使用内核空间映射技术，把收到的信息直接映射到应用层，无需重复地拷贝参数、不必扫描文件描述符。
通过内核编程，使用内核空间映射技术，把收到的信息直接映射到应用层，在创建文件描述符时，用户状态的信息已保存，之后等待事件时，无需重复地拷贝参数、不必扫描文件描述符。另外对接收的数据，事先建立了内核与用户空间的映射，避免内存拷贝动作，进一步提高了网络接收的效率。
Claims (2)
1.一种多部件安全隔离并发处理方法，该方法包括：
1）支持一个进程打开大数目的socket描述符FD：支持的FD上限是最大可以打开文件的数目，数目只与系统内存有关；
2）IO 效率不随FD数目增加而下降：采用事件触发机制，通过在操作系统内核添加一个自创的文件系统，每一个或者多个要监视的文件描述符都有一个对应的文件系统的inode节点，有数据接收时，触发事件进行自动调用回调函数进行接收处理，大幅提高处理效率；
3）使用mmap加速内核与用户空间的消息传递：使用内核空间映射技术，把收到的信息直接映射到应用层，无需重复地拷贝参数、不必扫描文件描述符。
2.根据权利要求1所述的一种多部件安全隔离并发处理方法，其特征在于：该方法为多部件安全隔离数据处理提供高效并发支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110318258.2A CN102510376B (zh) | 2011-10-19 | 2011-10-19 | 一种多部件安全隔离并发处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110318258.2A CN102510376B (zh) | 2011-10-19 | 2011-10-19 | 一种多部件安全隔离并发处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102510376A true CN102510376A (zh) | 2012-06-20 |
| CN102510376B CN102510376B (zh) | 2014-04-30 |
Family
ID=46222429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110318258.2A Active CN102510376B (zh) | 2011-10-19 | 2011-10-19 | 一种多部件安全隔离并发处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102510376B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6167430A (en) * | 1998-05-12 | 2000-12-26 | Unisys Corporation | Multicomputer with distributed directory and operating system |
| WO2004042571A2 (en) * | 2002-11-06 | 2004-05-21 | Roberto Della Pasqua | A communication method with reduced response time in a distributed data processing system |
| CN101556608A (zh) * | 2009-02-27 | 2009-10-14 | 浙大网新科技股份有限公司 | 一种基于事件监控机制的文件系统操作拦截方法 |
| CN101873337A (zh) * | 2009-04-22 | 2010-10-27 | 电子科技大学 | 一种基于rt8169千兆网卡和Linux操作系统的零拷贝数据捕获技术 |
| CN101917350A (zh) * | 2010-09-13 | 2010-12-15 | 南京中兴特种软件有限责任公司 | 一种Linux下基于网卡驱动的零拷贝以太网报文捕获及发送的实现方法 |
-
2011
- 2011-10-19 CN CN201110318258.2A patent/CN102510376B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6167430A (en) * | 1998-05-12 | 2000-12-26 | Unisys Corporation | Multicomputer with distributed directory and operating system |
| WO2004042571A2 (en) * | 2002-11-06 | 2004-05-21 | Roberto Della Pasqua | A communication method with reduced response time in a distributed data processing system |
| CN101556608A (zh) * | 2009-02-27 | 2009-10-14 | 浙大网新科技股份有限公司 | 一种基于事件监控机制的文件系统操作拦截方法 |
| CN101873337A (zh) * | 2009-04-22 | 2010-10-27 | 电子科技大学 | 一种基于rt8169千兆网卡和Linux操作系统的零拷贝数据捕获技术 |
| CN101917350A (zh) * | 2010-09-13 | 2010-12-15 | 南京中兴特种软件有限责任公司 | 一种Linux下基于网卡驱动的零拷贝以太网报文捕获及发送的实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102510376B (zh) | 2014-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104125240B (zh) | 一种信息外网、信息内网及内外网数据交互系统和方法 | |
| CN106161480B (zh) | 基于网关资源池的短信平台服务调度方法 | |
| CN103780627A (zh) | NativeAPP、WebAPP与类微信APP信息同步系统 | |
| CN105426326A (zh) | 一种实现高并发的队列存储方法及系统 | |
| US10334084B2 (en) | Communication method and system based on assembled communication protocol stack | |
| CN107947965A (zh) | 服务链编译器 | |
| CN102289469A (zh) | 一种支持通用数据库基于物理隔离设备同步数据的方法 | |
| CN105071994A (zh) | 一种海量数据监控系统 | |
| CN102508834A (zh) | 基于消息的大型事务应用装置和方法 | |
| CN105007308A (zh) | 一种数据库隔离装置环境下的文件传输方法 | |
| CN102243583A (zh) | 一种命令行参数配置的实现方法 | |
| CN101035025A (zh) | 一种网络设备管理的方法和系统 | |
| CN105897875A (zh) | 文本截断、上传方法和装置 | |
| CN105516527A (zh) | 一种具有多种通信链路接口的警报控制器及控制方法 | |
| CN102761541A (zh) | 定时器处理方法及系统 | |
| CN102685118B (zh) | 单pdp双栈串行拨号方法和系统 | |
| CN102402590A (zh) | 一种键值数据管理方法及系统 | |
| CN102447580A (zh) | 一种集团组网调度系统及其调度方法 | |
| CN102510376A (zh) | 一种多部件安全隔离并发处理方法 | |
| CN103916316A (zh) | 网络数据包线速捕获方法 | |
| CN100563264C (zh) | 页面数据传递方法、系统及服务器 | |
| CN104184729A (zh) | 一种报文处理方法和装置 | |
| CN103401791A (zh) | 一种边界端口的识别方法和设备 | |
| CN103745017B (zh) | 信息抓取装置和方法 | |
| CN105049437A (zh) | 一种网络应用层数据过滤方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |