CN100477658C - 通信服务器并发处理大数据量的方法 - Google Patents
通信服务器并发处理大数据量的方法 Download PDFInfo
- Publication number
- CN100477658C CN100477658C CNB2005100188721A CN200510018872A CN100477658C CN 100477658 C CN100477658 C CN 100477658C CN B2005100188721 A CNB2005100188721 A CN B2005100188721A CN 200510018872 A CN200510018872 A CN 200510018872A CN 100477658 C CN100477658 C CN 100477658C
- Authority
- CN
- China
- Prior art keywords
- data
- buffer memory
- communication server
- network interface
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及移动目标定位系统中大数据量的并发处理方法，该方法的具体实施步骤为：通信服务器从外网卡上接收一帧上行数据，写入上行数据缓存，经过线程处理，由内网卡发送到监控中心；从内网卡接收一帧下行数据，写入下行数据缓存，经过线程处理，由外网卡发送到终端。本发明用于双向快速地接收、处理、转发数据，适合于多个终端、一个通信服务器、多个监控中心的三层结构。在实现中，读取数据库信息记录在内存中，以查询内存代替查询数据库，在内存中记录信息时采用了HASH散列技术，极大地提高了查询速度。在原有通信服务器的基础上不增加任何硬件设备，仅通过软件实现方法的更新，就能大大提升处理性能，简化了系统结构、节省了系统成本。
Description
技术领域
本发明涉及移动目标定位系统中通信服务器大数据量的并发处理方法。
背景技术
移动目标卫星定位系统目前一般由三部分组成：终端设备、通信服务器、监控中心。终端承载在无线数据业务之上，例如移动的GPRS、联通的CDMA 2000 1X，发送数据到通信服务器的指定IP地址上。通信服务器位于三层结构的中间，一方面把来自不同终端的数据实时转发到终端所属的监控中心，另一方面把监控中心下发的命令实时转发到终端。监控中心负责显示、控制和管理等。
通信服务器的一般处理流程：
上行数据：在固定地址接收来自终端的数据、查询磁盘数据库获取本终端相关信息、进行协议转换、转发到监控中心。
下行数据：在固定地址接收来自监控中心的命令、查询被控制终端当前通信方式、转发到终端。
目前移动目标卫星定位系统使用单位，例如营运车公司，要求每个通信服务器能够处理的终端数较多，按6000终端计，每个终端每6秒发送一个定位数据，即要求通信服务器具有平均每秒钟处理1000条数据的能力，这还不包括监控中心下发的数据。
如果按照一般处理流程，接收到数据后访问本机磁盘或远程计算机上的数据库，是达不到1000条/秒的并发数据处理性能的。
发明内容
本发明的目的在于提供一种用于移动目标定位系统中通信服务器并发处理大数据量的方法，实现双向高速地接收、处理、转发数据的功能。
本发明为解决其技术问题所采用的技术方案包括：
一种用于移动目标定位系统中通信服务器并发处理大数据量的方法，通信服务器采用外、内双网卡配置，外网卡用于接收终端上报的数据和向终端发送数据，内网卡用于接收监控中心下发的数据和向监控中心发送数据，并将数据处理分成上行数据处理和下行数据处理，上行数据处理处理终端上报数据，下行数据处理处理监控中心下发命令，双网卡之间通过缓存联系在一起，该方法的具体实施步骤为：通信服务器从外网卡上接收一帧上行数据，写入上行数据缓存，经过线程处理，由内网卡发送到监控中心；从内网卡接收一帧下行数据，写入下行数据缓存，经所述上行数据缓存根据实际并发数据量生成适当个数，下行数据量缓存只生成一个，每个缓存用一个线程来处理。基于TCP/IP技术的IP网络通信技术。在通信服务器上采用了双网卡配置，其中一个配置了公网IP地址，称为“外网卡”，用于接收终端上报的数据和向终端发送数据，另一个配置了内部局域网IP地址，称为“内网卡”，用于接收监控中心下发的数据和向监控中心发送数据。一帧上行数据从“外网卡”上接收，写入上行数据专用缓存，经过处理，由“内网卡”发送到监控中心；一帧下行数据由“内网卡”接收，写入下行数据专用缓存，经过处理，由“外网卡”发送到终端。多线程缓存处理。“外网卡”和“内网卡”之间用缓存联系起来，鉴于上行数据非常多，故开辟了多个缓存存放上行数据，每个缓存用一个线程来处理。下行数据量不大，只开辟一个缓存用于存放下行数据。
面向对象编程技术。在类中封装了缓存和处理线程，一个类对象就代表一个缓存和处理线程，根据实际并发数据量可以生成适当个数的对象，即多个缓存和处理线程。所述线程处理：就是把缓存和处理线程封装在同一个类中，每生成一个类对象，就生成一个缓存和对应的处理线程，多个线程之间不用互斥，各自处理自己的缓存，线程处理数据的过程包括从缓存中读取数据、在内存数据库中查询相关参数、协议转换、发送，另外在接收到数据后，轮流写入各个缓存，使数据均匀分布在多个缓存中。
通信服务器程序启动时，读取数据库信息到内存中，然后使用被动更新或主动更新方法来获取数据库中变化的数据，在处理数据时，所需信息均从内存中查询。被动更新指通信服务器设置定时器，定时读取数据库信息，记录在内存中；主动更新指数据库中的数据发生变化时，监控中心通知通信服务器更新内存中记录的信息。
在内存中记录数据库信息时，使用了终端上携带的SIM/UIM号码的后十位转换成无符号长整型数据，然后以这个整数为键值建立散列表。内存数据库技术。由于访问磁盘数据库尤其是远程访问时速度比较慢，本技术方案中把相关信息存储在内存中，定时更新，需要时直接在内存中查询。
HASH散列索引技术。和内存数据库配合使用，进一步提高了查询速度。
本发明用于双向快速地接收、处理、转发数据，特别适合于多个终端、一个通信服务器、多个监控中心这样的三层结构。在实现中，读取数据库信息记录在内存中，以查询内存代替查询数据库，并且，在内存中记录信息时采用了HASH散列技术，极大地提高了查询速度。在原有通信服务器的基础上不增加任何硬件设备，仅通过软件实现方法的更新，就能大大提升处理性能，简化了系统结构、节省了系统成本。
附图说明
图1是通信服务器处理上行数据的流程。
具体实施方式
如图1所示，描述了通信服务器处理上行数据的流程。
通信服务器分成2大模块，包括接收、处理、转发终端数据的模块和接收、处理、转发监控中心数据的模块。
通信服务器在启动后就开辟了n个缓存和与缓存一一对应的n个处理线程，接收到终端上报的数据之后，为了加快处理速度，轮流写入n个缓存，这样数据就均匀分散在n个缓存内，而不是集中在一个缓存内，各个线程独立处理自己缓存中的数据、从内存数据库中查找所需信息、转发到本终端所属的监控中心。
如表1所示，通信服务器在程序实现时定义了相关的数据结构，在通信服务器启动后，读取数据库把所有的相关信息转移到内存中，以后的查询均在内存中进行，运用了“牺牲内存换取速度”的思想，在如今硬件飞速发展、价格日趋便宜的现实情况下该做法是完全可取的。如果数据库中的数据发生了变化怎么办？在具体实施时，考虑到只有通过操作监控中心软件的某些功能项时，才会引起数据库中数据的变化，因此通信服务器采用了两种办法：其一，在数据库中的数据发生改变后监控中心及时通知通信服务器，通信服务器被动更新内存中的相关记录；其二，通信服务器定时读取数据库，主动更新内存中的记录。如果采用第二种方法，可能会出现数据库发生改变后，通信服务器不能立即响应的情况，但为了避免频繁访问数据库，定义一个合理的访问时间间隔也是可取的。
表1为通信服务器记录终端相关信息采用的结构体。
| 序号 | 内容 | 说明 |
| 1 | 终端SIM/UIM号码 | 取后十位转为无符号长整型 |
| 2 | 是否欠费 | |
| 3 | 用户ID | |
| 4 | 监控中心的地址 | 用数组记录，因为一个终端的数据可能会发往多个监控中心 |
终端用SIM/UIM号码作为唯一标识，因此，在表1所示数据结构中，取终端SIM/UIM号码的后10位，转换成无符号长整型数据，然后以该整数作为键值建立HASH散列表。终端上报的数据中带有SIM/UIM号码，因此通信服务器在接收到数据之后，取出号码，把后10位转换成无符号长整型数据，然后通过该整数索引HASH散列表，能够快速查找到该终端的其它信息。
Claims (5)
1、一种用于移动目标定位系统中通信服务器并发处理大数据量的方法，通信服务器采用外、内双网卡配置，外网卡用于接收终端上报的数据和向终端发送数据，内网卡用于接收监控中心下发的数据和向监控中心发送数据，并将数据处理分成上行数据处理和下行数据处理，上行数据处理处理终端上报数据，下行数据处理处理监控中心下发命令，双网卡之间通过缓存联系在一起，该方法的具体实施步骤为：通信服务器从外网卡上接收一帧上行数据，写入上行数据缓存，经过线程处理，由内网卡发送到监控中心；从内网卡接收一帧下行数据，写入下行数据缓存，经过线程处理，由外网卡发送到终端，通信服务器程序启动时，读取数据库信息到内存中，然后使用被动更新或主动更新方法来获取数据库中变化的数据，在处理数据时，所需信息均从内存中查询。
2、根据权利要求1所述的方法，其特征在于：在内存中记录数据库信息时，使用了终端上携带的SIM/UIM号码的后十位转换成无符号长整型数据，然后以这个无符号长整数为键值建立散列表。
3、根据权利要求1所述的方法，其特征在于：被动更新指通信服务器设置定时器，定时读取数据库信息，记录在内存中；主动更新指数据库中的数据发生变化时，监控中心通知通信服务器更新内存中记录的信息。
4、根据权利要求1所述的方法，其特征在于：所述上行数据缓存根据实际并发数据量生成适当个数，下行数据缓存只生成一个，每个缓存对应用一个线程来处理。
5、根据权利要求4所述的方法，其特征在于：所述线程处理：就是把缓存和处理线程封装在同一个类中，每生成一个类对象，就生成一个缓存和对应的处理线程，多个线程之间不用互斥，各自处理自己的缓存，线程处理数据的过程包括从缓存中读取数据、在内存数据库中查询相关参数、协议转换、发送，另外在接收到数据后，轮流写入各个缓存，使数据均匀分布在多个缓存中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100188721A CN100477658C (zh) | 2005-06-08 | 2005-06-08 | 通信服务器并发处理大数据量的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100188721A CN100477658C (zh) | 2005-06-08 | 2005-06-08 | 通信服务器并发处理大数据量的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1703041A CN1703041A (zh) | 2005-11-30 |
| CN100477658C true CN100477658C (zh) | 2009-04-08 |
Family
ID=35632556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100188721A Active CN100477658C (zh) | 2005-06-08 | 2005-06-08 | 通信服务器并发处理大数据量的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100477658C (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100387015C (zh) * | 2006-02-20 | 2008-05-07 | 华为技术有限公司 | 一种无线网状网中业务调度的系统和方法 |
| CN101090401B (zh) * | 2007-05-25 | 2011-05-18 | 金蝶软件（中国）有限公司 | 一种群集环境下的数据缓存方法及系统 |
| CN101452422B (zh) * | 2007-11-29 | 2011-03-30 | 联芯科技有限公司 | 一种芯片的数据读写方法、相应装置和系统 |
| CN102546140A (zh) * | 2012-01-10 | 2012-07-04 | 苏州阔地网络科技有限公司 | 一种双工通信的方法及通信服务器 |
| CN102609476A (zh) * | 2012-01-19 | 2012-07-25 | 北京神州数码思特奇信息技术股份有限公司 | 一种掌厅数据管理方法 |
| CN103198108B (zh) * | 2013-03-27 | 2016-08-10 | 新浪网技术(中国)有限公司 | 一种索引数据更新方法、检索服务器及系统 |
| CN103530239A (zh) * | 2013-10-18 | 2014-01-22 | 深圳市新格林耐特通信技术有限公司 | 一种使用内存池提升通信服务器性能的方法 |
| CN104536407A (zh) * | 2014-12-17 | 2015-04-22 | 中国南方电网有限责任公司调峰调频发电公司 | 一种向iec61850智能装置下发并发控制命令的方法 |
| CN105868123B (zh) * | 2016-04-07 | 2018-10-09 | 武汉数字派特科技有限公司 | 一种并发数据的缓存装置及方法 |
| CN106599071A (zh) * | 2016-11-18 | 2017-04-26 | 青岛海信移动通信技术股份有限公司 | 一种短信息的显示方法和装置 |
| CN110493769A (zh) * | 2019-07-05 | 2019-11-22 | 南京航空航天大学 | 基于轻量级Hash映射的手机号保密方案 |
| CN110674093A (zh) * | 2019-08-28 | 2020-01-10 | 金蝶汽车网络科技有限公司 | 文件数据处理方法、装置、计算机设备和存储介质 |
| CN112416069A (zh) * | 2020-10-19 | 2021-02-26 | 温州大学 | 一种实时数据分析及统计报表方法 |
| CN115801809B (zh) * | 2022-11-03 | 2023-11-03 | 广州辰创科技发展有限公司 | 跨网数据同步控制系统、方法及介质 |
| CN115914418B (zh) * | 2023-03-09 | 2023-06-30 | 北京全路通信信号研究设计院集团有限公司 | 一种铁路接口网关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0939518A1 (en) * | 1997-09-17 | 1999-09-01 | Kabushiki Kaisha Toshiba | Atm repeater |
| CN1357836A (zh) * | 2000-12-07 | 2002-07-10 | 华为技术有限公司 | 提高短消息调度中心消息处理能力的方法 |
| CN1514370A (zh) * | 2002-12-31 | 2004-07-21 | 深圳市中兴通讯股份有限公司 | 一种移动用户高性能hlr/auc移动用户数据库实现方法 |
-
2005
- 2005-06-08 CN CNB2005100188721A patent/CN100477658C/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0939518A1 (en) * | 1997-09-17 | 1999-09-01 | Kabushiki Kaisha Toshiba | Atm repeater |
| CN1357836A (zh) * | 2000-12-07 | 2002-07-10 | 华为技术有限公司 | 提高短消息调度中心消息处理能力的方法 |
| CN1514370A (zh) * | 2002-12-31 | 2004-07-21 | 深圳市中兴通讯股份有限公司 | 一种移动用户高性能hlr/auc移动用户数据库实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1703041A (zh) | 2005-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100477658C (zh) | 通信服务器并发处理大数据量的方法 | |
| Asghar et al. | Principle application and vision in Internet of Things (IoT) | |
| CN202058147U (zh) | 分布式实时数据库管理系统 | |
| CN102932846B (zh) | 分布式异构传感网数据管理系统 | |
| CN103888547B (zh) | 一种账单处理方法和服务器 | |
| CN103064731A (zh) | 一种提高消息队列系统性能的装置及其方法 | |
| CN204598011U (zh) | 一种基于td-lte的opc数据采集与监控智能终端 | |
| CN102724307A (zh) | 用于物联网的信息融合引擎及方法 | |
| CN100385973C (zh) | 行业信息处理系统及方法 | |
| CN101887388A (zh) | 基于内存数据库的数据备份系统和方法 | |
| CN101535954A (zh) | 信息处理系统及相关方法 | |
| CN105785962B (zh) | 基于uwb的车间物料配送控制与管理平台 | |
| CN101556587B (zh) | 一种异构数据库的操作代理装置 | |
| CN100498780C (zh) | 数据查询系统及数据查询方法 | |
| CN102737061B (zh) | 分布式话单查询管理系统及方法 | |
| CN103108040A (zh) | 实时路况信息获取方法、平台服务器及用户设备 | |
| CN102034163A (zh) | 一种对电信设备资产信息进行管理的方法和系统 | |
| CN104270432B (zh) | 基于钻井行业实时数据服务系统及数据交互方法 | |
| CN102014115A (zh) | 网关节点匿名化的方法、设备和系统 | |
| Meng et al. | An asset management system based on RFID, WebGIS and SMS | |
| US10027754B2 (en) | Large data set updating for network usage records | |
| Zarokostas et al. | RFID Middleware Design for enhancing traceability in the Supply Chain Management | |
| CN108763127A (zh) | 源数据与目标数据相互转换的Modbus适配器的实现方法 | |
| CN105072575A (zh) | 找回移动设备的方法、系统及服务端 | |
| CN111882296A (zh) | 管阀件管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 430205 Hubei city of Wuhan province Jiangxia Hidden Dragon Island Tan lake two Road No. 1 Patentee after: CITIC Mobile Communication Technology Co., Ltd Address before: 430074 Wuhan, Hongshan Province District Road, Department of mail, No. 88 hospital Patentee before: Wuhan Hongxin Telecommunication Technologies Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 430205 No.1 tanhu 2nd Road, Canglong Island, Jiangxia District, Wuhan City, Hubei Province Patentee after: CITIC Mobile Communication Technology Co.,Ltd. Address before: 430205 No.1 tanhu 2nd Road, Canglong Island, Jiangxia District, Wuhan City, Hubei Province Patentee before: CITIC Mobile Communication Technology Co., Ltd |
|
| CP01 | Change in the name or title of a patent holder |