CN106603677A - 一种使用多核多线程并行的物理信息系统数据压缩传输方法 - Google Patents

一种使用多核多线程并行的物理信息系统数据压缩传输方法 Download PDF

Info

Publication number
CN106603677A
CN106603677A CN201611189140.3A CN201611189140A CN106603677A CN 106603677 A CN106603677 A CN 106603677A CN 201611189140 A CN201611189140 A CN 201611189140A CN 106603677 A CN106603677 A CN 106603677A
Authority
CN
China
Prior art keywords
hash table
data compression
system data
core
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611189140.3A
Other languages
English (en)
Inventor
王俊杰
戴鸿君
于治楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201611189140.3A priority Critical patent/CN106603677A/zh
Publication of CN106603677A publication Critical patent/CN106603677A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0016—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy involving special memory structures, e.g. look-up tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机物理信息系统中的数据传输方法技术领域，特别涉及一种使用多核多线程并行的物理信息系统数据压缩传输方法。本发明的一种使用多核多线程并行的物理信息系统数据压缩传输方法，其在物理信息系统中传输数据时，利用多核处理器多线程的优势，使用哈希表来查找匹配字符串，而且选择哈希表的大小时，根据多线程并行的特点做一个权衡，保证最终能够产生高效率的匹配，最终提高传输速度和效率。

Description

一种使用多核多线程并行的物理信息系统数据压缩传输方法
技术领域
本发明涉及计算机物理信息系统中的数据传输方法技术领域，特别涉及一种使用多核多线程并行的物理信息系统数据压缩传输方法。
背景技术
物理信息系统作为计算进程和物理进程的统一体，是集成计算、通信与控制于一体的下一代智能系统。信息物理系统通过人机交互接口实现和物理进程的交互，使用网络化空间以远程的、可靠的、实时的、安全的、协作的方式操控一个物理实体。物理信息系统包含了将来无处不在的环境感知、嵌入式计算、网络通信和网络控制等系统工程，使物理系统具有计算、通信、精确控制、远程协作和自治功能。它注重计算资源与物理资源的紧密结合与协调，主要用于一些智能系统上如设备互联，物联传感，智能家居，机器人，智能导航等。在环境感知的基础上，深度融合计算、通信和控制能力的可控可信可扩展的网络化物理设备系统，它通过计算进程和物理进程相互影响的反馈循环实现深度融合和实时交互来增加或扩展新的功能，以安全、可靠、高效和实时的方式检测或者控制一个物理实体。
现有技术下，由于物理信息系统中大量数据需要传输，其目前的传输方式普遍存在着速度慢，效率低的问题。
发明内容
为了解决现有技术的问题，本发明提供了一种使用多核多线程并行的物理信息系统数据压缩传输方法，其在物理信息系统中传输数据时，利用多核处理器多线程的优势，使用哈希表来查找匹配字符串，而且选择哈希表的大小时，根据多线程并行的特点做一个权衡，保证最终能够产生高效率的匹配，最终提高传输速度和效率。
本发明所采用的技术方案如下：
一种使用多核多线程并行的物理信息系统数据压缩传输方法，包括以下步骤：
A、创建一个哈希表，这个哈希表的映射关系为：（key，value），其中，key为4个字节的二进制值，value为这4个字节在块中的位置；
B、使用哈希表来查找匹配字符串。
步骤A中，选择哈希表的大小时，做一个权衡：根据侧重压缩比还是侧重压缩速度来选择哈希表的大小。
步骤A中，哈希表存储的数据为“位置”，分三种情况：小于64KB时，使用16位的偏移值；大于64KB时，如果指针大小为8字节，使用32位的偏移值；如果指针大小为4字节，使用32位的指针。
步骤B中，其查找匹配的具体方法是：
B1、按照哈希值h，获取哈希表中的值ref；
B2、ref为初始值，没有匹配，则继续查找；
B3、有匹配，不在滑动窗口内，放弃，继续查找；
B4、冲突，继续查找；
B5、直到找到了匹配，退出。
本发明提供的技术方案带来的有益效果是：
针对物理信息系统中存在大量数据传输的问题，本发明提出一个使用多核多线程并行的物理信息系统数据压缩传输方法，在物理信息系统中传输数据时，利用多核处理器多线程的优势，使用哈希表来查找匹配字符串，而且选择哈希表的大小时，根据多线程并行的特点做一个权衡，保证最终能够产生高效率的匹配。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种使用多核多线程并行的物理信息系统数据压缩传输方法的方法原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
如附图1所示，本实施例的一种使用多核多线程并行的物理信息系统数据压缩传输方法包括以下步骤：
（1）使用哈希表来查找匹配字符串。这个哈希表的映射关系(key, value)，key为4个字节的二进制值，value为这4个字节在块中的位置。
（2）选择哈希表的大小时，做一个权衡：侧重压缩比，则哈希表可以大一些；侧重压缩速度，则哈希表应该适中，以便能装入L1 cache。
哈希表存储的数据为“位置”，分三种情况：小于64KB时，使用16位的偏移值。大于64KB时，如果指针大小为8字节，使用32位的偏移值；如果指针大小为4字节，使用32位的指针。
（3）匹配算法，按照哈希值h，获取哈希表中的值ref； ref为初始值，没有匹配，继续；有匹配，不在滑动窗口内，放弃，继续；冲突，继续；知道找到了匹配，退出。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种使用多核多线程并行的物理信息系统数据压缩传输方法，包括以下步骤：
A、创建一个哈希表，这个哈希表的映射关系为：（key，value），其中，key为4个字节的二进制值，value为这4个字节在块中的位置；
B、使用哈希表来查找匹配字符串。
2.根据权利要求1所述的一种使用多核多线程并行的物理信息系统数据压缩传输方法，其特征在于，所述的步骤A中，选择哈希表的大小时，做一个权衡：根据侧重压缩比还是侧重压缩速度来选择哈希表的大小。
3.根据权利要求1所述的一种使用多核多线程并行的物理信息系统数据压缩传输方法，其特征在于，所述的步骤A中，哈希表存储的数据为“位置”，分三种情况：小于64KB时，使用16位的偏移值；大于64KB时，如果指针大小为8字节，使用32位的偏移值；如果指针大小为4字节，使用32位的指针。
4.根据权利要求1所述的一种使用多核多线程并行的物理信息系统数据压缩传输方法，其特征在于，所述的步骤B中，其查找匹配的具体方法是：
B1、按照哈希值h，获取哈希表中的值ref；
B2、ref为初始值，没有匹配，则继续查找；
B3、有匹配，不在滑动窗口内，放弃，继续查找；
B4、冲突，继续查找；
B5、直到找到了匹配，退出。
CN201611189140.3A 2016-12-21 2016-12-21 一种使用多核多线程并行的物理信息系统数据压缩传输方法 Pending CN106603677A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611189140.3A CN106603677A (zh) 2016-12-21 2016-12-21 一种使用多核多线程并行的物理信息系统数据压缩传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611189140.3A CN106603677A (zh) 2016-12-21 2016-12-21 一种使用多核多线程并行的物理信息系统数据压缩传输方法

Publications (1)

Publication Number Publication Date
CN106603677A true CN106603677A (zh) 2017-04-26

Family

ID=58600588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611189140.3A Pending CN106603677A (zh) 2016-12-21 2016-12-21 一种使用多核多线程并行的物理信息系统数据压缩传输方法

Country Status (1)

Country Link
CN (1) CN106603677A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070652A (zh) * 2019-06-10 2020-12-11 上海赜睿信息科技有限公司 数据压缩、解压方法、可读存储介质和电子设备
CN112099953A (zh) * 2020-09-17 2020-12-18 北京石油化工学院 一种基于耦合动态整数帐篷映射的并行Hash函数构造方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009005758A2 (en) * 2007-06-29 2009-01-08 Rmi Corporation System and method for compression processing within a compression engine
CN101996139A (zh) * 2009-08-28 2011-03-30 百度在线网络技术（北京）有限公司 数据匹配方法和数据匹配装置
CN103997346A (zh) * 2014-05-12 2014-08-20 东南大学 一种基于流水线的数据匹配方法和装置
CN105207678A (zh) * 2015-09-29 2015-12-30 东南大学 一种改进型lz4压缩算法的硬件实现系统
CN106156037A (zh) * 2015-03-26 2016-11-23 深圳市腾讯计算机系统有限公司 数据处理方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009005758A2 (en) * 2007-06-29 2009-01-08 Rmi Corporation System and method for compression processing within a compression engine
CN101996139A (zh) * 2009-08-28 2011-03-30 百度在线网络技术（北京）有限公司 数据匹配方法和数据匹配装置
CN103997346A (zh) * 2014-05-12 2014-08-20 东南大学 一种基于流水线的数据匹配方法和装置
CN106156037A (zh) * 2015-03-26 2016-11-23 深圳市腾讯计算机系统有限公司 数据处理方法、装置及系统
CN105207678A (zh) * 2015-09-29 2015-12-30 东南大学 一种改进型lz4压缩算法的硬件实现系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHANGSKD: "速度之王 — LZ4压缩算法（二）", 《HTTPS://BLOG.CSDN.NET/ZHANGSKD/ARTICLE/DETAILS/17282895》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070652A (zh) * 2019-06-10 2020-12-11 上海赜睿信息科技有限公司 数据压缩、解压方法、可读存储介质和电子设备
CN112099953A (zh) * 2020-09-17 2020-12-18 北京石油化工学院 一种基于耦合动态整数帐篷映射的并行Hash函数构造方法

Similar Documents

Publication Publication Date Title
WO2019014592A1 (en) METHOD AND DEVICE FOR PROCESSING DATA BASED ON BLOCK CHAIN
CN112560501A (zh) 语义特征的生成方法、模型训练方法、装置、设备及介质
WO2023168909A1 (zh) 地理预训练模型的预训练方法及模型微调方法
CN106603677A (zh) 一种使用多核多线程并行的物理信息系统数据压缩传输方法
Guo et al. Artificial intelligence for metaverse: a framework
US20170309298A1 (en) Digital fingerprint indexing
CN117576535B (zh) 一种图像识别方法、装置、设备以及存储介质
CN110489466A (zh) 邀请码的生成方法、装置、终端设备及存储介质
CN109800337A (zh) 一种适用于大字母表的多模式正则匹配算法
ZHAO et al. Research on traffic accident risk prediction algorithm of edge internet of vehicles based on deep learning
CN110390011B (zh) 数据分类的方法和装置
YIN et al. Federated learning algorithm based on personalized differential privacy
Mao et al. Faster and stronger lossless compression with optimized autoregressive framework
Qu et al. A heterogeneous network structure publishing security framework based on cloud-edge collaboration
CN110851563B (zh) 一种基于编码可导航伸展图的近邻文档搜索方法
CN107644029A (zh) 信息查询方法及信息查询装置
CN115169489B (zh) 数据检索方法、装置、设备以及存储介质
Zhao Information iterative retrieval of internet of things communication terminal based on symmetric algorithm
Liang et al. A low-coupling method in sensor-cloud systems based on edge computing
US11809992B1 (en) Applying compression profiles across similar neural network architectures
Ju et al. Innovation trend of edge computing technology based on patent perspective
TANG et al. Research on efficient federated learning communication mechanism based on adaptive gradient compression
Huang et al. Parallel FCM clustering algorithm of fuzzy number based on cut set
CN105653534B (zh) 一种数据处理方法及装置
CN105512087B (zh) 一种资源约束性多节点计算系统的可靠性评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426

RJ01 Rejection of invention patent application after publication