CN111130720B - 一种基于内存优化的重传机制 - Google Patents

一种基于内存优化的重传机制 Download PDF

Info

Publication number
CN111130720B
CN111130720B CN201911351041.4A CN201911351041A CN111130720B CN 111130720 B CN111130720 B CN 111130720B CN 201911351041 A CN201911351041 A CN 201911351041A CN 111130720 B CN111130720 B CN 111130720B
Authority
CN
China
Prior art keywords
data
retransmission
identification code
platform
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911351041.4A
Other languages
English (en)
Other versions
CN111130720A (zh
Inventor
王志保
陈澎祥
李森
肖萌璐
王松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tiandy Technologies Co Ltd
Original Assignee
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tiandy Technologies Co Ltd filed Critical Tiandy Technologies Co Ltd
Priority to CN201911351041.4A priority Critical patent/CN111130720B/zh
Publication of CN111130720A publication Critical patent/CN111130720A/zh
Application granted granted Critical
Publication of CN111130720B publication Critical patent/CN111130720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明提供一种基于内存优化的重传机制，包括步骤：对于多个需要重传数据接口平台，对应各自重传节点，对需要重传数据条目进行查询，并将查询结果保存至待发送队列；遍历各个重传节点待传数据队列记录，根据记录信息对分散数据进行拼包；重传数据在重传中心申请标识码，和拼包一起以图片流的形式发送到平台；平台接收数据后，对数据完整性进行校验。该发明的有益效果是：通过重传中心配置，使数据重传与实时数据上传发送方式一致，不占用额外资源，利用实时数据通道剩余资源，解决前端设备采集数据上传平台可能出现的数据丢失问题，保证数据采集完整性实现数据采集及转发的完整性。

Description

一种基于内存优化的重传机制
技术领域
本发明涉及物联网平台大数据采集技术领域，尤其是涉及一种基于内存优化的重传机制。
背景技术
物联网平台的前端设备，如数字摄像机、NVR等，采集音视频信息并进行数据处理，生成音频、视频、图片、智能识别、场景信息等分离数据，之后，物联网平台将前端设备接入，将前端生成数据进行接收，并进行大数据分析处理，对用户提供智能服务。设备采用实时数据上传方式，以达到平台数据接收处理时效性，但当服务器出现宕机、网络环境不稳定等情况时，数据就不能成功上传，这样就会出现数据丢失。
发明内容
有鉴于此，本发明旨在提出一种基于内存优化的重传机制，在出现数据上传失败时，对数据进行重传，保证所有采集的数据都能上传到物联网平台，进一步，保证数据采集的完整性。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于内存优化的重传机制，包括以下步骤，
S1.对于多个需要重传数据接口平台，对应各自重传节点，对需要重传数据条目进行查询，并将查询结果保存至待发送队列；
S2.遍历各个重传节点的待传数据队列记录，根据记录信息对分散数据进行拼包；
S3.重传数据在重传中心申请标识码，和拼包一起以图片流的形式发送到平台，平台接收成功，对数据完整性进行校验；平台未接收成功，进入步骤S4；
S4.将未接收标识码信息重新拼包上传；
S5.上传成功。
进一步的，步骤S1中所述的重传节点包括数据上传状态、数据类型、数据发送时间、单次发送条目信息。
进一步的，步骤S1中所述的对需要重传数据条目进行查询时，待查询数据库采用分库设计，查询时数据库读操作并发，各重传节点注册数据库操作句柄，再根据数据库操作句柄检索、更新操作。
进一步的，步骤S2中所述分散数据是前端硬件设备采集到的音视频信息进行数据处理后生成的音频、视频、图片、智能识别、场景信息。
进一步的，步骤S3中重传数据传输复用实时数据上传通道。
进一步的，步骤S3中对数据完整性进行校验过程包括：平台回码数据包对数据进行解析处理，得到图片流的标识码；将图片流的标识码作为回码，终端设备根据此回码找寻对应的实时流或重传节点；更新该回码对应的实时流或重传节点的数据库列项。
进一步的，所述图片流的标识码是唯一自增标识码，传输时，将标识码写入图片流数据包头。
进一步的，所述重传节点数据列项更新时，重传节点以单次事务处理提交多条重传数据库列项。
进一步的，所述数据列项包括数据发送时间、上传状态。
相对于现有技术，本发明所述的一种基于内存优化的重传机制具有以下优势：
本发明提供的基于内存优化的重传机制在硬件有限的嵌入式系统中，通过重传中心配置，使数据重传与实时数据上传发送方式一致，不占用额外资源，利用实时数据通道剩余资源，解决前端设备采集数据上传平台可能出现的数据丢失问题，保证数据采集完整性实现数据采集及转发的完整性。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的一种基于内存优化的重传机制中数据库重传处理逻辑框图；
图2为本发明实施例中平台回码处理逻辑框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。
如图1和图2所示，一种基于内存优化的重传机制，包括以下步骤：
S1.对于多个需要重传数据接口平台，对应各自重传节点，对需要重传数据条目进行查询，并将查询结果保存至待发送队列；
S2.遍历各个重传节点的待传数据队列记录，根据记录信息对分散数据进行拼包；
S3.重传数据在重传中心申请标识码，和拼包一起以图片流的形式发送到平台，平台接收成功，对数据完整性进行校验；平台未接收成功，进入步骤S4；
S4.将未接收标识码信息重新拼包上传；
S5.上传成功。
步骤S1中所述的重传节点包括数据上传状态、数据类型、数据发送时间、单次发送条目信息。
步骤S1中所述的对需要重传数据条目进行查询时，待查询数据库采用分库设计，查询时数据库读操作并发，各重传节点注册数据库操作句柄，再根据数据库操作句柄检索、更新操作。
步骤S2中所述分散数据是前端硬件设备采集到的音视频信息进行数据处理后生成的音频、视频、图片、智能识别、场景信息。
步骤S3中重传数据传输复用实时数据上传通道。
步骤S3中对数据完整性进行校验过程包括：平台回码数据包对数据进行解析处理，得到图片流的标识码；将图片流的标识码作为回码，终端设备根据此回码找寻对应的实时流或重传节点；更新该回码对应的实时流或重传节点的数据库列项。
所述图片流的标识码是唯一自增标识码，传输时，将标识码写入图片流数据包头。
所述重传节点数据列项更新时，重传节点以单次事务处理提交多条重传数据库列项。
所述数据列项包括数据发送时间、上传状态。
本发明实施例工作过程如下：
物联网平台数据传输过程是前端硬件设备接收摄像机图片流或本地生成图片流时，会生成UUID字符串与图片流对应，作为该图片流数据的唯一标识保存在数据库中，进而在物联网平台可通过此UUID查询该前端硬件设备对应的数据信息；
实时数据和重传数据均会在重传中心申请标识码，标识码自增唯一，用于确认向物联网平台上传的数据条目；
本发明所述的数据机制是物联网平台可选配置，对于有断网重传需要的物联网平台，可以通过设置物联网平台地址作为重传中心，并且前端硬件设备支持多个重传中心，可向多个物联网平台进行重传。
本发明所述的数据机制中，数据重传与实时数据上传发送方式一致，不占用额外资源，合理利用实时数据通道剩余资源；
设备通过重传中心配置，可满足多个平台断网续传功能，便于多平台共享前端设备的应用场景扩展；
重传节点间数据库检索、更新操作相互独立，采用分库设计，效率高、资源占有少，适用于嵌入式设备应用；
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于内存优化的重传机制，其特征在于，包括以下步骤：
S1.对于多个需要重传数据接口平台，对应各自重传节点，对需要重传数据条目进行查询，并将查询结果保存至待发送队列；
步骤S1中所述的重传节点包括数据上传状态、数据类型、数据发送时间、单次发送条目信息；
步骤S1中所述的对需要重传数据条目进行查询时，待查询数据库采用分库设计，查询时数据库读操作并发，各重传节点注册数据库操作句柄，再根据数据库操作句柄检索、更新操作；
S2.遍历各个重传节点的待传数据队列记录，根据记录信息对分散数据进行拼包；
S3.重传数据在重传中心申请标识码，和拼包一起以图片流的形式发送到平台，平台接收成功，对数据完整性进行校验；平台未接收成功，进入步骤S4；
S4.将未接收标识码信息重新拼包上传；
S5.上传成功；
步骤S3中对数据完整性进行校验过程包括：平台回码数据包对数据进行解析处理，得到图片流的标识码；将图片流的标识码作为回码，终端设备根据此回码找寻对应的实时流或重传节点；更新该回码对应的实时流或重传节点的数据库列项。
2.根据权利要求1所述的一种基于内存优化的重传机制，其特征在于：步骤S2中所述分散数据是前端硬件设备采集到的音视频信息进行数据处理后生成的音频、视频、图片、智能识别、场景信息。
3.根据权利要求1所述的一种基于内存优化的重传机制，其特征在于：步骤S3中重传数据传输复用实时数据上传通道。
4.根据权利要求1所述的一种基于内存优化的重传机制，其特征在于：所述图片流的标识码是唯一自增标识码，传输时，将标识码写入图片流数据包头。
5.根据权利要求1所述的一种基于内存优化的重传机制，其特征在于：所述重传节点数据列项更新时，重传节点以单次事务处理提交多条重传数据库列项。
6.根据权利要求5所述的一种基于内存优化的重传机制，其特征在于：所述数据列项包括数据发送时间、上传状态。
CN201911351041.4A 2019-12-24 2019-12-24 一种基于内存优化的重传机制 Active CN111130720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911351041.4A CN111130720B (zh) 2019-12-24 2019-12-24 一种基于内存优化的重传机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911351041.4A CN111130720B (zh) 2019-12-24 2019-12-24 一种基于内存优化的重传机制

Publications (2)

Publication Number Publication Date
CN111130720A CN111130720A (zh) 2020-05-08
CN111130720B true CN111130720B (zh) 2022-11-08

Family

ID=70502200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911351041.4A Active CN111130720B (zh) 2019-12-24 2019-12-24 一种基于内存优化的重传机制

Country Status (1)

Country Link
CN (1) CN111130720B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859070A (zh) * 2005-08-29 2006-11-08 华为技术有限公司 基于错误反馈机制的数据重传方法及相应系统
CN101222311A (zh) * 2008-01-29 2008-07-16 杭州华三通信技术有限公司 实时报文丢包恢复方法、系统及接收端单元
CN101237309A (zh) * 2007-01-31 2008-08-06 华为技术有限公司 数据重传的方法、装置和发送端自动重传请求实体
CN106096446A (zh) * 2016-06-15 2016-11-09 北京工业大学 一种可信计算环境中密码服务接口的封装方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1801687B (zh) * 2005-09-08 2013-08-07 华为技术有限公司 一种基于非应答机制的数据帧重传方法和系统
CN101217351A (zh) * 2007-12-28 2008-07-09 中国科学院计算技术研究所 一种通信网络及其自动重传机制实现方法
CN107454626B (zh) * 2016-05-31 2020-06-05 中国移动通信有限公司研究院 一种信息发送方法、无线网络设备及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859070A (zh) * 2005-08-29 2006-11-08 华为技术有限公司 基于错误反馈机制的数据重传方法及相应系统
CN101237309A (zh) * 2007-01-31 2008-08-06 华为技术有限公司 数据重传的方法、装置和发送端自动重传请求实体
CN101222311A (zh) * 2008-01-29 2008-07-16 杭州华三通信技术有限公司 实时报文丢包恢复方法、系统及接收端单元
CN106096446A (zh) * 2016-06-15 2016-11-09 北京工业大学 一种可信计算环境中密码服务接口的封装方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
解决软件性能问题的DB2数据库优化方案;马秋慧;《电脑知识与技术》;20130205(第04期);全文 *

Also Published As

Publication number Publication date
CN111130720A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN102075409B (zh) 请求消息处理方法、系统及负载均衡器设备
CN103051725B (zh) 应用识别方法、数据挖掘方法、装置及系统
CN101663867B (zh) 在维持端点到端点认证的同时压缩数据分组
HU227369B1 (en) A method, apparatus and computer program for reducing data transmitted over an external communication link from a first application resident in a first computer to a second application resident in a second computer
WO2018166415A1 (zh) 云存储系统、媒体数据存储方法及系统
CN1816014A (zh) 用于通过网络通信相关消息的排队会话
WO2014200386A1 (ru) Передача данных от веб-сервера терминальным устройствам посредством беспроводной сети
CN104618961A (zh) 应用于智能电网的单通道tcp/ip头压缩方法及系统
US6850962B1 (en) File transfer system and method
CN102333210A (zh) 一种视频数据存储方法及其设备
CN108880875A (zh) 日志报文的传输方法及装置
CN105491158B (zh) 一种基于网络数据流的http内容还原方法及系统
US20140074912A1 (en) Communication apparatus, relay apparatus and communication method
CN111130720B (zh) 一种基于内存优化的重传机制
CN108614820B (zh) 实现流式源数据解析的方法和装置
CN106789878B (zh) 一种面向大流量环境的文件还原系统以及方法
CN1557085A (zh) 客户机服务器网络中作为分配数据包的中继服务器的终端
JPWO2008105030A1 (ja) バックアップ装置
CN113612811B (zh) 一种在多通道中客户端挂载的方法、系统、设备及介质
JP6131710B2 (ja) 通信システム、負荷分散装置、および、負荷分散プログラム
CN115378855A (zh) 一种数据包的测试方法、装置和通信装置及存储介质
CN112243160A (zh) 一种数据传输方法、装置、终端设备和存储介质
CN109996089A (zh) 一种处理操作日志的方法、系统以及一种流媒体服务器
CN115361262B (zh) 一种传输设备性能文件ftp上报的实现方法和系统
CN114363312B (zh) 一种基于Http协议的互联网与局域网通信的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant