CN114845119A - 一种物联网关验证及压缩系统 - Google Patents

一种物联网关验证及压缩系统 Download PDF

Info

Publication number
CN114845119A
CN114845119A CN202210776202.XA CN202210776202A CN114845119A CN 114845119 A CN114845119 A CN 114845119A CN 202210776202 A CN202210776202 A CN 202210776202A CN 114845119 A CN114845119 A CN 114845119A
Authority
CN
China
Prior art keywords
gateway
image
intersection
frame image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210776202.XA
Other languages
English (en)
Other versions
CN114845119B (zh
Inventor
蔡志飞
孙武峰
徐成
戴红杰
闫润
代俊
郭远方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optical Valley Technology Co ltd
Original Assignee
Optical Valley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optical Valley Technology Co ltd filed Critical Optical Valley Technology Co ltd
Priority to CN202210776202.XA priority Critical patent/CN114845119B/zh
Publication of CN114845119A publication Critical patent/CN114845119A/zh
Application granted granted Critical
Publication of CN114845119B publication Critical patent/CN114845119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及物联网关验证及压缩技术领域，具体涉及一种物联网关验证及压缩系统。该系统存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：根据路口图像对应的活跃程度，计算各帧图像的第一压缩率；根据第一压缩率得到各帧图像对应的压缩率的区间；计算了各网关的算力和各网关对应的链路的饱和度；根据各网关的算力和链路的饱和度，得到各帧图像的目标压缩率；根据目标压缩率对各帧图像进行压缩；对压缩后的各帧图像进行编码传输，得到编码信息文件和数据文件；根据编码信息文件和数据文件创建校验包；服务端对校验包进行验证和解压，得到路口的各帧图像。本发明实现了信息快速有效地传输。

Description

一种物联网关验证及压缩系统
技术领域
本发明涉及物联网关验证及压缩技术领域，具体涉及一种物联网关验证及压缩系统。
背景技术
随着近年来城市的发展，城市变得越来越大，涌入城市的人口和机动车也越来越多。一般情况下，道路的路口处的交通是最为复杂的，各个路口为了安全起见，会实时对路口进行信息记录，一般是根据路口视频来记录路口的信息，而视频流是由多帧图像构成的，因此对其视频流进行压缩的本质是对图像的压缩。物联网关为了更好的进行信息传递，会形成网关级联，现有方法在对图像进行传输时，图像的压缩率是固定的，但是不同活跃程度的路口图像中包含的信息量不相同，而且不同网关的算力以及链路的饱和度也不尽相同，如果视频流中的所有图像的压缩率均相同，可能会使得部分网关的处理压力过大，难以保证图像传输的有效性。
发明内容
为了解决现有方法存在的无法对活跃程度不同的路口图像进行不同程度的压缩的问题，本发明的目的在于提供一种物联网关验证及压缩系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：
实时获取路口的图像，将路口的各帧图像输入到训练好的孪生网络中，得到路口的各帧图像与基准图像的相似度，所述基准图像为路口无行人和车辆通过时的图像；根据所述路口的各帧图像与基准图像的相似度，计算路口的稳定程度；根据所述稳定程度，计算路口图像对应的活跃程度；根据所述路口图像对应的活跃程度，计算路口各帧图像的第一压缩率；
根据路口各帧图像的第一压缩率，得到各帧图像对应的压缩率的区间；根据最低一级网关中各网关以预设压缩率处理目标图像所需的时长，计算最低一级网关中各网关的算力；根据带宽传输的速率和带宽的上限，计算最低一级网关中各网关对应的链路的饱和度；所述预设压缩率为对应的压缩率的区间中的各压缩率；所述各网关对应的链路为各网关与其对应的上级网关之间的链路；
根据所述最低一级网关中各网关的算力和最低一级网关中各网关对应的链路的饱和度，得到各帧图像对应的目标压缩率；根据各帧图像对应的目标压缩率，对各帧图像进行压缩；采用哈夫曼编码对压缩后的各帧图像进行编码传输，得到编码信息文件和数据文件；根据所述编码信息文件和数据文件，创建校验包；服务端对所述校验包进行验证和解压，得到路口的各帧图像。
优选的，采用如下公式计算路口的稳定程度：
Figure 847128DEST_PATH_IMAGE001
其中，
Figure 403880DEST_PATH_IMAGE002
为路口的稳定程度，
Figure 232159DEST_PATH_IMAGE003
为第
Figure 888268DEST_PATH_IMAGE004
个时刻路口图像与基准图像的相似度，
Figure 418475DEST_PATH_IMAGE005
为第
Figure 795230DEST_PATH_IMAGE006
个时刻路口图像与基准图像的相似度，
Figure 992862DEST_PATH_IMAGE007
为自然常数，
Figure 164080DEST_PATH_IMAGE008
为第一修正系数。
优选的，采用如下公式计算路口图像对应的活跃程度：
Figure 181584DEST_PATH_IMAGE009
其中，
Figure 830871DEST_PATH_IMAGE010
为路口图像对应的活跃程度，
Figure 414168DEST_PATH_IMAGE011
为统计时间函数，
Figure 693971DEST_PATH_IMAGE012
为路口稳定程度小于预设阈值的时间长度，
Figure 464349DEST_PATH_IMAGE013
为
Figure 917327DEST_PATH_IMAGE012
时间长度内路口图像稳定程度的方差，
Figure 168180DEST_PATH_IMAGE014
为归一化系数。
优选的，采用如下公式计算路口各帧图像的第一压缩率：
Figure 930469DEST_PATH_IMAGE015
其中，
Figure 876559DEST_PATH_IMAGE016
为路口任一帧图像的第一压缩率，
Figure 461124DEST_PATH_IMAGE017
为压缩率的修正系数，
Figure 753434DEST_PATH_IMAGE018
为双曲正切函数，
Figure 375039DEST_PATH_IMAGE010
为该帧路口图像对应的活跃程度。
优选的，孪生网络的训练过程，包括：
获取多张路口的基准图像，对路口的各基准图像进行镜像处理，得到处理后的路口各图像；
根据路口的各基准图像和处理后的路口各图像对孪生网络进行训练，得到训练好的孪生网络；所述训练好的孪生网络用于评估路口的任一帧图像和基准图像的相似度。
优选的，采用如下公式最低一级网关中各网关的算力：
Figure 385590DEST_PATH_IMAGE019
其中，
Figure 242687DEST_PATH_IMAGE020
为最低一级网关中任一网关的算力，为任一预设压缩率，
Figure 405815DEST_PATH_IMAGE007
为自然常数，
Figure 447590DEST_PATH_IMAGE021
为该网关以该预设压缩率处理目标图像所需的时间，
Figure 758485DEST_PATH_IMAGE022
为第二修正系数。
优选的，所述根据所述最低一级网关中各网关的算力和最低一级网关中各网关对应的链路的饱和度，得到各帧图像对应的目标压缩率，包括：
对于任一帧图像：
根据该帧图像对应的网关的算力和该帧图像对应的网关对应的链路的饱和度，构建如下的适应度函数：
Figure 356957DEST_PATH_IMAGE023
其中，
Figure 827121DEST_PATH_IMAGE024
为适应度函数，
Figure 915163DEST_PATH_IMAGE025
为该帧图像对应的网关的算力，
Figure 385459DEST_PATH_IMAGE026
为该帧图像对应的网关对应的链路的饱和度；所述该帧图像对应的网关为用于压缩该帧图像的网关，该帧图像对应的网关对应的链路为用于压缩该帧图像的网关与其上一级网关之间的链路；
采用萤火虫算法，得到该帧图像对应的目标压缩率。
优选的，采用如下公式计算最低一级网关中各网关对应的链路的饱和度：
Figure 974572DEST_PATH_IMAGE027
其中，为最低一级网关中任一网关对应的链路的饱和度，
Figure 846713DEST_PATH_IMAGE028
为该网关与其对应的上级网关之间带宽传输的速率，
Figure 105656DEST_PATH_IMAGE029
为该网关与其对应的上级网关之间带宽的上限，
Figure 312515DEST_PATH_IMAGE018
为双曲正切函数，
Figure 456052DEST_PATH_IMAGE030
为最低一级网关中各网关发送数据包的数量的极差。
本发明具有如下有益效果：本发明首先将路口的各帧图像输入到训练好的孪生网络中，得到路口的各帧图像与基准图像的相似度；根据路口的各帧图像与基准图像的相似度，计算了路口的稳定程度；然后根据稳定程度得到路口的活跃程度；根据路口的活跃程度计算路口各帧图像的第一压缩率；考虑到图像在压缩时，对网关的要求较高，网关的算力和链路的饱和度都会在一定程度上影响图像的压缩和传输，因此，本发明计算了各网关的算力和各网关对应的链路的饱和度；接着采用哈夫曼编码对压缩后的各帧图像进行编码传输，得到编码信息文件和数据文件；根据编码信息文件和数据文件，创建校验包；服务端对校验包进行验证和解压，得到路口的各帧图像。本发明提供的方法能够通过路口的活跃程度、网关的算力和链路的饱和度，对不同的图像进行不同程度的压缩，实现信息快速有效地传输。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明提供的一种物联网关验证及压缩系统的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种物联网关验证及压缩系统进行详细说明如下。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种物联网关验证及压缩系统的具体方案。
一种物联网关验证及压缩系统实施例
现有方法存在无法对活跃程度不同的路口图像进行不同程度的压缩的问题。为了解决上述问题，本实施例提出了一种物联网关验证及压缩系统，该系统以实现如图1所示的步骤，具体步骤如下：
步骤S1，实时获取路口的图像，将路口的各帧图像输入到训练好的孪生网络中，得到路口的各帧图像与基准图像的相似度，所述基准图像为路口无行人和车辆通过时的图像；根据所述路口的各帧图像与基准图像的相似度，计算路口的稳定程度；根据所述稳定程度，计算路口图像对应的活跃程度；根据所述路口图像对应的活跃程度，计算路口各帧图像的第一压缩率。
视频流是由多帧图像构成的，因此对视频流压缩的本质是对各帧图像的压缩，对视频流进行传输的本质是对各帧图像的传输。
在较大面积的区域内可能有多个网关，如果多个网关同时直接接入总服务器，会使当前服务器产生较大的处理压力，因此中间需要有多级网关做中间处理，不同级的网关负责不同的任务，并且信息接收源也不尽相同，最低一级网关负责对摄像头采集的图像进行压缩处理，往上一级的网关将收集下级网关数据并对数据进行再处理，以减少各个网关之间的工作量。对于中转的网关，对接收到的数据包进一步验证，确定当前数据包是否破坏，具体的，如果所包含的校验信息和校验结果不一致，判定数据包被破坏，将该数据包整体抛弃，要求下一级网关重新再发送；如果校验一致，则将数据包再次合并打包，并加上设备信息和当前时间戳，发向上一级网关。
本实施例以一个路口为例进行以下处理，其它路口均可采用本实施例提供的方法进行处理。在一个网关下挂载多个摄像头和传感器，用于采集路口的图像，本实施例中图像的拍摄频率为0.5秒采集一次，由摄像头控制端输出路口图像。在具体应用中，图像的拍摄频率实施者可自行设定。
本实施例设置路口摄像头的位置固定不变，因此拍摄到的图像视野是一样的，路口有行人或车辆运动时，采集的图像会发生变化，发生运动的部分为本实施例需要的有效信息，本实施例选取多张无行人和车辆通过时的路口图像作为基准图像，将这些基准图像进行镜像处理，得到二倍样本的效果。将得到的各基准图像和镜像处理后的各图像作为训练数据集，对孪生网络进行训练，由于基准图像和镜像处理后的图像特征一致，本实施例控制孪生网络输出的基准图像和对应的镜像处理后的图像的相似度为1，得到训练好的孪生网络，该网络用于提取当前路口图像特征，对图像进行比较，得到路口任意一张图像与基准图像的相似度。
若路口长时间没有发生任何变化，孪生网络输出的图像的相似度会保持为1；如果发生变化，图像的相似度将不为1；本实施例基于路口图像相似度的变化程度，衡量路口的活跃程度。利用训练好的孪生网络对路口的变化情况进行统计，获得路口各个时刻的活跃程度。
具体的，本实施例先由摄像头控制端输出高质量图像格式的路口图像Pic，利用训练好的孪生网络得到各时刻路口图像与基准图像的相似度，然后根据任意两个相邻时刻路口图像与基准图像的相似度，计算任意两个相邻时刻路口的稳定程度，若第
Figure 431967DEST_PATH_IMAGE004
个时刻对应的相似度与第
Figure 127390DEST_PATH_IMAGE006
个时刻对应的相似度的差异较小，说明该路口这两个时刻较稳定，行人和车辆都没有发生较大的运动，计算这两个时刻该路口的稳定程度，即：
Figure 509961DEST_PATH_IMAGE001
其中，
Figure 503194DEST_PATH_IMAGE002
为路口的稳定程度，
Figure 412244DEST_PATH_IMAGE003
为第
Figure 153935DEST_PATH_IMAGE004
个时刻路口图像与基准图像的相似度，
Figure 148436DEST_PATH_IMAGE005
为第
Figure 148622DEST_PATH_IMAGE006
个时刻路口图像与基准图像的相似度，
Figure 584282DEST_PATH_IMAGE007
为自然常数，
Figure 887088DEST_PATH_IMAGE008
为第一修正系数，用于扩大变化的差异，使函数下落程度加大，从数值上将变化程度划分，本实施例设置
Figure 493518DEST_PATH_IMAGE031
的取值为2，在具体应用中，实施者可自行设置。本实施例中的各时刻指的是图像的各采集时刻。
同理，得到其它时刻该路口的稳定程度。若路口在较长一段时间内对应的稳定程度一直未发生较大变化，说明该路口在这段时间内行人和车辆未发生较大程度的运动，即该路口该时间段内的活跃程度较低。本实施例设置稳定程度阈值
Figure 641603DEST_PATH_IMAGE032
，统计路口稳定程度小于
Figure 931770DEST_PATH_IMAGE032
持续的时间长度，基于该时间长度计算路口图像对应的活跃程度，即：
Figure 326848DEST_PATH_IMAGE009
其中，
Figure 171307DEST_PATH_IMAGE010
为路口图像对应的活跃程度，
Figure 123083DEST_PATH_IMAGE011
为统计时间函数，
Figure 985866DEST_PATH_IMAGE012
为路口稳定程度小于预设阈值（即
Figure 302577DEST_PATH_IMAGE032
）的时间长度，
Figure 758967DEST_PATH_IMAGE013
为
Figure 373487DEST_PATH_IMAGE012
时间长度内路口图像稳定程度的方差，反映
Figure 231722DEST_PATH_IMAGE012
时间长度内该路口图像与基准图像的相似度的变化情况，
Figure 657018DEST_PATH_IMAGE013
的值越小，说明该段时间内路口图像与基准图像越相似，即路口稳定程度较高，
Figure 522075DEST_PATH_IMAGE014
为归一化系数，本实施例设置
Figure 815653DEST_PATH_IMAGE014
的值为8，
Figure 403760DEST_PATH_IMAGE032
的值为0.9，在具体应用中，
Figure 390171DEST_PATH_IMAGE014
和
Figure 476945DEST_PATH_IMAGE032
的值实施者可自行设置。
如果该路口在某一小于阈值的稳定程度下持续的时间较长，说明该路口该段时间的活跃程度较低，即
Figure 449580DEST_PATH_IMAGE010
的值越小；如果该路口在某一小于阈值的稳定程度下持续的时间越短，说明该路口的活跃程度较高，即
Figure 16827DEST_PATH_IMAGE010
的值越大。基于此，对路口的活跃程度进行评价。
一般情况下，活跃程度较高的路口对应的图像中包含的信息量就越多，这时便不易使用较低的压缩率；活跃程度较低的路口采集的图像中包含的信息量相应较少，这时应当使用较低的压缩率；本实施例基于此，计算不同活跃程度的路口图像对应的第一压缩率，即
Figure 322210DEST_PATH_IMAGE033
其中，
Figure 974909DEST_PATH_IMAGE016
为路口任一帧图像的第一压缩率，
Figure 547972DEST_PATH_IMAGE017
为压缩率的修正系数，
Figure 359940DEST_PATH_IMAGE018
为双曲正切函数，
Figure 422573DEST_PATH_IMAGE010
为该帧路口图像对应的活跃程度，本实施例设置
Figure 234672DEST_PATH_IMAGE017
的值为0.8，在具体应用中，实施者可自行设置。
路口的活跃程度越高，路口图像对应的第一压缩率越大；路口的活跃程度越低，路口图像对应的第一压缩率越小。至此，得到路口各帧图像对应的第一压缩率。
步骤S2，根据路口各帧图像的第一压缩率，得到各帧图像对应的压缩率的区间；根据最低一级网关中各网关以预设压缩率处理目标图像所需的时长，计算最低一级网关中各网关的算力；根据带宽传输的速率和带宽的上限，计算最低一级网关中各网关对应的链路的饱和度；所述预设压缩率为对应的压缩率的区间中的各压缩率；所述各网关对应的链路为各网关与其对应的上级网关之间的链路。
压缩对网关的算力有一定要求，如果仅一个网关处理图像识别、压缩、传输等任务，可能会影响到信息传输效率，因此，将任务分配给不同等级的网关中，提高了传输效率。在图像进行传输时，每一级可能包含多个网关，不同网关的算力可能不尽相同，不同链路的带宽也可能不尽相同；在对图像进行压缩时，压缩率较低，对网关的算力要求比较高，而压缩率比较高，会有比较大的概率造成链路饱和，使得某个网关的数据包不能够及时有效的传递到上级网关。因此在获取路口各帧图像对应的压缩率时，仅考虑路口图像的活跃程度是不够的，还需要考虑网关的算力以及链路的饱和度。
对于任一帧图像：
本实施例基于步骤S1中得到的该帧图像对应的第一压缩率，确定该帧图像对应的压缩率区间：将第一压缩率的90%设置为压缩率区间的下限，将第一压缩率的120%和压缩率最高限制（允许的最大值）的95%中的最小值设置为压缩率区间的上限，即压缩率区间为[
Figure 15021DEST_PATH_IMAGE034
)]。为了能够在短时间内确定一个优解，本实施例设定最大迭代次数为50，在具体应用中，压缩率区间的上限、压缩率区间的下限和最大迭代次数，实施者可自行设置。
本实施例将压缩率区间中的各压缩率记为预设压缩率，根据最低一级网关中各网关以预设压缩率处理目标图像所需的时间（本实施例构建了各网关以预设压缩率处理目标图像时压缩率和压缩所需时间的对应关系），计算最低一级网关中各网关的算力，即：
Figure 212653DEST_PATH_IMAGE035
其中，为最低一级网关中任一网关的算力，
Figure 321555DEST_PATH_IMAGE036
为任一预设压缩率，
Figure 870217DEST_PATH_IMAGE007
为自然常数，
Figure 112979DEST_PATH_IMAGE021
为该网关以该预设压缩率处理目标图像所需的时间（单位为秒），
Figure 384692DEST_PATH_IMAGE022
为第二修正系数，本实施例设置
Figure 54707DEST_PATH_IMAGE022
的值为0.05，在具体应用中，实施者可自行设置。若压缩程度的要求较大（即压缩率越小），短时间内就能够完成压缩任务，说明网关有较强的算力。如果短时间内网关的算力出现波动，就需要进行压缩率的调整，以保证信息的时效性。
图像在网关之间传输时，链路带宽影响着传输效率，如果链路饱和的情况下，会使得某一网关数据不能够及时传输到位，即各个网关之间的压缩率未充分协调，造成链路堵塞。
获取当前最低一级网关中各网关与其对应的上级网关之间带宽传输的速率大小以及带宽上限，根据当前最低一级网关中各网关与其对应的上级网关之间带宽传输的速率以及带宽上限，计算最低一级网关中各网关对应的链路的饱和度，即：
Figure 293928DEST_PATH_IMAGE027
其中，
Figure 74802DEST_PATH_IMAGE037
为最低一级网关中任一网关对应的链路的饱和度，
Figure 201021DEST_PATH_IMAGE028
为该网关与其对应的上级网关之间带宽传输的速率（本实施例构建了各网关以预设压缩率处理目标图像时对应带宽传输的速率和压缩率的对应关系），
Figure 41938DEST_PATH_IMAGE029
为该网关与其对应的上级网关之间带宽的上限，
Figure 768454DEST_PATH_IMAGE018
为双曲正切函数，
Figure 353019DEST_PATH_IMAGE030
为最低一级网关中各网关发送数据包数量的极差。
Figure 396062DEST_PATH_IMAGE030
的获取过程为：获取最低一级网关中各网关发送数据包的数量，根据最低一级网关中各网关发送数据包的数量，计算最低一级网关中各网关发送数据包的数量的极差
Figure 63672DEST_PATH_IMAGE030
。
在不考虑最低一级网关因压缩造成的发送量减少的情况下，该饱和度数据能够反映因链路饱和导致的数据丢失的现象，根据当前链路的饱和情况，对网关的压缩任务做出调整。
步骤S3，根据所述最低一级网关中各网关的算力和最低一级网关中各网关对应的链路的饱和度，得到各帧图像对应的目标压缩率；根据各帧图像对应的目标压缩率，对各帧图像进行压缩；采用哈夫曼编码对压缩后的各帧图像进行编码传输，得到编码信息文件和数据文件；根据所述编码信息文件和数据文件，创建校验包；服务端对所述校验包进行验证和解压，得到路口的各帧图像。
考虑到压缩率较低，对网关的算力要求比较高，而压缩率比较高，会有比较大的概率造成链路饱和，使得某个网关的数据包不能够及时有效的传递到上级网关。因此每帧图像需要根据其对应的信息量、其对应的传输网关的算力以及传输链路的饱和度，确定每帧图像对应的目标压缩率，既保证对网关处理压力合适，又能保证链路有一定的冗余量。
本实施例采用萤火虫算法，获取每帧图像对应的目标压缩率，该算法模拟自然界萤火虫的发光特性，通过比较荧光素值的大小达到交流信息的目的，从而实现问题的优化，该算法具有参数较少、操作简单且稳定性较好等优点。在萤火虫算法中，每个萤火虫看作是搜索空间中的一个有位置没有体积的微粒，每个位置代表一个解，通过周围个体同伴所发荧光亮度和光强吸收系数决定移动的距离，不断在搜索空间进行搜索，最终找到优解。
本实施例首先根据当前各级网关压缩时的算力大小以及链路的饱和度情况，确定一个假想空间；同时根据压缩率的区间长度以及最小精度，确定萤火虫数量n，例如：设置区间为[20%，80%]，最小精度为1%，则最终的萤火虫数量
Figure 293797DEST_PATH_IMAGE038
，所述假象空间为一帧图像对应一个假象空间。
萤火虫先是初始化萤火虫种群，由目标函数计算适应度值，使种群向亮度最大的位置移动。根据萤火虫运动状态和适应度函数不断迭代更新萤火虫的位置，最终找到全局最优位置。本实施例根据网关的算力和链路的饱和度，构建适应度函数，即：
Figure 337845DEST_PATH_IMAGE039
其中，
Figure 438656DEST_PATH_IMAGE024
为适应度函数，
Figure 886955DEST_PATH_IMAGE025
为该帧图像对应的网关的算力，为该帧图像对应的网关对应的链路的饱和度；所述该帧图像对应的网关为用于压缩该帧图像的网关，该帧图像对应的网关对应的链路为用于压缩该帧图像的网关与其上一级网关之间的链路。
亮度和吸引度是萤火虫优化算法中的两个主要因素，定义萤火虫的亮度为:
Figure 322484DEST_PATH_IMAGE040
其中,
Figure 983273DEST_PATH_IMAGE041
为萤火虫u与萤火虫v之间的欧氏距离，
Figure 204170DEST_PATH_IMAGE042
为萤火虫u与萤火虫v相距为
Figure 479162DEST_PATH_IMAGE041
时所处位置的亮度，
Figure 11775DEST_PATH_IMAGE043
为萤火虫v的最大亮度，
Figure 617199DEST_PATH_IMAGE043
与目标函数值相关，
Figure 738608DEST_PATH_IMAGE031
为光强吸收系数，
Figure 263130DEST_PATH_IMAGE007
为自然常数；
定义萤火虫间的吸引度为：
Figure 423984DEST_PATH_IMAGE044
其中，
Figure 692155DEST_PATH_IMAGE045
为萤火虫u相对于萤火虫v的吸引度，
Figure 871332DEST_PATH_IMAGE046
为r＝0处（初始位置）的吸引度；
萤火虫u被萤火虫v吸引的位置更新公式为：
Figure 566756DEST_PATH_IMAGE047
其中，萤火虫位置的移动是在原来的位置上移动
Figure 214906DEST_PATH_IMAGE048
，
Figure 21188DEST_PATH_IMAGE049
为步长因子，一般取[0,1]上的常数，本实施例设置的取值为0.8，rand为[0,1]上服从均匀分布的随机数,上述公式为现有公式，因此本实施例不再对公式中的参数做具体解释。萤火虫算法为公知技术，此处不再赘述。
本实施例基于萤火虫算法，得到最优压缩率，并将该压缩率记为目标压缩率，对图像进行压缩传输时，以该压缩率压缩对应的图像，压缩方法使用常见的Jpeg格式，能够适应不同的压缩率。
至此，得到各帧图像对应的目标压缩率，在对图像进行传输时，需要先对图像进行压缩，各网关的环境不同，最终算力会受到影响，各帧图像对应相应的目标压缩率。萤火虫算法需要一直进行，对压缩率进行实时协调、调整，以保证数据传输的及时性。
最低一级网关对路口各帧图像进行一定程度的压缩处理，之后重新进行打包，发送到上一级网关。将获得的所有图像数据包放在一起，统计所有图像内包含的像素值大小以及出现的频率。利用哈夫曼编码对路口图像进行编码，像素值出现概率大的给予短码，像素值出现概率小的给予长码，从而使得最终需要传输的数据量减少。哈夫曼编码为公知技术，此处不再赘述。本实施例提取路口图像压缩后文件的特征值，并将该特征值作为验证信息，然后将图像和验证信息发送到上级网关。对于获取到的图像数据，加上时间戳，同时生成校验包，上传到网关中。由于最低网关与数据源最接近，因此数据有效性能得到保证。本实施例中的特征值使用的是哈希值，在具体应用中也可使用MD5值。
经过哈夫曼编码后，会重新生成编码信息文件和数据文件，为了保证传输安全，对两个数据包加入相同的特征，这里使用处理网关的设备信息和处理时间，加入到数据包开头。同时，在编码信息文件中，加入经过压缩后的文件压缩率信息，并将两个数据包分不同链路传输。本实施例对得到的编码信息文件和数据文件进行特征计算，计算方法使用CRC校验和MD5校验法，将得到的特征值以及压缩后图像的特征值放入一个新的数据包，作为校验包。为了保证发送接收的有效性，本实施例中各级网关数据发送和接收缓存各保留3个数据处理包区域。
在最低一级网关中，即最接近传感器的一级，对获取的路口图像进行识别，计算当前需要进行图像处理的目标压缩率，将路口图像、路口图像对应的目标压缩率以及图像信息的特征，传递给下一级网关。第二级网关一般距离第一级网关比较近，能够保证传输的有效性，第二级网关接收上一级网关信息并进行验证，确定信息有效后，对图像进行编码并进行打包处理，加入校验包。第三级网关以及后续网关，对接收到的数据包进行验证并进行转发，如果验证出错，则要求上级网关重新发送。如果验证成功，则进行下一级转发。服务端将接收到的数据包存储起来，分析最后得到的校验包，得到前面编码信息包和数据包的特征值，同时对前面的所有包进行特征值计算，与校验包内的数据进行比对。本实施例中比对方法为计算两个特征值的汉明距离，如果汉明距离为零，则说明传输的包全部正确。本实施例根据得到的编码包，对数据包进行解压缩处理，得到路口图像及图像数据，同时验证当前图像信息的准确性。
本实施例首先将路口的各帧图像输入到训练好的孪生网络中，得到路口的各帧图像与基准图像的相似度；根据路口的各帧图像与基准图像的相似度，计算了路口的稳定程度；然后根据稳定程度得到路口的活跃程度；根据路口的活跃程度计算路口各帧图像的第一压缩率；考虑到图像在压缩时，对网关的要求较高，网关的算力和链路的饱和度都会在一定程度上影响图像的压缩和传输，因此，本实施例计算了各网关的算力和各网关对应的链路的饱和度；接着采用哈夫曼编码对压缩后的各帧图像进行编码传输，得到编码信息文件和数据文件；根据编码信息文件和数据文件，创建校验包；服务端对校验包进行验证和解压，得到路口的各帧图像。本实施例提供的方法能够通过路口的活跃程度、网关的算力和链路的饱和度，对不同的图像进行不同程度的压缩，实现信息快速有效地传输。
需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种物联网关验证及压缩系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：
实时获取路口的图像，将路口的各帧图像输入到训练好的孪生网络中，得到路口的各帧图像与基准图像的相似度，所述基准图像为路口无行人和车辆通过时的图像；根据所述路口的各帧图像与基准图像的相似度，计算路口的稳定程度；根据所述稳定程度，计算路口图像对应的活跃程度；根据所述路口图像对应的活跃程度，计算路口各帧图像的第一压缩率；
根据路口各帧图像的第一压缩率，得到各帧图像对应的压缩率的区间；根据最低一级网关中各网关以预设压缩率处理目标图像所需的时长，计算最低一级网关中各网关的算力；根据带宽传输的速率和带宽的上限，计算最低一级网关中各网关对应的链路的饱和度；所述预设压缩率为对应的压缩率的区间中的各压缩率；所述各网关对应的链路为各网关与其对应的上级网关之间的链路；
根据所述最低一级网关中各网关的算力和最低一级网关中各网关对应的链路的饱和度，得到各帧图像对应的目标压缩率；根据各帧图像对应的目标压缩率，对各帧图像进行压缩；采用哈夫曼编码对压缩后的各帧图像进行编码传输，得到编码信息文件和数据文件；根据所述编码信息文件和数据文件，创建校验包；服务端对所述校验包进行验证和解压，得到路口的各帧图像。
2.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，采用如下公式计算路口的稳定程度：
Figure 378356DEST_PATH_IMAGE001
其中，
Figure 840561DEST_PATH_IMAGE002
为路口的稳定程度，
Figure 985103DEST_PATH_IMAGE003
为第
Figure 253274DEST_PATH_IMAGE004
个时刻路口图像与基准图像的相似度，
Figure 183184DEST_PATH_IMAGE005
为第
Figure 557837DEST_PATH_IMAGE006
个时刻路口图像与基准图像的相似度，
Figure 330621DEST_PATH_IMAGE007
为自然常数，
Figure 74586DEST_PATH_IMAGE008
为第一修正系数。
3.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，采用如下公式计算路口图像对应的活跃程度：
Figure 108270DEST_PATH_IMAGE009
其中，
Figure 974595DEST_PATH_IMAGE010
为路口图像对应的活跃程度，
Figure 641199DEST_PATH_IMAGE011
为统计时间函数，
Figure 641385DEST_PATH_IMAGE012
为路口稳定程度小于预设阈值的时间长度，
Figure 404942DEST_PATH_IMAGE013
为
Figure 114272DEST_PATH_IMAGE012
时间长度内路口图像稳定程度的方差，
Figure 986282DEST_PATH_IMAGE014
为归一化系数。
4.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，采用如下公式计算路口各帧图像的第一压缩率：
Figure 806470DEST_PATH_IMAGE015
其中，
Figure 345905DEST_PATH_IMAGE016
为路口任一帧图像的第一压缩率，
Figure 694978DEST_PATH_IMAGE017
为压缩率的修正系数，
Figure 585442DEST_PATH_IMAGE018
为双曲正切函数，
Figure 209322DEST_PATH_IMAGE010
为该帧路口图像对应的活跃程度。
5.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，孪生网络的训练过程，包括：
获取多张路口的基准图像，对路口的各基准图像进行镜像处理，得到处理后的路口各图像；
根据路口的各基准图像和处理后的路口各图像对孪生网络进行训练，得到训练好的孪生网络；所述训练好的孪生网络用于评估路口的任一帧图像和基准图像的相似度。
6.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，采用如下公式最低一级网关中各网关的算力：
Figure 681891DEST_PATH_IMAGE019
其中，
Figure 982292DEST_PATH_IMAGE020
为最低一级网关中任一网关的算力，
Figure 110785DEST_PATH_IMAGE021
为任一预设压缩率，
Figure 725306DEST_PATH_IMAGE007
为自然常数，为该网关以该预设压缩率处理目标图像所需的时间，
Figure 255644DEST_PATH_IMAGE022
为第二修正系数。
7.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，所述根据所述最低一级网关中各网关的算力和最低一级网关中各网关对应的链路的饱和度，得到各帧图像对应的目标压缩率，包括：
对于任一帧图像：
根据该帧图像对应的网关的算力和该帧图像对应的网关对应的链路的饱和度，构建如下的适应度函数：
Figure 805574DEST_PATH_IMAGE023
其中，为适应度函数，
Figure 405052DEST_PATH_IMAGE024
为该帧图像对应的网关的算力，
Figure 573996DEST_PATH_IMAGE025
为该帧图像对应的网关对应的链路的饱和度；所述该帧图像对应的网关为用于压缩该帧图像的网关，该帧图像对应的网关对应的链路为用于压缩该帧图像的网关与其上一级网关之间的链路；
采用萤火虫算法，得到该帧图像对应的目标压缩率。
8.根据权利要求1所述的物联网关验证及压缩系统，其特征在于，采用如下公式计算最低一级网关中各网关对应的链路的饱和度：
Figure 286737DEST_PATH_IMAGE026
其中，
Figure 194519DEST_PATH_IMAGE027
为最低一级网关中任一网关对应的链路的饱和度，
Figure 235287DEST_PATH_IMAGE028
为该网关与其对应的上级网关之间带宽传输的速率，
Figure 253928DEST_PATH_IMAGE029
为该网关与其对应的上级网关之间带宽的上限，
Figure 227700DEST_PATH_IMAGE018
为双曲正切函数，
Figure 119433DEST_PATH_IMAGE030
为最低一级网关中各网关发送数据包的数量的极差。
CN202210776202.XA 2022-07-04 2022-07-04 一种物联网关验证及压缩系统 Active CN114845119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776202.XA CN114845119B (zh) 2022-07-04 2022-07-04 一种物联网关验证及压缩系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776202.XA CN114845119B (zh) 2022-07-04 2022-07-04 一种物联网关验证及压缩系统

Publications (2)

Publication Number Publication Date
CN114845119A true CN114845119A (zh) 2022-08-02
CN114845119B CN114845119B (zh) 2022-10-04

Family

ID=82573469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776202.XA Active CN114845119B (zh) 2022-07-04 2022-07-04 一种物联网关验证及压缩系统

Country Status (1)

Country Link
CN (1) CN114845119B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268300A1 (en) * 2005-05-27 2006-11-30 Fuji Photo Film Co., Ltd. Moving picture real-time communications terminal, control method for moving picture real-time communications terminal, and control program for moving picture real-time communications terminal
WO2014077307A1 (ja) * 2012-11-15 2014-05-22 日本電気株式会社 サーバ装置、端末、シンクライアントシステム、画面送信方法およびプログラム
CN108012163A (zh) * 2017-12-19 2018-05-08 希诺麦田技术（深圳）有限公司 视频编码的码率控制方法及装置
WO2020019180A1 (zh) * 2018-07-25 2020-01-30 深圳市大疆创新科技有限公司 图像的编码控制方法、装置、存储介质及无人机
CN111031032A (zh) * 2019-12-12 2020-04-17 深圳市万佳安物联科技股份有限公司 云端视频转码方法及装置、解码方法及装置、及电子设备
CN111209119A (zh) * 2020-01-21 2020-05-29 成都国翼电子技术有限公司 一种人脸抓拍枪机负载均衡方法
CN111814604A (zh) * 2020-06-23 2020-10-23 浙江理工大学 一种基于孪生神经网络的行人跟踪方法
CN112449191A (zh) * 2019-08-27 2021-03-05 华为技术有限公司 压缩多个图像的方法、解压缩图像的方法和装置
CN112672153A (zh) * 2020-12-11 2021-04-16 北方信息控制研究院集团有限公司 融合视频特征分析的可伸缩编码视频码率自适应选择方法
CN114640857A (zh) * 2022-05-06 2022-06-17 江苏游隼微电子有限公司 基于改进哈夫曼编码的图像压缩方法、3d降噪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268300A1 (en) * 2005-05-27 2006-11-30 Fuji Photo Film Co., Ltd. Moving picture real-time communications terminal, control method for moving picture real-time communications terminal, and control program for moving picture real-time communications terminal
WO2014077307A1 (ja) * 2012-11-15 2014-05-22 日本電気株式会社 サーバ装置、端末、シンクライアントシステム、画面送信方法およびプログラム
CN108012163A (zh) * 2017-12-19 2018-05-08 希诺麦田技术（深圳）有限公司 视频编码的码率控制方法及装置
WO2020019180A1 (zh) * 2018-07-25 2020-01-30 深圳市大疆创新科技有限公司 图像的编码控制方法、装置、存储介质及无人机
CN112449191A (zh) * 2019-08-27 2021-03-05 华为技术有限公司 压缩多个图像的方法、解压缩图像的方法和装置
CN111031032A (zh) * 2019-12-12 2020-04-17 深圳市万佳安物联科技股份有限公司 云端视频转码方法及装置、解码方法及装置、及电子设备
CN111209119A (zh) * 2020-01-21 2020-05-29 成都国翼电子技术有限公司 一种人脸抓拍枪机负载均衡方法
CN111814604A (zh) * 2020-06-23 2020-10-23 浙江理工大学 一种基于孪生神经网络的行人跟踪方法
CN112672153A (zh) * 2020-12-11 2021-04-16 北方信息控制研究院集团有限公司 融合视频特征分析的可伸缩编码视频码率自适应选择方法
CN114640857A (zh) * 2022-05-06 2022-06-17 江苏游隼微电子有限公司 基于改进哈夫曼编码的图像压缩方法、3d降噪方法

Also Published As

Publication number Publication date
CN114845119B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
US8767821B2 (en) System and method for providing adaptive media optimization
CN109635693B (zh) 一种正脸图像检测方法及装置
CN101783955B (zh) 一种数据异常时的恢复方法和设备
WO2021036103A1 (zh) 图像数据的压缩传输方法、系统和计算机可读存储介质
CN112286666B (zh) 基于回调机制的细粒度数据流可靠卸载方法
EP3365979A1 (en) System and method for data compression over a communication network
CN112565777A (zh) 基于深度学习模型视频数据传输方法、系统、介质及设备
WO2023174144A1 (zh) 云桌面图像的超分辨率重建方法、装置、设备及存储介质
CN114845119B (zh) 一种物联网关验证及压缩系统
Varischio et al. Hybrid point cloud semantic compression for automotive sensors: A performance evaluation
CN116455522A (zh) 对灯光互动控制信息传输方法及系统
WO2022213992A1 (zh) 一种数据处理方法及装置
CN115550349A (zh) 基于随机线性网络编码与卡尔曼滤波算法的文件传输方法
CN107205150A (zh) 编码方法及装置
US11871156B2 (en) Dynamic vision filtering for event detection
CN113507467B (zh) 一种基于区块链的隐蔽信息传输系统及方法
US20230254230A1 (en) Processing a time-varying signal
CN113313721B (zh) 基于多尺度结构的实时语义分割方法
CN113297186A (zh) 数据处理方法、数据采集设备和数据计算设备
CN117014637B (zh) 媒体数据传输控制方法、装置、计算机设备和存储介质
US20230154053A1 (en) System and method for scene graph lossless compression by context-based graph convolution
Bairagi Motion compensated compression for event-based cameras
CN114170560B (zh) 一种基于深度强化学习的多设备边缘视频分析系统
CN111539952B (zh) 一种划痕检测与结果共享方法
CN114978427B (zh) 数据处理方法、装置、程序产品、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220802

Assignee: Wuhan Financial Leasing Co.,Ltd.

Assignor: Optical Valley Technology Co.,Ltd.

Contract record no.: X2023420000147

Denomination of invention: A Verification and Compression System for IoT Gateway

Granted publication date: 20221004

License type: Exclusive License

Record date: 20230607