CN106791696A - 无线视频监控系统及其图像传输方法和装置 - Google Patents
无线视频监控系统及其图像传输方法和装置 Download PDFInfo
- Publication number
- CN106791696A CN106791696A CN201710028616.3A CN201710028616A CN106791696A CN 106791696 A CN106791696 A CN 106791696A CN 201710028616 A CN201710028616 A CN 201710028616A CN 106791696 A CN106791696 A CN 106791696A
- Authority
- CN
- China
- Prior art keywords
- region
- transmission link
- wireless transmission
- available capacity
- wireless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
本发明公开了一种无线视频监控系统及其图像传输方法和装置。其中,该方法包括:实时获取传输链路的有效容量估计值;将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级;根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值;将当前帧图像中选中的区域通过无线传输链路进行传输。本发明解决了现有技术中由于传输无线监控信息的无线传输链路的有效带宽具有时变特性导致无线传输链路不能被有效利用的技术问题。
Description
技术领域
本发明涉及视频监控领域,具体而言,涉及一种无线视频监控系统及其图像传输方法和装置。
背景技术
视频监控在获取信息手段上通常被认为最符合人类认知,也因此,近年来在交通监控,安防监控等领域得到了极为广泛的应用,也取得了良好的效果。在某些特殊应用场合,无线化的视频监控系统能够发挥更大作用,尤其是基于移动平台部署的视频监控系统,例如军用/民用无人机监控系统,无人驾驶车辆,工业巡检机器人等。相对传统的视频监控系统,无线视频监控系统能够显著增强我们对现场信息的掌握能力和部署灵活度。如在军事用途中,基于无人机的视频监控系统能够使得战场指挥人员直接观测到远大于传统目测范围的战场情态,既能够避免传统人员侦察方式的高危险性,也避免了传统侦察方式的信息传递延迟和准确性损失。同样的,工业巡检机器人也使得工厂管理人员能够观测到传统人力难以观测到的高危区域,并降低人员参与的需求,进一步提升工业现场的无人化水平。在以无人驾驶车辆和AR增强现实(如google glass)等为代表的消费类电子市场中,无线视频子系统也为整体系统提供了重要的信息获取手段。即使在传统有线视频监控系统的优势领域如交通监控和安防监控中,无线化也赋予了系统更大的部署灵活度,在应急处理等场合正在发挥越来越重要的作用。
然而在此类无线视频监控系统中,由于载体平台的移动特性,往往无法连接高速以太网或光纤网络,视频监控所得高清视频流必须通过无线网络进行传输。值得注意的是,视频信息尤其是高清视频信息的海量数据一直给视频监控系统的传输、存储、与分析都带来极大的压力。而这种压力在视频监控系统传输无线化的过程中更是进一步凸显出来,成为无线视频监控系统实际部署的主要阻碍。与通常所认为的无线系统带宽较低所不同的是,目前宽带无线网络已能提供百兆量级的宽带传输能力,无线视频监控系统真正所面临的主要挑战来自于无线系统的时变特性,按照某种规律随着时间推移、环境变化等而不断演变的。实际部署的无线通常面临射频环境变化(多径效应)、设备位置移动(路损及多径效应)、网络设备自干扰等机理性因素的影响,这就导致链路质量为参数动态改变的时变系统。
毫无疑问的,无线通信系统有效带宽的随机时变特性通常无法稳定传输视频系统尤其是高清视频系统所生成的海量数据。因此相当部分无线视频监控系统工作在离线模式下,见诸报道的一个用来监控太阳能发电站中数以万记的太阳能面板损坏情况的无人机红外监控系统每半小时对整个太阳能电站进行一次巡检,而红外摄像机所取得的数据存在移动存储设备之上,在无人机降落后插入服务器终端传输数据,进行离线时的故障分析。军用的无人侦察机更是如此,其侦察效能显著受到无线通信系统有效带宽的影响。
针对这一问题,研究人员注意到其实摄像单元所获取到的海量像素并不携带相等的信息量。在传统的视频编码方案MPEG中即已利用过这一事实,即认为运动区域具有更高的信息量,为运动区域的像素分配更多的编码位数,而将帧间基本不变的背景区域视为低信息量区域分配较低的编码位数。但在某些场景,例如在军事用无人侦察机系统中,在地面静止的战术车辆相对背景并未移动,但是显然为侦察任务的关键任务目标。安防监控系统中出现的无人行李通常也应当被判定为高价值的异常目标。工业巡检系统中,目标机械设备绝大多数为固定目标,相对的异常状态(如色温变化,震动程度等)而非移动与否应当被视为信息量的判据。
针对现有技术中由于传输无线监控信息的无线传输链路具有时变特性导致无线传输链路不能被有效利用的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种无线视频监控系统及其图像传输方法和装置,以至少解决现有技术中由于传输无线监控信息的无线传输链路的有效带宽具有时变特性导致无线传输链路不能被有效利用的技术问题。
根据本发明实施例的一个方面,提供了一种用于无线视频监控系统的图像传输方法,包括:实时获取无线传输链路的有效容量估计值;将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级;根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值;将当前帧图像中选中的区域通过无线传输链路进行传输。
根据本发明实施例的另一方面,还提供了一种用于无线视频监控系统的图像传输装置,包括:获取模块,用于实时获取无线传输链路的有效容量估计值;确定模块,用于将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级;选择模块,用于根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值;传输模块,用于将当前帧图像中选中的区域通过无线传输链路进行传输。
根据本发明实施例的另一方面,还提供了一种用于无线视频监控系统的图像传输系统,包括:图像采集设备,用于采集视频;处理器,与图像采集设备通信,用于实时获取无线传输链路的有效容量估计值,将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级,根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值,将当前帧图像中选中的区域通过无线传输链路进行传输至无线通信设备;无线通信设备,与处理器通信,用于将当前帧图像中选中的区域或传至服务器。
在本发明实施例中,实时获取无线传输链路的有效容量估计值;将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级;根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值;将当前帧图像中选中的区域通过无线传输链路进行传输。由于无线传输链路资源并不能预留到下一时刻,上述方案用于无线传输链路的有效容量估计值进行图像的传输,在无线传输链路的有效容量估计值充足时可以将整帧图像或图像中的大部分区域进行回传,在无线传输链路的有效容量估计值较小时可以选择最终要的区域进行回传,相较于一刀切的回传方式(判断当前帧图像是否有用,有用则整帧回传,无用则整帧抛弃),不仅能够有效的利用无线传输链路,还能够防止无线传输链路的卡顿,从而现有技术中由于传输无线监控信息的无线传输链路的有效带宽具有时变特性导致无线传输链路不能被有效利用的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的用于无线视频监控系统的图像传输方法的流程图;
图2是根据本发明实施例的一种可选的线程1基于双层卡尔曼滤波器的链路指令估计算法的示意图;
图3是根据本发明实施例的一次针对预设图像在实验中得到的残存面积与Adaboost激活程度的示意图;
图4是根据本发明实施例的一种可选的线程2基于Adaboost模型的图像区域排除与滤出算法的示意图;
图5是根据本发明实时的一种可选的模拟演示示意图;
图6a是根据本发明实施例的一种在第一时刻的链路质量下回传的图像;
图6b是根据本发明实施例的一种在第一时刻的链路质量下回传的图像;
图6c是根据本发明实施例的一种在第二时刻的链路质量下回传的图像;
图6d是根据本发明实施例的一种在第三时刻的链路质量下回传的图像;
图7是将图5所示的系统的输入图像由摄像头数据更换为标注数据集后的召回率信息示意图;
图8是根据本发明实施例的用于无线视频监控系统的图像传输装置的示意图;
图9是根据本发明实施例的用于无线视频监控系统的图像传输系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
名词解释:
Adaboost:Adaboost是一种迭代算法,Adaboost是Boosting方法的一种,该算法是一种提升算法,意在将多个“弱学习”算法(也称弱分类器)组合提升为一个“强学习”算法(强分类器)。它采用加权投票机制,将一些有投票权的弱分类器线性组合起来形成强分类器,即对任一输入图像,所有弱分类器的决策的加权和决定了该图像是否为目标的判决。
实施例1
根据本发明实施例,提供了一种用于无线视频监控系统的图像传输方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的用于无线视频监控系统的图像传输方法的流程图,如图1所示,该方法包括如下步骤:
步骤S21,实时获取无线传输链路的有效容量估计值。
具体的,由于无线传输链路的有效容量估计值具有时变特性,同一无线传输链路在不同时刻的有效容量估计值可能不同,因此实时获取无线传输链路的有效容量估计值,用于在传输过程中能够最大程度的利用有效容量估计值。
步骤S23,将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级。
具体的,上述每个区域的传输优先级仅用于表征处理器在处理过程中的等效实现方式,而并不为处理器在具体的处理过程中的输出量或参数,上述当前帧图像的多个区域的传输优先级可以根据每个区域与任务目标的相似度进行确定,与任务目标的相似度越高,传输优先级越高。
步骤S25,根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值。
在上述步骤中,与任务目标越相似的区域具有越高的优先级,也就是说,传输优先级越高的区域越重要,在获取到无线传输链路的有效容量估计值后,可以根据无线传输链路的有效容量估计值来传输当前目标图像中的多个区域,在一种可选的实施例中,可以将当前帧图像的多个区域根据传输优先级排序,选择第一个区域并比较第一个区域的数据量和无线传输链路的有效容量估计值,如果第一个区域的数据量小于无线传输链路的有效容量估计值,则在选择的区域中加入第二区域,并比较第一个区域和第二区域的数据量总和与无线传输链路的有效容量估计值,如果比较第一个区域和第二区域的数据量总小于与无线传输链路的有效容量估计值,则继续在选择的区域中加入第三区域,直至选中的区域的总和大于无线传输链路的有效区域。
步骤S27,将当前帧图像中选中的区域通过无线传输链路进行传输。
具体的,上述用于无线视频监控系统可以包括:摄像传感设备、处理器以及无线通信设备构成,其中,上述图像传输方法可以用于处理器对接收到的摄像传感设备获取的视频图像进行处理。
由上可知,本申请上述方案实时获取无线传输链路的有效容量估计值;将视频中的当前帧图像分割成多个区域,并确定每个区域的传输优先级;根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值;将当前帧图像中选中的区域通过无线传输链路进行传输。由于无线传输链路资源并不能预留到下一时刻,上述方案用于无线传输链路的有效容量估计值进行图像的传输,在无线传输链路的有效容量估计值充足时可以将整帧图像或图像中的大部分区域进行回传,在无线传输链路的有效容量估计值较小时可以选择最终要的区域进行回传,相较于一刀切的回传方式(判断当前帧图像是否有用,有用则整帧回传,无用则整帧抛弃),不仅能够有效的利用无线传输链路,还能够防止无线传输链路的卡顿,从而现有技术中由于传输无线监控信息的无线传输链路的有效带宽具有时变特性导致无线传输链路不能被有效利用的技术问题。
此处需要说明的是,上述摄像传感器可以是高清可见光摄像机,根据任务需求也可为红外、微光、或SAR(合成孔径雷达成像系统)等成像设备;处理器可以为高性能处理器及其外围设备;无线通信设备在军用系统中通常为数据链等专用通信设备,在工业系统中通常为兼容IEEE802.15.4的ISM通信设备,在消费类电子系统中通常为兼容IEEE802.11的WiFi设备。
摄像传感设备获取的每帧视频信息以数字形式传递给处理单元;处理单元根据无线通信设备传递的参数送入链路质量估计算法,得到当前链路的有效容量估计值;有效容量估计值被作为参数送入前端部署的目标识别算法,根据有效容量的估计值和图像的多个区域的传输优先级在视频信息的每帧图像上筛选出当前链路可以传输的图像区域,并送至无线通信设备回传至服务器端。
综上,处理单元为本系统主要算法的部署位置,程序主体以两个独立线程为主。线程1为链路有效容量估计算法,线程2为获取链路有效容量估计值后执行目标相关度排序与滤除算法。
可选的,根据本申请上述实施例,步骤S102,获取无线传输链路的有效容量估计值,包括:
步骤S211,获取双层卡尔曼滤波模型,其中,双层卡尔曼滤波模型包括第一层卡尔曼滤波和第二层卡尔曼滤波,第一层卡尔曼滤波用于去除设备测量误差对计算无线传输链路的有效容量所产生的误差,第二层卡尔曼滤波模型用于去除多径信号的畸变对计算无线传输链路的有效容量所产生的误差。
图2是根据本发明实施例的一种可选的线程1基于双层卡尔曼滤波器的链路指令估计算法的示意图,结合图2所示Kalman1表示第一层卡尔曼滤波,Kalman2表示第二层卡尔曼滤波,RSSI(Received Signal Strength Indication,接收信号的强度)为几乎所有无线通信设备提供的标准链路指标,在理想情况下,无线收发器的内噪音通常恒定(温度恒定情况下),一个准确的RSSI即足够描述信道的链路质量和估计出有效通信容量。目前常用的RSSI测量方法是在数据帧特定部分(通常为帧头)截取16us长度的时间片启动射频前端ADC采样获得其平均功率(通常称为energy detection即能量检测),并转化成RSSI输出。即使在理想的AWGN高斯白噪音信道下,调制符号导致信号起伏和ADC采样误差均会导致RSSI的不准确性,通常呈现为数dB的高斯分布。当信号承受信道的多径效应时,由于设备测量误差,信号本身呈现大幅起伏,使得用于短时能量检测的RSSI无法反映整帧(通常持续时间为数ms)信号质量。多径效应导致的信号畸变更是使得信号承受低于同等信噪比指标的高斯白噪音信道的误码率。进一步考虑如军事侦察和工业环境等无线视频监控系统的工作场景下还有可能需要面对环境产生的干扰噪音。因此,在处理器引入了一个双层Kalman(卡尔曼)滤波模型来生成一个当前信道质量的有效估计。
步骤S213,获取链路的接收信号强度、接收端噪声强度以及接收端统计误码率。
步骤S215,将链路的接收信号强度、接收端噪声强度以及接收端统计误码率输入至双层卡尔曼滤波模型,得到无线传输链路的等效信噪比,其中,等效信噪比用于表征在理想的信道下达到预设误码率的信噪比。
步骤S217,根据等效信噪比得到无线传输链路的有效容量估计值。
可选的,根据本申请上述实施例,步骤S215,将链路的接收信号强度、接收端噪声强度以及接收端统计误码率输入至双层卡尔曼滤波模型,得到无线传输链路的等效信噪比,包括:
步骤S2151,根据链路的接收信号强度、接收端噪声强度以及接收端统计误码率通过线性处理得到信号能量、接收机内噪声和信号劣化程度。
结合图2所示,RSSI为链路的接收信号强度、NOI为接收端噪声强度、BER为接收端统计误码率,通过非线性处理模块进行线性处理后,得到PRSS、N和SQD,即信号能量、接收机内噪声和信号劣化程度。
步骤S21513,对信号能量和接收机内噪声通过第一层卡尔曼滤波得到无线传输链路的信噪比。
结合图2所示,PRSS和N经过Kalman1得到SNR,即无线传输链路的信噪比。线程1在每次无线数据传输后激活,无线通信设备通过监测每次数据包或数据包组传输完毕后服务器端回应的ACK(Acknowledgement,确认字符)获得该链路的接收信号强度(Received SignalStrength Indicator,RSSI),接收端噪音强度(Noise Indicator,NOI),和接收端统计误码率(Bit Error Rate,BER)。
RSSI=Prss+Ni+Ne+Xσ (1)
如步骤S211中对RSSI的描述可知,用于生成RSSI的能量检测方法是无法区分信号能量Prss、接收机内噪音Ni、和环境噪音Ne的。因此RSSI并非接收信号强度Prss的单调映射,而应当由公式(1)描述。Xσ为能量检测的测量误差,为一个0均值的高斯分布。因此,在数据帧间隔间,即确定无数据信号时(如SIFS或DIFS时间片)再次触发一次能量检测功能,获得一个不包含Prss的“RSSI”称为NOI,则可通过公式(2)完成通过RSSI与NOI对Prss的提取和线性化的标定过程:
其中,b为接收机相关的一个常量,可以离线标定获得。注意高斯过程的线性运算仍然为一个高斯过程。注意获得值为信号强度Prss的一个有误差观测值,用P`rss标识。同样,可以对NOI执行与公式(2)相似过程,获得接收机噪音的一个有误差观测值,用N`标识:
于是接收端信噪比(如将环境噪音视为干扰,则为信号干扰噪音比)可以描述为:
SNR=Prss-Ni-Ne (4)
第一层的kalman滤波器即用来跟踪SNR的变化关系,构建如公式(5)所示状态方程:
其中ws,k、wn,k为符合零均值高斯分布的状态噪音,描述了衰落导致信号的起伏分布。为方便Kalman滤波器构建,我们将公式(5)改写为向量形式:
xk=A·xk-1+wk (6)
其中为状态向量,公式(6)称为状态方程,并构建观测方程如下:
yk=H·xk+vk (7)
其中由无线通信单元传递的RSSI与NOI参数经过公式(1)-(4)的线性化过程获得,vk为测量噪音。
公式(6)-(7)即构成状态空间模型,基于此模型即可构建公式(8)-(12)所描述Kalman滤波器:
先验更新:
先验误差计算:
Kalman增益更新:
后验更新:
后验误差计算:
其中为状态的先验估计,xk为状态的后验估计,为先验估计误差的协方差矩阵,Pk∈R2×2为后验估计误差的协方差矩阵.Kk∈R2×2为Kalman增益矩阵随迭代过程自动收敛,Q为状态噪音的方差,R为测量噪音的方差。Q和R可以通过标定获得。此处注意到P值与收敛终态无关,因此可以置任意非零矩阵。通过对收敛后的状态向量提取Prss与N,求其比即可得SNR的一个抑制观测噪音的估计值。
步骤S21515,根据无线传输链路的信噪比和信号劣化程度通过第二层卡尔曼滤波得到无线传输链路的等效信噪比。
多径效应除导致信号幅度起伏外,还将造成符号畸变,使得信号在相同信噪比下承受更差的误码率。因此引入第二层Kalman滤波器来描述并跟踪这样一个信号劣化的程度。我们定义一个新的变量Effective SNR(ESNR)来描述在无线收发器当前工作模式(通常指调制与编码模式)在理想高斯白噪音信道下达到指定误码率BER所需的信噪比(显然可以通过离线标定方法获得这一映射关系)。则可以定义:
ESNR=SNR-SQD (13)
ESNR与SNR之差即为多径效应造成的信号劣化程度Signal Quality Degradation(SQD),注意SQD无法直接观测,且按窗口统计法所得误码率通常与真实误码率存在一个随机误差,所以我们构建了一个第二层的Kalman滤波器来通过BER的观测值来跟踪SQD的变化。需要注意的是通过接收端获得的直接统计值为PER,即丢包率或称丢帧率具有相同的物理意义,首先需要通过PacketLength(包长)进行线性化将其转换成BER,并进一步通过标定的查找表转换为ESNR:
PER=1-(1-BER)8·PacketLength (14)
于是我们可以定义第二层Kalman滤波器的状态方程为:
x2,k=A2·x2,k-1+w2,k (15)
其中andwsnrwsqd为SNR与SQD的状态噪音,注意由于在观测方程中SQD是由SNR与ESNR线性计算所得,因此SNR与SQD以及两状态变量所承受的噪音不再严格独立。为简化系统避免增强Kalman滤波器的估计开销,系统仍然假设该噪音独立,这带来一定的性能损失。正如预估,试验结果也表明Kalman滤波器系统在该强制条件下仍然快速收敛并准确估计出系统的变化。
定义观测方程如下:
y2,k=H2·x2,k+v2,k (16)
其中vSNRvBER为观测噪音。SNR`由第一层Kalman滤波器取其状态向量解算所得,并送入第二层Kalman滤波器作为观测变量。ESNR`由观测的BER映射而得。第二层Klamn滤波器过程仍然可由公式(8)-(12)描述,但是采用不同的参数组即可。
当两层滤波器经过数次迭代收敛后,即可通过x2提取SNR与SQD即可解算出ESNR作为一个可靠的链路质量估计。在获得一个可靠的链路质量估计后,即可采用单向搜索方法,获得使得当前链路容量最大的调制于编码组合工作模式maxr∈RThroughput(r),
其中R为无线收发器工作模式集合。上述优化过程可由下述伪代码描述:
此处需要说明的是,若解算出最优工作模式与当前工作模式不同,则在下次数据交互时通过RTS(Request to send,请求发送)与CTS(Clear to send,允许发送)更新工作模式,否则保持当前工作模式。
在工作模式确定后,即可根据当前工作模式的解析BER(Bit Error Rate,接收端统计误码率)函数带入当前链路质量估计值解算出无线传输链路的有效容量估计值(非香农上限),即当前链路在小时间尺度内可以可靠传输的数据率。该无线传输链路的有效容量估计值每次迭代更新后将被送至线程2作为门限参数。
可选的,根据本申请上述实施例,步骤S23,将视频中的当前帧图像分割成多个区域,并确定每个区域的传输优先级,包括:
步骤S231,获取预设目标识别模型。
具体的,上述预设目标识别模型可以为Adaboost模型。
在一种可选的实施例中,仍以载有摄像是设备无人进行采集视频为例,可以根据任务定义,在验证系统中构建由12000个正样本,12000个负样本组成的无人机对地观测任务训练集,用来训练一个61级的Adaboost分类器。Adaboost采用贪婪的迭代方式,每次迭代选择一个最好的弱分类器,最后将所有迭代中选择出的弱分类器进行线性加权组合,形成强分类器。在每次迭代中,Adaboost对每个训练样本赋予一个权重,这样在每次迭代中所有样本的权重形成一套概率分布。每次迭代中选择分类误差最小的弱分类器参与到强分类器的构建中,并调整每个训练样本的权重。权重调整的原则是更加重视被误分的样本,被误分的样本获得较大的权重,被正确分类的样本权重减少。这样,随着迭代次数的增加,权重的增加,算法会更加关注难以训练的样本上。最后,根据每次迭代选择出的弱分类器的加权组合,从而形成强分类器,并且弱分类器的权重为其在训练集上的权重。
步骤S233,提取当前帧图像的多个区域的特征信息,并输入至预设目标识别模型,其中,预设目标识别模型通过对多个弱分类器的判决结果进行加权得到最终的判决结果。
步骤S235,根据所述无线传输链路的有效容量估计值获取当前帧图像所对应的预设目标识别模型中弱分类器的激活数量,并激活预设目标识别模型中与激活数量对应的弱分类器。
步骤S237,通过激活的弱分类器对多个区域与目标对象的相似度进行排序,并根据多个区域与目标对象的相似度确定多个区域的传输优先级,其中,相似度越高,传输优先级越高。
可选的,根据本申请上述实施例,步骤S231,获取预设目标识别模型,包括:
步骤S2311,通过多个正样本和多个负样本训练预设数量的弱分类器,得到训练后的弱分类器,其中,每个训练后的弱分类器对应图像的一个或多个特征。具体的,弱分类器对应的图像的多个特征为一组特征集合。
步骤S2313,将每个训练后的弱分类器进行迭代预设次数,得到预设目标识别模型,其中,预设目标识别模型将每个弱分类器根据权重由高至低重新排序,将每个训练后的弱分类器进行迭代预设次数的步骤包括。
步骤S2315,根据获取的图像的每一种特征对应的增加漏警率权重的加权分类误差。
步骤S2317,根据此次迭代中加权分类误差最小的分类器是否对样本正确分类,确定用于更新权重的参数。
步骤S2319,根据用于更新权重的参数以及此次迭代中最小的加权分类误差确定新的权重值。
作为一种可选的实施例,预设目标识别模型可以为Adaboost模型,可以通过如下方法训练得到Adaboost模型:
1.给一组训练样本{xi,yi}i=1,...,N其中,yi为样本xi的类别标号;
2.构建弱分类器hj(x),对应一个特征fj,一个阈值θj,还有一个用来指示不等式符号方向的函数pj:
3.对于第j个特征fj,计算所有训练样本关于该特征的特征值,并排序。对每个特征值计算;
1)全部正例样本的权重之和W+;
2)全部反例样本的权重之和W-;
3)在此特征值之前的正例样本的权重之和S+;
4)在此特征值之前的反例样本的权重之和S-;
于是选择当前特征值和它前面的一个特征值之间的实数作为阈值θj时,这个阈值所带来的分类误差为e=min(S++(W--S-),S-+(W+-S+))。
4.遍历排好序的特征值扫描一遍,选择分类误差最小的那个阈值作为当前弱分类器的最佳阈值θj。
5.基于训练好的弱分类器,训练Adaboost模型,分别将正例样本和反例的权重初始化为m和l分别为反例样本和正例样本的数量
6.循环迭代t=1,2,…T,其中,T为所有弱分类器树木。
1)、归一化权重,
2)、对于每一个特征j,根据经验所得漏警权重wi计算加权分类误差:
εj=∑iωi|wi(hj(xi)-yi)|
3)、选择本次迭代中误差εt最小的那个弱分类器.
4)、更新权重:
其中,如果样本被正确分类,则ei=0;
否则,ei=1,并且
7.生成最终的强分类器为:
其中
8.依αt从高到低将ht(x)重新排序。
相对于现有技术的Adaboost训练过程,我们对训练过程进行了部分修正以更加匹配无线监控系统的使用:
1.增大漏警率的权重,而非使用标准的分类错误率(等效于漏警率与误警率的算术平均值)用来训练Adaboost模型。
2.在Adaboost训练完毕后,依照权重将训练好的弱分类器重新排序。即使该模型在使用时权重越大的弱分类器有更大的激活概率。
可选的,根据本申请上述实施例,步骤S235,获取当前帧图像所对应的预设目标识别模型中弱分类器的激活数量,包括:
步骤A,设置预设的激活数量的集合,并获取预设误差门限值。
步骤B,分别通过激活数量的集合中的第一激活数量和第二激活数量的弱分类器对分割当前帧图像得到的多个区域进行处理,得到通过第一激活数量的弱分类器的第一判决区域和通过第二激活数量的弱分类器的第二判决区域,并根据第一判决区域和第二判决区域的坐标确定分别对应的第一残存面积和第二残存面积。
步骤C,根据第一残存面积和第二残存面积的差通过对数拟合获得预估的第三残存面积。
步骤D,通过第三激活数量的弱分类器对分割当前帧图像得到的多个区域进行处理,得到实际第三残存面积。
步骤E,将预估的第三残存面积与实际第三残存面积进行比对。
步骤F,重复残存面积步骤B至残存面积步骤E依次按照残存面积激活数量的集合中的激活数量迭代N次,直至残存面积预估的第三残存面积与残存面积实际第三残存面积的差值小于残存面积误差门限值。
步骤G,通过小于误差门限值的拟合参数结合残存面积无线传输链路的有效容量估计值,得到残存面积当前帧图像所对应的残存面积预设目标识别模型中弱分类器的激活数量,其中,拟合参数为所述步骤C中对数拟合的过程生成的参数。
以预设目标识别模型为Adaboost模型为例,离线训练完毕的Adaboost模型即可存入无线视频监控系统前端,供实时图像区域筛选使用。但是Adaboost为各个弱分类器加权判决,而非逐次的级联判决。也就是Adaboost的判决需要多个弱分类同时使用给出候选窗口判决,而非将所有候选窗口依序送入各弱分类器,在每个弱分类器均滤除部分候选窗口。这也就意味着,在实时使用时,我们需要一个优化决策算法,来根据输入的有效容量估计值来给出激活的弱分类器数目。此外还需要注意到,根据当前帧包含信息不同,同样的Adaboost激活程度产生的残存区域面积和数据量也并不相同,因此需要进行在线估计。
图3是根据本发明实施例的一次对预设图像在实验中得到的残留区域面积与Adaboost激活程度的示意图,结合图3所示,对该预设图像来说,残留区域面积与Adaboost激活程度在后期呈现对数下降趋势,根据此发现,采用迭代逼近的估计算法:
1)对摄像传感单元输入的当前0帧进行扫窗,生成候选窗口。扫窗法也可被图割等候选窗口生成算法替代;
2)选择一个初始的Adaboost激活度a1,a1取值根据经验设定,通常为一较小值;
迭代i=1,2,…..I,其中aI=100%;
3)用激活的Adaboost子集θ(ai)-θ(ai-1)(注:差集)对候选窗口进行处理,合并上一迭代周期加权结果进行判决,对通过判决的候选窗口集统计其坐标的并集,计算对应残存面积S(ai)。并缓存本次加权结果;
4)计算归一化估计误差
5)若估计误差ε大于门限值,说明尚未进入对数下降区域,计算残存面积的对数变化率Δi=10log10[S(ai)-S(ai-1)],并利用Δi与ai+1=2ai计算下一迭代周期的残存面积估计S(ai-1);
6)重复3-5直至估计误差ε小于门限值;
7)根据有效带宽估计,估算能够可靠传输的对应的图像面积S,代入Δi,求解对应Adaboost激活度a≤100%;
8)用激活的模型子集θ(a)对候选窗口进行处理,对通过判决的候选窗口集合并窗口,生成待传输图像,进行无损压缩后送入无线传输单元。将原始图像暂存本地备份。
本过程事实上将原始Adaboost算法的计算开销,通过迭代逼近的方法拆分为几个离散子集,并依次执行。其在最坏情况下的计算量约等于原始Adaboost算法,即使对每个弱分类器进行一次迭代逼近,估计算法产生的额外开销也远远小于海量的候选窗口的特征运算。因此正常执行时,本算法可以视为原始Adaboost的离散自适应子集,算法开销较低,适合前端嵌入式平台执行。总的来说,当信道较为恶劣时,计算开销将越大,滤除更多目标区域,传输更小的数据量;当信道较为理想时,计算开销将降低,滤除较少的目标区域,传输更大的数据量。核心原则是以准确的链路质量估计来指导一个自适应的目标检测算法,在保证关键目标信息不丢失的情况下,依目标检测算法排序,回传当前无线链路能够承担的图像信息。该方法可以进一步叠加其他视频/图像压缩方法使用。
可选的,根据本申请上述实施例,在将当前帧图像中选中的区域通过无线传输链路进行传输之前,方法还包括:对选中的区域进行合并,并进行无损压缩。
综上,本发明能够达到以下效果:
1.考虑了无线信道的时变特征,及信道资源的不可累积性。
2.在1的基础上,提出利用对无线链路的准确估计来最大可能的回传图像信息。
3.对前端摄像单元捕获的原始图像,根据监控任务定义,将原始图像按包含与任务目标相似度(可以定义为一种伪信息量)进行区域划分。
4.以链路质量估计指标,计算能够可靠传输的数据量,根据数据量,确定能够回传的图像区域。
图4是根据本发明实施例的一种可选的线程2基于Adaboost模型的图像区域排除与滤出算法的示意图,结合图4所示,线程2在每次摄像传感设备将每帧数据送至处理器后被激活。线程2的主要目标是根据无线视频监控系统在不同任务场景下的任务定义,对当前帧的图像信息进行解析,将图像区域按照与任务目标的相似程度进行排序,并按照带宽门限选取高信息量区域拼接后送至无线通信单元回传。在如图4所示的示例中,该Adaboost模型部署于无线视频监控系统的前端,包括N个弱分类器,每个分类器对应一个权重值w(如图:DT1对应W1,DTn对应Wn等),其中,i为处理当前帧图像需要激活的弱分类器数量,即有投票权的弱分类器;DT1、DT2……DTi为激活的弱分类器,DTi+1……DTn为Adaboost模型中未激活的分类器,被激活的分类器确定保留区域,根据保留区域的数据量估计以及由线程1实时获取的无线传输链路的有效容量估计参数通过门限决策确定当前帧图像对应的激活度,并反馈至激活分类器,进一步的,根据激活的每个弱分类器对当前帧图像分成的每个区域的判决结果进行加权后得到每个区域的最终判决结果(即是否回传),将通过最终判决的区域(确定需要回传的区域)进行串口合并,并在进行压缩编码后传输至无线通信单元。
进一步的构建了一个如下图5所示的模拟演示系统,利用一块Jetson TK1嵌入式板卡配合1080p高清摄像头模拟无线视频监视系统,通过wifi回传信号,服务器端wifi设备与天线间增加一台可调信号衰减器用来模拟不同链路质量。在实验室内布置机场沙盘,利用无线视频监控系统模拟无人机实时对地观测。
图6a、图6b、图6c、图6d为分别对应不同链路质量的回传图像,从图6a、图6b、图6c、图6d,链路质量逐渐恶化,可见这一过程中更多的非关键地形信息被滤除,但是始终保证关键目标:飞机的信息被回传。
图7为将图5所示的系统的输入图像由摄像头数据更换为标注数据集(采用googgle卫星数据生成)后的召回率信息示意图(即目标未被完整传输回服务器的概率),由图7可见经过即使在Adaboost算法全部61级弱分类器执行的情况下,系统仍能保持99%以上的信息可靠性,具备部署能力。
实施例2
根据本发明实施例,提供了一种用于无线视频监控系统的图像传输装置的实施例,图8是根据本发明实施例的用于无线视频监控系统的图像传输装置的示意图,如图8所示,该装置包括:
获取模块80,用于实时获取无线传输链路的有效容量估计值。
确定模块82,用于将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级。
选择模块84,用于根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值。
传输模块86,用于将当前帧图像中选中的区域通过无线传输链路进行传输。
可选的,根据本申请上述实施例,获取模块80包括:
第一获取子模块,用于获取双层卡尔曼滤波模型,其中,双层卡尔曼滤波模型包括第一层卡尔曼滤波和第二层卡尔曼滤波,第一层卡尔曼滤波用于去除设备测量误差对计算无线传输链路的有效容量所产生的误差,第二层卡尔曼滤波模型用于去除多径信号的畸变对计算无线传输链路的有效容量所产生的误差;
第二获取子模块,用于获取链路的接收信号强度、接收端噪声强度以及接收端统计误码率;
第三获取子模块,用于将链路的接收信号强度、接收端噪声强度以及接收端统计误码率输入至双层卡尔曼滤波模型,得到无线传输链路的等效信噪比,其中,等效信噪比用于表征在理想的信道下达到预设误码率的信噪比;
第四获取子模块,用于根据等效信噪比得到无线传输链路的有效容量估计值。
可选的,根据本申请上述实施例,第三获取子模块包括:
第一获取单元,用于根据链路的接收信号强度、接收端噪声强度以及接收端统计误码率通过线性处理得到信号能量、接收机内噪声和信号劣化程度;
第二获取单元,用于对信号能量和接收机内噪声通过第一层卡尔曼滤波得到无线传输链路的信噪比;
第三获取单元,用于根据无线传输链路的信噪比和信号劣化程度通过第二层卡尔曼滤波得到无线传输链路的等效信噪比。
可选的,根据本申请上述实施例,确定模块72包括:
第五获取子模块,用于获取预设目标识别模型;
提取子模块,用于提取当前帧图像的多个区域的特征信息,并输入至预设目标识别模型,其中,所述预设目标识别模型通过对多个弱分类器的判决结果进行加权得到最终的判决结果;
第六获取子模块,用于根据无线传输链路的有效容量估计值获取当前帧图像所对应的预设目标识别模型中弱分类器的激活数量,并激活预设目标识别模型中与激活数量对应的弱分类器;
确定子模块,用于通过激活的弱分类器对多个区域与目标对象的相似度进行排序,并根据多个区域与目标对象的相似度确定多个区域的传输优先级,其中,相似度越高,传输优先级越高。
可选的,根据本申请上述实施例,获取预设目标识别模型,包括:
训练子模块,用于通过多个正样本和多个负样本训练预设数量的弱分类器,得到训练后的弱分类器,其中,每个训练后的弱分类器对应图像的一个或多个图像特征;
弱分类器迭代模块,用于将每个训练后的弱分类器进行迭代预设次数,得到预设目标识别模型,其中,预设目标识别模型将每个弱分类器根据权重由高至低重新排序,将每个训练后的弱分类器进行迭代预设次数的步骤包括:
根据获取图像的每一种特征对应的增加漏警率权重的加权分类误差;
根据此次迭代中加权分类误差最小的分类器是否对样本正确分类,确定用于更新权重的参数;
根据用于更新权重的参数以及此次迭代中最小的加权分类误差确定新的权重值。
可选的,根据本申请上述实施例,上述装置还包括:
合并压缩模块,用于对选中的区域进行合并,并进行无损压缩。
实施例3
根据本发明实施例,提供了一种用于无线视频监控系统的图像传输系统的实施例,图9是根据本发明实施例的用于无线视频监控系统的图像传输系统的示意图,如图9所示,该系统包括:
图像采集设备10,用于采集视频。
处理器20,与图像采集设备通信,用于实时获取无线传输链路的有效容量估计值,将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级,根据每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于无线传输链路的有效容量估计值,将当前帧图像中选中的区域通过无线传输链路进行传输至无线通信设备。
无线通信设备30,与处理器通信,用于将当前帧图像中选中的区域或传至服务器。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。用于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种用于无线视频监控系统的图像传输方法,其特征在于,包括:
实时获取无线传输链路的有效容量估计值;
将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级;
根据所述每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于所述无线传输链路的有效容量估计值;
将所述当前帧图像中选中的区域通过所述无线传输链路进行传输。
2.根据权利要求1所述的方法,其特征在于,获取无线传输链路的有效容量估计值,包括:
获取双层卡尔曼滤波模型,其中,所述双层卡尔曼滤波模型包括第一层卡尔曼滤波和第二层卡尔曼滤波,所述第一层卡尔曼滤波用于去除设备测量误差对计算所述无线传输链路的有效容量所产生的误差,所述第二层卡尔曼滤波模型用于去除多径信号的畸变对计算所述无线传输链路的有效容量所产生的误差;
获取所述链路的接收信号强度、接收端噪声强度以及接收端统计误码率;
将所述链路的接收信号强度、接收端噪声强度以及接收端统计误码率输入至所述双层卡尔曼滤波模型,得到所述无线传输链路的等效信噪比,其中,所述等效信噪比用于表征在理想的信道下达到预设误码率的信噪比;
根据所述等效信噪比得到所述无线传输链路的有效容量估计值。
3.根据权利要求2所述的方法,其特征在于,将所述链路的接收信号强度、接收端噪声强度以及接收端统计误码率输入至所述双层卡尔曼滤波模型,得到所述无线传输链路的等效信噪比,包括:
根据所述链路的接收信号强度、接收端噪声强度以及接收端统计误码率通过线性处理得到信号能量、接收机内噪声和信号劣化程度;
对所述信号能量和接收机内噪声通过所述第一层卡尔曼滤波得到所述无线传输链路的信噪比;
根据所述无线传输链路的信噪比和所述信号劣化程度通过所述第二层卡尔曼滤波得到所述无线传输链路的等效信噪比。
4.根据权利要求3所述的方法,其特征在于,将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级,包括:
获取预设目标识别模型;
提取所述当前帧图像的多个区域的特征信息,并输入至所述预设目标识别模型,其中,所述预设目标识别模型通过对多个弱分类器的判决结果进行加权得到最终的判决结果;
根据所述无线传输链路的有效容量估计值获取所述当前帧图像所对应的所述预设目标识别模型中弱分类器的激活数量,并激活所述预设目标识别模型中与所述激活数量对应的弱分类器;
通过激活的弱分类器对所述多个区域与目标对象的相似度进行排序,并根据所述多个区域与所述目标对象的相似度确定所述多个区域的传输优先级,其中,所述多个区域的相似度分别与所述多个区域的传输优先级呈正相关。
5.根据权利要求3所述的方法,其特征在于,获取预设目标识别模型,包括:
通过多个正样本和多个负样本训练预设数量的弱分类器,得到训练后的弱分类器,其中,每个训练后的弱分类器对应一个或多个图像特征;
将每个训练后的弱分类器进行迭代预设次数,得到所述预设目标识别模型,其中,所述预设目标识别模型将每个所述弱分类器根据权重由高至低重新排序,将每个训练后的弱分类器进行迭代预设次数的步骤包括:
根据获取图像的每一种特征对应的增加漏警率权重的加权分类误差;
根据此次迭代中加权分类误差最小的分类器是否对样本正确分类,确定用于更新权重的参数;
根据用于更新权重的参数以及此次迭代中最小的加权分类误差确定新的权重值。
6.根据权利要求5所述的方法,其特征在于,获取所述当前帧图像所对应的所述预设目标识别模型中弱分类器的激活数量,包括:
步骤A,设置预设的激活数量的集合,并获取预设误差门限值;
步骤B,分别通过所述激活数量的集合中的第一激活数量和第二激活数量的弱分类器对分割所述当前帧图像得到的多个区域进行处理,得到通过所述第一激活数量的弱分类器的第一判决区域和通过所述第二激活数量的弱分类器的第二判决区域,并根据所述第一判决区域和所述第二判决区域的坐标分别确定对应的第一残存面积和第二残存面积;
步骤C,根据所述第一残存面积和所述第二残存面积的差通过对数拟合获得预估的第三残存面积;
步骤D,通过所述激活数量的集合中的第三激活数量的弱分类器对分割所述当前帧图像得到的多个区域进行处理,得到实际的第三残存面积;
步骤E,将所述预估的第三残存面积与所述实际的第三残存面积进行比对;
步骤F,重复所述步骤B至所述步骤E依次按照所述激活数量的集合中的激活数量迭代N次,直至所述预估的第三残存面积与所述实际的第三残存面积的差值小于所述误差门限值;
步骤G,通过小于所述误差门限值的拟合参数结合所述无线传输链路的有效容量估计值,得到所述当前帧图像所对应的所述预设目标识别模型中弱分类器的激活数量,其中,所述拟合参数为所述步骤C中对数拟合的过程生成的参数。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,在将所述当前帧图像中选中的区域通过所述无线传输链路进行传输之前,所述方法还包括:对所述选中的区域进行合并,并进行无损压缩。
8.一种用于无线视频监控系统的图像传输装置,其特征在于,包括:
获取模块,用于实时获取无线传输链路的有效容量估计值;
确定模块,用于将视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级;
选择模块,用于根据所述每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于所述无线传输链路的有效容量估计值;
传输模块,用于将所述当前帧图像中选中的区域通过所述无线传输链路进行传输。
9.根据权利要求8所述的装置,其特征在于,所述获取模块包括:
第一获取子模块,用于获取双层卡尔曼滤波模型,其中,所述双层卡尔曼滤波模型包括第一层卡尔曼滤波和第二层卡尔曼滤波,所述第一层卡尔曼滤波用于去除设备检测误差对计算所述无线传输链路的有效容量所产生的误差,所述第二层卡尔曼滤波模型用于去除多径信号的畸变对计算所述无线传输链路的有效容量所产生的误差;
第二获取子模块,用于获取所述链路的接收信号强度、接收端噪声强度以及接收端统计误码率;
第三获取子模块,用于将所述链路的接收信号强度、接收端噪声强度以及接收端统计误码率输入至所述双层卡尔曼滤波模型,得到所述无线传输链路的等效信噪比,其中,所述等效信噪比用于表征在理想的信道下达到预设误码率的信噪比;
第四获取子模块,用于根据所述等效信噪比得到所述无线传输链路的有效容量估计值。
10.一种用于无线视频监控系统,其特征在于,包括:
图像采集设备,用于采集视频;
处理器,与所述图像采集设备通信,用于实时获取无线传输链路的有效容量估计值,将所述视频中的当前帧图像分割成多个区域,并根据预设的监控任务确定每个区域的传输优先级,根据所述每个区域的传输优先级选择一个或多个区域,其中,选中的区域的传输优先级高于未选中的区域的优先级,且选中的区域的数据量总和小于或等于所述无线传输链路的有效容量估计值,将所述当前帧图像中选中的区域通过所述无线传输链路进行传输至无线通信设备;
所述无线通信设备,与所述处理器通信,用于将所述当前帧图像中选中的区域或传至服务器,并提供有效容量估计所需观测信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710028616.3A CN106791696B (zh) | 2017-01-13 | 2017-01-13 | 无线视频监控系统及其图像传输方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710028616.3A CN106791696B (zh) | 2017-01-13 | 2017-01-13 | 无线视频监控系统及其图像传输方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106791696A true CN106791696A (zh) | 2017-05-31 |
CN106791696B CN106791696B (zh) | 2019-11-08 |
Family
ID=58946874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710028616.3A Active CN106791696B (zh) | 2017-01-13 | 2017-01-13 | 无线视频监控系统及其图像传输方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106791696B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108550103A (zh) * | 2018-03-07 | 2018-09-18 | 浙江华睿科技有限公司 | 一种图像处理方法及装置 |
CN109218744A (zh) * | 2018-10-17 | 2019-01-15 | 华中科技大学 | 一种基于drl的比特率自适应无人机视频流传输方法 |
CN109917327A (zh) * | 2019-03-07 | 2019-06-21 | 青岛国数信息科技有限公司 | 一种基于无线电链路的被动式无人机探测系统及算法 |
CN110401797A (zh) * | 2018-08-14 | 2019-11-01 | 小蚁科技(香港)有限公司 | 用于低功率视觉传感器的方法和系统 |
WO2021120008A1 (zh) * | 2019-12-17 | 2021-06-24 | 华为技术有限公司 | 数据传输方法及装置 |
CN114866792A (zh) * | 2022-03-31 | 2022-08-05 | 广州方硅信息技术有限公司 | 直播视频质量检测方法及其装置、设备、介质 |
CN115130852A (zh) * | 2022-06-24 | 2022-09-30 | 重庆长安新能源汽车科技有限公司 | 车联网设备数据传输质量评估方法、装置、设备及介质 |
CN115665382A (zh) * | 2022-11-15 | 2023-01-31 | 上海华建电力设备股份有限公司 | 一种无人值守变电站的可视化安全监控系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101102495A (zh) * | 2007-07-26 | 2008-01-09 | 武汉大学 | 一种基于区域的视频图像编解码方法和装置 |
CN101547365A (zh) * | 2009-05-08 | 2009-09-30 | 北京北纬通信科技股份有限公司 | 保证特定区域显示质量的视频编码的方法和装置 |
CN101771864A (zh) * | 2008-12-26 | 2010-07-07 | 中国移动通信集团公司 | 一种视频图像传输处理方法及装置 |
CN104427337A (zh) * | 2013-08-21 | 2015-03-18 | 杭州海康威视数字技术股份有限公司 | 基于目标检测的感兴趣区域视频编码方法及其装置 |
CN105025249A (zh) * | 2014-04-22 | 2015-11-04 | 中国移动通信集团江苏有限公司 | 视频监控数据传输控制方法、装置及视频监控系统 |
CN105550648A (zh) * | 2015-12-08 | 2016-05-04 | 惠州学院 | 一种视屏监控人脸识别方法 |
-
2017
- 2017-01-13 CN CN201710028616.3A patent/CN106791696B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101102495A (zh) * | 2007-07-26 | 2008-01-09 | 武汉大学 | 一种基于区域的视频图像编解码方法和装置 |
CN101771864A (zh) * | 2008-12-26 | 2010-07-07 | 中国移动通信集团公司 | 一种视频图像传输处理方法及装置 |
CN101547365A (zh) * | 2009-05-08 | 2009-09-30 | 北京北纬通信科技股份有限公司 | 保证特定区域显示质量的视频编码的方法和装置 |
CN104427337A (zh) * | 2013-08-21 | 2015-03-18 | 杭州海康威视数字技术股份有限公司 | 基于目标检测的感兴趣区域视频编码方法及其装置 |
CN105025249A (zh) * | 2014-04-22 | 2015-11-04 | 中国移动通信集团江苏有限公司 | 视频监控数据传输控制方法、装置及视频监控系统 |
CN105550648A (zh) * | 2015-12-08 | 2016-05-04 | 惠州学院 | 一种视屏监控人脸识别方法 |
Non-Patent Citations (1)
Title |
---|
FEI QIN等: "Effective-SNR estimation for wireless sensor network using Kalman filter", 《AD HOC NETWORK》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108550103A (zh) * | 2018-03-07 | 2018-09-18 | 浙江华睿科技有限公司 | 一种图像处理方法及装置 |
CN110401797A (zh) * | 2018-08-14 | 2019-11-01 | 小蚁科技(香港)有限公司 | 用于低功率视觉传感器的方法和系统 |
CN109218744A (zh) * | 2018-10-17 | 2019-01-15 | 华中科技大学 | 一种基于drl的比特率自适应无人机视频流传输方法 |
CN109917327A (zh) * | 2019-03-07 | 2019-06-21 | 青岛国数信息科技有限公司 | 一种基于无线电链路的被动式无人机探测系统及算法 |
CN109917327B (zh) * | 2019-03-07 | 2021-04-20 | 青岛国数信息科技有限公司 | 一种基于无线电链路的被动式无人机探测系统及算法 |
WO2021120008A1 (zh) * | 2019-12-17 | 2021-06-24 | 华为技术有限公司 | 数据传输方法及装置 |
CN114866792A (zh) * | 2022-03-31 | 2022-08-05 | 广州方硅信息技术有限公司 | 直播视频质量检测方法及其装置、设备、介质 |
CN115130852A (zh) * | 2022-06-24 | 2022-09-30 | 重庆长安新能源汽车科技有限公司 | 车联网设备数据传输质量评估方法、装置、设备及介质 |
CN115665382A (zh) * | 2022-11-15 | 2023-01-31 | 上海华建电力设备股份有限公司 | 一种无人值守变电站的可视化安全监控系统 |
CN115665382B (zh) * | 2022-11-15 | 2023-03-28 | 上海华建电力设备股份有限公司 | 一种无人值守变电站的可视化安全监控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106791696B (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106791696B (zh) | 无线视频监控系统及其图像传输方法和装置 | |
CN107862705B (zh) | 一种基于运动特征和深度学习特征的无人机小目标检测方法 | |
KR20190119548A (ko) | 이미지 노이즈 처리방법 및 처리장치 | |
CN110084094B (zh) | 一种基于深度学习的无人机目标识别分类方法 | |
EP3899799A1 (en) | Data denoising based on machine learning | |
Arshad et al. | Leveraging transfer learning in multiple human activity recognition using WiFi signal | |
CN110992298A (zh) | 一种基于遗传算法的辐射源目标识别与情报分析方法 | |
Chen et al. | Collaborative spectrum sensing for illegal drone detection: A deep learning-based image classification perspective | |
CN109376660A (zh) | 一种目标监测方法、装置及系统 | |
CN111355616B (zh) | 一种基于物理层数据的战术通信网关键节点识别方法 | |
CN112435356B (zh) | 一种etc干扰信号的识别方法及检测系统 | |
CN116299408B (zh) | 一种多雷达自主协同探测系统及探测方法 | |
CN115438708A (zh) | 一种基于卷积神经网络和多模态融合的分类识别方法 | |
CN108924847A (zh) | 一种基于ann的认知无线电频谱预测方法及设备 | |
CN111474955A (zh) | 无人机图传信号制式的识别方法、装置、设备及存储介质 | |
CN113989626B (zh) | 一种基于目标检测模型的多类别垃圾场景区分方法 | |
CN116908424A (zh) | 一种基于多传感器数据融合与分类的玻璃缺陷监测方法 | |
CN113114399B (zh) | 基于生成对抗网络的三维频谱态势补全方法和装置 | |
CN110874603A (zh) | 一种认知信息对抗中深度置信网络情报提取装置及方法 | |
CN112395952A (zh) | 一种用于铁轨缺陷检测的无人机 | |
CN111458029A (zh) | 基于自联想神经网络的可见光mimo通信系统颜色检测方法 | |
US20230143374A1 (en) | Feature extraction, labelling, and object feature map | |
CN111480180A (zh) | 用于检测和跟踪目标的方法 | |
CN112182062B (zh) | 一种多目标雷达组网测量数据匹配与编目方法 | |
CN114724245A (zh) | 基于csi的增量学习人体动作识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |