CN104811664A - 矿井视频图像压缩与传输方法及装置 - Google Patents

Abstract

本发明公开了一种矿井视频图像压缩与传输方法，采用基于压缩感知的无损图像压缩与处理算法，用于实现井下视频信号的压缩采样、稀疏表示和重构算法，并将视频采集端产生的视频数据进行压缩，然后通过无线接口发送到视频接收端，视频接收端将接收到的视频数据进行解压缩，然后再输出到显示设备上。本发明进一步公开了一种矿井视频图像压缩与传输装置。该装置采用无线传输方式，图像压缩处理和传输能力强，满足矿用特定使用环境和安全要求，适用于煤矿井下无线网络环境的视频监控和移动目标监控，有效提高了井下视频图像的压缩处理和传输能力，保证了矿井WSN、Zigbee无线网络环境下视频信号的实时性传输。

Description

矿井视频图像压缩与传输方法及装置

技术领域

本发明专利涉及一种无线通信和视频压缩传输技术，具体地说，涉及矿井视频图像压缩与传输方法及装置。

背景技术

现有煤矿井下视频采集与图像处理和传输系统采用传统的视频采集终端设备，再经过视频压缩和编码，最后通过网络传输，存在硬件设计复杂、可靠性低、传输带宽要求高等问题，尤其是，矿井环境中视频图像受噪声干扰影响较大、存在灰度对比度低等问题，采用传统的视频图像压缩与处理方法，难以在低速的无线传感网络(WSN)和Zigbee无线网络下实现矿井视频图像的无损压缩与传输。传统的信号获取和处理过程主要包括采样、压缩、传输和解压缩四个部分，其采样过程必须遵循Nyquist采样定理，这种方式采样数据量大，先采样后压缩，浪费了大量的传感元、时间和存储空间。传统的数字信号处理是以Nyquist采样定理为基础，在该框架下，数字系统采样的速率必须达到模拟信号带宽的两倍才能精确重构原始模拟信号。在这种情况下，宽带模拟信号的模数转换需要很高的采样频率，因此对系统信号的处理能力提出了很高的软硬件要求。另一方面，在实际应用中，为了节约存储空间，降低计算复杂度和传输成本，需要对采集到的数据进行压缩，也即采集到的大量的数据在编码的过程中会被抛弃，在这一过程中浪费了大量的资源。因而，人们迫切需要去寻求新的数据采集和处理的方法。

2006年，Donoho等提出了压缩感知(Compressed Sensing，CS)理论，通过分析信号本身的稀疏矩阵，试图突破传统信息论中的带宽瓶颈，对信号处理和压缩极限产生了很大的提升。CS理论是近年来信息处理领域发展迅速的一个理论分支，它的出现为WSN研究和无线视频图像的压缩处理提供了一个新思路。该理论表明，如果信号是可压缩的或在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得的高维信号投影到一个低维空间上，然后通过求解一个稀疏优化问题来实现信号的精确重构，可以用远低于采样定理要求的采样次数重构信号。

CS理论在信号获取的同时，就对数据进行适当地压缩，相较传统的信号获取和处理过程而言，压缩感知理论针对可稀疏表示的信号，能够将数据采集和数据压缩合二为一，这使其在信号处理领域有着突出的优点和广阔的应用前景。已有研究表明，在WSN中利用CS技术能有效地减少数据采集和传输过程中的能量消耗，降低传输带宽。

发明内容

本发明的主要目的在于解决上述不足之处，为了克服现有WSN、zigbee等无线网络中井下人员定位系统和监控系统难以传输实时视频图像的问题，本发明提出了一种对矿井视频图像进行压缩处理与传输的方法，将基于压缩感知理论的树结构正交匹配追踪算法运用于井下视频信号的图像压缩与处理，旨在实现矿井视频图像的实时传输。利用矿井多径衰落信道环境下视频图像信号的稀疏性矩阵特征，通过树结构来确定信号支撑，缩小了算法的搜索范围，有效提高了重构信号的稀疏性，使压缩后的图像体积大幅减小，并基于上述方法提出了一种基于正交匹配追踪的矿井视频图像压缩处理与传输的装置，该装置集视频采集、视频编码、无线传输和图像显示于一体，旨在通过井下WSN、zigbee等无线网络实现图像传输的实时性要求。

本发明采用的技术方案是：一种矿井视频图像压缩与传输方法及装置，采用基于压缩感知的无损图像压缩与处理算法，用于实现井下视频信号的压缩采样、稀疏表示和重构算法，并将视频采集端产生的视频数据进行压缩，然后通过无线接口发送到视频接收端，视频接收端将接收到的视频数据进行解压缩，然后再输出到显示设备上。

所述矿井视频图像压缩处理与传输方法，包括以下步骤：

步骤一、信号的压缩采样：获取视频图像信号的稀疏性矩阵特征，输入N×M维的观测量矩阵Φ，观测结果y，稀疏度K；

步骤二、信号的稀疏表示：利用信号y＝Фx+e的稀疏特性，逼近与重构原始信号x的稀疏向量其中，y∈N为观测向量，x∈M是满足稀疏特征的权重向量，Φ∈N×M是M个特征列向量构成的正交字典，秩满足rank(Φ)＝N，且各个特征向量||Φ_i||＝1，i＝1，2，…，M，e为噪声残差，是服从零均值、方差为σ²的随机高斯噪声；

步骤三、信号的重构：重构算法实现包括以下子步骤，

4.1)重构算法初始化，估计信号观测矩阵Φ所选列向量的索引集迭代次数t＝1，噪声残差e₀＝y，残差阈值e_threshold＝||e_t-e_t-1||₂；

4.2)寻找观测矩阵Φ的列向量与噪声残差e之间相关系数最大时的列向量索引λ，使λ满足 ${\mathrm{\&lambda;}}_t=\arg \mathrm{}\underset{j}{\max }|<e_{t-1},{\mathrm{\&Phi;}}_j>|;$

4.3)将观测向量y投影到字典Φ的一个特征向量Φ_λ0上，计算噪声残差e₁＝y-<y，Φ_λ0>，其中e₁与Φ正交，且满足||y||²＝|<y，Φ_λ0>|²+||e₁||²；

4.4)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录所选列向量

4.5)求解稀疏信号估计并赋值

4.6)更新噪声残差t＝t+1；

4.7)作观测向量y＝Фx到字典Φ的下一个特征向量Φ_λj的投影，并计算噪声残差 $e_t=y-\underset{t=0}{\overset{t-1}{\mathrm{\&Sigma;}}}<y,{\mathrm{\&Phi;}}_{\mathrm{\&lambda;t}}>{\mathrm{\&Phi;}}_{\mathrm{\&lambda;t}},$ 使噪声残差||e_t||²最小；

4.8)判断是否停止迭代；若存在||e_t+1-e_t||₂≤ε，当||e_t||²＜e_threshold时迭代结束，否则返回步骤4.2)继续迭代、求解最优解，直到满足条件为止；

步骤四、输出稀疏估计信号：其中，

步骤五、恢复信号：将稀疏信号逆变换恢复得到图像的原始信号x。

本发明进一步公开了一种矿井视频图像压缩与传输的装置，应用于所述的矿井视频图像压缩与传输方法，该装置包括：信号采集设备、信号接收设备和无线通信接口；其中，所述信号采集设备，用于进行视频采集、图像编码、信号发送，所述信号接收设备，用于进行视频信号接收、图像解码和视频处理，所述信号采集设备与信号接收设备通过无线通信接口连接；所述系统无线通信接口采用Zigbee、WiFi或/和WCDMA、WiMAX或/和LTE空中接口，用于从信号采集设备向信号接收设备发送视频信号。

所述信号采集设备包括视频采集单元、图像编码单元、无线发射单元；其中，所述图像编码单元，用于连续图像的采集，并将采集到的图像传送到图像编码单元进行压缩编码；所述图像编码单元，用于对视频采集单元采集到的图像进行压缩编码，包括矩阵模块、存储模块、乘法模块和转发模块。

所述矩阵模块，用于生成压缩感知矩阵。

所述存储模块，用于存储矩阵模块生成的压缩感知矩阵。

所述乘法模块，用于将视频采集单元到的图像与存储模块存储的压缩感知矩阵相乘，以得到压缩编码后的图像编码。

所述转发模块，用于将压缩编码后的图像编码以码流方式发送到无线发射单元。

所述无线发射单元，用于将压缩编码后的图像通过无线通信接口传送到信号接收设备。

所述信号接收设备包括无线接收单元，图像解码单元，视频合成单元；所述无线接收单元，用于通过无线网络接收经信号采集设备压缩编码后的图像编码；所述图像解码单元，用于对压缩编码后的图像编码进行解码恢复，包括矩阵模块、存储模块、乘法模块和校正模块；所述视频合成单元，用于将稀疏解码后的恢复图像合并为连续视频，并将视频图像输出到显示设备。

所述矩阵模块，用于生成稀疏表达矩阵。

所述存储模块，用于存储矩阵模块生成的稀疏表达矩阵。

所述乘法模块，用于计算压缩编码后的图像编码与稀疏表达矩阵的正交基矩阵。

所述校正模块，用于计算正交基矩阵与压缩编码后的图像编码的残差，并迭代计算得到稀疏解码后的恢复图像。

所述信号采集设备和信号接收设备包括手持移动台、车载移动台、穿戴式移动终端和无线摄像机等通信装置。

所述信号采集设备和信号接收设备为本质安全型防爆装置。

本发明的有益效果在于：

本发明有效提高了井下视频图像的压缩处理和传输能力，保证了矿井WSN、zigbee等无线网络环境下视频信号的实时性传输。

该系统采用无线传输方式，图像压缩处理和传输能力强，抗干扰能力强，符合矿用特定的使用环境和安全要求，适宜部署在煤矿井下高温、高湿和电磁干扰严重等恶劣工作环境。

附图说明

此处所描述的附图用于对本发明的进一步解释和理解，构成本申请的一部分。在附图中：

图1是传统的矿井视频图像压缩与传输方法的原理框图；

图2是基于压缩感知理论的矿井视频图像压缩与传输方法的原理框图；

图3是矿井视频图像压缩与传输方法的算法流程图；

图4是矿井视频图像压缩与传输装置的结构框图。

下面将参考说明书附图并结合具体实施例对本发明作进一步的详细描述。

具体实施方式

参照图1，为传统的矿井视频图像压缩与传输方法的原理框图。传统的矿井视频图像压缩信号获取和处理方法，其信号获取和处理过程主要包括采样、压缩、传输和解压缩四个部分，其采样以Nyquist采样定理的理论为基础，这种方式采样数据量大，先采样后压缩，浪费了大量的传感元、时间和存储空间，限制了通信系统传输带宽的极限。采用传统图像压缩过程是将图像进行正交基变换(如小波变换、离散余弦变换)，得到数据中绝对值大的数据只占一少部分，其余大部分数据都是很小近似为零的，将这些小数据置零后，将剩余数值较大的数据进行编码，这样就降低了图像的数据量，达到了图像压缩的目的，其图像压缩的解码过程是，将压缩后的数据进行补零，之后进行编码端的反变换得到原来的图像数据，这种处理过程只保留了少部分变换后数值较大的低频分量，而表示图像细节部分的高频分量则被舍弃，这样经过有损处理和压缩后的图像部分会有一定程度的失真。

参照图2，为基于压缩感知理论的矿井视频图像压缩与传输方法，其信号获取和处理过程如下：首先对原始图像进行随机观测，然后对观测后得到数据即为图像的压缩数据，再由图像的解码端对观测得到的压缩数据进行压缩感知的信号重构，最后重构出原始图像。矿井视频图像压缩与传输方法的图像压缩处理过程，是利用压缩感知的随机观测取代了传统图像压缩方法中的正交基变换和小系数置零的过程，压缩感知将其采样与压缩过程合二为一的特点可以应用于图像压缩中，在图像采样的过程中同时完成图像的压缩，这一改进方法减少了从图像压缩到过程中编码端的计算量，降低了图像压缩中编码运算的复杂程度。

参照图3，为矿井视频图像压缩与传输方法的算法流程图。为了能够快速、准确地压缩处理和恢复图像，矿井视频图像压缩处理与传输系统的信号采集设备需要对目标信号源进行图像信号采集，然后压缩图像，再向信号接收设备发送图像，信号接收设备接收图像、处理图像以及恢复图像。矿井视频图像压缩与传输方法的流程，其本质思想是采用正交匹配追踪算法寻找全局最稀疏解，即通过重构算法获得观测向量，再利用信号(观测向量)的稀疏特性，逼近与重构原始信号的稀疏向量，通过迭代求解目标函数的最优化过程。假设在无噪声情况下的稀疏信号表示为y＝Φx，y∈N为观测向量，x∈M是满足稀疏特征的权重向量，Φ∈N×M是M个特征列向量构成的字典，矩阵的秩满足rank(Φ)＝N，且各个特征向量的张成满足||Φ_i||＝1，i＝1，2，…，M)，e是噪声残差，服从e～N(0，σ²)，N为均值为0、方差为σ²的随机高斯噪声。其具体算法实现流程如下：

(1)采集图像信号、获得观测向量y。通过重构算法的输入获得观测结果y，输入N×M维的观测量矩阵Φ、观测结果y、稀疏度K；再通过重构算法的输出，利用信号y＝Фx+e的稀疏特性，逼近与重构原始信号x的稀疏向量

(2)重构算法初始化。使得初始化满足条件：估计信号观测矩阵Φ所选列向量的索引集迭代次数t＝1，噪声残差e₀＝y，残差阈值e_threshold＝||e_t-e_t-1||₂；

(3)迭代重建、获取目标信号获取目标信号的迭代重建包括以下4个步骤：(a)寻找观测矩阵Φ的列向量与噪声残差e之间相关系数最大时的列向量索引λ，使λ满足(b)作观测向量y＝Фx到字典Φ的投影，将观测向量y投影到字典Φ的一个特征向量Φ_λ0上，计算噪声残差e₁＝y-<y，Φ_λ0>，其中e₁与Φ正交，且满足||y||²＝|<y，Φ_λ0>|²+||e₁||²；(c)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录所选列向量(d)求解稀疏信号估计并作

(4)目标函数最优化。更新噪声残差t＝t+1；将观测向量y投影到字典Φ的下一个特征向量Φ_λj上，并计算噪声残差使噪声残差||e_t||²最小；

(5)判断是否满足迭代停止条件。若存在||e_t+1-e_t||₂≤ε，当||e_t||²＜e_threshold时迭代结束，否则返回步骤(3)继续迭代、求解最优解，直到满足条件为止；

(6)输出稀疏估计信号。由(3)～(5)得到其中，

(7)恢复图像信号。将稀疏信号逆变换恢复得到图像的原始信号x。

参照图4，为矿井视频图像压缩与传输装置的结构框图，系统主要包括信号采集设备10和信号接收设备20。其中，信号采集设备10主要用于进行视频采集、图像编码、信号发送；信号接收设备20主要用于进行信号接收、图像解码和视频处理。

图4示出的矿井视频图像压缩与传输的装置，其信号采集设备10包括视频采集单元101、图像编码单元102、无线发射单元103。其中，图像编码单元102主要用于连续图像的采集，并将采集到的图像传送到图像编码单元进行压缩编码；图像编码单元102主要用于对视频采集单元采集到的图像进行压缩编码，包括矩阵模块102A、存储模块102B、乘法模块102C和转发模块102D。其功能分别描述如下：矩阵模块102A，用于生成随机高斯压缩感知矩阵；存储模块102B，用于存储矩阵模块102A生成的压缩感知矩阵；乘法模块102C，用于将视频采集单元102采集到的图像与存储模块102B存储的压缩感知矩阵相乘，以得到压缩编码后的图像编码；转发模块102D，用于将压缩编码后的图像编码以码流方式发送到无线发射单元；无线发射单元103，用于将压缩编码后的图像通过无线网络传送到信号接收设备，并输出到显示设备(图中为示出)。

图4示出的矿井视频图像压缩与传输的装置，其信号接收设备20包括无线接收单元201、图像解码单元202、视频合成单元203。其中，无线接收单元201主要用于通过无线通信接口30接收由信号采集设备10经压缩编码后的图像编码；图像解码单元202主要用于对压缩编码后的图像编码进行解码恢复，包括矩阵模块202A、存储模块202B、乘法模块202C和校正模块202D；所述视频合成单元203主要用于将稀疏解码后的恢复图像合并为连续视频；所述图像显示单元204主要用于实时显示解压缩后的视频图像。而图像解码单元202中的矩阵模块202A，用于生成稀疏表达矩阵；图像解码单元中的存储模块202B，用于存储矩阵模块202A生成的稀疏表达矩阵；图像解码单元202中的乘法模块202C，用于计算压缩编码后的图像编码与稀疏表达矩阵的正交基矩阵；图像解码单元中202的校正模块202D，用于计算正交基矩阵与压缩编码后的图像编码的残差，并迭代计算得到稀疏解码后的恢复图像。

本发明适用于煤矿井下综采自动化工作面、掘进面、避难硐室和罐笼等重点安全监控区域的无线视频通信与监控，以及实现对井下电机车、无人缆车的实时视频监控和基于WSN的井下设备无线视频监控与移动目标监控。

显然，本领域的技术人应该明白，上述本发明所涉及的各模块和各方法步骤，除作为无线视频通信系统用于煤矿井下环境外，通过适当集成或改进后也适用于非金属和金属矿井的移动目标监控或移动目标定位，这样本发明不限制处移动通信之外的移动目标监控和移动定位等通信技术领域。

以上内容是结合具体的优选实施例方式对本发明所做的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明设计思路的前提下，还可进行若干个简单的更改和替换，都应当视为属于本发明所提交的权利要求书所涉及的保护范围。

Claims (4)

1.一种矿井视频图像压缩与传输方法，其特征在于，所述矿井视频图像压缩与传输方法，采用基于压缩感知的图像压缩与处理算法，用于实现矿井视频信号的压缩采样、稀疏表示和重构算法，包括以下步骤：

步骤1、信号的压缩采样：获取视频图像信号的稀疏性矩阵特征；

步骤2、信号的稀疏表示：利用信号y＝Φx+e的稀疏特性，逼近与重构原始信号x的稀疏向量其中，y∈N为观测向量，x∈M是满足稀疏特征的权重向量，Φ∈N×M是M个特征列向量构成的正交字典，秩满足rank(Φ)＝N，且各个特征向量||Φ_i||＝1，i＝1，2，...，M，e为噪声残差，是服从零均值、方差为σ²的随机高斯噪声；

步骤3、信号的重构：重构算法实现包括以下子步骤，

4.1)重构算法初始化，估计信号观测矩阵Φ所选列向量的索引集迭代次数t＝1，噪声残差e₀＝y，残差阈值e_threshold＝||e_t-e_t-1||₂；

4.2)寻找观测矩阵Φ的列向量与噪声残差e之间相关系数最大时的列向量索引λ，使λ满足 ${\mathrm{\&lambda;}}_t=\arg \underset{j}{\max }|<e_{t-1},{\mathrm{\&Phi;}}_j>|;$

4.3)将观测向量y投影到字典Φ的一个特征向量Φ_λ0上，计算噪声残差e₁＝y-<y，Φ_λ0>，其中e₁与Φ正交，且满足||y||²＝|<y，Φ_λ0>|²+||e₁||²；

4.4)更新索引集Λ_t＝Λ_t-1∪{λ_t}，记录所选列向量

4.5)求解稀疏信号估计并赋值

4.6)更新噪声残差t＝t+1；

4.7)作观测向量y＝Φx到字典Φ的下一个特征向量Φ_λj的投影，并计算噪声残差使噪声残差||e_t||²最小；

4.8)判断是否停止迭代；若存在||e_t+1-e_t||₂≤ε，当||e_t||²＜e_threshold时迭代结束，否则返回子步骤4.2)继续迭代、求解最优解，直到满足条件为止；

步骤4、输出稀疏估计信号：其中，

步骤5、恢复信号：将稀疏信号逆变换恢复得到图像的原始信号x。

2.一种矿井视频图像压缩与传输装置，应用于所述矿井视频图像压缩与传输方法，其特征在于，对视频采集端产生的视频数据进行压缩，然后通过无线接口发送到视频接收端，视频接收端将接收到的视频数据进行解压缩，然后再输出到显示终端；其特征还在于，

所述矿井视频图像压缩与传输装置，包括：信号采集设备(10)、信号接收设备(20)、和无线通信接口(30)；其中，所述信号采集设备(10)，用于进行视频采集、图像编码、信号发送，所述信号接收设备(20)，用于进行视频信号接收、图像解码、视频处理和图像显示，所述信号采集设备(10)与信号接收设备(20)通过无线通信接口(30)连接；所述系统无线通信接口采用Zigbee、WiFi或/和WCDMA、WiMAX或/和LTE空中接口，用于从信号采集设备向信号接收设备发送视频信号；以及

所述信号采集设备(10)包括视频采集单元(101)、图像编码单元(102)、无线发射单元(103)；其中，所述视频采集单元(101)，用于连续图像的采集，并将采集到的图像传送到图像编码单元(102)进行压缩编码；所述图像编码单元(102)，用于对视频采集单元(101)采集到的图像进行压缩编码，包括矩阵模块(102A)、存储模块(102B)、乘法模块(102C)和转发模块(102D)；所述矩阵模块(102A)，用于生成压缩感知矩阵；所述存储模块(102B)，用于存储矩阵模块(102A)生成的压缩感知矩阵；所述乘法模块(102C)，用于将视频采集单元(101)采集到的图像与存储模块(102B)存储的压缩感知矩阵相乘，以得到压缩编码后的图像编码；所述转发模块(102D)，用于将压缩编码后的图像编码以码流形式发送到无线发射单元(103)；所述无线发射单元(103)，用于将压缩编码后的图像通过WSN、zigbee等无线网络传输到视频接收终端(201)；

所述信号接收设备(20)包括无线接收单元(201)、图像解码单元(202)和视频合成单元(203)；

所述无线接收单元(201)，用于通过WSN、zigbee等无线网络接收由信号采集设备(10)压缩编码后的图像编码；

所述图像解码单元(202)，用于对压缩编码后的图像编码进行解码恢复，包括矩阵模块(202A)、存储模块(202B)、乘法模块(202C)和校正模块(202D)；其中：所述矩阵模块(202A)，用于生成稀疏表达矩阵；所述存储模块(202B)，用于存储矩阵模块生成的稀疏表达矩阵；所述乘法模块(202C)，用于计算压缩编码后的图像编码与稀疏表达矩阵的正交基矩阵；所述校正模块(202D)，用于计算正交基矩阵与压缩编码后的图像编码的噪声残差，并迭代计算、校正得到稀疏解码后的恢复图像；

所述视频合成单元(203)，用于将稀疏解码后的恢复图像合并为连续视频。

3.根据权利要求1所述的系统，信号采集设备(10)和信号接收设备(20)包括手持移动台、车载移动台、穿戴式移动终端和无线摄像机等通信装置。

4.根据权利要求1所述的信号采集设备(10)和信号接收设备(20)，其特征在于，所述信号采集设备(10)和信号接收设备(20)为本质安全型防爆装置。