CN116614705B - 基于多模态视频特征分析的采煤工作面相机调控系统 - Google Patents

Abstract

本发明涉及用图像通信技术领域，具体涉及基于多模态视频特征分析的采煤工作面相机调控系统，包括：通过对采集的视频图像数据进行下采样和模糊平滑处理，并获得差分图像，根据图像中各区域以及差分图像对比度之间的关系对sift算法中极值点计算窗口进行调节，获得更稳定的用于sift匹配的极值点，实现更精准的图像匹配和更有效的相机焦距调节。本发明通过对sift算法窗口大小进行调整，保留可以适应相邻帧变化的极值点，提高后续匹配精度，得到更佳的相机焦距调节效果，减轻网络压力并提高视频图像清晰度。

Description

基于多模态视频特征分析的采煤工作面相机调控系统

技术领域

本发明涉及图像通信技术领域，具体涉及基于多模态视频特征分析的采煤工作面相机调控系统。

背景技术

在煤矿矿井环境下，视频传输网络所处环境复杂，而对于煤矿往往存在多个部门对其进行联网监管，另外，煤矿井下采光条件差，光源变化情况复杂，为了更好的根据煤矿井下视频图像进行远程监管，因此对视频图像有更高的清晰度要求，这样就需要对煤矿井下监控相机的焦距进行调节。

在视频通信网络系统中，由于多部门联携监控煤矿井下情况时，会在监控服务端产生大量的携带用户登入服务器、用户连接变动以及相机控制等信息的控制信令数据，造成网络拥挤，进而导致对煤矿井下的指挥调度无法实时进行，因此可以通过利用相机焦距的自动控制来减少来自多部门指挥中心的控制信令数据量。

现有方法通常通过视频图像中不同帧的目标区域的匹配，对匹配区域的清晰程度进行判断，进而对相机焦距进行调整，但实际中矿下的视频采集受强光干扰较大，机器移动过程中机器同一个位置的光照情况在变，导致匹配精度较低。现有sift算法在计算关键点时，通过多尺度、多模糊程度图像的分析，得到关键点，是针对单张图像的分析，得到的很多特征点在某帧图像上存在，在下一帧图像上可能由于视角变化导致不存在，但计算相邻帧图像匹配时，这些关键点与相邻帧图像上的均存在的关键点同等看待，反而造成数据冗余，影响匹配。

发明内容

本发明提供基于多模态视频特征分析的采煤工作面相机调控系统，以解决现有的问题。

本发明的基于多模态视频特征分析的采煤工作面相机调控系统采用如下技术方案：

本发明一个实施例提供了基于多模态视频特征分析的采煤工作面相机调控系统，该方法包括以下步骤：

相机采集模块：利用监控相机采集采煤工作面的视频图像数据；

图像通信模块：将采集的视频图像数据通过BNC连接到网络视频服务器，依托已有的快速局域网实现视频图像数据的无线传输；

图像存储模块：将采集的视频图像数据进行存储备份；

图像显示模块：将通过快速局域网获取的实时视频图像数据或存储备份的历史视频图像数据进行显示播放；

相机遥控模块：对视频图像进行分析，获取图像匹配结果，根据匹配结果获取焦距调整值实现焦距的远程遥控及自动化调整，具体包括以下步骤：

对视频图像进行类获得像素点类别区域，获取上一帧与当前帧视频图像的像素点类别区域之间的交并比和交集区域，将最大交并比对应的交集区域记为相互对应区域；

获得相互对应区域的对比度，将当前帧与上一帧视频图像的相互对应区域的对比度比值记为第一比值；获得由sift算法获得的所有差分图像的对比度、极值点以及极值点的极值性，将当前帧与上一帧相同差分描述子的差分图像的对比度比值记为第二比值；根据第二比值与相互对应区域的第一比值之间的差异获得差分图像权重；

获取所有像素点类别区域的对比度，将形成交集区域的像素点类别区域的对比度比值记为第三比值；根据第三比值、交并比以及交集区域的相邻区域的交并比均值之间的比例关系获得窗口范围因子，根据窗口范围因子对基础窗口范围进行大小调整获得调整后窗口范围；

将在调整后窗口范围内极值性最大的极值点作为保留点，将极值性仅次于保留点的极值点作为次极值点，将保留点与次极值点之间的灰度差异记为极性因子，利用保留点所在差分图像的差分图像权重对极性因子进行乘积调整获得保留点极性；根据预设阈值将保留点极性小于预设阈值的保留点删除，将剩余的保留点作为匹配关键点，进行视频图像匹配，根据匹配结果获得焦距调整值，利用网络通信将焦距调整值发送到相机端，相机根据焦距调整值实现焦距的远程遥控及自动化调整。

进一步的，所述相互对应区域，获取方法如下：

利用相机采集获取采煤工作面的RGB视频图像数据，并对视频图像进行灰度化处理，将RGB视频图像转换到HIS空间中，获取亮度分量图像，利用基于密度的聚类方法对亮度分量图像进行聚类，将亮度分量图像中像素点灰度值相近像素点聚为一类，获得像素点类别区域，获得每一帧视频图像的像素点类别区域；根据像素点位置获取上一帧与当前帧视频图像中像素点类别区域的交集，并计算形成交集的上一帧和当前帧视频图像的像素点类别区域的交并比，将交并比最大时所对应的上一帧和当前帧视频图像中的像素点类别记为相互对应类别，将相对应类别在视频图像中所对应的交集区域记为相互对应区域。

进一步的，所述差分描述子，获取方法如下：

由sift算法获得的差分图像中，一个差分图像对应sift算法的一个尺度参数和两个平滑参数，将差分图像对应的尺度参数和平滑参数记为差分描述子。

进一步的，所述差分图像权重，获取方法如下：

其中，e为自然常数；对比度差异值/>表示第u个差分图像的对比度的差异，第一比值/>表示当前帧与上一帧视频图像中第t个相互对应区域的对比度比值，第二比值/>表示当前帧与上一帧视频图像的第u个差分图像的对比度比值，T表示当前帧和上一帧视频图像共有T个相互对应区域，权重/>表示第u个差分图像的权重。

进一步的，所述调整后窗口范围，获取方法如下：

将每一个上一帧和当前帧视频图像的像素点类别区域所形成的交集区域作为中心区域，将根据与中心区域相邻接的区域中面积在预设范围内获得的区域作为参考区域，当与中心区域相接邻区域中不满足预设范围条件时，扩大范围获取参考区域，并计算形成参考区域的上一帧与当前帧视频图像的像素点类别区域的交并比的均值；

调整后窗口范围：

式中，e为自然常数；基础窗口范围/>表示sift算法的预设窗口范围参数，/>表示向下取整符号，/>表示当前帧与上一帧视频图像的像素点类别区域形成的第z个中心区域的第三比值，a表示形成中心区域的当前帧视频图像的像素点类别区域与上一帧视频图像的像素点类别区域的交并比，/>表示形成参考区域的当前帧视频图像的像素点类别区域与上一帧视频图像的像素点类别区域的交并比的均值，调整后窗口范围/>表示sift算法中计算像素点的极值性时的矩阵窗口的边长大小，即第z个中心区域边界点上的极值点的窗口范围大小为/>。

进一步的，所述保留点极性，获取方法如下：

利用sift算法的基础窗口范围获得视频图像中的极值点以及极值性，将在基础窗口范围/>获得的视频图像中的极值点记为预极值点，并计算在调整后窗口范围内所有预极值点的极值性，将在调整后窗口范围内极值性最大的极值点作为保留点，将极值性仅次于保留点的极值点作为次极值点；

保留点极性：

式中，m表示保留点在灰度视频图像中对应的灰度值，h表示s*s窗口范围内次极值点在灰度视频图像中对应的灰度值；极性因子/>表示保留点与次极值点的灰度值之间的差异大小；/>表示保留点所在第u个差分图像的权重值。

进一步的，所述关键点，获取方法如下：

将保留点作为后续将要进行sift匹配的关键点，将对应的保留点极性作为保留点的关键点权重，在利用sift算法通常会将主曲率大于10的关键点删除的同时优先删除关键点权重小于预设阈值的保留点，将删除后剩余的保留点记为匹配关键点。

进一步的，所述根据匹配结果实现相机的焦距调整，包括的具体步骤如下：

首先训练一个根据视频图像上匹配距离变化调节焦距的全连接神经网络，所述全连接神经网络的输入为：匹配关键点的匹配距离变化，即当前帧与上一帧匹配点之间的平均距离的比值，输出为：焦距调整值；

其次对于当前帧与上一帧的匹配点对，先计算前一帧视频图像上关键点的平均距离d1，然后计算后一帧视频图像上关键点的平均距离d2，计算d2与d1的比值，将d2与d1的比值作为网络输入，得到焦距调整值。

本发明的技术方案的有益效果是：通过计算不同差分图像对与相邻帧的对比度变化的相近程度，赋予差分图像对不同的权重，使得之后的关键点更加可以反映相邻帧变化，进而可以得到更好的匹配结果；通过中心区域与相邻区域的距离占比对极值点的窗口大小要求进行调整，保留下来的极值点可以适应相邻帧的变化，光照不变性更强，进而有助于后续匹配过程的匹配精度的提高，进而得到更佳的相机焦距调增效果。本发明提出的一种基于多模态视频特征分析的采煤工作面相机调控系统，通过对相邻视频帧变化过程进行分析，对不同尺度、不同模糊参数的视频图像进行权重计算，进而得到更加符合相邻帧变化的关键点，与传统sift算法相比，在减少了冗余关键点的同时，获得的关键点对光照变化的适应能力较高，进而可以获得更加精确的sift匹配结果，进而对相机焦距进行调整，以此来减少来自多部门指挥中心的控制信令数据量，减轻网络压力的同时提高图像清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多模态视频特征分析的采煤工作面相机调控系统的系统框架图；

图2为本发明基于多模态视频特征分析的采煤工作面相机调控系统的系统流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种应用于安全运维系统的数据管理方法基于多模态视频特征分析的采煤工作面相机调控系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于多模态视频特征分析的采煤工作面相机调控系统的具体方案。

请参阅图1，其示出了本发明一个实施例一提供的基于多模态视频特征分析的采煤工作面相机调控系统的步骤流程图，该系统包括以下模块：

相机采集模块，监控视频图像采集。

由于本实施例的目的是通过采煤工作面相机拍摄的视频数据中的信息对相机进行调控，因此首先需要获得采煤工作面的视频图像数据。

图像通信模块：将将采集接收的视频图像数据通过BNC连接器连接到网络视频服务器并与网络相连接，网络视频服务器在固定IP地址下通过已有的快速局域网，授权用户可以在局域网任何地方都可以观看所采集的采煤工作面的视频图像。

图像存储模块：利用本地的存储器或云端存储，将采集到的视频图像数据进行存储备份，便于后续对采煤工作面的历史视频图像进行调阅。

图像显示模块：将通过快速局域网获取的实时视频图像数据或存储备份的历史视频图像数据进行显示播放。

相机遥控模块：利用视频分析软件分析图像通信传输过来的视频帧，获取前后视频帧中的极值点，需要说明的是，为了避免采煤工作面因为工况变化导致图像通信所传输的视频帧因为相机的焦距未能及时调整而变得模糊，因此视频分析软件通过获取视频帧中的极值点，并根据视频帧中像素区域变化对窗口范围进行调节获得更加稳定的匹配极值点，将前后两帧进行匹配，实现相邻帧间的匹配获得匹配结果，根据图像匹配结果获得相机焦距调节值，将相机焦距调节值通过图像通信网络将焦距调节值发送到相机端，实现对采煤工作面的相机焦距进行调节，获得更加清晰的视频帧。

进一步地，其示出了本发明一个实施例二提供的基于多模态视频特征分析的采煤工作面相机调控系统的步骤流程图，该系统包括以下模块：

相机采集模块，监控视频图像采集。

由于本实施例的目的是通过采煤工作面相机拍摄的视频数据中的信息对相机进行调控，因此首先需要获得采煤工作面的RGB视频图像数据，并对RGB视频图像进行灰度化处理获得对应的灰度视频图像，另外将RGB视频图像转化到HSI空间，提取亮度I通道视频图像，得到亮度分量图像。

图像通信模块：将将采集接收的视频图像数据通过BNC连接器连接到网络视频服务器并与网络相连接，网络视频服务器在固定IP地址下通过已有的快速局域网，授权用户可以在局域网任何地方都可以观看所采集的采煤工作面的视频图像。

图像存储模块：利用本地的存储器或云端存储，将采集到的视频图像数据进行存储备份，便于后续对采煤工作面的历史视频图像进行调阅。

图像显示模块：将通过快速局域网获取的实时视频图像数据或存储备份的历史视频图像数据进行显示播放。

相机遥控模块：对采集的视频图像进行分析，并实现视频图像相邻帧间的匹配，获取图像匹配结果，根据图像匹配结果获得相机焦距调节值，将相机焦距调节值通过网络通信将相机焦距调节值发送到相机端，实现对采煤工作面的相机焦距进行调节，如图2所示。

相机遥控模块中视频帧分析软件具体的执行方法包括以步骤：

步骤S001，对相邻帧视频图像的亮度分量图像分别聚类，得到聚类结果视频图像，进而得到对应区域，根据对比度得到不同差分图像的权重。

通过对应区域得到类别跨界距离，进而得到极值范围，结合权重1，得到极值性，进而通过极值性和权重1得到极值点。

计算获取极值点的具体过程展开如下：

1、对相邻帧视频图像的亮度图分别聚类，得到聚类结果视频图像，进而得到对应区域，根据对比度得到同尺度不同层权重1。

由于采煤机器是在不断前进的，而相机是固定在一个位置的，因此需要对相机焦距进行实时调整，现有方法采用相邻帧的匹配，通过匹配区域的清晰程度的变化对相机焦距进行调整，最常用的是sift匹配，由于该场景中灯光是在通道上方较为均匀分布的，接近灯光区域亮度较大，因此当采煤机器前进时，同一个面受到的光照变化较大，导致sift描述子变化较大，进而导致焦距调整的不合适。

本实施例考虑的是：在光线变化时，同一个区域的光照在上一帧和当前帧可能相差较大，但不同帧视频图像中的区域分布相近，例如：第一帧视频图像中左上角为一个灰度范围区域，右下角为一个灰度范围区域，则第二帧视频图像上左上角和右下角也同样可以得到两个灰度区域，虽然第一帧的左上角和第二帧的左上角的区域的灰度可能相差较大，但由于不同位置的反光特性，导致还是形成两个区域，且区域位置相近。

sift算子是通过高斯差分金字塔获得视频图像角点的一种常用算法，该算法将视频图像利用不同平滑参数的高斯滤核参数进行平滑，并进行不同尺度参数的下采样，会获得多个尺度参数下对应的视频图像组，每个尺度参数下的视频图像组中包含多个下采样视频图像，这些下采样视频图像分别对应不同平滑参数的高斯滤波核，然后每两个平滑参数下的下采样视频图像进行差分获得差分图像，即一个差分图像对应一个尺度参数和两个平滑参数，每个帧视频图像共获得U个差分图像，通过得到的差分图像进行极值点分析获得极值点以及极值性，具体的算法原理是公知的，本实施例不再赘述。

计算像素点极值性，因此对于相邻帧视频图像来说，哪个倍频程下的哪个模糊参数下的视频图像在上一帧和当前帧中的对应区域的清晰程度的比值与原视频图像的一致性越大，在计算像素点极值性时，应该越考虑该模糊视频图像中的极值点，因为该视频图像上的极值点保留了更多的上下帧视频图像的变化关系。

利用图像通信技术实现有效的远程监控时，往往是期望通信传输的每一帧图像都包含清晰的工况信息，使得可以在同样的通信资源的情况下，使工况信息的有效性尽可能最大化，但是对于采集采煤工作面图像的相机来说，相机的位置和焦距通常都是固定的，而固定的焦距随着目标的移动，目标区域清晰度会变弱，导致图像通信过程中传输的视频图像模糊不清，意味着模糊不清的无用视频数据占用通信带宽，图像通信传输效率低下。因此可以通过前后两帧视频图像的对应区域清晰度的变化，对相机焦距进行调整。而前后两帧视频图像的对应点的计算往往使用sift匹配，sift匹配过程中最重要的是关键点的选取，而关键点是在差分图像上进行选取的，因此选择一个合适的差分图像和合适的极值点参与到后续的关键点匹配过程中，有助于提高后续的匹配精度，根据得到匹配区域的变化进而对相机焦距进行调整，提高图像通信过程中的传输效率，使所传输的视频图像在网络通信资源不变的情况下获得的图像具有更高的清晰度，使得能够减少来自多部门指挥中心对相机焦距调节的控制信令数据量。

首先获得相邻帧视频图像中的上一帧视频图像，将该帧的亮度分量图像通过密度聚类的方法进行像素点灰度值的聚类，得到多个像素点类别区域，称之为上一帧像素点类别区域，同一个像素点类别区域的亮度值相近。通过相同的方法获得当前帧视频图像中的多个像素点类别区域，称之为当前帧像素点类别区域，记录每一帧视频图像中所有像素点的类别。

然后根据上一帧像素点类别区域与当前帧像素点类别区域在视频图像上位置进行叠加获取同类别的交集，具体描述为：通过上一帧视频图像与当前帧视频图像同位置像素点的重叠，获取基于像素点类别区域的每个上一帧像素点类别区域与当前帧像素点类别区域的交集，获得交集区域，计算当前帧视频图像中任意一个像素点类别区域与上一帧视频图像中所有像素点类别区域之间的交并比，将交并比最大时所对应的上一帧视频图像和当前帧视频图像中的像素点类别区域作为相互对应类别，将相互对应类别在视频图像中所对应的交集区域作为相互对应区域，重复以上过程，计算当前帧视频图像中所有像素点类别区域与上一帧视频图像的像素点类比区域之间的最大交并比时的相互对应区域，将上一帧视频图像和当前帧视频图像所形成的的所有相互对应区域的数量记为T个。

任意一个像素区域对比度计算方法为：

分别获取任意一个像素区域中第i个像素点邻域内所有像素点与第i个像素点的灰度差差值，得到多个灰度差，记为灰度差集合S，其中第i个像素点与第j个对应的灰度差在集合S中出现的概率为；

其中，N表示任意一个像素区域内的像素点数量，/>表示在任意一个像素区域中第/>个像素点灰度值，/>表示在任意一个像素区域中以第i个像素点8邻域内的第j个像素点灰度值；/>表示第i个像素点与第j个对应的灰度差在灰度差集合S中出现的概率。

根据任意一个像素区域对比度计算方法，同理获取在上一帧和当前帧视频图像中多个相互对应区域的对比度，将当前帧视频图像中相互对应区域的对比度记为，表示在当前帧视频图像中第t个相互对应区域的对比度，上一帧视频图像中相互对应区域的对比度记为/>，表示在上一帧视频图像中第t个相互对应区域的对比度。

计算得到每个相互对应区域的当前帧与上一帧的对比度的比值，记为第一比值，表示当前帧与上一帧视频图像中第t个相互对应区域的对比度比值，即/>，由所有相互对应区域的第一比值构成第一比值序列，

由于一个差分图像对应sift算法的一个尺度参数和两个平滑参数，将差分图像的尺度参数和平滑参数记为差分描述子，因此将当前帧与上一帧视频图像中差分描述子完全相同的两个差分图像记为差分图像对，根据上述中任意一个像素区域对比度计算方法，将差分图像所有像素视为一个像素区域，获取差分图像对中两个差分图像各自的对比度，将当前帧视频图像的差分图像的对比度记为，表示当前帧视频图像的第u个差分图像的对比度，将上一帧视频图像的差分图像的对比度记为/>，表示上一帧视频图像的第u个差分图像的对比度，将当前帧与上一帧视频图像的差分图像的对比度的比值记为第二比值/>，表示当前帧与上一帧视频图像的第u个差分图像的对比度的比值，即/>；计算第一比值序列中每个值与第二比值/>的差值的平方和作为第u个差分图像的对比度差异值，用表示，进而得到不同差分图像的权重/>。

差分图像权重具体的计算公式如下：

其中，对比度差异值/>表示第u个差分图像的对比度的差异，反映了当前帧和上一帧视频图像的相互对应区域的第一比值与当前帧和上一帧视频图像的第u个差分图像的第二比值/>的偏离程度，第一比值/>表示当前帧与上一帧视频图像中第t个相互对应区域的对比度比值，第二比值/>表示当前帧与上一帧视频图像的第u个差分图像的对比度比值，T表示当前帧和上一帧视频图像共有T个相互对应区域，权重/>表示第u个差分图像的权重，后续是在差分图像上计算极值点，进行关键点的选取。

将每个差分图像对的权重赋予组成第u个差分图像对的第u个上一帧差分图像和下一个差分图像，通过计算可以得到第u个差分图像对的权重值/>，同理得到所有差分图像的权重值。

权重值越大的差分图像对光照变化情况的适应能力越高，进而图像中极值点的抗光照能力越强，作为最后的关键点在参与sift算法的匹配时越能得到更高精度的匹配结果，进而得到更好的焦距调整效果，获得清晰度更好的采煤工作面的视频图像，提高图像通信时的视频图像有效率，即提高在网络资源不变的情况下，利用图像通信技术传输的视频清晰度更高，减少视频图像数据传输过程中对相机焦距进行控制的过多的指令信息，缓解图像通信传输网络压力。

步骤S002，通过对应区域得到类别跨界距离，进而得到极值范围，结合差分图像权重，得到极值性，进而通过极值性得到关键点权重。

需要说明的是，相邻两帧视频图像的交集区域可以表示光照变化情况，对于某个交集区域来说，交并比越小，光照变化对该区域的影响越大，该区域附近的极值点越需要满足范围较大的原则才能在前后帧的光照变化中保持不变；该交集区域周围的其它区域中与该区域面积相近区域与该区域相比，该区域的相对交并比越小，表示相对于周围区域来说，该区域越容易受光照变化影响导致光照一致性区域的变化，越需要较大范围的极值点才能在前后帧的光照变化中该极值点始终存在。这样的极值点才能较好地作为该区域的关键点，起到更好的效果；由于位于边界上的点的极值性较大，而位于区域内部点的灰度值的一致性较大，因此极值点往往是出现在边界上，因此当相互对应区域的清晰度变化程度越大时，说明细节信息被模糊的越厉害，为了获得更好的sift算法的匹配效果，需要将更大的窗口范围内极值性较大的像素点作为极值点，以起到越好的sift算法的匹配效果，即越大范围的极值点（即在较大范围内的极值性都较强）作为关键点进行匹配，可以更好的避免光照变化带来的影响，提高匹配结果的精度。利用极限思想来说，某个极值点在多个灰度一致性较大区域都是一个极值性较强的点时，其受光照影响程度小。

将相邻两帧视频图像重叠，根据上一帧视频图像和当前帧视频图像的像素点类别区域形成交集区域，将每一个交集区域作为中心区域，计算形成每个中心区域的像素点类别区域之间的交并比，同时计算获取形成每个交集区域的两个像素点类别区域的对比度，将当前帧视频图像的像素点类别区域的对比度记为，表示当前帧视频图像的第r个像素点类别区域的对比度；将上一帧视频图像的像素点类别区域的对比度记为/>，表示当前帧视频图像的第q个像素点类别区域的对比度；另外获取视频图像中所有像素点类别区域的对比度，将形成中心区域的当前帧的像素点类别区域的对比度与上一帧的像素点类别区域的对比度的比值记为每一个中心区域的第三比值/>，表示当前帧与上一帧视频图像的像素点类别区域形成的第z个中心区域的第三比值，/>比值越小，中心区域的边界点需要越大范围窗口的极值点作为关键点可以起到好的匹配效果。

另外，将一个中心区域周围有共同边缘的中心区域记为第一相邻区域，将任意一个中心区域记为目标中心区域，从第一相邻区域中选择与该中心区域的面积比值不小于80%的若干相邻区域作为参考区域，如果参考区域不存在，就扩大搜索范围，将与第一相邻区域存在共同边缘的中心区域作为第二相邻区域，计算第二相邻区域中与目标中心区域面积比值不小于80%的第二相邻区域作为参考区域，依次类推，直至参考区域不存在。至此目标中心区域对应得到若干参考区域。同理将所有中心区域依次作为目标中心区域，得到每个目标中心区域对应得到若干参考区域，并计算形成参考区域的上一帧与当前帧视频图像的像素点类别区域的交并比的均值。

计算得到调整后窗口范围的公式如下：

式中，基础窗口范围/>表示sift算法的预设窗口范围参数，sift算法中窗口范围大小通常取/>，/>表示向下取整符号，/>表示当前帧与上一帧视频图像的像素点类别区域形成的第z个中心区域的第三比值，第三比值/>越小，该区域的对比度下降越大，对于中心区域边界上的点来说，需要较小范围窗口的极值点作为关键点即可达到较好的极值效果；

a表示形成中心区域的当前帧视频图像的像素点类别区域与上一帧视频图像的像素点类别区域的交并比，a值越小，即中心区域的交并比越小，说明光照变化对中心区域的影响越大，需要越大窗口范围内的极值点作为关键点达到较好的极值效果，即在前后两帧中该点特性较强，均存在；表示形成参考区域的当前帧视频图像的像素点类别区域与上一帧视频图像的像素点类别区域的交并比的均值；/>表示中心区域与周围的面积相近区域相比，交并比的相对大小，相对越小，说明该区域越容易受光照变化的影响，需要越大窗口范围的极值点作为关键点；窗口范围因子/>表示将根据视频图像的当前帧与上一帧的像素点类别区域的交兵比以及对比度之间得到的比例关系作为对sift算法窗口范围大小进行调整的窗口范围因子。

表示sift算法中计算像素点的极值性时的矩阵窗口的边长大小，即第z个中心区域边界点上的极值点的窗口范围大小为/>；中心区域的清晰程度下降越大，对于中心区域边界上的点来说，需要较大范围窗口的极值点作为关键点即可达到较好的极值效果；中心区域的交并比越小，说明光照变化对中心区域的影响越大，需要越大窗口范围内的极值点作为关键点达到较好的极值效果，即在前后两帧中该点特性较强，均存在；中心区域周围的与中心区域面积相近的区域的交并比与中心区域的交并比相差越大，说明该区域越容易受光照变化的影响，需要越大窗口范围内的极值点作为用于sift匹配的关键点，获得更稳定更有利于提高图像匹配精度的关键点，使能够获得准确的图像匹配结果，帮助采煤工作面相机的焦距能够根据准确地图像匹配结果来自行调节，减少对监控采煤工作面相机焦距的人工调整过程，提高视频图像通信网络对视频数据传输的高效性。

步骤S003：根据在窗口范围内极值点的极值性获取用于图像匹配的关键点。

通过计算可以得到每个差分图像上区域边界点上的极值点要求的窗口大小，利用sift算法中获取矩阵窗口内极值点的方法，将在区域边界上的极值点作为大小的窗口的中心点，当中心点仍然满足sift算法对极值点的要求时，将作为/>窗口中心点的极值点进行保留，将保留下来的点记为保留点，即保留点是/>窗口内极值性最大的像素点，窗口内其它点不再作为极值点，然后计算保留点以及窗口内其他像素点的极值性。

首先，利用sift算法的基础窗口范围获得视频图像中的极值点以及极值性，将在基础窗口范围/>获得的视频图像中的极值点记为预极值点，并计算在调整后窗口范围/>内所有预极值点的极值性，将在调整后窗口范围/>内极值性最大的极值点作为保留点，将极值性仅次于保留点的极值点作为次极值点。

保留点与次极值点之间的灰度差异越大，表示保留点在视频图像中的调整后窗口范围内的极值性越大，越不容易受到光照变化的影响，有利于后续sift算法的关键点匹配，将保留点与次极值点之间的差异记为保留点极性。所述的，保留点极性JX的计算过程如下：

式中，m表示保留点在灰度视频图像中对应的灰度值，h表示窗口范围内次极值点在灰度视频图像中对应的灰度值；/>表示保留点所在第u个差分图像的权重值；极性因子/>表示保留点与次极值点的灰度值之间的差异大小；差分图像的权重值越大，表示该差分图像上的极值点的光照适应能力越强，作为极值点参与匹配，得到的匹配结果精度更高，进而得到更好的焦距调整效果。

极值性越大的像素点越应该作为关键点，为了避免在后续的筛选关键点过程中将这些极值点去掉，将极值性作为这些点的关键点权重。

将以上保留点作为后续将要进行sift匹配的关键点，并将对应的保留点极性作为保留点的关键点权重，在此处的保留点即为常规sift算法中用于匹配的关键点，但是在本实施例中保留点是经过更大窗口范围获取的，与常规sift算法的关键点有所不同，因此将其称为保留点，常规sift算法在后续操作中通常会考虑关键点的主曲率以删除一些不稳定的关键点，主曲率获取为sift算法的现有部分，不过多赘述，在本实施例中还需要考虑关键点权重，另外sift算法通常会将主曲率大于10的保留点删除，同时在本实施例中优先删除关键点权重小于0.3的保留点，将删除后剩余的保留点记为匹配关键点，保留更加稳定的保留点参与后面的sift匹配过程，有利于进而根据保留的稳定的关键点得到相邻帧视频图像更加准确地匹配结果，保证后续基于图像匹配结果进行相机焦距调节的准确性，使得图像通信中所传输的是清晰的视频图像，提高图像通信传输的图像有效性，并通过减少对相机焦距的人为调节来保证网络通信顺畅，不拥挤。

步骤S004，利用sift算法对关键点进行匹配，获取图像匹配结果。

利用sift算法将上一帧视频图像和当前帧视频图像的匹配关键点进行主方向分配以及关键点描述子生成操作，根据关键点描述子将相邻帧视频图像中关键点描述子相近的匹配关键点进行匹配，获取匹配结果。

根据匹配结果对相机进行焦距调整：

首先训练一个根据视频图像上匹配距离变化调节焦距的全连接神经网络，该全连接神经网络的输入为：匹配距离变化，即当前帧的匹配点与上一帧的匹配点之间的平均距离比值，输出为：焦距调整值。

其次对于前一帧与后一帧的匹配点对，先计算前一帧视频图像上关键点的平均距离d1，然后计算后一帧视频图像上关键点的平均距离d2，计算d2与d1的比值，将所述比值作为网络输入，得到焦距调整值，利用通信网络将焦距调整值发送到相机端，相机根据焦距调整值对焦距进行调节，以采集更清晰的视频图像，以此实现对采煤工作面相机的焦距调节。

至此，通过以上基于图像通信的采煤工作面相机自动调焦，即通过对采集的采煤工作面视频图像进行分析，实现采煤工作面相机焦距的自动化调节，减少了图像显示模块的指挥调度中心与相机之间的控制信息交互过程，减轻了图像通信时的传输网络压力，实现了针对特殊场景下图像通信的智能化以及高效化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，该系统包括以下模块：

相机采集模块：利用监控相机采集采煤工作面的视频图像数据；

图像通信模块：将采集的视频图像数据通过BNC连接到网络视频服务器，依托已有的快速局域网实现视频图像数据的无线传输；

图像存储模块：将采集的视频图像数据进行存储备份；

图像显示模块：将通过快速局域网获取的实时视频图像数据或存储备份的历史视频图像数据进行显示播放；

相机遥控模块：对视频图像进行分析，获取图像匹配结果，根据匹配结果获取焦距调整值实现焦距的远程遥控及自动化调整，具体包括以下步骤：

对视频图像进行聚类获得像素点类别区域，获取上一帧与当前帧视频图像的像素点类别区域之间的交并比和交集区域，将最大交并比对应的交集区域记为相互对应区域；

获得相互对应区域的对比度，将当前帧与上一帧视频图像的相互对应区域的对比度比值记为第一比值；获得由sift算法获得的所有差分图像的对比度、极值点以及极值点的极值性，将当前帧与上一帧相同差分描述子的差分图像的对比度比值记为第二比值；根据第二比值与相互对应区域的第一比值之间的差异获得差分图像权重；

获取所有像素点类别区域的对比度，将形成交集区域的像素点类别区域的对比度比值记为第三比值；根据交集区域的相邻区域的交并比均值、第三比值以及交集区域的交并比之间的比例关系获得窗口范围因子，根据窗口范围因子对基础窗口范围进行大小调整获得调整后窗口范围；

将在调整后窗口范围内极值性最大的极值点作为保留点，将极值性仅次于保留点的极值点作为次极值点，将保留点与次极值点之间的灰度差异记为极性因子，利用保留点所在差分图像的差分图像权重对极性因子进行乘积调整获得保留点极性；根据预设阈值将保留点极性小于预设阈值的保留点删除，将剩余的保留点作为匹配关键点，进行视频图像匹配，根据匹配结果获得焦距调整值，利用网络通信将焦距调整值发送到相机端，相机根据焦距调整值实现焦距的远程遥控及自动化调整；

所述差分图像权重，获取方法如下：

其中，e为自然常数；对比度差异值/>表示第u个差分图像的对比度的差异，第一比值/>表示当前帧与上一帧视频图像中第t个相互对应区域的对比度比值，第二比值/>表示当前帧与上一帧视频图像的第u个差分图像的对比度比值，T表示当前帧和上一帧视频图像共有T个相互对应区域，权重/>表示第u个差分图像的权重。

2.根据权利要求1所述基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，所述相互对应区域，获取方法如下：

利用相机采集获取采煤工作面的RGB视频图像数据，并对视频图像进行灰度化处理，将RGB视频图像转换到HIS空间中，获取亮度分量图像，利用基于密度的聚类方法对亮度分量图像进行聚类，将亮度分量图像中像素点灰度值相近像素点聚为一类，获得像素点类别区域，获得每一帧视频图像的像素点类别区域；根据像素点位置获取上一帧与当前帧视频图像中像素点类别区域的交集，并计算形成交集的上一帧和当前帧视频图像的像素点类别区域的交并比，将交并比最大时所对应的上一帧和当前帧视频图像中的像素点类别记为相互对应类别，将相对应类别在视频图像中所对应的交集区域记为相互对应区域。

3.根据权利要求1所述基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，所述差分描述子，获取方法如下：

由sift算法获得的差分图像中，一个差分图像对应sift算法的一个尺度参数和两个平滑参数，将差分图像对应的尺度参数和平滑参数记为差分描述子。

4.根据权利要求1所述基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，所述调整后窗口范围，获取方法如下：

将每一个上一帧和当前帧视频图像的像素点类别区域所形成的交集区域作为中心区域，将根据与中心区域相邻接的区域中面积在预设范围内获得的区域作为参考区域，当与中心区域相接邻区域中不满足预设范围条件时，扩大范围获取参考区域，并计算形成参考区域的上一帧与当前帧视频图像的像素点类别区域的交并比的均值；

调整后窗口范围：

式中，e为自然常数；基础窗口范围/>表示sift算法的预设窗口范围参数，/>表示向下取整符号，/>表示当前帧与上一帧视频图像的像素点类别区域形成的第z个中心区域的第三比值，a表示形成中心区域的当前帧视频图像的像素点类别区域与上一帧视频图像的像素点类别区域的交并比，/>表示形成参考区域的当前帧视频图像的像素点类别区域与上一帧视频图像的像素点类别区域的交并比的均值，调整后窗口范围/>表示sift算法中计算像素点的极值性时的矩阵窗口的边长大小，即第z个中心区域边界点上的极值点的窗口范围大小为/>。

5.根据权利要求1所述基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，所述保留点极性，获取方法如下：

利用sift算法的基础窗口范围获得视频图像中的极值点以及极值性，将在基础窗口范围/>获得的视频图像中的极值点记为预极值点，并计算在调整后窗口范围内所有预极值点的极值性，将在调整后窗口范围内极值性最大的极值点作为保留点，将极值性仅次于保留点的极值点作为次极值点；

保留点极性：

式中，m表示保留点在灰度视频图像中对应的灰度值，h表示s*s窗口范围内次极值点在灰度视频图像中对应的灰度值；极性因子/>表示保留点与次极值点的灰度值之间的差异大小；/>表示保留点所在第u个差分图像的权重值。

6.根据权利要求1所述基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，所述关键点，获取方法如下：

将保留点作为后续将要进行sift匹配的关键点，将对应的保留点极性作为保留点的关键点权重，在利用sift算法通常会将主曲率大于10的关键点删除的同时优先删除关键点权重小于预设阈值的保留点，将删除后剩余的保留点记为匹配关键点。

7.根据权利要求1所述基于多模态视频特征分析的采煤工作面相机调控系统，其特征在于，所述根据匹配结果实现相机的焦距调整，包括的具体步骤如下：

首先训练一个根据视频图像上匹配距离变化调节焦距的全连接神经网络，所述全连接神经网络的输入为：匹配关键点的匹配距离变化，即当前帧与上一帧匹配点之间的平均距离比值，输出为：焦距调整值；

其次对于当前帧与上一帧的匹配点对，先计算前一帧视频图像上关键点的平均距离d1，然后计算后一帧视频图像上关键点的平均距离d2，计算d2与d1的比值，将所述比值作为网络输入，得到焦距调整值。