CN115953719A - 一种多目标识别的计算机图像处理系统 - Google Patents

Abstract

本发明公开了一种多目标识别的计算机图像处理系统，涉及图像处理技术领域，包括图像预处理模块、图像识别模块、控制器以及信号验证模块；所述图像预处理模块用于对接收到的视频图像进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后的视频图像传输至图像识别模块；所述图像识别模块用于接收处理后的视频图像，提取视频图像中每一帧图像，基于深度学习的目标检测与识别算法，从每一帧图像中识别出目标特征，以方框形式对目标特征进行标记，并标注方框在图片中的位置和大小，检测准确性高；所述信号验证模块用于实时验证图像识别模块的通信状态，以及时提醒管理人员尽快处理；从而减少干扰信号的影响，保证图像识别的准确度。

Description

一种多目标识别的计算机图像处理系统

技术领域

本发明涉及图像处理技术领域，具体是一种多目标识别的计算机图像处理系统。

背景技术

随着科学技术的进步和计算机视觉技术、摄影测量技术的发展，使得基于摄像机的图像监控、实时视觉检测技术在安防行业、工业环境中物体尺寸及空间位置参数等方面的应用有了飞跃的发展。

目标检测是指在序列图像中检测出疑似目标的区域并将目标从背景图像中提取出来。通常情况下，目标距离镜头远近决定了其成像的大小，同一时刻可能出现不同大小，不同运动状态(运动，静止)的目标，所以通过传统的帧差、背景差等方法不能检测出多种运动状态的目标；现有的多目标的复杂图像检测系统存在检测效率低，检测准确性差的问题；当存在噪声信号影响时，容易造成图像模糊，影响图像检测的准确性；基于以上不足，本发明提出一种多目标识别的计算机图像处理系统。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种多目标识别的计算机图像处理系统。

为实现上述目的，根据本发明的第一方面的实施例提出一种多目标识别的计算机图像处理系统，包括视频采集模块、图像预处理模块、图像识别模块、控制器以及信号验证模块；

所述视频采集模块由多组光学镜头组成，用于采集检测目标的视频图像；并将采集的视频图像传输至图像预处理模块；

所述图像预处理模块用于对接收到的视频图像进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后的视频图像传输至图像识别模块；

所述图像识别模块用于接收处理后的视频图像，提取所述视频图像中每一帧图像，基于深度学习的目标检测与识别算法，从所述每一帧图像中识别出目标特征，以方框形式对所述目标特征进行标记，并标注所述方框在图片中的位置和大小；

所述信号验证模块用于实时验证图像识别模块的通信状态，计算得到干扰系数Cy；若Cy≥干扰阈值，则判定信号干扰严重，通信状态异常，生成通信预警指令，以提醒管理人员尽快处理；

其中，所述图像识别模块在探测到通信预警指令后，进入主动待机模式，即不再以异常通信的FPGA主控来识别视频图像，待信号验证模块判断通信状态正常后，再继续二者之间的通信。

进一步地，所述图像预处理模块的具体处理步骤为：

S1：将接收到的图像信息转化为数字信号，对转化后的数字信号进行滤波，获取数字信号幅值信息；按照预设的采集间隔时长采集数字信号的幅值信息，生成幅值信息组WPi；

S2：根据接收到的i个幅值信息计算幅值最高预警值和幅值最低预警值；其中i≥10；具体为：

计算i个幅值信息的平均幅值为WPavg；遍历幅值信息组WPi，获取WPi的最大值标记为WPmax，获取WPi的最小值标记为WPmin；

结合平均幅值WPavg、最大值WPmax计算振幅最高预警值W1；具体计算公式为：W1＝WPmax+(WPmax-WPavg)×f，其中f为预警阈值；

结合平均幅值WPavg、最小值WPmin计算振幅最低预警值W2；具体计算公式为：W2＝WPmin-(WPavg-WPmin)×f；

获取第i+1个幅值信息；并标记为WP(i+1)；将WP(i+1)与振幅最高预警值W1和振幅最低预警值W2相比较；若WP(i+1)≥W1或WP(i+1)≤W2，则生成调节信号；否则，生成正常信号；

当接收到调节信号时，图像预处理模块通过控制可编程增益放大电路对数字信号进行增益调整，将数字信号的幅值调节至振幅最低预警值W2与振幅最高预警值W1之间；然后令i＝i+1，依此类推。

进一步地，所述信号验证模块的具体验证步骤为：

信号验证模块按照预设验证周期发送验证配置消息至图像识别模块的FPGA主控，其中验证配置消息中包括第一信号质量门限；

根据FPGA主控的回应情况计算得到信号损耗指数SH；建立信号损耗指数SH随时间变化的曲线图；

将信号损耗指数SH与损耗阈值相比较；若SH≥损耗阈值，则在对应的曲线图中截取对应的曲线段并进行标注，记为干扰曲线段；

在预设时间段内，统计干扰曲线段的数量为P1，将干扰曲线段上对应SH与损耗阈值的差值对时间进行积分并求和得到干扰参考面积M1；利用Cy＝P1×a3+M1×a4计算得到干扰系数Cy，其中a3、a4均为系数因子。

进一步地，根据FPGA主控的回应情况计算得到信号损耗指数SH；具体为：

响应于接收到由信号验证模块发送的验证配置消息，由图像识别模块的FPGA主控发送第二同步信号至信号验证模块；

响应于监听到第二同步信号，由信号验证模块确定第二同步信号的信号质量并与第一信号质量门限进行对比，得到对应的质量差值ZC；

将信号验证模块发送验证配置消息的时刻与信号验证模块再次监听到第二同步信号的时刻进行时间差计算得到响应时长XT；利用公式SH＝ZC×a1+XT×a2计算得到信号损耗指数SH，其中a1、a2均为系数因子。

进一步地，所述信号验证模块用于将通信预警指令传输至控制器，控制器接收到通信预警指令后自动驱动报警模块发出警报。

进一步地，所述基于深度学习的目标检测与识别算法为基于区域建议的目标检测与识别算法；所述基于区域建议的目标检测与识别算法为R-CNN算法，Fast-R-CNN算法，或者Faster-R-CNN算法。

进一步地，所述基于深度学习的目标检测与识别算法为基于回归的目标检测与识别算法；所述基于回归的目标检测与识别算法为YOLO算法或SSD算法。

进一步地，所述基于深度学习的目标检测与识别算法为基于搜索的目标检测与识别算法；所述基于搜索的目标检测与识别算法为基于视觉注意的AttentionNet算法或者基于强化学习的算法。

与现有技术相比，本发明的有益效果是：

1、本发明中图像预处理模块用于对视频图像进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后的视频图像传输至图像识别模块，从而提高目标识别的准确性；图像识别模块用于接收处理后的视频图像，提取视频图像中每一帧图像，基于深度学习的目标检测与识别算法，从每一帧图像中识别出目标特征，以方框形式对目标特征进行标记，并标注方框在图片中的位置和大小，检测准确性高；

2、本发明中信号验证模块用于实时验证图像识别模块的通信状态；首先按照预设验证周期发送验证配置消息至图像识别模块的FPGA主控，FPGA主控接收到验证配置消息后发送第二同步信号至信号验证模块；信号验证模块将第二同步信号的信号质量与第一信号质量门限进行对比，得到对应的质量差值ZC，结合响应时长XT计算得到信号损耗指数SH；根据信号损耗指数SH的时空变化情况计算得到干扰系数Cy，若Cy≥干扰阈值，则判定信号干扰严重，通信状态异常，生成通信预警指令；控制器接收到通信预警指令后自动驱动报警模块发出警报，以提醒管理人员尽快处理；从而减少干扰信号的影响，保证图像识别的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种多目标识别的计算机图像处理系统的系统框图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种多目标识别的计算机图像处理系统，包括视频采集模块、图像预处理模块、图像识别模块、控制器、信号验证模块以及报警模块；

所述视频采集模块由多组光学镜头组成，用于采集检测目标的视频图像；其中光学镜头的方向能够进行调节，从各个角度采集检测目标的视频图像，使得采集的视频图像更丰富；

所述视频采集模块用于将采集的视频图像传输至图像预处理模块，所述图像预处理模块用于对接收到的视频图像进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后的视频图像传输至图像识别模块，从而提高目标识别的准确性；

其中，图像预处理模块的具体处理步骤为：

S1：将接收到的图像信息转化为数字信号，对转化后的数字信号进行滤波，获取数字信号幅值信息；按照预设的采集间隔时长采集数字信号的幅值信息，生成幅值信息组WPi；

S2：根据接收到的i个幅值信息计算幅值最高预警值和幅值最低预警值；其中i≥10；具体为：

计算i个幅值信息的平均幅值为WPavg；遍历幅值信息组WPi，获取WPi的最大值标记为WPmax，获取WPi的最小值标记为WPmin；

结合平均幅值WPavg、最大值WPmax计算振幅最高预警值W1；具体计算公式为：W1＝WPmax+(WPmax-WPavg)×f，其中f为预警阈值；

结合平均幅值WPavg、最小值WPmin计算振幅最低预警值W2；具体计算公式为：W2＝WPmin-(WPavg-WPmin)×f；

获取第i+1个幅值信息；并标记为WP(i+1)；将WP(i+1)与振幅最高预警值W1和振幅最低预警值W2相比较；若WP(i+1)≥W1或WP(i+1)≤W2，则生成调节信号；否则，生成正常信号；

当接收到调节信号时，图像预处理模块通过控制可编程增益放大电路对数字信号进行增益调整，将数字信号的幅值调节至振幅最低预警值W2与振幅最高预警值W1之间；然后令i＝i+1，依此类推；

所述图像识别模块用于接收处理后的视频图像，提取所述视频图像中每一帧图像，基于深度学习的目标检测与识别算法，从所述每一帧图像中识别出目标特征，以方框形式对所述目标特征进行标记，并标注所述方框在图片中的位置和大小，与现有技术相比检测效率高，检测准确性高；

在一种可选实施方式中，所述基于深度学习的目标检测与识别算法为基于区域建议的目标检测与识别算法；所述基于区域建议的目标检测与识别算法为R-CNN算法，Fast-R-CNN算法，或者Faster-R-CNN算法。

其中，R-CNN是一种基于区域的卷积神经网络算法，它在卷积神经网络上应用区域推荐的策略，形成自底向上的目标定位模型。

Fast RCNN，是RCNN算法的升级版，R-CNN存在以下几个问题：训练分多步。R-CNN的训练先要fine tuning一个预训练的网络，然后针对每个类别都训练一个SVi分类器，最后还要用regressors对bounding-box进行回归，另外region proposal也要单独用selectivesearch的方式获得，步骤比较繁琐。时间和内存消耗比较大。在训练SVi和回归的时候需要用网络训练的特征作为输入，特征保存在磁盘上再读入的时间消耗还是比较大的。测试的时候也比较慢，每张图片的每个region proposal都要做卷积，重复操作太多。虽然在FastRCNN之前有提出过SPPnet算法来解决RCNN中重复卷积的问题，但是SPPnet依然存在和RCNN一样的一些缺点比如：训练步骤过多，需要训练SVi分类器，需要额外的回归器，特征也是保存在磁盘上。因此Fast RCNN相当于全面改进了原有的这两个算法，不仅训练步骤减少了，也不需要额外将特征保存在磁盘上。基于VGG16的Fast RCNN算法在训练速度上比RCNN快了将近9倍，比SPPnet快大概3倍；测试速度比RCNN快了213倍，比SPPnet快了10倍。在VOC2012上的iAP在66％左右。

faster RCNN可以简单地看做“区域生成网络+fast RCNN”的系统，用区域生成网络代替fast RCNN中的Selective Search方法。Faster R-CNN提出了Region ProposalNetwork(RPN)，从与fast R-CNN共享的卷积层中估计候选区域。由于RPN与fast R-CNN在前几个卷积层共享参数，因此，候选区域计算与分类网络计算有大部分重合，大大减少了整体检测的时间；

在一种可选实施方式中，所述基于深度学习的目标检测与识别算法为基于回归的目标检测与识别算法；所述基于回归的目标检测与识别算法为YOLO算法或SSD算法；

在一种可选实施方式中，所述基于深度学习的目标检测与识别算法为基于搜索的目标检测与识别算法；所述基于搜索的目标检测与识别算法为基于视觉注意的AttentionNet算法或者基于强化学习的算法；

在一种可选实施方式中，为了减少干扰信号的影响，保证图像识别的准确度；所述信号验证模块用于实时验证图像识别模块的通信状态；具体验证步骤为：

信号验证模块按照预设验证周期发送验证配置消息至图像识别模块的FPGA主控，其中验证配置消息中包括第一信号质量门限；响应于接收到由信号验证模块发送的验证配置消息，由图像识别模块的FPGA主控发送第二同步信号至信号验证模块；

响应于监听到第二同步信号，由信号验证模块确定第二同步信号的信号质量，并将第二同步信号的信号质量与第一信号质量门限进行对比，得到对应的质量差值ZC；其中本领域技术人员应该理解，任意本领域公知的度量都能够用于表征信号质量，例如RSRQ、RSRP、RSSI等等；此处的质量差值可以反映出信号在传输过程中的衰减；

将信号验证模块发送验证配置消息的时刻与信号验证模块再次监听到第二同步信号的时刻进行时间差计算得到响应时长XT；利用公式SH＝ZC×a1+XT×a2计算得到信号损耗指数SH，其中a1、a2均为系数因子；

建立信号损耗指数SH随时间变化的曲线图，将信号损耗指数SH与损耗阈值相比较；若SH≥损耗阈值，则在对应的曲线图中截取对应的曲线段并进行标注，记为干扰曲线段；

在预设时间段内，统计干扰曲线段的数量为P1，将干扰曲线段上对应SH与损耗阈值的差值对时间进行积分并求和得到干扰参考面积M1；利用Cy＝P1×a3+M1×a4计算得到干扰系数Cy，其中a3、a4均为系数因子；

将干扰系数Cy与干扰阈值相比较；若Cy≥干扰阈值，则判定信号干扰严重，通信状态异常，生成通信预警指令；

所述信号验证模块用于将通信预警指令传输至控制器，控制器接收到通信预警指令后自动驱动报警模块发出警报，以提醒管理人员尽快处理；从而提高图像识别模块的识别效率和正确率；

其中，所述图像识别模块在探测到通信预警指令后，进入主动待机模式，即不再以异常通信的FPGA主控来识别视频图像，待信号验证模块判断通信状态正常后，再继续二者之间的通信。

上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。

本发明的工作原理：

一种多目标识别的计算机图像处理系统，在工作时，视频采集模块用于采集检测目标的视频图像；图像预处理模块用于对视频图像进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后的视频图像传输至图像识别模块，从而提高目标识别的准确性；图像识别模块用于接收处理后的视频图像，提取视频图像中每一帧图像，基于深度学习的目标检测与识别算法，从每一帧图像中识别出目标特征，以方框形式对目标特征进行标记，并标注方框在图片中的位置和大小，检测准确性高；

信号验证模块用于实时验证图像识别模块的通信状态；首先按照预设验证周期发送验证配置消息至图像识别模块的FPGA主控，FPGA主控接收到验证配置消息后发送第二同步信号至信号验证模块；信号验证模块将第二同步信号的信号质量与第一信号质量门限进行对比，得到对应的质量差值ZC，结合响应时长XT计算得到信号损耗指数SH；根据信号损耗指数SH的时空变化情况计算得到干扰系数Cy，若Cy≥干扰阈值，则判定信号干扰严重，通信状态异常，生成通信预警指令；控制器接收到通信预警指令后自动驱动报警模块发出警报，以提醒管理人员尽快处理；从而减少干扰信号的影响，保证图像识别的准确度。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (8)

1.一种多目标识别的计算机图像处理系统，其特征在于，包括视频采集模块、图像预处理模块、图像识别模块、控制器以及信号验证模块；

所述视频采集模块由多组光学镜头组成，用于采集检测目标的视频图像；并将采集的视频图像传输至图像预处理模块；

所述图像预处理模块用于对接收到的视频图像进行滤波增益处理，降低信噪比，减少图像噪点，并将处理后的视频图像传输至图像识别模块；

所述图像识别模块用于接收处理后的视频图像，提取所述视频图像中每一帧图像，基于深度学习的目标检测与识别算法，从所述每一帧图像中识别出目标特征，以方框形式对所述目标特征进行标记，并标注所述方框在图片中的位置和大小；

所述信号验证模块用于实时验证图像识别模块的通信状态，计算得到干扰系数Cy；若Cy≥干扰阈值，则判定信号干扰严重，通信状态异常，生成通信预警指令，以提醒管理人员尽快处理；

其中，所述图像识别模块在探测到通信预警指令后，进入主动待机模式，即不再以异常通信的FPGA主控来识别视频图像，待信号验证模块判断通信状态正常后，再继续二者之间的通信。

2.根据权利要求1所述的一种多目标识别的计算机图像处理系统，其特征在于，所述图像预处理模块的具体处理步骤为：

S1：将接收到的图像信息转化为数字信号，对转化后的数字信号进行滤波，获取数字信号幅值信息；按照预设的采集间隔时长采集数字信号的幅值信息，生成幅值信息组WPi；

S2：根据接收到的i个幅值信息计算幅值最高预警值和幅值最低预警值；其中i≥10；具体为：

计算i个幅值信息的平均幅值为WPavg；遍历幅值信息组WPi，获取WPi的最大值标记为WPmax，获取WPi的最小值标记为WPmin；

结合平均幅值WPavg、最大值WPmax计算振幅最高预警值W1；具体计算公式为：W1＝WPmax+(WPmax-WPavg)×f，其中f为预警阈值；

结合平均幅值WPavg、最小值WPmin计算振幅最低预警值W2；具体计算公式为：W2＝WPmin-(WPavg-WPmin)×f；

获取第i+1个幅值信息；并标记为WP(i+1)；将WP(i+1)与振幅最高预警值W1和振幅最低预警值W2相比较；若WP(i+1)≥W1或WP(i+1)≤W2，则生成调节信号；否则，生成正常信号；

当接收到调节信号时，图像预处理模块通过控制可编程增益放大电路对数字信号进行增益调整，将数字信号的幅值调节至振幅最低预警值W2与振幅最高预警值W1之间；然后令i＝i+1，依此类推。

3.根据权利要求1所述的一种多目标识别的计算机图像处理系统，其特征在于，所述信号验证模块的具体验证步骤为：

信号验证模块按照预设验证周期发送验证配置消息至图像识别模块的FPGA主控，其中验证配置消息中包括第一信号质量门限；

根据FPGA主控的回应情况计算得到信号损耗指数SH；建立信号损耗指数SH随时间变化的曲线图；

将信号损耗指数SH与损耗阈值相比较；若SH≥损耗阈值，则在对应的曲线图中截取对应的曲线段并进行标注，记为干扰曲线段；

在预设时间段内，统计干扰曲线段的数量为P1，将干扰曲线段上对应SH与损耗阈值的差值对时间进行积分并求和得到干扰参考面积M1；利用Cy＝P1×a3+M1×a4计算得到干扰系数Cy，其中a3、a4均为系数因子。

4.根据权利要求3所述的一种多目标识别的计算机图像处理系统，其特征在于，根据FPGA主控的回应情况计算得到信号损耗指数SH；具体为：

响应于接收到由信号验证模块发送的验证配置消息，由图像识别模块的FPGA主控发送第二同步信号至信号验证模块；

响应于监听到第二同步信号，由信号验证模块确定第二同步信号的信号质量并与第一信号质量门限进行对比，得到对应的质量差值ZC；

将信号验证模块发送验证配置消息的时刻与信号验证模块再次监听到第二同步信号的时刻进行时间差计算得到响应时长XT；利用公式SH＝ZC×a1+XT×a2计算得到信号损耗指数SH，其中a1、a2均为系数因子。

5.根据权利要求1所述的一种多目标识别的计算机图像处理系统，其特征在于，所述信号验证模块用于将通信预警指令传输至控制器，控制器接收到通信预警指令后自动驱动报警模块发出警报。

6.根据权利要求1所述的一种多目标识别的计算机图像处理系统，其特征在于，所述基于深度学习的目标检测与识别算法为基于区域建议的目标检测与识别算法；所述基于区域建议的目标检测与识别算法为R-CNN算法，Fast-R-CNN算法，或者Faster-R-CNN算法。

7.根据权利要求1所述的一种多目标识别的计算机图像处理系统，其特征在于，所述基于深度学习的目标检测与识别算法为基于回归的目标检测与识别算法；所述基于回归的目标检测与识别算法为YOLO算法或SSD算法。

8.根据权利要求1所述的一种多目标识别的计算机图像处理系统，其特征在于，所述基于深度学习的目标检测与识别算法为基于搜索的目标检测与识别算法；所述基于搜索的目标检测与识别算法为基于视觉注意的AttentionNet算法或者基于强化学习的算法。

Images