CN107222660A - 一种分布式网络视觉监控系统 - Google Patents

一种分布式网络视觉监控系统 Download PDF

Info

Publication number
CN107222660A
CN107222660A CN201710332515.5A CN201710332515A CN107222660A CN 107222660 A CN107222660 A CN 107222660A CN 201710332515 A CN201710332515 A CN 201710332515A CN 107222660 A CN107222660 A CN 107222660A
Authority
CN
China
Prior art keywords
image
foreground
distributed network
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710332515.5A
Other languages
English (en)
Other versions
CN107222660B (zh
Inventor
卢涛
白薇薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Dingtai Technology Co ltd
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201710332515.5A priority Critical patent/CN107222660B/zh
Publication of CN107222660A publication Critical patent/CN107222660A/zh
Application granted granted Critical
Publication of CN107222660B publication Critical patent/CN107222660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于监控系统技术领域，尤其涉及分布式网络视觉监控系统，所述帧差图像处理模块用于将监控终端拾取的图像进行图像前景分割且形成前景图像，将前景图像进行帧间RGB空间相似度处理和帧间前景像素面积差处理并将帧间RGB空间相似度的统计数据和前景像素面积差数据的统计数据共同形成帧差图像处理数据，将帧差图像处理数据与帧差图像阈值分析处理形成运动目标检测结果，本发明在解决了现有技术存在如何在保证识别跟踪效率的同时，提高了嵌入式视觉系统的实时性的关键问题，具有提高了视频监控在实时发现异常行为且及时传输报警信息方面的能力、极大节约人力成本，也将产生良好的经济社会效益、提高了安防监控的效率的有益技术效果。

Description

一种分布式网络视觉监控系统
技术领域
本发明属于监控系统技术领域，尤其涉及分布式网络视觉监控系统。
背景技术
第一种：基于PC机的视频监控系统：
PC机利用视频采集卡采集摄像机视频信号，通过局域网络进行视频图像远程发送，这种系统的优点是软硬件资源丰富，组网简单，但现场环境下利用PC机进行视频采集，稳定性差、成本高，实用性受到很大限制。
第二种：基于网络视频编码器的视频监控系统：
网络视频编码器是一种压缩、处理音视频数据的专业网络传输设备，其优点是现场不需要PC机，可将模拟视频信号直接编码压缩后通过网络发送至远程监控中心并接受监控中心的控制信号，实现双向传送的数字化通信，该系统的发展应用是网络化数字视频监控的重要一步(如中国电信推出的“全球眼”即通过互联网实现数字化网络监控)，但应用的发展提出了更高的要求，也显示出了此类系统的不足：①组网能力：每个节点作为一个数字化视频网络的通信节点，只能与监控中心进行点对点通信，授权客户不能在任意地点直接接入并访问监控网络，即使可以通过互联网接入，也必须通过服务商所提供的专网(如中国电信“全球眼”平台)。②数据处理能力：监控端主要完成对视频信号的编码压缩和传送，虽有一定的数据处理、存储和传输能力，但视频编码器并不具备数据分析能力，因此，对于规模较庞大的视频监控系统而言(如公安交通安防)，需要监控中心的大型主机和大规模存储设备集中完成数据存储与后期处理。显然，对海量视频数据的处理(如对感兴趣目标的查找识别)仅依靠中央主机很难高效完成，需依靠人工对历史数据进行判读。③智能化程度低：所谓“智能化”，就是监控系统自动完成目标跟踪识别、灾害预防报警、入侵目标检测等任务，将“视频监控”转变为“视觉监控”，实现无人值守；要求网络监控终端在完成视频数据的采集传输的同时，自身具备数据处理和计算能力，可根据目标图像特征对当前图像帧进行分析识别。但是，网络视频编码器作为视频采集传输设备不具备此功能。
根据以上分析，目前广泛采用的基于“网络视频编码器”的系统显然不能完成智能化、网络化“视觉”监控的任务。
第三种：基于嵌入式系统的网络视频监控：
与普通的单片机系统不同，嵌入式系统有操作系统支持、支持多任务调度、支持网络协议、针对特定应用软硬件可裁剪、体积小、能耗低、适应复杂环境，是集成化的专用计算机系统。将嵌入式系统与网络视频监控相结合是目前数字视频监控领域的研究开发热点：①组网能力：目前流行的嵌入式操作系统(如WinCE,ucLinux)均支持TCP/IP协议，应用层软件对MPEG4视频编解码也提供良好的支持，硬件上可集成网络接口，监控端的嵌入式系统可直接作为“Web视频服务器”接入互联网，授权客户可直接用浏览器软件(如IE)观看指定IP地址处Web视频服务器所传送的实时视频图像，并发送控制信号进行云台和摄像系统的控制信号。基于Web或互联网的组网方式使得监控设备与IP地址一一对应，系统易于扩展，可利用既有的电信网络，布控区域广，组网简便。②数据处理能力：嵌入式系统作为专用计算机系统，本身具备一定的数据处理和存储能力，在传输前可对视频数据进行软件或硬件压缩编码，也可支持大容量硬盘存储设备，对非实时数据实施本地存储。③智能化：监控的主要目的之一是对实时目标进行识别或对历史目标进行检索查找。虽然目标自动检测识别在理论和实践上都已广泛地研究和应用，但在视频监控领域，随着网络规模的日益庞大，对海量视频数据的实时识别与处理显然不可能仅依靠中心主机完成，目前多采取人工判读，智能化程度低。解决此问题，可行方法之一既将目标识别处理的计算工作分配到各监控端的嵌入式系统完成。针对诸如目标模式识别算法，以往只能在PC机上运行，目前，随着系统硬件平台的综合计算能力的提高，嵌入式系统已逐步应用于诸如雷达、声纳的信号处理分析等计算密集型领域，嵌入式系统也完全有可能应用于对目标的模式识别，实现“视频监控”到“智能视觉监控”转换。
综合以上对三种主要的数字化网络视频监控系统的分析，基于嵌入式系统的“网络视频服务器”是国内外在此工程应用领域的新兴发展方向。目前，国内外的研究主要集中在嵌入式系统的硬件设计、操作系统研究、图像编解码算法、视频数据传输、图像预处理等方面，由于系统计算能力的限制，很难满足“视觉”检测功能的需要，未形成视觉监控的规模应用。虽然目前“网络智能视觉监控”市场需求潜力巨大，但实际应用尚未形成规模。
近年来，视频监控已广泛应用于各种场所，其对各行各业的渗入使得在安全防范、信息获取和指挥调度等方面开拓了前所未有的新局面。然而，传统的视频监控通常是以人为主的目视监控并由系统记录视频信息。由于人的精力有限以及每个监视器可能需要轮流显示多个摄像头画面，导致监控人员在长时间观察大量监视器的情况下，容易人眼疲惫、错过画面场景，不能及时可靠的提取监视器中的有效信息，所以即使由人力进行监控也不能保证实时精确的发现问题。再者，原有监控录像通常是等事件发生之后才被调出进行查看，将其用于取证或其他后续处理工作。这并不能在事件发生同时进行实时报警，进而不能有效地遏制恶性事件的发生。而且，海量无用视频数据的传输和存储，不仅造成带宽及存储资源的严重浪费还淹没了少量的有用信息，使得有用信息的获取变得困难。
现有技术存在由于应用环境对系统的体积、成本、功耗、处理能力都有特殊的要求，而如何在保证识别跟踪效率的同时，提高嵌入式视觉系统的实时性，是其走向应用的关键问题。
发明内容
本发明提供一种分布式网络视觉监控系统，以解决上述背景技术中现有技术存在由于应用环境对系统的体积、成本、功耗、处理能力都有特殊的要求，而如何在保证识别跟踪效率的同时，提高嵌入式视觉系统的实时性，是其走向应用的关键问题。
本发明所解决的技术问题采用以下技术方案来实现：分布式网络视觉监控系统，包括客户端和服务器端，所述服务器端包括视频流采集模块、帧差图像处理模块、网络视频传输模块；
所述帧差图像处理模块用于将监控终端拾取的图像进行图像前景分割且形成前景图像，将前景图像进行帧间RGB空间相似度处理和帧间前景像素面积差处理并将帧间RGB空间相似度的统计数据和前景像素面积差数据的统计数据共同形成帧差图像处理数据，将帧差图像处理数据与帧差图像阈值分析处理形成运动目标检测结果。
所述帧差图像处理模块包括帧间RGB空间相似度处理子模块；
所述帧间RGB空间相似度处理子模块用于基于图像的颜色直方图的数学模型建立前景图像颜色直方图矩阵，再将两组前景图像颜色直方图矩阵基于空间距离计算数学模型进行空间距离的计算；
所述帧差图像处理模块包括前景像素面积差处理模块；
所述前景像素面积差处理模块用于通过阈值分割对连续图像提取前景进行像素面积的计算且计算连续前景像素面积差，通过面积差阈值设定判断是否存在运动目标。
进一步，所述图像的颜色直方图的数学模型包括：
hA，B，C(a，b，c)＝N·Prob(A＝a，B＝b，C＝c)；
其中：
所述A、B、C分别表示在前景图像所有像素中三基色所占的比例；
所述N表示图像像素数；
hA，B，C(a，b，c)表示前景图像的m×n像素中所包含三基色m×n×3的三维矩阵。
进一步，所述空间距离计算数学模型包括欧几里德距离数学模型、交集距离数学模型以及二次型距离数学模型；
所述欧几里德距离数学模型包括：
d2(h，g)＝∑∑∑(h(a，b，c)-g(a，b，c))2；
其中：
所述h和g分别代表两幅图像的颜色直方图；
所述交集距离数学模型包括：
∑∑∑min(h(a，b，c)，g(a，b，c))；
其中：
所述|h|,|g|分别代表两幅图像的颜色直方图的模；
所述二次型距离数学模型包括：
d(h，g)＝(h-g)tA(h-g)；
其中：
所述A表示h和g的互相关矩阵；
进一步，所述前景像素面积差处理模块的处理包括如下步骤：S1.基于像素总数计算模型计算像素总数；
所述像素总数计算模型包括：
所述m表示灰度级别；
所述ni表示灰度级别i的像素个数；
所述N表示像素总数；
S2.基于概率计算数学模型计算各灰度级在图像中出现的概率；
所述pi表示灰度级i在图像中出现的概率；
S3.将各级灰度根据参数T分成两组，包括：
C0＝{1～T} C1＝{T+1～m}；
所述T为灰度级别阈值；
S4.计算C0组,C1组各灰度级出现的总概率，包括：
所述ω0为C0组各灰度级出现的概率；
所述ω1为C1组各灰度级出现的概率；
S5.C0,C1概率的平均值，包括：
S6.计算两组之间的方差，包括：
进一步，所述客户端包括播放服务模块；
进一步，所述播放服务模块用于接收并抓取服务器端发送的图片帧，接收的图片帧经解码用于显示和保存。
进一步，所述视频流采集模块用于采集视频终端的前端视频数据，判断前端视频数据是否采集完成，若完成，则关闭视频终端，否则转入采集视频终端的前端视频数据。
进一步，所述网络视频传输模块用于将帧差图像处理数据发送至客户端。
进一步，所述分布式网络视觉监控系统的硬件系统采用核心CPU板和接口板组合的形式。
进一步，所述分布式网络视觉监控系统还包括自动报警处理模块。
本发明的有益效果为：
1本发明采用分布式网络视觉监控系统，包括客户端和服务器端，所述服务器端包括视频流采集模块、帧差图像处理模块、网络视频传输模块，所述帧差图像处理模块用于将监控终端拾取的图像进行图像前景分割且形成前景图像，将前景图像进行帧间RGB空间相似度处理和帧间前景像素面积差处理并将帧间RGB空间相似度的统计数据和前景像素面积差数据的统计数据共同形成帧差图像处理数据，将帧差图像处理数据与帧差图像阈值分析处理形成运动目标检测结果，所述帧差图像处理模块包括帧间RGB空间相似度处理子模块，所述帧间RGB空间相似度处理子模块用于基于图像的颜色直方图的数学模型建立前景图像颜色直方图矩阵，再将两组前景图像颜色直方图矩阵基于空间距离计算数学模型进行空间距离的计算，所述帧差图像处理模块包括前景像素面积差处理模块，所述前景像素面积差处理模块用于通过阈值分割对连续图像提取前景进行像素面积的计算且计算连续前景像素面积差，通过面积差阈值设定判断是否存在运动目标，由于智能视频监控技术对视频画面中的海量数据进行快速分析，过滤掉监控者不关心的信息，仅仅为监控者提供有用的关键信息，大大提高了视频监控在实时发现异常行为、及时传输报警信息方面的功能，例如对人员聚集的情况进行自动报警处理，进而及时疏导，避免危险事件的发生；对重要场所如戒严区域、银行、库房、博物馆、珠宝店等存放贵重物品区域的监控等。智能视频监控技术为普通监控设备加上了具有对观测到的事物进行分析和判断能力的大脑，拥有更强大的视频监控功能，其进一步深入广泛应用为社会安全撑起一把更加严密、稳固的保护伞，以有效遏制影响秩序和安全的异常事件的发生，不仅能极大节约人力成本，也将产生良好的经济社会效益，系统目前以投入用户产品仓库的夜间无人值守的应用，在规定时段内检测重要区域运动目标的存在情况，并以此作为报警依据，节约了人力成本、提高了安防监控的效率。
附图说明
图1是本发明一种分布式网络视觉监控系统的处理流程图；
图2是本发明一种分布式网络视觉监控系统的总流程图；
图3是本发明一种分布式网络视觉监控系统的RGB颜色空间图；
图4是本发明一种分布式网络视觉监控系统的帧间RGB空间相似度处理子模块测试图；
图5是本发明一种分布式网络视觉监控系统的帧间RGB空间相似度处理子模块测试的帧间RGB直方图相似度计算结果图；
图6是本发明一种分布式网络视觉监控系统的前景像素面积差处理模块的图像前景二值化提取结果图；
图7是本发明一种分布式网络视觉监控系统的前景像素面积差处理模块的运动目标前景像素面积变化趋势图；
图8是本发明一种分布式网络视觉监控系统的系统总体架构图；
图9是本发明一种分布式网络视觉监控系统的系统功能图；
图10是本发明一种分布式网络视觉监控系统的视频流采集模块的流程图；
图11是本发明一种分布式网络视觉监控系统的帧差图像处理的流程图；
图12是本发明一种分布式网络视觉监控系统的网络视频传输模块的流程图。
具体实施方式
以下结合附图对本发明做进一步描述：
图中：S101-将监控终端拾取的图像进行图像前景分割且形成前景图像；
S102-基于图像的颜色直方图的数学模型建立前景图像颜色直方图矩阵，再将两组前景图像颜色直方图矩阵基于空间距离计算数学模型进行空间距离的计算；
S103-通过阈值分割对连续图像提取前景进行像素面积的计算且计算连续前景像素面积差，通过面积差阈值设定判断是否存在运动目标；
S104-将帧间RGB空间相似度的统计数据和前景像素面积差数据的统计数据共同形成帧差图像处理数据；
S105-将帧差图像处理数据与帧差图像阈值分析处理；
S106-形成运动目标检测结果。
实施例：
本实施例包括：如图1所示，分布式网络视觉监控系统，包括客户端和服务器端，所述服务器端包括视频流采集模块、帧差图像处理模块、网络视频传输模块；
所述帧差图像处理模块用于将监控终端拾取的图像进行图像前景分割且形成前景图像S101，将前景图像进行帧间RGB空间相似度处理和帧间前景像素面积差处理并将帧间RGB空间相似度的统计数据和前景像素面积差数据的统计数据共同形成帧差图像处理数据S104，将帧差图像处理数据与帧差图像阈值分析处理S105形成运动目标检测结果S106。
所述帧差图像处理模块包括帧间RGB空间相似度处理子模块；
所述帧间RGB空间相似度处理子模块用于基于图像的颜色直方图的数学模型建立前景图像颜色直方图矩阵，再将两组前景图像颜色直方图矩阵基于空间距离计算数学模型进行空间距离的计算S102；
所述帧差图像处理模块包括前景像素面积差处理模块；
所述前景像素面积差处理模块用于通过阈值分割对连续图像提取前景进行像素面积的计算且计算连续前景像素面积差，通过面积差阈值设定判断是否存在运动目标S103。
如图1、2所示，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，在环境亮度变化不大的情况下，如果对应像素值相差很小，则认为此处景物是静止的，如果图像区域某处的像素值变化很大，可认为这是由于图像中运动物体引起的。例如，在序列图像中，第k帧图像fk(x,y)和第k+1帧图像fk+1(x,y)之间的变化可用二值差分图像D(x,y)表示：
直接基于图像帧亮度或灰度的帧差算法，算法实现简单，程序复杂度低；对光线等场景变化不太敏感，能适应各种动态环境，稳定性较好，但具有以下缺点：
要求背景绝对静止或基本无变化(噪声较小)，因而适用场合有限。
快速运动的物体，需要选择较小的时间间隔，如果选择不合适，当物体在前后两帧中没有重叠时，会被检测为两个分开的物体。
对慢速运动的物体，应该选择较大的时间差，如果时间选择不适当，当物体在前后两帧中几乎完全重叠时，则检测不到物体。
造成以上问题的主要原因是由于帧差法仅依据图像的全局亮度为特征进行帧间相似度的阈值计算，而图像的全局亮度不仅包含了图像前景，同时也包含了背景的亮度信息，易受噪声干扰，且将前景和背景灰度信息同时用于帧间差分的运算对前景目标变化的检测将带来很大的不确定性，这种不确定性与帧差时间、运动目标的速度、遮挡、变形均有关系。帧差算法的实质是两幅连续图像基于亮度的帧间相似度阈值分析。基于此思想，本系统所采用的目标检测算法采用两幅图像基于前景特征的帧间相似度分析，在连续图像中提取前景特征并设计度量参数进行帧间相似度的阈值检测，由于这种方法基于图像前景的特征提取和相似度分析，相对于基于图像全局亮度的帧差算法具有更强的容错性，且本系统仅涉及有无运动目标的检测，不涉及目标的跟踪，所以该算法对背景的变化具有较好的适应性和稳定性，利于长期检测。
所述图像的颜色直方图的数学模型包括：
其中：
所述N表示图像像素数；
hA，B，C(a，b，c)表示前景图像的m×n像素中所包含三基色m×n×3的三维矩阵。
如图3所示，由于基于图像颜色的相似度分析，运动目标的图像序列在RGB颜色空间中R、G、B三个分量产生变化。因此，图像颜色的变化可作为监控区域是否存在运动目标的重要依据之一。可根据三个分量的统计直方图对图像前景各种颜色所占的成份比例进行统计分析，并对多幅图像的颜色分析结果进行对比，得到图像的颜色相似度参数，并根据阈值设定判断是否存在运动变化的目标
如图3所示，RGB颜色空间，RGB颜色空间是大多数彩色图像显示器与彩色图像传感器所采用的色彩表达与存储方式，它由“红、绿、蓝”三基色为基本色，不同颜色由三基色按照不同比例混合形成。
由于基于彩色图像直方图的图像颜色分析，图像的颜色直方图表示为：
hA，B，C(a，b，c)＝N·Prob(A＝a，B＝b，C＝c)
其中：A、B、C在RGB空间中分别表示所有像素中三基色所占的比例。N表示图像像素数。所得到RGB图像(又称真彩色图像)是以m×n×3的3D矩阵的方式存储，分别定义了m×n图像的每个像素中所包含三基色各自的强度。因此RGB直方是对“色阶－像素数”的归一化统计结果。
两幅彩色图像的直方图统计结果，可认为是矢量。比较两幅图像的颜色相似度，可转化为对矢量空间中两个点空间距离的计算。
如图4、5所示，实验中，连续80帧图像的帧间RGB相似度计算结果，从图5的对比可以看出，静止图像及时考虑随机噪声的影响，连续帧间基于RGB直方图的相似度距离存在较大的相关性(图中虚线)，而在存在运动目标的情况下连续帧间基于RGB直方图的相似度距离明显大于静止图像的情况(图中实线)，算法对图像中目标的运动敏感性较好，可用于运动目标是否存在的检测。
所述空间距离计算数学模型包括欧几里德距离数学模型、交集距离数学模型以及二次型距离数学模型；
所述欧几里德距离数学模型包括：
d2(h，g)＝∑∑∑(h(a，b，c)-g(a，b，c))2；
其中：
所述h和g分别代表两幅图像的颜色直方图；
所述交集距离数学模型包括：
∑∑∑min(h(a，b，c)，g(a，b，c))；
其中：
所述|h|,|g|分别代表两幅图像的颜色直方图的模；
所述二次型距离数学模型包括：
d(h，g)＝(h-g)tA(h-g)；
其中：
所述A表示h和g的互相关矩阵；
距离包含以下三种常用定义：
欧几里德距离(euclidean distance)
其中：h和g分别代表两幅图像的颜色直方图。
交集距离(intersection distance)
其中：|h|,|g|为矢量的模。交集距离所需计算量较小，可减小背景颜色对图像匹配的影响。二次型距离(quadratic(cross)distance)
d(h，g)＝(h-g)tA(h-g)
其中：A为h和g的互相关矩阵。二次型距离较适合人类视觉。
所述前景像素面积差处理模块的处理包括如下步骤：
S1.基于像素总数计算模型计算像素总数；
所述像素总数计算模型包括：
所述m表示灰度级别；
所述i表示像素个数；
S2.基于概率计算数学模型计算各灰度级在图像中出现的概率；
S3.将各级灰度根据参数T分成两组，包括：
C0＝{1～T} C1＝{T+1～m}；
S4.计算C0组,C1组各灰度级出现的总概率，包括：
S5.C0,C1概率的平均值，包括：
S6.计算各灰度级的概率凭据值，包括：
S7.计算两组之间的方差，包括：
由于基于区域面积的相似度分析，运动目标的存在反映在图像序列上会造成前景像素面积的变化。因此，对序列图像前景像素面积的检测也是判断运动目标是否存在的重要依据之一。通过阈值分割对连续图像提取前景进行像素面积的计算，计算连续前景像素面积差，通过面积差阈值设定判断是否存在运动目标。
前景目标的提取：利用最大类间方差(OTSU)对灰度图像进行自适应阈值分割，实现目标的提取。它是按图像的灰度特性,将图像分成背景和目标两部分。背景和目标之间的类间方差大,说明构成图像的这两部分的差别越大.当部分目标错分为背景或部分背景错分为目标都会导致图像这两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。设所得到的灰度图像,有m级灰度，且灰度值为i的像素个数为ni。计算步骤如下：
像素总数:
各灰度级在图像中出现的概率:
将各级灰度根据参数T分成两组:C0＝{1～T} C1＝{T+1～m}
C0组,C1组各灰度级出现的总概率:
C0,C1概率的平均值:
其中：各灰度级的概率凭据值
图像整体灰度点采样的平均值为μ＝ω0μ0+ω1μ1
两组之间的方差
上式称为阈值选择函数,从1～m改变T的值,上式最大时T的取值就是阈值计算结果。OTSU方法的优点是：不论图像的直方图有无明显的双峰,都能得到较为满意的结果，是图像分割中阈值自动选择的最优方法。
如图6、7所示，根据二值图像编写函数直接计算二值图像所包含灰度值为255的像素个数，实验中，连续图像的阈值分割及前景像素面积计算，图7放映了图像前景二值化提取的效果，以及在连续图像中图像前景像素面积变化的趋势，趋势图由140帧左右的连续图像计算得到，根据趋势图可看到在前15帧图像像素面积有较大的变化，也就是说当前景目标开始变化时算法有较为敏感的反映，算法对图像前景的初始变化较为敏感，符合运动目标的检测要求。
所述客户端包括播放服务模块；
所述播放服务模块用于接收并抓取服务器端发送的图片帧，接收的图片帧经解码用于显示和保存。
由于PC客户端软件基于开源Spcaview软件进行改写，该软件底层由多媒体开发包SDL(SimpleDirectMedia Layer)支持，通过改写实现以下功能：
播放服务端软件servfox采集的视频图像，调用spacclient()函数。
调用Encoder编码器将多幅JPEG格式的图像合成为AVI视频流，进行视频历史回放，调用spacplay()函数。
自动定时获取一帧图片，并保存在指定目录中，调用spacgrab()函数。
实现上述功能的关键步骤是：
main函数调用spcaclient()、spcaGrab()、spcaPlay()。
Spcaview创建多线程，通过pthread函数来创建多个子线程，实现一帧图片的抓取、解码，显示、保存的并行工作
spcaClient()通过socket程序接收serfox发送过来的图像数据，然后jpeg解码。
spcagrab()的功能抓取并显示图像。
所述视频流采集模块用于采集视频终端的前端视频数据，判断前端视频数据是否采集完成，若完成，则关闭视频终端，否则转入采集视频终端的前端视频数据。
如图10所示，由于Linux系统中Video4Linux函数库为视频应用程序提供了一套统一的API函数集，视频应用程序通过标准的系统调用即可操作视频捕获设备。Video4Linux向虚拟文件系统注册视频设备文件，应用程序通过操作视频设备文件实现对视频设备的访问，在此采用USB摄像头设备文件/dev/v41/video0为操作对象。
如图11所示，为了对ZC301USB摄像头所采集的图像进行处理，需对图像帧进行缓存，采取对Frame Buffer操作进行图像暂存和处理。FrameBuffer是linux2.2xx内核当中的一种驱动程序接口，可将它看成是显示内存的一个映像，将其映射到图像处理进程的地址空间，则图像处理进程可对之直接进行读写操作以获得帧图像。ZC301USB摄像头将从FrameBuffer读出的图像存放在本地文件夹，即连续地从摄像头采集到图片存储在/tmp/1.jpg和/tmp/2.jpg，然后调用帧差处理算法处理帧图像，并在程序中设定计时器，每隔100ms刷新一次报警状态标志供图像报警进程查询。
所述网络视频传输模块用于将帧差图像处理数据发送至客户端。
如图12所示，基于Servfox的嵌入式视频终端的网络视频传输。
基于服务端嵌入式硬件，视频采集端软件的实现主要包含以下功能模块模块:ZC301USB摄像头驱动加载、基于Video4Linux的视频采集、帧差图像算法的实现、ZC301USB摄像头视频发送程序、ZC301USB摄像头驱动加载、Linux内核里有OV511USB芯片的摄像头驱动程序，市场上应用最广泛的USB摄像头是中星微公司生产的ZC301USB芯片的摄像头，对于ZC301USB摄像头芯片的驱动，在linux内核原有驱动程序基础上添加linux2.6.12的USB摄像驱动补丁：具体操作步骤：1)把linux2.6.12的USB摄像驱动补丁放到/kemel/river/usb目录下，解压缩，运行命令patch-pl<USB.2.6.12.patch，在该目录下生成spca5xx文件夹。编译内核，在此采用静态加载模式2)运行命令make menuconfig，静态加载USB SPCA5XXSunplus/Vimicro/Sonix jpegcamera选项3)依次运稼命令Make、make zlmage和makemodules完成静态加载，USB摄像头驱动程序加载成功后，可以根据Linux提供的Vide04Linux的API函数编写视频采集程序。
所述分布式网络视觉监控系统的硬件系统采用核心CPU板和接口板组合的形式。
所述分布式网络视觉监控系统还包括自动报警处理模块。
如图8、9所示，由于模拟监控系统一般设置监控中心，由矩阵系统和电视墙构成，监控系统一般层次划分为现监控现场、智能管理终端、一级管理中心、二级管理中心等复杂的系统结构。本系统采用分布式接入方案，每个前端设备和后端终端设备，从物理上讲都是平等的，如果不考虑人为划分访问权限，所有监控点的设备都是即插即用的，系统扁平化，远程管理中间环节的消除，网络结构简单，保证了系统故障率的降低。
现有的数字化监控系统往往是由一个大型管理软件平台担负所有重要任务，例如对前端图像浏览，存储分配，数据转发，控制视频解码器到电视墙，都是由某个计算机终端完成。由于大型管理软件的复杂程度和成本，用户不可能购置多个高配置的终端和多套软件进行管理的冗余备份，系统显得较为脆弱。此外中心管理软件的运算量较大，在图像浏览和存储数据分配时，视频管理服务器的硬件承担着繁重的负担，加上操作系统本身的可靠性问题，任何一个微小的问题都会诱发整个系统的瘫痪。而本系统由前端嵌入式监控终端承担图像采集、编码压缩、图像处理，后端PC仅执行视频浏览及报警信息显示的功能，系统将后端的PC监控与前端图像采集处理分离开来，将智能图像处理算法在前端嵌入式设备上实现，如存在更求的模式识别也可在后端计算机平台上完成，淡化监控中心概念，防止中心发生致命故障，提高防破坏能力，降低运行风险，可提高系统的容错能力和稳定性。
采用开放源码的ucLinux和RedHat Linux为系统操作系统平台，软件系统具有较强的可扩展性和可维护性。
嵌入式硬件系统采用核心CPU板和接口板形式，硬件接口易于扩展，核心板可互换。
采用图像直方图相似度和前景像素面积作为特征参数进行帧间差分计算，进行阈值检测，算法对运动目标的存在较为敏感。
由嵌入式系统承担帧差算法，系统具有一定的分布计算能力。
智能视觉监控的研究一直是近年来国内外研究的热点，如对车辆和行人的跟踪及其交互作用识别、人脸识别、手势识别、目标跟踪等，国内中科院北京自动化研究所研制的基于扩展卡尔曼滤波器的交通场景的视觉监控本、基于步态的远距离身份识别等。目前国内外研究的重点多在于对模式识别算法本身的研究，由于一般的模式识别算法本身具有计算密集型的特点，在单个摄像头配合高性能计算机的情况下，能够得到较好的智能处理结果，但一般的视频监控系统的应用场合为多点大范围的监控应用，网络化的视频采集所带来的大量视频数据带来的计算负荷将导致成熟的模式识别算法无法应用于多点网络化的视频监控，此瓶颈问题在目前的研究中尚未得到充分的重视。
解决这一问题的有效方法之一就是将采用分布式的视频采集和分布式的数据处理相结合，而具备一定计算能力的嵌入式系统由于其接口资源丰富、具备操作系统的多任务支持、算法编写规范等优点，是解决这一问题的优选平台，本发明所做的工作以此为出发点。
本发明的具体技术效果还包括：
分布式网络视频采集：
硬件系统采用核心CPU板和接口板组合的形式，同系列CPU板可互换，接口板可定制，节约了系统资源、降低了系统成本、提高了系统维护能力。分布式图像处理计算：
由嵌入式系统进行图像特征的提取和帧差相似度计算识别运动目标，分散了后端监控PC的数据处理负担。
图像特征的提取与运动目标基于特征间相似度比对的检测：
一方面考虑到嵌入式系统计算能力有限，不适合应用复杂模式识别算法，另一方面基于图像灰度或亮度的帧差算法虽然计算过程简单，但对运动目标的识别效果不佳，实验中将基于图像RGB/HSV颜色模型以及图像前景像素面积的相似度比对和帧差算法相结合，实验表明该算法本身对运动目标的存在与否较为敏感，且算法复杂度不高，可在嵌入式系统上实现，且随着嵌入式系统CPU主频的提高将更利于算法的硬件式实现。
本发明解决了现有技术存在由于应用环境对系统的体积、成本、功耗、处理能力都有特殊的要求，而如何在保证识别跟踪效率的同时，提高嵌入式视觉系统的实时性，是其走向应用的关键问题，具有提高了视频监控在实时发现异常行为且及时传输报警信息方面的能力、极大节约人力成本，也将产生良好的经济社会效益、提高了安防监控的效率的有益技术效果。
利用本发明的技术方案，或本领域的技术人员在本发明技术方案的启发下，设计出类似的技术方案，而达到上述技术效果的，均是落入本发明的保护范围。

Claims (10)

1.分布式网络视觉监控系统，其特征在于，包括客户端和服务器端，所述服务器端包括视频流采集模块、帧差图像处理模块、网络视频传输模块；
所述帧差图像处理模块用于将监控终端拾取的图像进行图像前景分割且形成前景图像，将前景图像进行帧间RGB空间相似度处理和帧间前景像素面积差处理并将帧间RGB空间相似度的统计数据和前景像素面积差数据的统计数据共同形成帧差图像处理数据，将帧差图像处理数据与帧差图像阈值分析处理形成运动目标检测结果。
所述帧差图像处理模块包括帧间RGB空间相似度处理子模块；
所述帧间RGB空间相似度处理子模块用于基于图像的颜色直方图的数学模型建立前景图像颜色直方图矩阵，再将两组前景图像颜色直方图矩阵基于空间距离计算数学模型进行空间距离的计算；
所述帧差图像处理模块包括前景像素面积差处理模块；
所述前景像素面积差处理模块用于通过阈值分割对连续图像提取前景进行像素面积的计算且计算连续前景像素面积差，通过面积差阈值设定判断是否存在运动目标。
2.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述图像的颜色直方图的数学模型包括：
hA，B，C(a，b，c)＝N·Prob(A＝a，B＝b，C＝c)；
其中：
所述A、B、C分别表示在前景图像所有像素中三基色所占的比例；
所述N表示图像像素数；
hA，B，C(a，b，c)表示前景图像的m×n像素中所包含三基色m×n×3的三维矩阵。
3.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述空间距离计算数学模型包括欧几里德距离数学模型、交集距离数学模型以及二次型距离数学模型；
所述欧几里德距离数学模型包括：
d2(h，g)＝∑∑∑(h(a，b，c)-g(a，b，c))2；
其中：
所述h和g分别代表两幅图像的颜色直方图；
所述交集距离数学模型包括：
∑∑∑min(h(a，b，c)，g(a，b，c))；
其中：
所述|h|,|g|分别代表两幅图像的颜色直方图的模；
所述二次型距离数学模型包括：
d(h，g)＝(h-g)tA(h-g)；
其中：
所述A表示h和g的互相关矩阵。
4.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述前景像素面积差处理模块的处理包括如下步骤：
S1.基于像素总数计算模型计算像素总数；
所述像素总数计算模型包括：
所述m表示灰度级别；
所述i表示像素个数；
S2.基于概率计算数学模型计算各灰度级在图像中出现的概率；
S3.将各级灰度根据参数T分成两组，包括：
C0＝{1～T} C1＝{T+1～m}；
S4.计算C0组,C1组各灰度级出现的总概率，包括：
S5.C0,C1概率的平均值，包括：
S6.计算各灰度级的概率凭据值，包括：
S7.计算两组之间的方差，包括：
5.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述客户端包括播放服务模块。
6.根据权利要求5所述的分布式网络视觉监控系统，其特征在于，所述播放服务模块用于接收并抓取服务器端发送的图片帧，接收的图片帧经解码用于显示和保存。
7.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述视频流采集模块用于采集视频终端的前端视频数据，判断前端视频数据是否采集完成，若完成，则关闭视频终端，否则转入采集视频终端的前端视频数据。
8.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述网络视频传输模块用于将帧差图像处理数据发送至客户端。
9.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述分布式网络视觉监控系统的硬件系统采用核心CPU板和接口板组合的形式。
10.根据权利要求1所述的分布式网络视觉监控系统，其特征在于，所述分布式网络视觉监控系统还包括自动报警处理模块。
CN201710332515.5A 2017-05-12 2017-05-12 一种分布式网络视觉监控系统 Active CN107222660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710332515.5A CN107222660B (zh) 2017-05-12 2017-05-12 一种分布式网络视觉监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710332515.5A CN107222660B (zh) 2017-05-12 2017-05-12 一种分布式网络视觉监控系统

Publications (2)

Publication Number Publication Date
CN107222660A true CN107222660A (zh) 2017-09-29
CN107222660B CN107222660B (zh) 2020-11-06

Family

ID=59945148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710332515.5A Active CN107222660B (zh) 2017-05-12 2017-05-12 一种分布式网络视觉监控系统

Country Status (1)

Country Link
CN (1) CN107222660B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698742A (zh) * 2017-10-20 2019-04-30 智能Ic卡公司 从成像传感器生成密钥
CN109949311A (zh) * 2019-01-31 2019-06-28 广东欧谱曼迪科技有限公司 基于fpga的高清图像超低延时的otsu实现方法
CN110020589A (zh) * 2019-01-31 2019-07-16 宁海县雁苍山电力建设有限公司 一种电力系统中的智能视频分析方法
CN110807790A (zh) * 2019-10-31 2020-02-18 智慧视通(杭州)科技发展有限公司 一种视频目标轨迹跟踪内容的图像数据抽取压缩方法
CN111191498A (zh) * 2019-11-07 2020-05-22 腾讯科技（深圳）有限公司 行为识别方法和相关产品
CN111882536A (zh) * 2020-07-24 2020-11-03 富德康(北京)科技股份有限公司 一种基于图片对比实现散货数量监测的方法
CN112333537A (zh) * 2020-07-27 2021-02-05 深圳Tcl新技术有限公司 视频整合方法、装置及计算机可读存储介质
CN112883906A (zh) * 2021-03-15 2021-06-01 珠海安联锐视科技股份有限公司 一种基于目标检测的人员状态分析方法
CN113724284A (zh) * 2021-09-03 2021-11-30 四川智胜慧旅科技有限公司 一种位置锁定装置、山岳型景区的搜救系统及搜救方法
CN114049523A (zh) * 2021-11-29 2022-02-15 安徽博微广成信息科技有限公司 一种视频监控摄像机分布式树叶遮挡识别系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1441310A2 (en) * 2003-01-20 2004-07-28 Fuji Photo Film Co., Ltd. Prospective abnormal shadow detecting system
CN101256626A (zh) * 2008-02-28 2008-09-03 王路 基于计算机视觉的入侵监控方法
KR101430257B1 (ko) * 2013-02-27 2014-08-14 부경대학교 산학협력단 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 장치
CN104123549A (zh) * 2014-07-30 2014-10-29 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法
CN104794731A (zh) * 2015-05-12 2015-07-22 成都新舟锐视科技有限公司 用于球机控制策略的多目标检测跟踪方法
CN106651908A (zh) * 2016-10-13 2017-05-10 北京科技大学 一种多运动目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1441310A2 (en) * 2003-01-20 2004-07-28 Fuji Photo Film Co., Ltd. Prospective abnormal shadow detecting system
CN101256626A (zh) * 2008-02-28 2008-09-03 王路 基于计算机视觉的入侵监控方法
KR101430257B1 (ko) * 2013-02-27 2014-08-14 부경대학교 산학협력단 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 장치
CN104123549A (zh) * 2014-07-30 2014-10-29 中国人民解放军第三军医大学第二附属医院 一种用于疲劳驾驶实时监测的眼睛定位方法
CN104794731A (zh) * 2015-05-12 2015-07-22 成都新舟锐视科技有限公司 用于球机控制策略的多目标检测跟踪方法
CN106651908A (zh) * 2016-10-13 2017-05-10 北京科技大学 一种多运动目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
白薇薇: "基于ARM和Linux的嵌入式视频监控系统", 《电脑知识与技术》 *
许晓东: "粮情测控系统多传感器信息融合算法的研究实现", 《中国优秀硕士论文全文数据库》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109698742A (zh) * 2017-10-20 2019-04-30 智能Ic卡公司 从成像传感器生成密钥
CN109949311A (zh) * 2019-01-31 2019-06-28 广东欧谱曼迪科技有限公司 基于fpga的高清图像超低延时的otsu实现方法
CN110020589A (zh) * 2019-01-31 2019-07-16 宁海县雁苍山电力建设有限公司 一种电力系统中的智能视频分析方法
CN109949311B (zh) * 2019-01-31 2024-02-23 广东欧谱曼迪科技有限公司 基于fpga的高清图像超低延时的otsu实现方法
CN110807790B (zh) * 2019-10-31 2022-06-03 智慧视通(杭州)科技发展有限公司 一种视频目标轨迹跟踪内容的图像数据抽取压缩方法
CN110807790A (zh) * 2019-10-31 2020-02-18 智慧视通(杭州)科技发展有限公司 一种视频目标轨迹跟踪内容的图像数据抽取压缩方法
CN111191498A (zh) * 2019-11-07 2020-05-22 腾讯科技（深圳）有限公司 行为识别方法和相关产品
CN111882536A (zh) * 2020-07-24 2020-11-03 富德康(北京)科技股份有限公司 一种基于图片对比实现散货数量监测的方法
CN112333537A (zh) * 2020-07-27 2021-02-05 深圳Tcl新技术有限公司 视频整合方法、装置及计算机可读存储介质
CN112333537B (zh) * 2020-07-27 2023-12-05 深圳Tcl新技术有限公司 视频整合方法、装置及计算机可读存储介质
CN112883906A (zh) * 2021-03-15 2021-06-01 珠海安联锐视科技股份有限公司 一种基于目标检测的人员状态分析方法
CN113724284A (zh) * 2021-09-03 2021-11-30 四川智胜慧旅科技有限公司 一种位置锁定装置、山岳型景区的搜救系统及搜救方法
CN114049523A (zh) * 2021-11-29 2022-02-15 安徽博微广成信息科技有限公司 一种视频监控摄像机分布式树叶遮挡识别系统及方法

Also Published As

Publication number Publication date
CN107222660B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN107222660B (zh) 一种分布式网络视觉监控系统
CN110428522B (zh) 一种智慧新城的智能安防系统
CN103268680B (zh) 一种家庭智能监控防盗系统
CN108040221B (zh) 一种智能视频分析与监控系统
CN104320615B (zh) 一种智能视频安防系统及其信号处理方法
CN102592146B (zh) 适用于视频监控的人脸检测及摄像机云台控制方法
CN107426533A (zh) 一种基于视频加密压缩和影像识别的视频监控影像识别系统
CN105744199A (zh) 监视系统中自动记录动态物体的方法
Singh et al. An intelligent video surveillance system using edge computing based deep learning model
CN114187541A (zh) 一种面向自定义业务场景的智能视频分析的方法和存储设备
CN117037040A (zh) 基于多摄像机监控网络的行人识别与跟踪方法
CN117998039A (zh) 视频数据处理方法、装置、设备及存储介质
CN207854055U (zh) 智慧城市视频监控系统
CN110674703A (zh) 一种智能监控中的视频绊线报警计数方法与流程
Lage et al. Low-cost IoT surveillance system using hardware-acceleration and convolutional neural networks
CN118229085A (zh) 基于注意力预测机制的智慧园区能管风险视觉管理系统
Li et al. RETRACTED ARTICLE: A City Monitoring System Based on Real-Time Communication Interaction Module and Intelligent Visual Information Collection System
CN109544589A (zh) 一种视频图像分析方法及其系统
CN112417989A (zh) 一种监考人员违规行为识别方法及系统
CN116723295A (zh) 基于gpgpu芯片的多摄像头监控管理系统
Liu et al. Integrated multiscale appearance features and motion information prediction network for anomaly detection
Nicodeme Detection Of Defective Videosurveillance Camera In Train Stations
Yuan Intelligent Building Management and Control System Based on Intelligent Video Analysis Algorithm for Behavior Recognition
Ya-Jun Design of remote motion detection and alarm monitoring system based on the ARM
Gorodnichy Ace surveillance: The next generation surveillance for long-term monitoring and activity summarization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20241210

Address after: Room 9007, Block A, Hanhai North Gold, No.73 North Third Ring Road, Jinshui District, Zhengzhou City, Henan Province, China 450003

Patentee after: Zhengzhou Dingtai Technology Co.,Ltd.

Country or region after: China

Address before: 450001 No. 100 Lianhua Street, Zhengzhou High-tech Industrial Development Zone, Henan Province

Patentee before: He'nan University of Technology

Country or region before: China

TR01 Transfer of patent right