CN115294534A - 一种基于现场作业监控视频的多目标检测与跟踪装置 - Google Patents

一种基于现场作业监控视频的多目标检测与跟踪装置 Download PDF

Info

Publication number
CN115294534A
CN115294534A CN202211230984.3A CN202211230984A CN115294534A CN 115294534 A CN115294534 A CN 115294534A CN 202211230984 A CN202211230984 A CN 202211230984A CN 115294534 A CN115294534 A CN 115294534A
Authority
CN
China
Prior art keywords
area
target
unit
determining
fixed end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211230984.3A
Other languages
English (en)
Other versions
CN115294534B (zh
Inventor
林自强
李明
林韶文
梁广
李华
吴金珠
毛焱
梁志祥
赵晓宁
王泰然
周祥峰
黄伟豪
王锦滨
朱余林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhongshan Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202211230984.3A priority Critical patent/CN115294534B/zh
Publication of CN115294534A publication Critical patent/CN115294534A/zh
Application granted granted Critical
Publication of CN115294534B publication Critical patent/CN115294534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及作业监控技术领域,具体公开了一种基于现场作业监控视频的多目标检测与跟踪装置,所述装置包括区域切分模块,用于对三维地图进行切分,得到静止区和运动区;连接建立模块,用于在静止区中确定固定端的安装参数,在运动区中确定移动端的安装参数,并建立移动端与固定端之间的连接关系;视频识别模块,用于实时接收固定端获取到的监控视频,对监控视频进行识别,定位待追踪目标;运动指令生成模块,用于基于连接关系查询所述待追踪目标对应的移动端,生成运动指令并向移动端发送。本发明提供了一种“上下级”式的信息获取架构,当某些设备出现问题时,只需要简单的更换即可,便捷性极高。

Description

一种基于现场作业监控视频的多目标检测与跟踪装置
技术领域
本发明涉及作业监控技术领域,具体是一种基于现场作业监控视频的多目标检测与跟踪装置。
背景技术
社会的进步离不开建设工程,建设工程是指为人类生活、生产提供物质技术基础的各类建筑物和工程设施的统称,是人类有组织、有目的、大规模的经济活动。
建设工程中一线工作的工作主体是工作人员或者智能机器设备,由于一线工作存在较高的风险性,对工作主体的监管必不可少;随着科技的发展,现有的监管主要是基于摄像头的人工管理架构,由摄像头获取工作主体的工作情况,监管人员同时监管多个工作主体,效率较高。
由摄像头获取工作情况的过程离不开目标追踪技术,由于现场的面积远远超出单个摄像头的监控范围,想要保证监控质量需要多个摄像头相互配合,这些摄像头有的是枪机、有的是球机,它们之间的配合需要极其复杂的标定过程,一旦有某些摄像头发生损坏,就需要对相关的所有摄像头的识别算法都进行调整,便捷性较低。因此,现有的很多场合,并不会在摄像头上内置识别算法,而是依赖人工对目标进行追踪,人力成本很高。
发明内容
本发明的目的在于提供一种基于现场作业监控视频的多目标检测与跟踪装置,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于现场作业监控视频的多目标检测与跟踪装置,所述装置包括:
三维地图建立模块,用于根据预设的采集网格采集工作区域的尺寸信息,建立三维地图;
区域切分模块,用于在所述三维地图中标记工作位置,基于工作位置对三维地图进行切分,得到静止区和运动区;
连接建立模块,用于在静止区中确定固定端的安装参数,在运动区中确定移动端的安装参数,并建立移动端与固定端之间的连接关系;
视频识别模块,用于实时接收固定端获取到的监控视频,对监控视频进行识别,定位待追踪目标;
运动指令生成模块,用于基于连接关系查询所述待追踪目标对应的移动端,生成运动指令并向移动端发送。
作为本发明进一步的方案:所述三维地图建立模块包括:
网格查询单元,用于获取工作区域的平面地图,接收用户输入的颗粒度,根据所述颗粒度在预设的网格表中查询采集网格;
路径确定单元,用于根据所述采集网格确定检测点及检测路径;所述检测点在所述检测路径中;
海拔获取单元,用于基于所述检测路径实时获取工作区域在检测点处的高度;
点位拟合单元,用于根据所述高度在平面地图中确定表面点,拟合所述表面点,得到三维地图。
作为本发明进一步的方案:所述区域切分模块包括:
位置确定单元,用于显示三维地图,接收用户输入的标记信息,确定工作位置;
静止区确定单元,用于以工作位置为中心,预设的数值为半径在三维地图中确定静止区;
运动区确定单元,用于在三维地图中确定所述静止区的补集,在所述补集中确定运动区;
执行单元,用于对所述静止区和运动区进行编号。
作为本发明进一步的方案:所述执行单元包括:
第一编号子单元,用于根据预设的遍历规则依次对所述静止区进行编号;
第二编号子单元,用于依次以静止区为中心,查询与静止区相连的运动区,基于所述静止区的编号对运动区进行编号;
编号调整子单元,用于实时接收用户输入的调整信息,调整所述静止区和所述运动区的编号。
作为本发明进一步的方案:所述连接建立模块包括:
主体确定单元,用于在预设的排班表中获取静止区的工作主体;
固定端选取单元,用于基于所述工作主体选取含有清晰度函数的固定端;所述清晰度函数的自变量为距离,因变量为清晰度;
距离计算单元,用于接收用户输入的清晰度阈值,将所述清晰度阈值输入所述清晰度函数,得到距离;
范围确定单元,用于根据所述距离在三维地图中确定安装范围;所述安装范围为三维范围;
参数确定单元,用于在所述安装范围内确定固定端的安装参数;所述安装参数包括安装位置和安装角度。
作为本发明进一步的方案:所述参数确定单元包括:
音频获取子单元,用于实时获取并记录音频信息;
音频拟合子单元,用于拟合记录的音频信息,得到拟合曲线;
特征提取子单元,用于将所述拟合曲线输入训练好的周期识别模型,得到周期特征;所述周期特征用于表征幅值变化规律;
激活子单元,用于基于周期特征确定固定端的激活特征;所述激活特征为关于时间信息的激活级别;所述激活级别用于表征固定端的性能参数。
作为本发明进一步的方案:所述拟合记录的音频信息,得到拟合曲线的内容包括:
读取记录的音频信息,根据预设的拟合步长将音频信息切分为相连的特征段;
依次计算所述特征段的均值,基于计算出的均值拟合音频曲线;
计算音频曲线的导线曲线,在导数曲线中截取小于预设的导数阈值的波段;
重复上述内容直至截取到的波段的长度小于预设的长度阈值。
作为本发明进一步的方案:所述连接建立模块还包括:
区间切分单元,用于切分获取移动端的工作区间,根据工作区间对运动区进行切分;所述工作区间用于表征移动端的最佳工作范围,所述最佳工作范围由移动端的额定参数确定;
移动端确定单元,用于根据切分结果确定移动端的数量及初始位置;
参数读取单元,用于读取所述运动区的编号,根据所述编号查询对应的静止区及其固定端的安装参数;
视频内容标记单元,用于根据运动区与静止区的位置关系以及固定端的安装参数在固定端获取到的监控视频中标记与该运动区相连的子区域。
作为本发明进一步的方案:所述视频识别模块包括:
重合率计算单元,用于实时接收固定端获取到的监控视频,依次计算相邻帧图像的重合率;
图像拷贝单元,用于当所述重合率低于预设条件时,拷贝相应帧图像,插入与监控视频对应的图像队列;其中,图像队列中的图像含有时间信息;
识别定位单元,用于依次对所述图像队列中的图像进行识别,定位目标区域;
异常率计算单元,用于根据训练好的神经网络模型对目标区域进行识别,生成异常率;
特征记录单元,用于将异常率达到预设条件的目标区域标记为待追踪目标,并记录目标特征;
所述记录目标特征的内容包括在目标区域中确定待追踪目标的轮廓分布特征,将所述轮廓分布特征转换为目标特征。
作为本发明进一步的方案:所述运动指令生成模块包括:
子区域查询单元,用于获取待追踪目标在图像中的位置,根据所述位置确定待追踪目标所在的子区域;
移动端查询单元,用于根据所述子区域定位相连的运动区及其移动端;
信息发送单元,用于向所述移动端发送运动指令和目标特征;
目标追踪单元,用于当所述移动端接收到运动指令时,根据所述目标特征追踪待追踪目标。
与现有技术相比,本发明的有益效果是:本发明提供了一种“上下级”式的信息获取架构,由安装在静止区的固定端获取监控视频,对监控视频进行识别,当出现问题时,根据预设的基于地图的确定的连接关系,向相应的移动端发送追踪指令;此时,固定端无需移动和转动,可以将成本全用于识别过程,当某些设备出现问题时,只需要简单的更换即可,便捷性极高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为基于现场作业监控视频的多目标检测与跟踪装置的组成结构框图。
图2为基于现场作业监控视频的多目标检测与跟踪装置中连接建立模块的组成结构框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
图1示出了基于现场作业监控视频的多目标检测与跟踪装置的组成结构框图,本发明实施例中,一种基于现场作业监控视频的多目标检测与跟踪装置,所述装置包括三维地图建立模块、区域切分模块、连接建立模块、视频识别模块和运动指令生成模块,具体如下:
三维地图建立模块,用于根据预设的采集网格采集工作区域的尺寸信息,建立三维地图;
区域切分模块,用于在所述三维地图中标记工作位置,基于工作位置对三维地图进行切分,得到静止区和运动区;
连接建立模块,用于在静止区中确定固定端的安装参数,在运动区中确定移动端的安装参数,并建立移动端与固定端之间的连接关系;
视频识别模块,用于实时接收固定端获取到的监控视频,对监控视频进行识别,定位待追踪目标;
运动指令生成模块,用于基于连接关系查询所述待追踪目标对应的移动端,生成运动指令并向移动端发送。
在本发明技术方案的一个实例中,建立一张与实际场景对应的三维地图,所述三维地图指的是在地图中增加高度特征,不同维度上的比例尺相互独立,可以自由设置;一般情况下,平面内的两个方向上的比例尺相同,高度方向上的比例尺独立。
在现有的作业现场中,无论是人工作业现场还是无人作业现场,区域划分情况都比较明确,哪块区域完成哪项工作都是预先规定的,这些区域称之为静止区,因为工作人员或无人工作车在该区域进行工作时,位置不会发生大的变动,单独的一个固定式的摄像头,便足以监管整个区域。
运动区指的是工作人员或无人工作车发生位置转换的区域,在工作过程中,工作人员或无人工作车会从一个静止区移动到另一个静止区,移动过程经过的区域称之为运动区,运动区的监管由可以移动的移动端完成;移动端可以是在地面上的智能机器人,也可以是无人机,具备移动功能和图像获取功能即可。
运动区内是否发生运动行为,可以从静止区内轻易的判断出,在没有运动主体时,移动端停止在静止区,当固定端识别到有运动主体离开静止区时,根据离开时的情形向移动端发送追踪指令,此时,移动端对运动主体进行追踪。这一过程智能化极高,无需对多个摄像头之间的复杂的联动过程进行设计,架构极其清晰。
作为本发明技术方案的一个优选实施例,所述三维地图建立模块包括:
网格查询单元,用于获取工作区域的平面地图,接收用户输入的颗粒度,根据所述颗粒度在预设的网格表中查询采集网格;
路径确定单元,用于根据所述采集网格确定检测点及检测路径;所述检测点在所述检测路径中;
海拔获取单元,用于基于所述检测路径实时获取工作区域在检测点处的高度;
点位拟合单元,用于根据所述高度在平面地图中确定表面点,拟合所述表面点,得到三维地图。
三维地图基于平面地图拟合而成,因此,拟合点越多,三维地图越逼真,上述颗粒度反映的是拟合点的密度,颗粒度由用户输入,不同颗粒度对应不同的采集网格,对应关系预先设置。由采集网格确定检测路径的过程并不困难,实际上,采集网格的交点可以作为采集点,采集网格的线路可以作为检测路径。
作为本发明技术方案的一个优选实施例,所述区域切分模块包括:
位置确定单元,用于显示三维地图,接收用户输入的标记信息,确定工作位置;
静止区确定单元,用于以工作位置为中心,预设的数值为半径在三维地图中确定静止区;
运动区确定单元,用于在三维地图中确定所述静止区的补集,在所述补集中确定运动区;
执行单元,用于对所述静止区和运动区进行编号。
确定静止区和运动区的重点在于其顺序,需要先确定静止区,然后在确定运动区,确定过程中对静止区和运动区进行编号。
具体的,所述执行单元包括:
第一编号子单元,用于根据预设的遍历规则依次对所述静止区进行编号;
第二编号子单元,用于依次以静止区为中心,查询与静止区相连的运动区,基于所述静止区的编号对运动区进行编号;
编号调整子单元,用于实时接收用户输入的调整信息,调整所述静止区和所述运动区的编号。
根据顺序依次对静止区进行编号,然后以静止区的编号为前缀,对与之相连的运动区进行编号;在这一编号过程中,很有可能会出现干涉,即,一个运动区与多个静止区相连,有多个不同的编号,此时,需要工作人员进行调整。
图2为基于现场作业监控视频的多目标检测与跟踪装置中连接建立模块的组成结构框图,作为本发明技术方案的一个优选实施例,所述连接建立模块包括:
主体确定单元,用于在预设的排班表中获取静止区的工作主体;
固定端选取单元,用于基于所述工作主体选取含有清晰度函数的固定端;所述清晰度函数的自变量为距离,因变量为清晰度;
距离计算单元,用于接收用户输入的清晰度阈值,将所述清晰度阈值输入所述清晰度函数,得到距离;
范围确定单元,用于根据所述距离在三维地图中确定安装范围;所述安装范围为三维范围;
参数确定单元,用于在所述安装范围内确定固定端的安装参数;所述安装参数包括安装位置和安装角度。
工作人员或者无人工作车统称为工作主体,工作主体在静止区进行工作时,固定端需要对其进行监测识别,固定端离工作主体越远,监测范围越大,使用的固定端数量越少,清晰度越低;基于这一规律,根据清晰度函数和用户输入的对清晰度的需求(清晰度阈值)可以在三维地图中确定一个球形范围,在这个球形范围内安装固定端都是可行的。当然,距离过近也会影响监测过程,因此,上述球形范围可以调整为一个球环。
进一步的,所述参数确定单元包括:
音频获取子单元,用于实时获取并记录音频信息;
音频拟合子单元,用于拟合记录的音频信息,得到拟合曲线;
特征提取子单元,用于将所述拟合曲线输入训练好的周期识别模型,得到周期特征;所述周期特征用于表征幅值变化规律;
激活子单元,用于基于周期特征确定固定端的激活特征;所述激活特征为关于时间信息的激活级别;所述激活级别用于表征固定端的性能参数。
固定端安装之后,需要对静止区进行监测,由于本发明技术方案非常依赖固定端的识别能力,固定端的性能及能耗会很高,如何优化固定端的工作过程是上述内容的目的,具体工作原理如下:
首先,获取音频信息并对音频信息进行处理,得到一个拟合曲线;然后,对拟合曲线进行周期性的识别,识别方式可以借助基于傅里叶变换原理的识别模型;最后,根据周期特征确定固定端的激活特征。
举例来说,现场作业工作是重复性较高的工作,在每天的哪个时间段进行工作都是有规律的,相应的,在该时间段的音频信息的幅值较高,无人工作时,该时间段的音频信息的幅值较低,而且这一情况每天都在重复。所述周期特征指的就是哪个时间段有多大的幅值,激活特征指的就是在哪个时间段固定端工作在哪一模式,不同模式的性能不同。
值得一提的是,由于周期性识别精度要求不高,上述周期性识别过程可以用很简单的方式完成,比如通过记录历史数据,然后比对历史数据确定哪些时间段是重复的。
作为本发明技术方案的一个优选实施例,所述拟合记录的音频信息,得到拟合曲线的内容包括:
读取记录的音频信息,根据预设的拟合步长将音频信息切分为相连的特征段;
依次计算所述特征段的均值,基于计算出的均值拟合音频曲线;
计算音频曲线的导线曲线,在导数曲线中截取小于预设的导数阈值的波段;
重复上述内容直至截取到的波段的长度小于预设的长度阈值。
音频曲线的波动非常剧烈,很难分析,上述过程的目的就是将一小段的音频幅值用一个均值代表,连接这一均值,可以对音频信息进行简化,多次重复这一步骤,最终可以得到一条比较平滑的曲线,也就是音频曲线;音频曲线的导数曲线反应了其变化特征,导数越大,波动越剧烈,相应的时间点就是开始工作或结束工作的时间点。
请参阅图2,作为本发明技术方案的一个优选实施例,所述连接建立模块还包括:
区间切分单元,用于切分获取移动端的工作区间,根据工作区间对运动区进行切分;所述工作区间用于表征移动端的最佳工作范围,所述最佳工作范围由移动端的额定参数确定;
移动端确定单元,用于根据切分结果确定移动端的数量及初始位置;
参数读取单元,用于读取所述运动区的编号,根据所述编号查询对应的静止区及其固定端的安装参数;
视频内容标记单元,用于根据运动区与静止区的位置关系以及固定端的安装参数在固定端获取到的监控视频中标记与该运动区相连的子区域。
上述内容分为两个部分,区间切分单元和移动端确定单元是移动端的初始化过程,根据移动端的工作区间对运动区进行切分,确定移动端的数量及初始位置即可;在可以在保证追踪质量的同时,保证最高的资源利用率的工作范围就是最佳工作范围,在最佳工作范围可以确定工作区间。
参数读取单元和视频内容标记单元的功能是建立连接关系,其过程极其简单,在固定端获取到的图像中查询到与运动区相连的部分即可,当固定端监测到有工作主体从某一部分消失时,根据上述连接关系即可控制相应的移动端进行工作。
作为本发明技术方案的一个优选实施例,所述视频识别模块包括:
重合率计算单元,用于实时接收固定端获取到的监控视频,依次计算相邻帧图像的重合率;
图像拷贝单元,用于当所述重合率低于预设条件时,拷贝相应帧图像,插入与监控视频对应的图像队列;其中,图像队列中的图像含有时间信息;
识别定位单元,用于依次对所述图像队列中的图像进行识别,定位目标区域;
异常率计算单元,用于根据训练好的神经网络模型对目标区域进行识别,生成异常率;
特征记录单元,用于将异常率达到预设条件的目标区域标记为待追踪目标,并记录目标特征;
所述记录目标特征的内容包括在目标区域中确定待追踪目标的轮廓分布特征,将所述轮廓分布特征转换为目标特征。
固定端获取到的监控视频中,每一秒都含有很多张图像,这些图像之间的差异有可能很小,此时,仅保留几张图像,可以在保证识别能力的同时,极大地降低识别压力;对图像的识别过程可以参考现有的图像识别技术,进而判断工作主体是否存在异常;在规律性极强的现场作业过程中,工作主体的异常情况都是有限且能够获取到,将获取到的异常情况作为训练集,训练出一个神经网络模型,用于识别定位异常区域并不困难。
需要说明的是,在识别的过程中,需要根据常规的图像识别技术记录待追踪目标的目标特征,比如,该轮廓由哪几部分组成,不同部分的色值及位置关系是怎样的,这一目标特征的作用是,方面移动端定位待追踪目标。在现有的追踪技术中,如果某一区域消失或丢失几秒钟,当它再出现时,很难判断它是否还是之前的待追踪目标,在本发明技术方案中,追踪主体由固定端更换为移动端,更容易发生目标丢失的现象,因此,生成目标特征可以有效地避免这一问题。
作为本发明技术方案的一个优选实施例,所述运动指令生成模块包括:
子区域查询单元,用于获取待追踪目标在图像中的位置,根据所述位置确定待追踪目标所在的子区域;
移动端查询单元,用于根据所述子区域定位相连的运动区及其移动端;
信息发送单元,用于向所述移动端发送运动指令和目标特征;
目标追踪单元,用于当所述移动端接收到运动指令时,根据所述目标特征追踪待追踪目标。
运动指令生成模块是最终的执行模块,固定端获取待追踪目标在图像中的位置,根据已经建立的连接关系,可以轻易地定位相应的运动区及运动区中的移动端,向移动端发送工作指令的同时,向移动端发送目标特征,可以防止移动端丢失目标或目标追踪错误。可以想到,目标特征越丰富,追踪过程越准确。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述装置包括:
三维地图建立模块,用于根据预设的采集网格采集工作区域的尺寸信息,建立三维地图;
区域切分模块,用于在所述三维地图中标记工作位置,基于工作位置对三维地图进行切分,得到静止区和运动区;
连接建立模块,用于在静止区中确定固定端的安装参数,在运动区中确定移动端的安装参数,并建立移动端与固定端之间的连接关系;
视频识别模块,用于实时接收固定端获取到的监控视频,对监控视频进行识别,定位待追踪目标;
运动指令生成模块,用于基于连接关系查询所述待追踪目标对应的移动端,生成运动指令并向移动端发送。
2.根据权利要求1所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述三维地图建立模块包括:
网格查询单元,用于获取工作区域的平面地图,接收用户输入的颗粒度,根据所述颗粒度在预设的网格表中查询采集网格;
路径确定单元,用于根据所述采集网格确定检测点及检测路径;所述检测点在所述检测路径中;
海拔获取单元,用于基于所述检测路径实时获取工作区域在检测点处的高度;
点位拟合单元,用于点位拟合单元,用于根据所述高度在平面地图中确定表面点,拟合所述表面点,得到三维地图。
3.根据权利要求1所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述区域切分模块包括:
位置确定单元,用于显示三维地图,接收用户输入的标记信息,确定工作位置;
静止区确定单元,用于以工作位置为中心,预设的数值为半径在三维地图中确定静止区;
运动区确定单元,用于在三维地图中确定所述静止区的补集,在所述补集中确定运动区;
执行单元,用于对所述静止区和运动区进行编号。
4.根据权利要求3所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述执行单元包括:
第一编号子单元,用于根据预设的遍历规则依次对所述静止区进行编号;
第二编号子单元,用于依次以静止区为中心,查询与静止区相连的运动区,基于所述静止区的编号对运动区进行编号;
编号调整子单元,用于实时接收用户输入的调整信息,调整所述静止区和所述运动区的编号。
5.根据权利要求1所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述连接建立模块包括:
主体确定单元,用于在预设的排班表中获取静止区的工作主体;
固定端选取单元,用于基于所述工作主体选取含有清晰度函数的固定端;所述清晰度函数的自变量为距离,因变量为清晰度;
距离计算单元,用于接收用户输入的清晰度阈值,将所述清晰度阈值输入所述清晰度函数,得到距离;
范围确定单元,用于根据所述距离在三维地图中确定安装范围;所述安装范围为三维范围;
参数确定单元,用于在所述安装范围内确定固定端的安装参数;所述安装参数包括安装位置和安装角度。
6.根据权利要求5所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述参数确定单元包括:
音频获取子单元,用于实时获取并记录音频信息;
音频拟合子单元,用于拟合记录的音频信息,得到拟合曲线;
特征提取子单元,用于将所述拟合曲线输入训练好的周期识别模型,得到周期特征;所述周期特征用于表征幅值变化规律;
激活子单元,用于基于周期特征确定固定端的激活特征;所述激活特征为关于时间信息的激活级别;所述激活级别用于表征固定端的性能参数。
7.根据权利要求6所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述拟合记录的音频信息,得到拟合曲线的内容包括:
读取记录的音频信息,根据预设的拟合步长将音频信息切分为相连的特征段;
依次计算所述特征段的均值,基于计算出的均值拟合音频曲线;
计算音频曲线的导线曲线,在导数曲线中截取小于预设的导数阈值的波段;
重复上述内容直至截取到的波段的长度小于预设的长度阈值。
8.根据权利要求5所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述连接建立模块还包括:
区间切分单元,用于切分获取移动端的工作区间,根据工作区间对运动区进行切分;所述工作区间用于表征移动端的最佳工作范围,所述最佳工作范围由移动端的额定参数确定;
移动端确定单元,用于根据切分结果确定移动端的数量及初始位置;
参数读取单元,用于读取所述运动区的编号,根据所述编号查询对应的静止区及其固定端的安装参数;
视频内容标记单元,用于根据运动区与静止区的位置关系以及固定端的安装参数在固定端获取到的监控视频中标记与该运动区相连的子区域。
9.根据权利要求8所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述视频识别模块包括:
重合率计算单元,用于实时接收固定端获取到的监控视频,依次计算相邻帧图像的重合率;
图像拷贝单元,用于当所述重合率低于预设条件时,拷贝相应帧图像,插入与监控视频对应的图像队列;其中,图像队列中的图像含有时间信息;
识别定位单元,用于依次对所述图像队列中的图像进行识别,定位目标区域;
异常率计算单元,用于根据训练好的神经网络模型对目标区域进行识别,生成异常率;
特征记录单元,用于将异常率达到预设条件的目标区域标记为待追踪目标,并记录目标特征;
所述记录目标特征的内容包括在目标区域中确定待追踪目标的轮廓分布特征,将所述轮廓分布特征转换为目标特征。
10.根据权利要求9所述的基于现场作业监控视频的多目标检测与跟踪装置,其特征在于,所述运动指令生成模块包括:
子区域查询单元,用于获取待追踪目标在图像中的位置,根据所述位置确定待追踪目标所在的子区域;
移动端查询单元,用于根据所述子区域定位相连的运动区及其移动端;
信息发送单元,用于向所述移动端发送运动指令和目标特征;
目标追踪单元,用于当所述移动端接收到运动指令时,根据所述目标特征追踪待追踪目标。
CN202211230984.3A 2022-10-10 2022-10-10 一种基于现场作业监控视频的多目标检测与跟踪装置 Active CN115294534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211230984.3A CN115294534B (zh) 2022-10-10 2022-10-10 一种基于现场作业监控视频的多目标检测与跟踪装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211230984.3A CN115294534B (zh) 2022-10-10 2022-10-10 一种基于现场作业监控视频的多目标检测与跟踪装置

Publications (2)

Publication Number Publication Date
CN115294534A true CN115294534A (zh) 2022-11-04
CN115294534B CN115294534B (zh) 2022-12-30

Family

ID=83819375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211230984.3A Active CN115294534B (zh) 2022-10-10 2022-10-10 一种基于现场作业监控视频的多目标检测与跟踪装置

Country Status (1)

Country Link
CN (1) CN115294534B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074479A (zh) * 2023-03-03 2023-05-05 山东交通学院 基于图像分析的乘务监控系统、方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013917A1 (en) * 2003-08-12 2010-01-21 Keith Hanna Method and system for performing surveillance
CN204290501U (zh) * 2015-01-09 2015-04-22 国家电网公司 基于机器人的变电站三维实景巡检系统
WO2017165433A1 (en) * 2016-03-22 2017-09-28 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
CN109462738A (zh) * 2018-10-25 2019-03-12 江苏跃鑫科技有限公司 一种自动跟踪监控方法
CN112367498A (zh) * 2020-09-16 2021-02-12 国电南瑞科技股份有限公司 一种变电站现场作业目标实时监控方法及其系统
CN112616023A (zh) * 2020-12-22 2021-04-06 荆门汇易佳信息科技有限公司 复杂环境下的多摄像机视频目标追踪方法
CN113435429A (zh) * 2021-08-27 2021-09-24 广东电网有限责任公司中山供电局 一种基于现场作业监控视频的多目标检测和跟踪系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013917A1 (en) * 2003-08-12 2010-01-21 Keith Hanna Method and system for performing surveillance
CN204290501U (zh) * 2015-01-09 2015-04-22 国家电网公司 基于机器人的变电站三维实景巡检系统
WO2017165433A1 (en) * 2016-03-22 2017-09-28 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
CN109462738A (zh) * 2018-10-25 2019-03-12 江苏跃鑫科技有限公司 一种自动跟踪监控方法
CN112367498A (zh) * 2020-09-16 2021-02-12 国电南瑞科技股份有限公司 一种变电站现场作业目标实时监控方法及其系统
CN112616023A (zh) * 2020-12-22 2021-04-06 荆门汇易佳信息科技有限公司 复杂环境下的多摄像机视频目标追踪方法
CN113435429A (zh) * 2021-08-27 2021-09-24 广东电网有限责任公司中山供电局 一种基于现场作业监控视频的多目标检测和跟踪系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074479A (zh) * 2023-03-03 2023-05-05 山东交通学院 基于图像分析的乘务监控系统、方法、设备及存储介质

Also Published As

Publication number Publication date
CN115294534B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN112766274B (zh) 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
US20210073573A1 (en) Ship identity recognition method based on fusion of ais data and video data
EP1374486B1 (en) Method for configuring a network by defining clusters
CN115294534B (zh) 一种基于现场作业监控视频的多目标检测与跟踪装置
CN102143354B (zh) 基于视频图像处理的输电导线舞动识别计算方法
CN111754020A (zh) 基于数据分析的智能电厂设备巡检系统及方法
CN116055413B (zh) 一种基于云边协同的隧道网络异常识别方法
CN111861023A (zh) 基于统计学的混合风电功率预测方法、装置
CN112613361A (zh) 一种安防监控用的智能化行为分析系统
CN112784821A (zh) 基于YOLOv5的工地行为安全检测识别方法及系统
CN114548912A (zh) 建筑工程项目管理用全过程追踪方法及系统
CN111932945A (zh) 水上截面线的通过流量确认方法、装置和计算机设备
CN115620175A (zh) 一种基于无人机自动巡检的现场管理系统
CN110944354B (zh) 基于波形分析和深度学习的基站干扰监测方法及系统
CN115307549A (zh) 一种基坑顶部位移智能视觉监测分析预警系统
CN115185287A (zh) 一种智能多水下机器人动态避障及围捕控制系统
CN115909168A (zh) 一种智能变电站的辅控数据分析系统及方法
CN112802059A (zh) 一种基于YOLOV3网络和kcf跟踪算法的安全帽检测跟踪方法
CN218238722U (zh) 一种基坑顶部位移智能视觉监测分析预警系统
EP4325902A1 (en) Determining a location of a connected edge device in real-time using cellular ran, core and edge information
CN115174864B (zh) 一种水利工程安全监测数据自动采集预警装置
CN116311029B (zh) 基于大数据的施工作业违章识别系统及方法
CN117424791B (zh) 一种大型电力通信网络故障诊断系统
CN114004310A (zh) 基于参数自适应聚类分析的供水管网漏损检测方法
CN116708713A (zh) 一种基于双目立体视觉的配电网不停电作业数字化实时诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant