CN113297926B - 行为检测识别方法及系统 - Google Patents

行为检测识别方法及系统 Download PDF

Info

Publication number
CN113297926B
CN113297926B CN202110490101.1A CN202110490101A CN113297926B CN 113297926 B CN113297926 B CN 113297926B CN 202110490101 A CN202110490101 A CN 202110490101A CN 113297926 B CN113297926 B CN 113297926B
Authority
CN
China
Prior art keywords
centroid
behavior
movement speed
image
overspeed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110490101.1A
Other languages
English (en)
Other versions
CN113297926A (zh
Inventor
王德强
王鸣天
郑来波
焦广超
李晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110490101.1A priority Critical patent/CN113297926B/zh
Publication of CN113297926A publication Critical patent/CN113297926A/zh
Application granted granted Critical
Publication of CN113297926B publication Critical patent/CN113297926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

本发明提供一种行为检测识别方法及系统,属于计算机视觉技术领域,获取行为视频流的二值化差分图像序列,计算每帧图像的中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。本发明计算了中间质心、左质心和右质心的运动速度,算法简单,三质心具有良好互补性,可检测剧烈肢体行为,防止漏检、误检,提升了检测可靠性,无须配备高性能并行计算设备,性价比高。

Description

行为检测识别方法及系统
技术领域
本发明涉及计算机识别技术领域,具体涉及一种基于监控视频的行为检测识别方法及系统。
背景技术
随着计算机技术、图像处理技术、机器学习技术的快速发展,计算机视觉的应用领域不断扩展。其中,异常行为检测是一个重要分支,旨在通过分析监控视频中人物的行为举止,检测人行为状态,以便进行风险评估和应急处置,在公共安全、社区安防、智慧监狱、安全驾驶等领域得到广泛应用。
对于基于监控视频的异常行为识别,早期主要依靠监控人员肉眼观察识别,或者事故发生后回看视频取证,效率低下。随着计算机视觉和人工智能的发展,利用深度神经网络模型可以对视频中人物进行自动识别、跟踪和行为分析,大大提高了智能化水平和效率,降低了人力投入,便于数据存储、管理和取证。但是,目前的异常行为识别与理解仍处于发展阶段,识别准确率有待提高,尤其是对于异常行为的深层次理解和处置决策能力仍不够完善。因此,对于高风险应用场景,机器视觉自动识别的结果仍被作为辅助决策手段。
对于重点关注群体或特殊群体,剧烈肢体行为往往预示着高风险,快速识别、报警并及时处置尤为重要。例如,家中老人突然发病时的跌倒行为,需要迅速报警,由监护人或医护人员确认后及时救助;服刑人员情绪失控时发生攻击行为和自我攻击行为,需要迅速报警,由干警确认后及时介入处置。基于深度神经网络模型的异常行为分析方法计算量大,需要依赖高性能并行计算设备,成本和时效性有待改善。
发明内容
本发明的目的在于提供一种可靠、稳定、检测识别速度快的基于监控视频流的剧烈肢体行为检测识别方法及系统,以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的,本发明采取了如下技术方案:
第一方面,本发明提供一种行为检测识别方法,包括:
获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
优选的,对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;计算每帧二值化差分图像的中间质心、左质心和右质心;利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
优选的,由视频流中解析出包含行为的RGB图像,然后将RGB图像变换为灰度图,再对灰度图像进行灰度归一化处理,获得灰度图像序列。
优选的,对相邻两帧灰度图像进行差分运算得到差分图像,然后对差分图像进行滤波,对滤波后的差分图像进行二值化处理,转换为二值化差分图像,其中,采用直方图方法寻找二值化阀值。
优选的,对差分图像区域内的像素点进行标记,并进行连通性判断,如果标记的非零像素点数小于设定的阈值,则认为该连通区域为噪声并将其去除,否则认为该连通区域是图像并予以保留。
优选的,利用整幅二值化差分图像的全部像素计算出中间质心的坐标,再以过中间质心的垂线作为分界线,将图像划分为左区域和右区域,然后利用左区域的像素计算出左质心的坐标,利用右区域的像素计算出右质心的坐标。
优选的,计算中间质心、左质心和右质心的坐标时,对于给定的图像区域,其对应质心坐标计算为:
Figure BDA0003052039090000031
其中,(xc,yc)为给定的图像区域内质心的坐标,(xi,yi)为给定的图像区域内第i个像素的坐标,gi为给定的图像区域内第i个像素的质量,N为给定的图像区域内像素的总个数,M为给定的图像区域内灰度值为255的像素的个数。
优选的,计算的质心运动速度vc时:
Figure DEST_PATH_1
其中,(xc|a,yc|a)为某质心在第a帧的坐标,(xc|a+1,yc|a+1)为某质心在第a+1帧的坐标,fs为视频流的帧频。
第二方面,本发明提供一种实现如上所述的行为检测识别方法的行为检测识别系统,包括:
计算模块,用于获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
判断模块,用于将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
行为检测报警模块,用于在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
优选的,所述计算模块包括:
预处理单元,用于对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;
获取单元,用于对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;
质心计算单元,用于计算每帧二值化差分图像的中间质心、左质心和右质心;
速度计算单元,用于利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
第三方面,本发明提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行如上所述的行为检测识别方法的指令。
第四方面,本发明提供一种电子设备,包括如上所述的非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果:利用监控视频流的差分二值化图像,计算中间质心、左质心和右质心的运动速度,达到检测剧烈肢体动作的目的,算法简单,无须配备高性能并行计算设备,性价比高;三种质心运动信息具有良好的互补性,可以防止漏检现象发生,通过设置超速次数阈值防止误检现象发生,提升了检测可靠性。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1所述的行为检测识别系统的功能原理框图。
图2为本发明实施例2所述的基于监控视频的剧烈肢体行为检测方法流程图。
图3为本发明实施例2所述的基于监控视频的剧烈肢体行为检测系统功能原理框图。
具体实施方式
下面详细叙述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组合。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明,下面结合附图以具体实施例对本发明作进一步解释说明,且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解,附图只是实施例的示意图,附图中的部件并不一定是实施本发明所必须的。
实施例1
如图1所示,本发明实施例1提供一种行为检测识别系统,该系统包括:
计算模块,用于获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
判断模块,用于将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
行为检测报警模块,用于在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
在本实施例1中,所述计算模块包括:
预处理单元,用于对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;
获取单元,用于对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;
质心计算单元,用于计算每帧二值化差分图像的中间质心、左质心和右质心;
速度计算单元,用于利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
利用本实施例的行为检测识别系统,实现了一种行为检测识别方法,该方法包括:
利用计算模块,获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
利用判断模块,将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
利用行为检测报警模块,在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
在本实施例1中,计算模块被配置为:
对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;
对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;
计算每帧二值化差分图像的中间质心、左质心和右质心;
利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
在本实施例1中,由视频流中解析出包含行为的RGB图像,然后将RGB图像变换为灰度图,再对灰度图像进行灰度归一化处理,获得灰度图像序列。
在本实施例1中,对相邻两帧灰度图像进行差分运算得到差分图像,然后对差分图像进行滤波,对滤波后的差分图像进行二值化处理,转换为二值化差分图像,其中,采用直方图方法寻找二值化阀值。
在本实施例1中,对差分图像区域内的像素点进行标记,并进行连通性判断,如果标记的非零像素点数小于设定的阈值,则认为该连通区域为噪声并将其去除,否则认为该连通区域是图像并予以保留。
在本实施例1中,利用整幅二值化差分图像的全部像素计算出中间质心的坐标,再以过中间质心的垂线作为分界线,将图像划分为左区域和右区域,然后利用左区域的像素计算出左质心的坐标,利用右区域的像素计算出右质心的坐标。
计算中间质心、左质心和右质心的坐标时,对于给定的图像区域,其对应质心坐标计算为:
Figure BDA0003052039090000081
其中,(xc,yc)为给定的图像区域内质心的坐标,(xi,yi)为给定的图像区域内第i个像素的坐标,gi为给定的图像区域内第i个像素的质量,N为给定的图像区域内像素的总个数,M 为给定的图像区域内灰度值为255的像素的个数。
计算的质心运动速度vc时:
Figure 1
其中,(xc|a,yc|a)为某质心在第a帧的坐标,(xc|a+1,yc|a+1)为某质心在第a+1帧的坐标,fs为视频流的帧频。
实施例2
本实施例2中,提供了一种基于监控视频的剧烈肢体行为检测方法及系统,包括对视频流进行预处理获取连续的灰度图像、二值化差分图像的获取、中间质心与左、右质心的计算、三个质心运动速度的计算、剧烈肢体行为检测与报警等步骤,通过轻量级算法获得视频中人物的肢体运动速度,快速检测出人物的剧烈肢体行为并进行报警。
如图2所示,在本实施例2中,基于监控视频的剧烈肢体行为检测系统包括视频流预处理模块(同实施例1中预处理单元)、二值化差分图像获取模块 (同实施例1中获取单元)、三质心计算模块(同实施例1中质心计算单元)、三质心运动速度计算模块(同实施例1中速度计算单元)、超速检测模块(同实施例1中判断模块)和剧烈肢体行为检测与报警模块(同实施例1中行为检测报警模块)。
在本实施例2中,视频流预处理模块,被配置为对视频流进行解析、变换和灰度归一化等处理,获得灰度图像序列。二值化差分图像获取模块,被配置为对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列。三质心计算模块,被配置为按顺序提取每帧二值化差分图像,计算其中间质心、左质心和右质心。三质心运动速度计算模块,被配置为利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。超速检测模块,被配置为将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定为超速,否则判定为未超速。剧烈肢体行为检测与报警模块,被配置为在单位时间内对超速次数进行统计,若超速次数大于预设的次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
如图3所示,利用本实施例所述的基于监控视频的剧烈肢体行为检测系统,实现了一种基于监控视频的剧烈肢体行为检测方法,该方法包括如下具体流程步骤:
S1:对视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;
S2:对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;
S3:计算每帧二值化差分图像的中间质心、左质心和右质心;
S4:利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度;
S5:将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定为超速,否则判定为未超速;
S6:在单位时间内对超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
在步骤S1中,首先,由视频流解析出RGB图像,然后将RGB图像变换为灰度图,再对灰度图像进行灰度归一化处理,本实施例2中灰度归一化处理方法为:
Figure BDA0003052039090000101
其中,g为原灰度图像中某像素的灰度值,g′为该像素灰度归一化后的灰度值,gmax为原灰度图像中像素的最大灰度值,gmin为原灰度图像中像素的最小灰度值。
在步骤S2中,首先对相邻两帧进行差分运算得到差分图像,然后对差分图像进行滤波,在本实施例2中,利用5×5的滤波模块对差分图像区域内的像素点进行标记,并进行连通性判断,如果标记的非零像素点数小于设定的阈值T1,则认为该连通区域为噪声并将其去除,否则认为该连通区域是图像并予以保留。
在步骤S2中,对滤波后的差分图像进行二值化处理,转换为二值化差分图像,在本实施例中,采用直方图方法来寻找二值化阀值。
在步骤S3中,首先,利用整幅二值化差分图像的全部像素计算出中间质心的坐标,再以过中间质心的垂线作为分界线,将图像划分为左区域和右区域,然后利用左区域的像素计算出左质心的坐标,利用右区域的像素计算出右质心的坐标。
在步骤S3中,计算二值化图像的中间质心、左质心、右质心时,将灰度值为255的像素质量设为1,灰度值为0的像素的质量设为0。中间质心、左质心和右质心的计算方法一致,区别仅在于参与运算的图像区域,对于给定的图像区域,对应质心坐标计算方法为:
Figure BDA0003052039090000111
其中,(xc,yc)为给定的图像区域内质心的坐标,(xi,yi)为给定的图像区域内第i个像素的坐标,gi为给定的图像区域内第i个像素的质量(若像素灰度值为255,则gi=1;若像素灰度值为0,则gi=0),N为给定的图像区域内像素的总个数,M为给定的图像区域内灰度值为255的像素的个数。为便于描述,在本实施例2中,中间质心坐标表示为(xc1,yc1),左质心坐标表示为 (xc2,yc2),右质心坐标表示为(xc3,yc3)。
在步骤S4中,利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度时,采用统一的计算方法,具体计算方法为:
Figure 2
其中,(xc|a,yc|a)为某质心在第a帧的坐标,(xc|a+1,yc|a+1)为某质心在第a+1帧的坐标,fs为视频流的帧频。为便于描述,在本实施例2中,中间质心运动速度表示为vc1,左质心运动速度表示为vc2,右质心运动速度表示为vc3
综上,本实施例2中,基于监控视频的剧烈肢体行为检测方法及系统,包括:对监控视频流进行解析、变换和灰度归一化处理;对相邻帧进行差分运算、滤波和二值化处理,二值化差分图像;计算二值化差分图像的中间质心、左质心和右质心;计算中间质心运动速度、左质心运动速度、右质心运动速度;将三个质心运动速度与预设的运动速度阈值进行比较,判断是否发生超速;在单位时间内对超速次数进行统计,判断是否发生剧烈肢体行为并报警。本公开算法简单,无须配备高性能并行计算设备;三种质心运动信息具有良好的互补性,可以防止漏检现象发生,通过设置超速次数阈值防止误检现象发生,提升检测可靠性。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行行为检测识别方法的指令,该方法包括:
获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
其中,对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;然后,对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;再计算每帧二值化差分图像的中间质心、左质心和右质心;最后利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
实施例4
本发明实施例4提供一种电子设备,该电子设备包括一种非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行行为检测识别方法的指令,该方法包括:
获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
其中,对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;然后,对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;再计算每帧二值化差分图像的中间质心、左质心和右质心;最后利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本发明公开的技术方案的基础上,本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种行为检测识别方法,其特征在于,包括:
获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;
对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;
计算每帧二值化差分图像的中间质心、左质心和右质心;
利用整幅二值化差分图像的全部像素计算出中间质心的坐标,再以过中间质心的垂线作为分界线,将图像划分为左区域和右区域,然后利用左区域的像素计算出左质心的坐标,利用右区域的像素计算出右质心的坐标;
利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度;
计算质心运动速度vc时:
Figure FDA0003983656550000011
其中,(xca,yca)为某质心在第a帧的坐标,(xca+1,yca+1)为某质心在第a+1帧的坐标,fs为视频流的帧频;
将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
2.根据权利要求1所述的行为检测识别方法,其特征在于:
由视频流中解析出包含行为的RGB图像,然后将RGB图像变换为灰度图,再对灰度图像进行灰度归一化处理,获得灰度图像序列。
3.根据权利要求1所述的行为检测识别方法,其特征在于:
对相邻两帧灰度图像进行差分运算得到差分图像,然后对差分图像进行滤波,对滤波后的差分图像进行二值化处理,转换为二值化差分图像,其中,采用直方图方法寻找二值化阀值。
4.根据权利要求3所述的行为检测识别方法,其特征在于:
对差分图像区域内的像素点进行标记,并进行连通性判断,如果标记的非零像素点数小于设定的阈值,则认为该连通区域为噪声并将其去除,否则认为该连通区域是图像并予以保留。
5.根据权利要求1所述的行为检测识别方法,其特征在于:
计算中间质心、左质心和右质心的坐标时,对于给定的图像区域,其对应质心坐标计算为:
Figure FDA0003983656550000021
其中,(xc,yc)为给定的图像区域内质心的坐标,(xi,yi)为给定的图像区域内第i个像素的坐标,gi为给定的图像区域内第i个像素的质量,N为给定的图像区域内像素的总个数,M为给定的图像区域内灰度值为255的像素的个数。
6.一种实现如权利要求1-5任一项所述的行为检测识别方法的行为检测识别系统,其特征在于,包括:
计算模块,用于获取行为视频流的二值化差分图像序列,计算每帧二值化差分图像的中间质心运动速度、左质心运动速度和右质心运动速度;
计算质心运动速度vc时:
Figure FDA0003983656550000022
其中,(xca,yca)为某质心在第a帧的坐标,(xca+1,yca+1)为某质心在第a+1帧的坐标,fs为视频流的帧频;
判断模块,用于将中间质心运动速度、左质心运动速度和右质心运动速度与预设的速度阈值进行比较,若三个质心运动速度中有一个及以上大于速度阈值,则判定图像中的行为为超速,否则判定为未超速;
行为检测报警模块,用于在单位时间内对行为超速次数进行统计,若超速次数大于预设的超速次数阈值,则判定为检测到剧烈肢体行为并进行报警,否则清除已记录的超速次数并开始新的统计周期。
7.根据权利要求6所述的行为检测识别系统,其特征在于,所述计算模块包括:
预处理单元,用于对行为视频流进行解析、变换和灰度归一化处理,获得灰度图像序列;
获取单元,用于对灰度图像序列进行相邻帧差分运算,得到差分图像序列,经过滤波和二值化处理,获得二值化差分图像序列;
质心计算单元,用于计算每帧二值化差分图像的中间质心、左质心和右质心;利用整幅二值化差分图像的全部像素计算出中间质心的坐标,再以过中间质心的垂线作为分界线,将图像划分为左区域和右区域,然后利用左区域的像素计算出左质心的坐标,利用右区域的像素计算出右质心的坐标;
速度计算单元,用于利用相邻两帧二值化差分图像的中间质心、左质心和右质心,计算中间质心运动速度、左质心运动速度和右质心运动速度。
CN202110490101.1A 2021-05-06 2021-05-06 行为检测识别方法及系统 Active CN113297926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110490101.1A CN113297926B (zh) 2021-05-06 2021-05-06 行为检测识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110490101.1A CN113297926B (zh) 2021-05-06 2021-05-06 行为检测识别方法及系统

Publications (2)

Publication Number Publication Date
CN113297926A CN113297926A (zh) 2021-08-24
CN113297926B true CN113297926B (zh) 2023-07-04

Family

ID=77320841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110490101.1A Active CN113297926B (zh) 2021-05-06 2021-05-06 行为检测识别方法及系统

Country Status (1)

Country Link
CN (1) CN113297926B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114323552B (zh) * 2021-11-18 2022-10-21 厦门大学 一种跨介质航行体出入水稳定性判别方法
CN114357243A (zh) * 2021-12-31 2022-04-15 山东大学 一种海量实时视频流多级分析及监控系统
CN115496897B (zh) * 2022-10-10 2023-10-31 中国核动力研究设计院 基于数字图像处理的去离子水固体杂质检测方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574889A (zh) * 2014-10-09 2016-05-11 中国科学院大学 一种个人异常行为检测方法和系统
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008367B (zh) * 2014-05-08 2018-05-01 中国农业大学 基于计算机视觉的育肥猪的自动行为分析系统及方法
CN106228569A (zh) * 2016-07-06 2016-12-14 西安邮电大学 一种适用于水质监测的鱼体运动速度检测方法
CN106407948A (zh) * 2016-09-30 2017-02-15 防城港市港口区高创信息技术有限公司 基于红外夜视仪的行人检测与识别方法
CN106713869B (zh) * 2017-01-10 2020-02-14 苏尼特左旗晟兴电子商贸有限责任公司 云智能牧场无线监控跟踪方法、装置及系统
CN107273815A (zh) * 2017-05-24 2017-10-20 中国农业大学 一种个体行为识别方法及系统
CN108537105B (zh) * 2018-02-05 2020-09-25 中国农业大学 一种家庭环境下的危险行为识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574889A (zh) * 2014-10-09 2016-05-11 中国科学院大学 一种个人异常行为检测方法和系统
CN109102523A (zh) * 2018-07-13 2018-12-28 南京理工大学 一种运动目标检测和跟踪方法

Also Published As

Publication number Publication date
CN113297926A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113297926B (zh) 行为检测识别方法及系统
CN105761261B (zh) 一种检测摄像头遭人为恶意破坏的方法
CN103473791B (zh) 监控视频中异常速度事件自动识别方法
KR101748121B1 (ko) 객체 인지 기반의 실시간 영상 검지 시스템 및 그 방법
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN103246896B (zh) 一种鲁棒性车辆实时检测与跟踪方法
CN112287816A (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN103839065A (zh) 人群动态聚集特征提取方法
CN109918971B (zh) 监控视频中人数检测方法及装置
Snyder et al. Thor: A deep learning approach for face mask detection to prevent the COVID-19 pandemic
CN111275910B (zh) 一种基于高斯混合模型的扶梯越界行为检测方法及系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN105426820A (zh) 基于安防监控视频数据的多人异常行为检测方法
CN104392461B (zh) 一种基于纹理特征的视频跟踪方法
CN112437280A (zh) 一种基于大数据分析的智慧监控安防数据处理管理系统
CN103605983A (zh) 一种遗留物检测和跟踪方法
CN115937237A (zh) 一种基于边缘变换域的局部特征提取方法
CN112800975A (zh) 一种基于图像处理的安检通道内行为识别方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN111259718A (zh) 一种基于高斯混合模型的扶梯滞留检测方法及系统
CN114038056A (zh) 一种跳跃式及下蹲式逃票行为识别方法
CN117197713A (zh) 一种基于数字视频监控系统的提取方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
WO2012081969A1 (en) A system and method to detect intrusion event
CN116682162A (zh) 一种基于实时视频流的机器人人员检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant