CN113421282B - 运动检测方法、设备和介质 - Google Patents

运动检测方法、设备和介质 Download PDF

Info

Publication number
CN113421282B
CN113421282B CN202110594009.XA CN202110594009A CN113421282B CN 113421282 B CN113421282 B CN 113421282B CN 202110594009 A CN202110594009 A CN 202110594009A CN 113421282 B CN113421282 B CN 113421282B
Authority
CN
China
Prior art keywords
frame
current detection
temperature
taking
video clip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110594009.XA
Other languages
English (en)
Other versions
CN113421282A (zh
Inventor
袁方
陈祥芝
叶景泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202110594009.XA priority Critical patent/CN113421282B/zh
Publication of CN113421282A publication Critical patent/CN113421282A/zh
Application granted granted Critical
Publication of CN113421282B publication Critical patent/CN113421282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动检测方法,该方法包括:获取待检测的视频片段,基于该视频片段依次生成前后两帧间的帧差图,确定帧差图的标准差,并与预设的动作阈值进行大小比价判断,根据比价判断结果确定视频片段中存在的动作帧,以完成动作检测。可见,该计算方法的规则简单,且无需标签进行监督,在保证运动检测准确性的同时也能兼顾有较高检测效率。此外,还提出了运动检测设备和存储介质。

Description

运动检测方法、设备和介质
技术领域
本发明涉及计算机技术领域,尤其是涉及运动检测方法、设备和介质。
背景技术
目前,远红外传感器阵列的应用领域越来越广泛,在工业控制、智能物联网等场景中常使用热红外传感器阵列替代摄像头进行动作监控。由于采集到的图像包含温度信息,热红外传感器阵列常通过对视频中人体发生动作的帧进行提取以捕捉运动基本动作,从而进行一定的人体动作观察或预测。
当前主流的运动检测算法主要分为无监督与有监督两类:其中有监督运动检测算法针对高分辨率的视频,采用卷积神经网络对动作进行检测与识别,但有监督运动检测算法需要进行打标工作,且模型相较复杂。
发明内容
基于此,有必要针对上述问题,提供规则简单,且无需标签进行监督的运动检测方法、设备和介质。
一种运动检测方法,方法包括:
获取待检测的视频片段,,待检测的视频片段为热红外线视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图;
根据帧差图内每个像素点的温度值计算帧差图的标准差;
获取预设的动作阈值,比较标准差是否大于或等于动作阈值;
若标准差大于或等于动作阈值,则确定初始帧和当前检测帧为一组动作帧,动作帧为视频片段内发生物体动作的帧,将当前检测帧作为初始帧,且将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤,直至当前检测帧为视频片段的最后一帧;
若标准差小于动作阈值,则确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧。
在其中一个实施例中,在将当前检测帧的下一帧作为当前检测帧之前,还包括:
获取视频片段的允许延迟帧数,统计当前检测帧的下一帧相对于初始帧的实时延迟帧数;
当实时延迟帧数大于允许延迟帧数时,将当前检测帧作为初始帧,继续执行将当前检测帧的下一帧作为当前检测帧的步骤;
当实时延迟帧数小于或等于允许延迟帧数时,继续执行将当前检测帧的下一帧作为当前检测帧的步骤。
在其中一个实施例中,获取视频片段的允许延迟帧数,包括:
获取视频片段的视频帧率,根据视频帧率确定视频片段的允许延迟帧数。
在其中一个实施例中,获取预设的动作阈值,包括:
获取一段为候选视频片段,根据候选视频片段的每相邻两帧内像素点的温度值计算候选视频片段的若干个候选帧差图;
根据若干个候选帧差图内每个像素点的温度值计算若干个候选帧差图内温度值的候选标准差;
取若干个候选阈值,根据候选标准差和若干个候选阈值计算不同候选阈值下的动作帧数;
计算不同候选阈值下的动作帧数和候选视频片段的帧数的比值,将比值小于或等于预设比值对应的候选阈值中的任意一个作为动作阈值。
在其中一个实施例中,获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,包括:
获取待检测的视频片段,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像;
获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,以获取每张滤波图像对应的相对温度图像,其中,温度基准值为根据预设比值的分位数确定的温度值,相对温度图像中每帧的像素点均为温度值;
将相对温度图像中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧。
在其中一个实施例中,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像,包括:
获取预设的高斯核;
根据递增的时间戳信息对视频片段的每帧,使用高斯核以预设遍历方向对每帧中每个像素点的第一温度值进行加权平均求和,获取滤波后每帧对应的滤波图像。
在其中一个实施例中,获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,获取每张滤波图像对应的相对温度图像,包括:
获取每张滤波图像中每个像素点的第二温度值,第二温度值为对第一温度值进行滤波后得到的温度值,对滤波图像内的第二温度值取预设比值的分位数以获取每张滤波图像的温度基准值;
在每张滤波图像内,作每个像素点的第二温度值与温度基准值的差值,以获取每张滤波图像对应的相对温度图像。
一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如下步骤:
获取待检测的视频片段,待检测的视频片段为热红外线视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图;
根据帧差图内每个像素点的温度值计算帧差图的标准差;
获取预设的动作阈值,比较标准差是否大于或等于动作阈值;
若标准差大于或等于动作阈值,则确定初始帧和当前检测帧为一组动作帧,动作帧为视频片段内发生物体动作的帧,将当前检测帧作为初始帧,且将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤,直至当前检测帧为视频片段的最后一帧;
若标准差小于动作阈值,则确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧。
一种运动检测设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如下步骤:
获取待检测的视频片段,待检测的视频片段为热红外线视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图;
根据帧差图内每个像素点的温度值计算帧差图的标准差;
获取预设的动作阈值,比较标准差是否大于或等于动作阈值;
若标准差大于或等于动作阈值,则确定初始帧和当前检测帧为一组动作帧,动作帧为视频片段内发生物体动作的帧,将当前检测帧作为初始帧,且将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧;
若标准差小于动作阈值,则确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧。
本发明提供了运动检测方法、设备和介质,获取待检测的视频片段,基于该视频片段依次生成前后两帧间的帧差图,确定帧差图的标准差,并与预设的动作阈值进行大小比较判断,根据比较判断结果确定视频片段中存在的动作帧,以完成动作检测。可见,该计算方法的规则简单,且无需标签进行监督,基于热红外线片段内帧差图温度值的标准差进行运动检测,结合了运动时逐帧的热红外线图像会发生温度的变化,也保证运动检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为第一实施例中运动检测方法的流程示意图;
图2为一个实施例中使用高斯核进行滤波的示意图;
图3为一个实施例中经滤波得到滤波图像的示意图;
图4为一个实施例中得到相对温度图像的示意图;
图5为一个实施例中根据初始帧和当前检测帧得到帧差图的示意图;
图6为一个实施例中获取预设的动作阈值的示意图;
图7为第二实施例中运动检测方法的流程示意图;
图8为一个实施例中运动检测装置的结构示意图;
图9为一个实施例中运动检测设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,图1为第一实施例中运动检测方法的流程示意图,本第一实施例中运动检测方法提供的步骤包括:
步骤102,获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧。
具体的,由热红外阵列设备抓取需进行运动检测的视频片段,该视频片段的每帧中包含每个像素点对应的温度值,且记录每帧图像对应的时间戳信息timestamps。假设当前使用的热红外阵列设备的分辨率为24*32,则视频片段的每帧图像中包含24*32=768个像素点的温度值,为便于计算,仅将温度值保留到小数点后两位数。示例性的,若热红外阵列设备每秒储存2帧图像,一共抓取1500秒的视频片段用于进行运动检测,则可得到3000帧图像的温度值以及每帧图像对应的时间戳信息timestamps。
为便于后续查看及分析,还可将每帧图像的温度值按行存放,其中每行代表一帧,每列则代表一个像素点的温度值,将前0~767列设置为存放每个像素的温度值,同时将第768列设置为存放每帧图像的对应时间戳信息timestamps。最终汇总得到下表1所示的表格,该表1仅示例性的展示前8帧图像的温度值及时间戳信息。
表1:
Figure GDA0003661663650000061
Figure GDA0003661663650000071
本实施例中根据时间戳信息timestamps依次使用两帧进行运动检测,在检测一开始首先将视频片段中的第一帧作为初始帧pre,再将初始帧pre的下一帧作为当前检测帧cur。
进一步的,由于常规的无监督算法中常容易出现噪声和环境干扰,因此为进一步提高检测准确性,本实例还可通过进行图像预处理的方式来滤除视频片段中的噪声和环境干扰。具体的,首先根据递增的时间戳信息timestamps对每帧中每个像素点的第一温度值进行滤波,以实现每帧的图像平滑,得到滤波后每帧对应的滤波图像。然后获取每张滤波图像的温度基准值,该温度基准值为根据预设比值的分位数确定的温度值,再根据温度基准值去除每张滤波图像中的环境温度干扰,得到每张滤波图像对应的相对温度图像。最后将相对温度图像中的第一帧作为初始帧pre,将初始帧pre的下一帧作为当前检测帧cur。
在一个具体实施例中,进行高斯滤波的过程为:首先确定均值为0的高斯函数:
Figure GDA0003661663650000072
其中,σ为方差,x,y为像素点坐标。再以该高斯函数为基础确定权重符合高斯分布的3*3高斯核,进行归一化后的高斯核可以表达为:
Figure GDA0003661663650000073
其中,sum为当前帧内所有像素点的温度值的和,f(0,0)为高斯函数在(0,0)处的值,f(1,0)为高斯函数在(1,0)处的值,依此类推为高斯核内各个坐标处的值。
根据递增的时间戳信息对视频片段的每帧,使用上述高斯核在图像中从左至右,从上至下依次滑动进行平滑。参见图2,图2即使用高斯核对每帧中每个像素点的第一温度值进行加权平均求和。参见图3,图3中的(a)为高斯滤波前某一帧对应的图像,图3中的(b)为高斯滤波后同一帧对应的滤波图像。可见,在图像的每一个像素点经过高斯滤波处理后,整体图像变得更加平滑,而其中的缺失噪点被填平。
在一个具体实施例中,去除环境温度干扰的过程为:获取每张滤波图像中每个像素点的第二温度值,该第二温度值为对第一温度值进行滤波后得到的温度值,对滤波图像内的第二温度值取预设比值的分位数以获取每张滤波图像的温度基准值。示例性的,因为热源(人体)不会占据超过整幅图像的80%,所以对第二温度值进行排序后,取每张滤波图像中第二温度值的20%分位数作为图像的温度基准。再在每张滤波图像内,作每个像素点的第二温度值与该温度基准值的差值,即获得每张滤波图像对应的相对温度图像。参见图4,图4中的(a)为去除环境温度干扰前某一帧对应的滤波图像,图4中的(b)为去除环境温度干扰后同一帧对应的相对温度图像。获得相对温度图像后,图中人像相对于环境背景的对比度更大,因此整个检测过程不容易被环境温度的变化干扰而影响判断。
步骤104,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图。
参见图5,图5中的(a)为初始帧pre,图5中的(b)为当前检测帧cur,对应每一像素点,作初始帧pre的温度值和当前检测帧cur的温度值的差值,得到帧差图diff,即图5中的(c),该帧差图diff可反映两帧间的温度值变化情况。
步骤106,根据帧差图内每个像素点的温度值计算帧差图的标准差。
具体的,计算帧差图diff的标准差s的公式为:
Figure GDA0003661663650000091
其中,n为像素点个数,本例中取n=768。xi为帧差图内每个像素点的温度值,
Figure GDA0003661663650000092
为对帧差图内每个像素点的温度值求和后取均值。
步骤108,获取预设的动作阈值,比较标准差是否大于或等于动作阈值。若标准差大于或等于动作阈值,则执行步骤110。若标准差小于动作阈值,则执行步骤112。
在一个具体实施例中,随机选取一段候选视频片段,在该候选视频片段内应存在物体运动,再以该候选片段为依据来确定动作阈值。参见图6,选取一段1200帧的候选视频片段,参照步骤102和104,作每相邻两帧的帧差图,得到若干个候选帧差图,并参照步骤106公式计算这些候选帧差图的候选标准差。再取0.1到0.9的多个候选阈值(图6中仅示出0.2、04、0.6、0.8),对每个候选阈值,都与所有帧差图的候选标准差进行大小比较,确定不同候选阈值下的动作帧数。示例性的,对于候选帧差图A来说,若候选帧差图A的候选标准差大于或等于候选阈值,则确定组成候选帧差图A的前后两帧为一组动作帧。反之,若候选帧差图A的候选标准差小于候选阈值,则确定组成候选帧差图A的前后两帧不为一组动作帧。绘制成如图6所示的折线图,最后计算不同候选阈值下的动作帧数和候选视频片段的帧数的比值,将比值小于或等于预设比值时对应的候选阈值中的任意一个作为动作阈值r。示例性的,该预设比值为1/6,则可取的候选阈值包括0.3-0.9,本实施例中取0.3作为动作阈值。
步骤110,确定初始帧和当前检测帧为一组动作帧,将当前检测帧作为初始帧,且将初始帧的下一帧作为当前检测帧。返回执行步骤104,直至当前检测帧为视频片段的最后一帧。
其中,动作帧为视频片段内发生物体动作的帧,可依据这一组动作帧进行一定的人体动作观察或预测。将当前检测帧更新为初始帧,且将初始帧的下一帧作为当前检测帧,返回执行步骤104以继续进行运动检测,直至当前检测帧为视频片段的最后一帧。
步骤112,确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行步骤104,直至当前检测帧为视频片段的最后一帧。
将当前检测帧的下一帧更新为当前检测帧,返回执行步骤104以继续进行运动检测,直至当前检测帧为视频片段的最后一帧。
上述第一实施例中的运动检测方法,获取待检测的视频片段,基于该视频片段依次生成前后两帧间的帧差图,确定帧差图的标准差,并与预设的动作阈值进行大小比较判断,根据比较判断结果确定视频片段中存在的动作帧,以完成动作检测。可见,该计算方法的规则简单,且无需标签进行监督,基于热红外线片段内帧差图温度值的标准差进行运动检测,结合了运动时逐帧的热红外线图像会发生温度的变化,也保证运动检测准确性。
如图7所示,图7为第二实施例中运动检测方法的流程示意图,本第二实施例中运动检测方法提供的步骤包括:
步骤702,获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧。
步骤704,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图。
步骤706,根据帧差图内每个像素点的温度值计算帧差图的标准差。
步骤708,获取预设的动作阈值,比较标准差是否大于或等于动作阈值。若标准差大于或等于动作阈值,则执行步骤710。若标准差小于动作阈值,则执行步骤712。
步骤710,确定初始帧和当前检测帧为一组动作帧,将当前检测帧作为初始帧,且将初始帧的下一帧作为当前检测帧。返回执行步骤704,直至当前检测帧为视频片段的最后一帧。
在一个具体的实施场景中,步骤702-710与第一实施例中运动检测方法中的步骤102-110基本一致,此处不再进行赘述。
步骤712,确定初始帧和当前检测帧不为一组动作帧,获取视频片段的允许延迟帧数,统计当前检测帧的下一帧相对于初始帧的实时延迟帧数。
其中,视频片段的允许延迟帧数n是根据视频帧率确定的,两者之间满足n=2×视频帧率,即当热红外阵列设备每秒储存2帧图像时,设定允许延迟帧数n=4。在统计当前检测帧的下一帧相对于初始帧的实时延迟帧数时,示例性的,若当前检测帧为第二帧,则记第三帧相对于第一帧的实时延迟帧数为2,依次往下类推。
步骤714,判断实时延迟帧数是否大于允许延迟帧数。当实时延迟帧数大于允许延迟帧数时,执行步骤716。当实时延迟帧数小于或等于允许延迟帧数时,执行步骤718。
步骤716,将当前检测帧作为初始帧,将当前检测帧的下一帧作为当前检测帧,返回执行步骤704,直至当前检测帧为视频片段的最后一帧。
当实时延迟帧数大于允许延迟帧数时,说明若继续依据原始的初始帧进行运动检测会超出热红外阵列设备的允许记录时延,不应再保留原始的初始帧,否则会因延迟造成遗漏部分的运动检测信息。此时将当前检测帧更新为初始帧,将当前检测帧的下一帧作为当前检测帧,返回执行步骤704,直至当前检测帧为视频片段的最后一帧。
步骤718,将当前检测帧的下一帧作为当前检测帧,返回执行步骤704,直至当前检测帧为视频片段的最后一帧。
当实时延迟帧数小于或等于允许延迟帧数时,说明若继续依据原始的初始帧进行运动检测不会超出热红外阵列设备的允许记录时延,继续将当前检测帧的下一帧作为当前检测帧,返回执行步骤704,直至当前检测帧为视频片段的最后一帧。
上述第二实施例中的运动检测方法,考虑到了热红外阵列设备自身存在的延迟,对初始帧进行实时更新,避免了在运动检测过程中因延迟造成遗漏部分的运动检测信息,能够实现更准确地检测。
在一个实施例中,如图8所示,提出了一种运动检测装置,该装置包括:
帧差图获取模块802,用于获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图;
运动检测模块804,用于根据帧差图内每个像素点的温度值计算帧差图的标准差;获取预设的动作阈值,比较标准差是否大于或等于动作阈值;若标准差大于或等于动作阈值,则确定初始帧和当前检测帧为一组动作帧,动作帧为视频片段内发生物体动作的帧,将当前检测帧作为初始帧,且将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤,直至当前检测帧为视频片段的最后一帧;若标准差小于动作阈值,则确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧。
上述运动检测装置,获取待检测的视频片段,基于该视频片段依次生成前后两帧间的帧差图,确定帧差图的标准差,并与预设的动作阈值进行大小比价判断,根据比价判断结果确定视频片段中存在的动作帧,以完成动作检测。可见,该计算方法的规则简单,且无需标签进行监督,基于热红外线片段内帧差图温度值的标准差进行运动检测,结合了运动时逐帧的热红外线图像会发生温度的变化,也保证运动检测准确性。
在一个实施例中,运动检测装置还包括:延迟检测模块,用于获取视频片段的允许延迟帧数,统计当前检测帧的下一帧相对于初始帧的实时延迟帧数;当实时延迟帧数大于允许延迟帧数时,将当前检测帧作为初始帧,继续执行将当前检测帧的下一帧作为当前检测帧的步骤;当实时延迟帧数小于或等于允许延迟帧数时,继续执行将当前检测帧的下一帧作为当前检测帧的步骤。
在一个实施例中,延迟检测模块,还具体用于:获取视频片段的视频帧率,根据视频帧率确定视频片段的允许延迟帧数。
在一个实施例中,运动检测模块804,具体用于:获取一段为候选视频片段,根据候选视频片段的每相邻两帧内像素点的温度值计算候选视频片段的若干个候选帧差图;根据若干个候选帧差图内每个像素点的温度值计算若干个候选帧差图内温度值的候选标准差;取若干个候选阈值,根据候选标准差和若干个候选阈值计算不同候选阈值下的动作帧数;计算不同候选阈值下的动作帧数和候选视频片段的帧数的比值,将比值小于或等于预设比值对应的候选阈值中的任意一个作为动作阈值。
在一个实施例中,帧差图获取模块802,具体用于:获取待检测的视频片段,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像;获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,获取每张滤波图像对应的相对温度图像;将相对温度图像中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧。
在一个实施例中,帧差图获取模块802,还具体用于:获取预设的高斯核;根据递增的时间戳信息对视频片段的每帧,使用高斯核以预设遍历方向对每帧中每个像素点的第一温度值进行加权平均求和,获取滤波后每帧对应的滤波图像。
在一个实施例中,帧差图获取模块802,还具体用于:获取每张滤波图像中每个像素点的第二温度值,第二温度值为对第一温度值进行滤波后得到的温度值,对滤波图像内的第二温度值取预设比值的分位数以获取每张滤波图像的温度基准值;在每张滤波图像内,作每个像素点的第二温度值与温度基准值的差值,以获取每张滤波图像对应的相对温度图像。
图9示出了一个实施例中运动检测设备的内部结构图。如图9所示,该运动检测设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该运动检测设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现运动检测方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行运动检测方法。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的运动检测设备的限定,具体的运动检测设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
一种运动检测设备,包括存储器、处理器以及存储在该存储器中并可在该处理器上执行的计算机程序,该处理器执行该计算机程序时实现如下步骤:获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图;根据帧差图内每个像素点的温度值计算帧差图的标准差;获取预设的动作阈值,比较标准差是否大于或等于动作阈值;若标准差大于或等于动作阈值,则确定初始帧和当前检测帧为一组动作帧,动作帧为视频片段内发生物体动作的帧,将当前检测帧作为初始帧,且将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧;若标准差小于动作阈值,则确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧。
在一个实施例中,在将当前检测帧的下一帧作为当前检测帧之前,还包括:获取视频片段的允许延迟帧数,统计当前检测帧的下一帧相对于初始帧的实时延迟帧数;当实时延迟帧数大于允许延迟帧数时,将当前检测帧作为初始帧,继续执行将当前检测帧的下一帧作为当前检测帧的步骤;当实时延迟帧数小于或等于允许延迟帧数时,继续执行将当前检测帧的下一帧作为当前检测帧的步骤。
在一个实施例中,获取视频片段的允许延迟帧数,包括:获取视频片段的视频帧率,根据视频帧率确定视频片段的允许延迟帧数。
在一个实施例中,获取预设的动作阈值,包括:获取一段为候选视频片段,根据候选视频片段的每相邻两帧内像素点的温度值计算候选视频片段的若干个候选帧差图;根据若干个候选帧差图内每个像素点的温度值计算若干个候选帧差图内温度值的候选标准差;取若干个候选阈值,根据候选标准差和若干个候选阈值计算不同候选阈值下的动作帧数;计算不同候选阈值下的动作帧数和候选视频片段的帧数的比值,将比值小于或等于预设比值对应的候选阈值中的任意一个作为动作阈值。
在一个实施例中,获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,包括:获取待检测的视频片段,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像;获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,获取每张滤波图像对应的相对温度图像;将相对温度图像中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧。
在一个实施例中,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像,包括:获取预设的高斯核;根据递增的时间戳信息对视频片段的每帧,使用高斯核以预设遍历方向对每帧中每个像素点的第一温度值进行加权平均求和,获取滤波后每帧对应的滤波图像。
在一个实施例中,获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,获取每张滤波图像对应的相对温度图像,包括:获取每张滤波图像中每个像素点的第二温度值,第二温度值为对第一温度值进行滤波后得到的温度值,对滤波图像内的第二温度值取预设比值的分位数以获取每张滤波图像的温度基准值;在每张滤波图像内,作每个像素点的第二温度值与温度基准值的差值,以获取每张滤波图像对应的相对温度图像。
一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如下步骤:获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图;根据帧差图内每个像素点的温度值计算帧差图的标准差;获取预设的动作阈值,比较标准差是否大于或等于动作阈值;若标准差大于或等于动作阈值,则确定初始帧和当前检测帧为一组动作帧,动作帧为视频片段内发生物体动作的帧,将当前检测帧作为初始帧,且将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧;若标准差小于动作阈值,则确定初始帧和当前检测帧不为一组动作帧,将当前检测帧的下一帧作为当前检测帧,返回执行作初始帧内每一像素点的温度值和当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至当前检测帧为视频片段的最后一帧。
在一个实施例中,在将当前检测帧的下一帧作为当前检测帧之前,还包括:获取视频片段的允许延迟帧数,统计当前检测帧的下一帧相对于初始帧的实时延迟帧数;当实时延迟帧数大于允许延迟帧数时,将当前检测帧作为初始帧,继续执行将当前检测帧的下一帧作为当前检测帧的步骤;当实时延迟帧数小于或等于允许延迟帧数时,继续执行将当前检测帧的下一帧作为当前检测帧的步骤。
在一个实施例中,获取视频片段的允许延迟帧数,包括:获取视频片段的视频帧率,根据视频帧率确定视频片段的允许延迟帧数。
在一个实施例中,获取预设的动作阈值,包括:获取一段为候选视频片段,根据候选视频片段的每相邻两帧内像素点的温度值计算候选视频片段的若干个候选帧差图;根据若干个候选帧差图内每个像素点的温度值计算若干个候选帧差图内温度值的候选标准差;取若干个候选阈值,根据候选标准差和若干个候选阈值计算不同候选阈值下的动作帧数;计算不同候选阈值下的动作帧数和候选视频片段的帧数的比值,将比值小于或等于预设比值对应的候选阈值中的任意一个作为动作阈值。
在一个实施例中,获取待检测的视频片段,将视频片段中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧,包括:获取待检测的视频片段,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像;获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,获取每张滤波图像对应的相对温度图像;将相对温度图像中的第一帧作为初始帧,将初始帧的下一帧作为当前检测帧。
在一个实施例中,根据递增的时间戳信息对视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后待检测的视频片段的每帧对应的滤波图像,包括:获取预设的高斯核;根据递增的时间戳信息对视频片段的每帧,使用高斯核以预设遍历方向对每帧中每个像素点的第一温度值进行加权平均求和,获取滤波后每帧对应的滤波图像。
在一个实施例中,获取每张滤波图像的温度基准值,根据温度基准值去除每张滤波图像中的环境温度干扰,获取每张滤波图像对应的相对温度图像,包括:获取每张滤波图像中每个像素点的第二温度值,第二温度值为对第一温度值进行滤波后得到的温度值,对滤波图像内的第二温度值取预设比值的分位数以获取每张滤波图像的温度基准值;在每张滤波图像内,作每个像素点的第二温度值与温度基准值的差值,以获取每张滤波图像对应的相对温度图像。
需要说明的是,上述运动检测方法、装置、设备及计算机可读存储介质属于一个总的发明构思,运动检测方法、装置、设备及计算机可读存储介质实施例中的内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种运动检测方法,其特征在于,所述方法包括:
获取待检测的视频片段,所述待检测的视频片段为热红外线视频片段,将所述视频片段中的第一帧作为初始帧,将所述初始帧的下一帧作为当前检测帧,作所述初始帧内每一像素点的温度值和所述当前检测帧内同一像素点的温度值的差值,得到帧差图;
根据所述帧差图内每个像素点的温度值计算所述帧差图内温度值的标准差;
获取预设的动作阈值,比较所述标准差是否大于或等于所述动作阈值;
若所述标准差大于或等于所述动作阈值,则确定所述初始帧和所述当前检测帧为一组动作帧,所述动作帧为所述视频片段内发生物体动作的帧,将所述当前检测帧作为所述初始帧,且将所述当前检测帧的下一帧作为当前检测帧,返回执行所述作所述初始帧内每一像素点的温度值和所述当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至所述当前检测帧为所述视频片段的最后一帧;
若所述标准差小于所述动作阈值,则确定所述初始帧和所述当前检测帧不为一组动作帧,将所述当前检测帧的下一帧作为当前检测帧,返回执行所述作所述初始帧内每一像素点的温度值和所述当前检测帧内同一像素点的温度值的差值,得到帧差图的步骤及后续步骤,直至所述当前检测帧为所述视频片段的最后一帧。
2.根据权利要求1所述的方法,其特征在于,在所述将所述当前检测帧的下一帧作为当前检测帧之前,还包括:
获取所述视频片段的允许延迟帧数,统计所述当前检测帧的下一帧相对于所述初始帧的实时延迟帧数;
当所述实时延迟帧数大于所述允许延迟帧数时,将所述当前检测帧作为所述初始帧,继续执行所述将所述当前检测帧的下一帧作为当前检测帧的步骤;
当所述实时延迟帧数小于或等于所述允许延迟帧数时,继续执行所述将所述当前检测帧的下一帧作为当前检测帧的步骤。
3.根据权利要求2所述的方法,其特征在于,所述获取所述视频片段的允许延迟帧数,包括:
获取所述视频片段的视频帧率,根据所述视频帧率确定所述视频片段的允许延迟帧数。
4.根据权利要求1所述的方法,其特征在于,所述获取预设的动作阈值,包括:
获取一段候选视频片段,根据所述候选视频片段的每相邻两帧内像素点的温度值计算所述候选视频片段的若干个候选帧差图;
根据所述若干个候选帧差图内每个像素点的温度值计算所述若干个候选帧差图内温度值的候选标准差;
取若干个候选阈值,根据所述候选标准差和所述若干个候选阈值计算不同候选阈值下的动作帧数;
计算所述不同候选阈值下的动作帧数和候选视频片段的帧数的比值,将所述比值小于或等于预设比值对应的候选阈值中的任意一个作为所述动作阈值。
5.根据权利要求1所述的方法,其特征在于,所述获取待检测的视频片段,将所述视频片段中的第一帧作为初始帧,将所述初始帧的下一帧作为当前检测帧,包括:
获取待检测的视频片段,根据递增的时间戳信息对所述视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后所述待检测的视频片段的每帧对应的滤波图像;
获取每张滤波图像的温度基准值,根据所述温度基准值去除所述每张滤波图像中的环境温度干扰,以获取所述每张滤波图像对应的相对温度图像,其中,所述温度基准值为根据预设比值的分位数确定的温度值,所述相对温度图像中每帧的像素点均为温度值;
将所述相对温度图像中的第一帧作为所述初始帧,将所述初始帧的下一帧作为所述当前检测帧。
6.根据权利要求5所述的方法,其特征在于,所述根据递增的时间戳信息对所述视频片段的每帧中每个像素点的第一温度值进行滤波,获取滤波后所述待检测的视频片段的每帧对应的滤波图像,包括:
获取预设的高斯核;
根据递增的时间戳信息对所述视频片段的每帧,使用所述高斯核以预设遍历方向对每帧中每个像素点的第一温度值进行加权平均求和,获取滤波后每帧对应的滤波图像。
7.根据权利要求5所述的方法,其特征在于,所述获取每张所述滤波图像的温度基准值,根据所述温度基准值去除每张所述滤波图像中的环境温度干扰,获取每张所述滤波图像对应的相对温度图像,包括:
获取所述每张滤波图像中每个像素点的第二温度值,所述第二温度值为对所述第一温度值进行滤波后得到的温度值,对所述滤波图像内的第二温度值取预设比值的分位数以获取每张所述滤波图像的温度基准值;
在每张所述滤波图像内,作每个像素点的第二温度值与所述温度基准值的差值,以获取每张所述滤波图像对应的相对温度图像。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
9.一种运动检测设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202110594009.XA 2021-05-28 2021-05-28 运动检测方法、设备和介质 Active CN113421282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110594009.XA CN113421282B (zh) 2021-05-28 2021-05-28 运动检测方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110594009.XA CN113421282B (zh) 2021-05-28 2021-05-28 运动检测方法、设备和介质

Publications (2)

Publication Number Publication Date
CN113421282A CN113421282A (zh) 2021-09-21
CN113421282B true CN113421282B (zh) 2022-11-18

Family

ID=77713198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110594009.XA Active CN113421282B (zh) 2021-05-28 2021-05-28 运动检测方法、设备和介质

Country Status (1)

Country Link
CN (1) CN113421282B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289819B (zh) * 2011-07-27 2013-05-08 中国电子科技集团公司第二十八研究所 一种背景自适应估计的红外运动目标实时检测方法
WO2014101803A1 (zh) * 2012-12-27 2014-07-03 Wang Hao 红外选择装置和红外选择方法
US9693078B2 (en) * 2014-07-09 2017-06-27 Interra Systems, Inc. Methods and systems for detecting block errors in a video
US10375325B2 (en) * 2016-06-23 2019-08-06 Fluke Corporation Thermal anomaly detection
CN106851050B (zh) * 2017-03-13 2020-04-24 Oppo广东移动通信有限公司 运动检测方法和装置、移动设备
CN109670388B (zh) * 2017-10-17 2021-04-23 杭州萤石网络有限公司 一种目标行为检测方法、装置、电子设备及存储介质
CN108596944B (zh) * 2018-04-25 2021-05-07 普联技术有限公司 一种提取运动目标的方法、装置及终端设备
CN110568515B (zh) * 2019-08-26 2022-05-31 深圳市枫芒科技有限公司 基于红外阵列的人体存在检测方法、装置、存储介质

Also Published As

Publication number Publication date
CN113421282A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN110245662B (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN108446585B (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN109034078B (zh) 年龄识别模型的训练方法、年龄识别方法及相关设备
CN111402294B (zh) 目标跟踪方法、装置、计算机可读存储介质和计算机设备
CN112560796B (zh) 人体姿态实时检测方法、装置、计算机设备及存储介质
JP7101805B2 (ja) ビデオ異常検出のためのシステム及び方法
CN111242128B (zh) 目标检测方法、装置、计算机可读存储介质和计算机设备
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN111507298B (zh) 人脸检测方法、装置、计算机设备和存储介质
CN109308704B (zh) 背景剔除方法、装置、计算机设备及存储介质
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN112183252A (zh) 视频的动作识别方法、装置、计算机设备和存储介质
CN111091146B (zh) 图片相似度获取方法、装置、计算机设备及存储介质
CN110223309B (zh) 边缘检测方法、装置、计算机设备及存储介质
CN112232140A (zh) 人群计数方法、装置、电子设备及计算机存储介质
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN112204957A (zh) 白平衡处理方法和设备、可移动平台、相机
CN113421282B (zh) 运动检测方法、设备和介质
CN109063601B (zh) 唇纹检测方法、装置、计算机设备和存储介质
CN116612498A (zh) 一种鸟类识别模型训练方法、鸟类识别方法、装置及设备
CN115272952A (zh) 新能源基建的安全监控方法、装置、系统和存储介质
CN114170090A (zh) 一种由模糊监控视频重建高分辨率图像的方法与系统
CN113570003A (zh) 基于注意力机制的特征融合缺陷检测方法及装置
CN111462059A (zh) 胎儿超声图像智能目标检测的并行处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant