CN113469021A - 视频处理及装置、电子设备及计算机可读存储介质 - Google Patents

视频处理及装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113469021A
CN113469021A CN202110730209.3A CN202110730209A CN113469021A CN 113469021 A CN113469021 A CN 113469021A CN 202110730209 A CN202110730209 A CN 202110730209A CN 113469021 A CN113469021 A CN 113469021A
Authority
CN
China
Prior art keywords
event
video
processed
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110730209.3A
Other languages
English (en)
Inventor
张鑫
曹理
刘守衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110730209.3A priority Critical patent/CN113469021A/zh
Publication of CN113469021A publication Critical patent/CN113469021A/zh
Priority to PCT/CN2021/125345 priority patent/WO2023273029A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种视频处理及装置、电子设备及计算机可读存储介质。该方法包括:获取第一待处理视频、第一事件检测模型和目标位置,所述目标位置为所述第一事件的发生区域在所述第一待处理视频中的位置;依据所述目标位置从所述第一待处理视频中确定有效区域;利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果。

Description

视频处理及装置、电子设备及计算机可读存储介质
技术领域
本申请涉及安防技术领域,尤其涉及一种视频处理及装置、电子设备及计算机可读存储介质。
背景技术
随着计算视觉技术的快速发展,计算机视觉模型的应用越来越广。目前,越来越多的人们使用计算机视觉模型对图像进行处理进行事件检测,但基于目标的方法使用计算机视觉模型进行事件检测所带来的数据处理量大。
发明内容
本申请提供一种视频处理及装置、电子设备及计算机可读存储介质。
本申请提供了一种视频处理方法,所述方法包括:
获取第一待处理视频、第一事件检测模型和目标位置,所述目标位置为所述第一事件的发生区域在所述第一待处理视频中的位置;
依据所述目标位置从所述第一待处理视频中确定有效区域;
利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果。
结合本申请任一实施方式,所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果,包括:
利用所述第一事件检测模型从所述有效区域内确定待确认对象;
在确定所述待确认对象满足第一事件发生条件的情况下,确定所述第一事件已发生;
在确定所述待确认对象不满足所述第一事件发生条件的情况下,确定所述第一事件未发生;
其中,所述第一事件发生条件包括所述待确认对象为所述第一事件的主体。
结合本申请任一实施方式,所述第一事件发生条件还包括所述待确认对象在所述有效区域内的持续时长大于最小时长。
结合本申请任一实施方式,所述利用所述第一事件检测模型检测所述有效区域内第一事件之前,所述方法还包括:
依据所述第一待处理视频中的至少两张图像,确定所述有效区域内的像素点的变化,得到像素点监测结果;
所述利用所述第一事件检测模型检测所述有效区域内第一事件,包括:
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下,执行所述利用所述第一事件检测模型对所述有效区域进行处理的步骤。
结合本申请任一实施方式,所述在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下之后,所述执行所述利用所述第一事件检测模型检测所述有效区域内第一事件的步骤之前,所述方法还包括:
确定所述有效区域内的所述待确认对象的尺寸;
所述在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下,执行所述利用所述第一事件检测模型检测所述有效区域内第一事件的步骤,包括:
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化,且所述待确认对象的尺寸处于预设范围内的情况下,执行所述利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤。
结合本申请任一实施方式,所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果之前,所述方法还包括:
获取第二事件检测模型,所述第二事件检测模型用于检测第二事件,所述第二事件与所述第一事件不同;
所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果,包括:
调用目标硬件资源,执行利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤,得到所述第一事件的第一检测结果;
所述方法还包括:
调用所述目标硬件资源,执行利用所述第二事件检测模型检测所述第一待处理视频的第二事件的步骤,得到所述第二事件的检测结果。
结合本申请任一实施方式,在所述第一事件已发生的情况下,所述方法还包括:
从所述第一待处理视频中确定包含所述第一事件的至少一帧第一图像,所述至少一帧第一图像包括第二图像;
在确定所述第二图像符合推送条件的情况下,推送所述第一检测结果和所述第一图像,所述推送条件包括以下至少一个:图像尺寸大于预设尺寸、图像分辨率高于预设分辨率。
结合本申请任一实施方式,所述方法还包括:
获取所述第一事件的第二检测结果,所述第二检测结果通过利用所述第一事件检测模型对第二待处理视频进行处理得到,所述第一待处理视频和所述第二待处理视频为同一成像设备在不同时间对同一场景进行拍摄得到的视频,所述第二检测结果包括所述第一事件已发生;
确定所述第二待处理视频中包含所述第一事件的至少一帧第三图像,所述至少一帧第三图像包括第四图像;
对所述第二图像进行目标检测处理,得到包含所述第一事件的主体的第一检测框;
对所述第四图像进行目标检测处理,得到包含所述第一事件的主体的第二检测框;
合并所述第一检测框和所述第二检测框,得到更新后的有效区域。
本申请还提供了一种视频处理装置,所述装置包括:
获取单元,用于获取第一待处理视频、第一事件检测模型和目标位置,所述目标位置为所述第一事件的发生区域在所述第一待处理视频中的位置;
第一处理单元,用于依据所述目标位置从所述第一待处理视频中确定有效区域;
第二处理单元,用于利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果。
结合本申请任一实施方式,所述第二处理单元,用于:
利用所述第一事件检测模型从所述有效区域内确定待确认对象;
在确定所述待确认对象满足第一事件发生条件的情况下,确定所述第一事件已发生;
在确定所述待确认对象不满足所述第一事件发生条件的情况下,确定所述第一事件未发生;
其中,所述第一事件发生条件包括所述待确认对象为所述第一事件的主体。
结合本申请任一实施方式,所述第一事件发生条件还包括所述待确认对象在所述有效区域内的持续时长大于最小时长。
结合本申请任一实施方式,所述视频处理装置还包括:第三处理单元,用于在所述利用所述第一事件检测模型检测所述有效区域内第一事件之前,依据所述第一待处理视频中的至少两张图像,确定所述有效区域内的像素点的变化,得到像素点监测结果;
所述第二处理单元,用于:
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下,执行所述利用所述第一事件检测模型对所述有效区域进行处理的步骤。
结合本申请任一实施方式,所述第二处理单元,还用于所述在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下之后,所述执行所述利用所述第一事件检测模型检测所述有效区域内第一事件的步骤之前,确定所述有效区域内的所述待确认对象的尺寸;
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化,且所述待确认对象的尺寸处于预设范围内的情况下,执行所述利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤。
结合本申请任一实施方式,所述获取单元,还用于在所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果之前,获取第二事件检测模型,所述第二事件检测模型用于检测第二事件,所述第二事件与所述第一事件不同;
所述第二处理单元,用于:
调用目标硬件资源,执行利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤,得到所述第一事件的第一检测结果;
所述视频处理装置还包括:
调用单元,用于调用所述目标硬件资源,执行利用所述第二事件检测模型检测所述第一待处理视频的第二事件的步骤,得到所述第二事件的检测结果。
结合本申请任一实施方式,所述视频处理装置:第四处理单元,用于在所述第一事件已发生的情况下,从所述第一待处理视频中确定包含所述第一事件的至少一帧第一图像,所述至少一帧第一图像包括第二图像;
推送单元,用于在确定所述第二图像符合推送条件的情况下,推送所述第一检测结果和所述第一图像,所述推送条件包括以下至少一个:图像尺寸大于预设尺寸、图像分辨率高于预设分辨率。
结合本申请任一实施方式,所述获取单元还用于:
获取所述第一事件的第二检测结果,所述第二检测结果通过利用所述第一事件检测模型对第二待处理视频进行处理得到,所述第一待处理视频和所述第二待处理视频为同一成像设备在不同时间对同一场景进行拍摄得到的视频,所述第二检测结果包括所述第一事件已发生;
所述第一处理单元,还用于确定所述第二待处理视频中包含所述第一事件的至少一帧第三图像,所述至少一帧第三图像包括第四图像;
所述第一处理单元,还用于对所述第二图像进行目标检测处理,得到包含所述第一事件的主体的第一检测框;
所述第一处理单元,还用于对所述第四图像进行目标检测处理,得到包含所述第一事件的主体的第二检测框;
所述第一处理单元,还用于合并所述第一检测框和所述第二检测框,得到更新后的有效区域。
本申请还提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述视频处理方法及其任意一种实施方式的方法。
本申请还提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述视频处理方法及其任意一种实施方式的方法。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述视频处理方法及其任意一种实施方式的方法。
本申请还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行如上述视频处理方法及其任意一种实施方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种像素坐标系示意图;
图2为本申请实施例提供的一种视频处理方法的流程示意图;
图3为本申请实施例提供的另一种视频处理方法的流程示意图;
图4为本申请实施例提供的一种视频处理装置的结构示意图;
图5为本申请实施例提供的一种视频处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
随着计算视觉技术的快速发展,各种具备不同功能的计算机视觉模型应运而生,例如,人脸识别模型可用于进行人脸识别,物体检测模型可用于检测物体,动作监测模型可用于监测是否发生特定动作。
基于此,电子设备使用计算机视觉模型对图像进行处理,可确定图像中是否有特定事件发生,其中,上述特定事件包括:抽烟、垃圾满溢、打架斗殴等等。
传统方法使用计算机视觉模型对整张图像进行处理,得到特定事件的检测结果。但由于特定事件是在固定区域内发生的(如禁止抽烟区域、垃圾满溢区域),对整张图像进行处理导致数据处理量大。基于此,本申请实施例提供了一种技术方案,以降低检测特定事件时的数据处理量。
为表述方便,下文中出现的视频中的位置均指视频所包含的图像中的位置,图像中的位置均指图像的像素坐标下的位置。本申请实施例中的像素坐标系的横坐标用于表示像素点所在的列数,像素坐标系下的纵坐标用于表示像素点所在的行数。例如,在图1所示的图像中,以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向,构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如,图1中的像素点A11的坐标为(1,1),像素点A23的坐标为(3,2),像素点A42的坐标为(2,4),像素点A34的坐标为(4,3)。
本申请实施例的执行主体为视频处理装置,其中,视频处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,视频处理装置可以是以下中的一种:手机、计算机、平板电脑、可穿戴智能设备。
应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图2,图2是本申请实施例提供的一种视频处理方法的流程示意图。
201、获取第一待处理视频、第一事件检测模型和目标位置,上述目标位置为上述第一事件的发生区域在上述第一待处理视频中的位置。
本申请实施例中,第一待处理视频可以是离线视频,也可以是在线视频。其中,离线视频可以是通过摄像头或移动智能设备采集获得的视频。在线视频可以是摄像头实时获得视频,例如,视频处理装置可与一个或一个以上摄像头之间具有通信连接,视频处理装置可将从摄像头获取的实时采集的视频作为第一待处理视频。
在一种获取第一待处理视频的实现方式中,视频处理装置将用户通过输入组件输入的视频作为第一待处理视频。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器。
在另一种获取第一待处理视频的实现方式中,视频处理装置接收终端发送的视频作为第一待处理视频。上述终端可以是以下任意一种:手机、计算机、平板电脑、服务器。
本申请实施例中,事件(包括上述第一事件和下文将要提及的第二事件)可以是任意事件。例如,事件可以是抽烟;又例如,事件可以是有烟火存在;再例如,事件可以是垃圾满溢;再例如,事件可以是猫或狗入侵。
本申请实施例中,事件检测模型(包括上述第一事件检测模型和下文将要提及的第二事件检测模型)均为可以实现事件检测的基于深度学习的神经网络模型,利用事件检测模型对视频进行处理,可检测视频中是否包含事件,事件检测模型在此不一一列举。
例如,事件检测模型可以检测视频中是否存在人员聚集事件;又例如,事件检测模型可以检测视频中是否存在垃圾满溢事件;再例如,事件检测模型既可检测视频中是否出在垃圾满溢事件,又可检测视频中是否存在违章停车事件。
在一种获取第一事件检测模型的实现方式中,视频处理装置将用户通过输入组件输入的第一事件检测模型作为第一事件检测模型。
在另一种获取第一事件检测模型的实现方式中,视频处理装置接收终端发送的第一事件检测模型作为第一事件检测模型。
本申请实施例中,目标位置为第一事件的发生区域在第一待处理视频中的位置。例如,第一事件为违章停车,那么第一事件的发生区域为违章停车区域,目标位置为违章停车区域在第一待处理视频中的位置。又例如,第一事件为猫或狗入侵,那么第一事件的发生区域为入侵区域,目标位置为入侵区域在第一待处理视频中的位置。
在一种获取目标位置的实现方式中,视频处理装置将用户通过输入组件输入的目标位置作为目标位置。
在另一种获取目标位置的实现方式中,视频处理装置接收终端发送的目标位置作为目标位置。
应理解,在本申请实施例中,获取第一待处理视频流、获取第一事件检测模型、获取目标位置可以分开执行,也可以同时执行。
202、依据上述目标位置从上述第一待处理视频中确定有效区域。
本申请实施例中,有效区域为第一待处理视频中的像素点区域,有效区域的形状可以是任意形状。
在一种可能实现的方式中,有效区域的形状为圆形,目标位置包括圆心的位置以及半径。视频处理装置依据目标位置从待处理视频中确定有效区域。
在另一种可能实现的方式中,有效区域的形状为矩形,目标位置包括矩形的四个顶点的坐标。视频处理装置依据目标位置从待处理视频中确定有效区域。
在又一种可能实现的方式中,有效区域的形状为不规则多边形,目标位置包括不规则多边形的所有顶点的坐标。视频处理装置依据目标位置从待处理视频中确定有效区域。
由于目标位置为第一事件的发生区域在待处理视频中的位置,视频处理装置依据目标位置从待处理视频中确定的有效区域,为第一事件的发生区域在待处理视频中的位置。
203、利用上述第一事件检测模型检测上述有效区域内的第一事件,得到上述第一事件的第一检测结果。
本申请实施例中,第一事件可以是任意事件。视频处理装置利用第一事件检测模型检测有效区域内的第一事件,确定有效区域内是否存在第一事件,即确定第一待处理视频中是否存在第一事件。因此,第一检测结果包括第一事件已发生或第一事件未发生。具体的,在确定有效区域内存在第一事件的情况下,第一检测结果包括第一事件已发生;在确定有效区域内不存在第一事件的情况下,第一检测结果包括第一事件未发生。
本实施例中,由于有效区域为待处理视频中的第一事件的发生区域,视频处理装置利用第一事件检测模型对有效区域进行处理,即可确定第一待处理视频中是否存在第一事件。这样,视频处理装置无需对第一待处理视频中除有效区域之外的像素点区域进行处理量,进而可减少数据处理量,提高处理速度以及减少得到第一检测结果所耗费的硬件资源。同时,还可降低第一待处理视频中除有效区域之外的像素点区域对第一检测结果的干扰,从而提高第一检测结果的准确度。
应理解,本实施例中的第一待处理视频和第一事件仅为示例,不应理解为视频处理装置仅可检测一个视频中是否存在一个事件,在实际应用中,视频处理装置可同时检测一个视频中是否存在两个或两个以上事件。
本实施例中,第一待处理视频中的有效区域也仅为示例,不应理解为一个视频中仅有一个事件的发生区域,在实际应用中,视频处理装置可从一个视频中确定两个或两个以上事件的发生区域。可选的,不同事件的发生区域可以相同,即不同事件在视频中的有效区域可以相同。
作为一种可选的实施方式,视频处理装置在执行步骤203的过程中执行以下步骤:
1、利用上述第一事件检测模型从上述有效区域内确定待确认对象。
本实施方式中,待确认对象包括可能是第一事件的发生主体的物体,待确认对象可以是任意物体。例如,待确认对象是人。又例如,待确认对象是车辆。再例如,待确认对象是动物。
视频处理装置利用第一事件检测模型对有效区域进行处理,可确定有效区域内是否存在待确认对象,并在确定有效区域内存在待确认对象的情况下,确定待确认对象在有效区域中的位置。
在执行完步骤1后,视频处理装置通过执行以下中的一个步骤确定第一检测结果:
2、在确定上述待确认对象满足第一事件发生条件的情况下,确定上述第一事件已发生。
3、在确定上述待确认对象不满足上述第一事件发生条件的情况下,确定上述第一事件未发生。
本实施方式中,第一事件发生条件包括待确认对象为第一事件的主体。例如,第一事件为猫或狗进入室内,那么第一事件的主体是猫,或第一事件的主体为狗。又例如,第一事件为打架斗殴,那么第一事件的主体为人。
由于第一事件的主体未处于有效区域,第一事件是不可能发生的,视频处理装置将有效区域内的待确认对象为第一事件的主体作为第一事件的发生条件,进而通过判断有效区域内的待确认对象是否为第一事件的主体,判断第一事件是否发生,从而降低误检测率。
例如,第一事件为猫进入室内。此时第一事件的主体为猫,有效区域为室内。若人作为待确认对象进行室内,而视频处理装置不确定待确认对象是否为猫,那么将第一检测结果误检测为第一事件已发生。
若视频处理装置在确定待确认对象进入有效区域(即室内),但确认待确认对象不是猫的情况下,可避免将第一检测结果误检测为第一事件已发生。
本实施方式中,视频处理装置在确定待确认对象满足第一事件发生条件的情况下,确定第一事件已发生,即第一事件的第一检测结果包括第一事件已发生;视频处理装置在确定待确认对象不满足第一事件发生条件的情况下,确定第一事件未发生,即第一事件的第一检测结果包括第一事件未发生。
作为一种可选的实施方式,上述第一事件发生条件还包括上述待确认对象在上述有效区域内的持续时长大于最小时长。
本实施方式中,最小时长的具体取值可依据实际需求确定,本申请对此不作限定。
一方面,由于第一待处理视频中每两帧图像之间的时间间隔较短,第一事件发生条件不仅包括有效区域内的待确认对象为第一事件的主体,还包括待确认对象在有效区域内的持续时长大于最小时长,可降低误检测率,提高第一检测结果的准确度。
例如,第一事件为打架斗殴。在第一待处理视频的图像a中,人物A和人物B拥抱在一起。视频处理装置确定在第一待处理视频的图像a中,人物A和人物B有打架行为,进而确定第一检测结果包括打架斗殴已发生。由于人物A和人物B只是拥抱,并没有打架斗殴,第一检测结果是错误的。
若将待确认对象在有效区域内的持续时长大于最小时长作为第一事件发生条件,那么视频处理装置将通过对最小时长内的图像进行处理,确定人物A和人物B是否有打架行为,从而降低误检测率,提高第一检测结果的准确度。
如,最小时长为0.1秒,第一待处理视频中每秒包括30帧图像。且在第一待处理视频中,图像a的下一帧为图像b,图像b的下一帧为图像c。那么视频处理装置在确定图像a中包含打架斗殴事件后,通过对图像a、图像b和图像c进行处理,利用图像a所携带的信息、图像b所携带的信息、图像c所携带的信息以及图像a、图像b和图像c在时间维度上的信息,确定人物A和人物B是否打架斗殴。
另一方面,第一事件发生的前提可能包括主体在第一事件发生区域内发生某种行为持续一段时间。例如,第一事件为违章停车。判断车辆是否违章停车的依据是,车辆在违章停车区域内的时间是否超过违停时间。
因此,视频处理装置将待确认对象在有效区域内的持续时长大于最小时长作为第一事件发生条件,可提高第一检测结果的准确度。
作为一种可选的实施方式,视频处理装置在执行利用第一事件检测模型检测有效区域内的第一事件的步骤之前,还执行以下步骤:
4、依据上述第一待处理视频中的至少两张图像,确定上述有效区域内的像素点的变化,得到像素点监测结果。
本实施方式中,像素点监测结果包括有效区域内的像素点已发生变化或有效区域内的像素点未发生变化。
在一种可能实现的方式中,视频处理装置在确定有效区域内存在像素点变化的情况下,确定像素点监测结果包括有效区域内的像素点已发生变化;视频处理装置在确定有效区域内不存在像素点变化的情况下,确定像素点监测结果包括有效区域内的像素点未发生变化。
例如,第一待处理视频包括图像a和图像b。在图像a中,有效区域包括像素点A、像素点B、像素点C、像素点D。在图像b中,有效区域包括像素点A、像素点B、像素点C、像素点E。其中,像素点D的像素值和像素点E的像素值不同。此时,视频处理装置可依据图像a和图像b确定有效区域内的像素点已发生变化。
又例如,第一待处理视频包括图像a和图像b。在图像a中,有效区域包括像素点A、像素点B、像素点C、像素点D。在图像b中,有效区域包括像素点A、像素点B、像素点C、像素点D。此时,视频处理装置可依据图像a和图像b确定有效区域内的像素点未发生变化。
可选的,像素点的变化包括像素点的像素值的变化。在有效区域内存在像素点的像素值发生改变的情况下,确定有效区域内存在像素点发生变化,进而可确定像素点监测结果包括有效区域内的像素点已发生变化;在有效区域内不存在像素点的像素值发生改变的情况下,确定有效区域内不存在像素点发生变化,进而可确定像素点监测结果包括有效区域内的像素点未发生变化。
在另一种可能实现的方式中,视频处理装置在确定有效区域内发生变化的像素点数量大于数量阈值的情况下,确定像素点监测结果包括有效区域内的像素点已发生变化;视频处理装置在确定有效区域内发生变化的像素点数量小于或等于数量阈值的情况下,确定像素点监测结果包括有效区域内的像素点未发生变化。
在得到像素点监测结果后,视频处理装置在执行利用第一事件检测模型检测有效区域内的第一事件的步骤的过程中执行以下步骤:
5、在确定上述像素点监测结果包括上述有效区域内的像素点已发生变化的情况下,执行上述利用上述第一事件检测模型检测上述有效区域内的第一事件的步骤。
由于第一事件发生时第一事件的主体在有效区域内,而第一事件的主体进入有效区域会引起有效区域内的像素点发生变化,视频处理装置在确定有效区域内的像素点已发生变化的情况下,利用上述第一事件检测模型检测上述有效区域内的第一事件,可减少数据处理量,提高处理速度。
作为一种可选的实施方式,视频处理装置在确定上述像素点监测结果包括上述有效区域内的像素点已发生变化的情况下之后,在执行上述利用上述第一事件检测模型检测上述有效区域内的第一事件的步骤之前,还执行以下步骤:
6、确定上述有效区域内的上述待确认对象的尺寸。
由于在某些场景下,采集第一待处理视频的摄像头的位置是固定的,这样,在第一待处理视频中,第一事件的主体的尺寸是处于一个固定范围内的,本申请实施例中,将该固定范围称为预设范围。
例如,在通过路口的监控摄像头采集到的第一待处理视频中,人的高度最小为5个像素点、最大为15个像素点,此时,高度范围为[5,15]。又例如,在通过路口的监控摄像头采集到的第一待处理视频中,车辆的宽度最小为10个像素点、最大为20个像素点,此时,尺寸范围为[10,20]。
视频处理装置通过对第一待处理视频进行对象检测处理,可得到待确认对象在第一待处理视频中的尺寸。例如,在待确认对象为人的情况下,视频处理装置通过对第一待处理视频进行人物检测处理,可得到包含人的人物框,进而可依据人物框的尺寸得到人在第一待处理视频中的尺寸。又例如,在待确认对象为车辆的情况下,视频处理装置通过对第一待处理视频进行车辆检测处理,可得到包含车辆的车辆框,进而可依据车辆框的尺寸得到车辆在第一待处理视频中的尺寸。
可选的,视频处理装置在执行步骤6之前,可获取第一事件的主体在上述有效区域中的尺寸范围作为预设范围。
视频处理装置执行完步骤6后,在执行步骤5的过程中执行以下步骤:
7、在确定上述像素点监测结果包括上述有效区域内的像素点已发生变化,且上述待确认对象的尺寸处于预设范围内的情况下,执行上述利用上述第一事件检测模型检测上述有效区域内的第一事件的步骤。
考虑到第一事件的主体在有效区域内的尺寸处于预设范围内,若待确认对象的尺寸处于预设范围外,说明待确认对象不是第一事件的主体,进而无需利用第一事件检测模型对有效区域进行处理。若待确认对象的尺寸处于预设范围内,说明待确认对象不是第一事件的主体,因此,视频处理装置在确定像素点监测结果包括有效区域内的像素点已发生变化,且待确认对象的尺寸处于预设范围内的情况下,利用第一事件检测模型检测有效区域内的第一事件,得到第一检测结果。这样,可减少视频处理装置的数据处理量,提高处理速度。
作为一种可选的实施方式,视频处理装置在执行步骤203之前,还执行以下步骤:
8、获取第二事件检测模型,上述第二事件检测模型用于检测第二事件,上述第二事件与上述第一事件不同。
本实施方式中,第二事件和第一事件不同。例如,第一事件为抽烟,第二事件为猫进入室内。第二事件检测模型为用于检测第二事件的计算机视觉模型。
在一种获取第二事件检测模型的实现方式中,视频处理装置将用户通过输入组件输入的第二事件检测模型作为第二事件检测模型。
在另一种获取第二事件检测模型的实现方式中,视频处理装置接收终端发送的第二事件检测模型作为第二事件检测模型。
在执行完步骤8后,视频处理装置在执行步骤203的过程中执行以下步骤:
9、调用目标硬件资源,执行利用上述第一事件检测模型检测上述有效区域内的第一事件的步骤,得到上述第一事件的第一检测结果。
本实施方式中,目标硬件资源为视频处理装置中可执行计算机程序的硬件资源。例如,目标硬件资源可以是图形处理器(graphics processing unit,GPU)。
在执行完步骤9的过程中,视频处理装置还执行以下步骤:
10、调用上述目标硬件资源,执行利用上述第二事件检测模型检测上述第一待处理视频的第二事件的步骤,得到上述第二事件的检测结果。
在传统方法中,同一硬件资源只能用于检测同一事件,而不同事件的检测需要通过不同硬件资源实现。例如,视频处理装置包括1号GPU和2号GPU,现需要通过视频处理装置实现违章停车检测和打架斗殴检测,那么传统方法会通过1号GPU进行违章停车检测,并通过2号GPU进行打架斗殴检测。传统方法的这种处理方式导致视频处理装置的硬件资源利用率低。
在本实施方式中,目标硬件资源即可执行步骤8,又可执行步骤9。即目标硬件资源即可完成第一事件的检测,又可完成第二事件的检测。这样,可提高视频处理装置的硬件资源利用率。
作为一种可选的实施方式,视频处理装置在上述第一事件已发生的情况下,还执行以下步骤:
11、从上述第一待处理视频中确定包含上述第一事件的至少一帧第一图像,上述至少一帧第一图像包括第二图像。
本步骤中,在第一图像的数量为1的情况下,至少一帧第一图像即为第二图像。例如,视频处理装置确定第一待处理视频中的图像a包含第一事件,进而从第一待处理视频中确定图像a为第二图像。
在第一图像的数量大于1的情况下,第二图像为至少一帧第一图像中的任意一张图像。例如,视频处理装置确定第一待处理视频中的图像a和图像b包含第一事件,进而从第一待处理视频中确定图像a和图像b为至少一帧图像。此时,第二图像可以是图像a,第二图像也可以是图像b。
12、在确定上述第二图像符合推送条件的情况下,推送上述第一检测结果和上述第一图像,上述推送条件包括以下至少一个:图像尺寸大于预设尺寸、图像分辨率高于预设分辨率。
本实施方式中,视频处理装置在确定第一待处理视频中包含第一事件的情况下,可对第一检测结果和包含第一事件的图像进行推送,从而使相关人员及时获知第一事件的信息,并采取相应的措施管控第一事件。
例如,第一事件为猫进入咖啡馆。在视频处理装置检测到第一待处理视频中存在猫进入咖啡馆的事件时,视频处理装置可向咖啡馆管理员推送第一检测结果以及包含猫进入咖啡馆的图像。这样,咖啡馆管理员可及时制止猫进入咖啡馆。
又例如,第一事件为商场内打架斗殴。在视频处理装置检测到第一待处理视频中存在商场内打架斗殴的事件时,视频处理装置可向商场管理员推送第一检测结果以及包含打架斗殴的图像。这样,商场管理员可及时制止赶赴打架斗殴的地点,对打架斗殴事件进行管控。
考虑到视频处理装置推送的包含第一事件的图像是给相关人员进行研判的,若该图像的尺寸过小或过大、图像分辨率过低均不便于相关人员研判。因此,视频处理装置在推送第一检测结果和第一图像之前,可判断包含第一事件的图像是否满足推送条件。在包含第一事件的图像满足推送条件的情况下,推送第一事件的检测结果(即第一检测结果),可提高推送的图像与推送条件的匹配度,进而提升相关人员的研判效率。
应理解,本实施方式中的第二图像仅为示例,不应理解为视频处理装置仅判断第二图像是否符合推送条件,也不应理解为视频处理装置仅推送第二图像。在实际应用中,视频处理装置可分别判断包含第一事件的每一张图像是否满足推送条件,如果满足,可推送所有包含第一事件的图像。
作为一种可选的实施方式,视频处理装置还执行以下步骤:
13、获取上述第一事件的第二检测结果,上述第二检测结果通过利用上述第一事件检测模型对第二待处理视频进行处理得到,上述第一待处理视频和上述第二待处理视频为同一成像设备在不同时间对同一场景进行拍摄得到的视频,上述第二检测结果包括上述第一事件已发生。
本实施方式中,第一待处理视频和第二待处理视频为同一成像设备在不同时间对同一场景进行拍摄得到的视频,那么有效区域在第一待处理视频中的位置与有效区域在第二待处理视频中的位置相同。
在一种获取第一事件的第二检测结果的实现方式中,视频处理装置将用户通过输入组件输入的第二检测结果作为第二检测结果。
在另一种获取第一事件的第二检测结果的实现方式中,视频处理装置接收终端发送的第二检测结果作为第二检测结果。
14、确定上述第二待处理视频中包含上述第一事件的至少一帧第三图像,上述至少一帧第三图像包括第四图像。
本步骤中,在第三图像的数量为1的情况下,至少一帧第三图像即为第四图像。例如,视频处理装置确定第二待处理视频中的图像a包含第一事件,进而从第二待处理视频中确定图像a为第四图像。
在第三图像的数量大于1的情况下,第四图像为至少一帧第三图像中的任意一张图像。例如,视频处理装置确定第二待处理视频中的图像a和图像b包含第一事件,进而从第二待处理视频中确定图像a和图像b为至少一帧图像。此时,第四图像可以是图像a,第四图像也可以是图像b。
15、对上述第二图像进行目标检测处理,得到包含上述第一事件的主体的第一检测框。
本实施方式中,检测框(包括上述第一检测框和下文将要提及的第二检测框)均包含第一事件的主体,检测框可以是任意形状,本申请对检测框的形状不做限定。可选的,检测框的形状包括以下至少一种:矩形、菱形、圆形、椭圆形、多边形。
本实施方式中,目标检测处理用于检测第一事件的主体在视频中的位置。具体的,通过对图像进行目标检测处理,可得到检测框在图像中的位置。
在一种可能实现的方式中,目标检测处理可通过卷积神经网络实现。通过将带有标注信息的图像作为训练数据,对卷积神经网络进行训练,使训练后的卷积神经网络可完成对图像的目标检测处理。训练数据中的图像的标注信息为检测框的位置信息,该检测框包含第一事件的主体。
在另一种可能实现的方式中,目标检测处理可通过目标检测算法实现,其中,目标检测算法可以是以下中的一种:只需一眼算法(you only look once,YOLO)、目标检测算法(deformable part model,DMP)、单张图像多目标检测算法(single shot multiBoxdetector,SSD)、Faster-RCNN算法等等,本申请对实现目标检测处理的目标检测算法不做限定。
16、对上述第四图像进行目标检测处理,得到包含上述第一事件的主体的第二检测框。
17、合并上述第一检测框和上述第二检测框,得到更新后的有效区域。
由于第一事件的发生需要第一事件的主体参与,第一事件的主体出现过的区域即为第一事件的发生区域。又由于第一检测框和第二检测框均包含第一事件的主体,即第一检测框所包含的像素点区域和第二检测框所包含的像素点区域均为第一事件的主体所出现过的区域。因此,视频处理装置可通过合并第一检测框和第二检测框,得到更新后的有效区域,由此起到校正第一事件的发生区域在第一待处理视频(或第二待处理视频)中的位置,提高有效区域的准确度。
在一种可能实现的方式中,服务器与一个或一个以上监控摄像头之间存在通信连接,对一个或一个以上监控摄像头中的监控摄像头A所采集的第一待处理视频流进行处理的过程可参见图3。
如图3所示,在步骤301中,服务器通过切换台(Switcher)从一个或一个以上监控摄像头中选取监控摄像头A所采集的视频流作为第一待处理视频流。切换台并从服务器的数据库中查询第一待处理视频流的任务需求,其中,该任务需求包括事件检测任务。
例如,切换台从数据库中查询确定第一待处理视频流的任务需求包括抽烟检测、烟火检测、垃圾满溢检测和猫狗入侵检测。即需要检测第一待处理视频流中是否存在抽烟事件、否存在烟火、否存在垃圾满溢事件、否存在猫狗入侵事件。
可选的,服务器与监控摄像头之间基于实时流传输协议(real time streamingprotocol,RTSP)实现通信连接。
在步骤302中,服务器依据第一待处理视频流的任务需求从数据库中获取与第一待处理视频流对应的事件检测模型。
例如,若第一待处理视频流的任务需求包括抽烟检测、烟火检测、垃圾满溢检测和猫狗入侵检测,那么与第一待处理视频流对应的事件检测模型包括抽烟检测模型、烟火检测模型、垃圾满溢检测模型和猫狗入侵检测模型。
在步骤303中,切换台从数据库获取与任务需求中的待检测事件对应的有效区域,并依据任务需求和有效区域确定第一待处理视频流的检测任务。
例如,若第一待处理视频流的任务需求包括抽烟检测、烟火检测、垃圾满溢检测和猫狗入侵检测,切换台在步骤303中可从数据库获取抽烟事件的第一参考有效区域、烟火的第二参考有效区域、垃圾满溢事件的第二参考有效区域、猫狗入侵事件的第二参考有效区域。即烟火的有效区域、垃圾满溢事件的有效区域和猫狗入侵的有效区域均为第二参考有效区域。
切换台进而可确定第一待处理视频流的检测任务包括:第一事件检测任务、第二事件检测任务和第三事件检测任务,其中,第一事件检测任务包括利用抽烟检测模型检测第一参考有效区域内是否有抽烟事件;第二事件检测任务包括利用烟火检测模型检测第二参考有效区域内是否有烟火;第三事件检测任务包括利用垃圾满溢检测模型检测第二参考有效区域内是否有垃圾满溢事件,并利用猫狗入侵检测模型检测第二参考有效区域内是否有猫狗入侵事件。
在步骤304中,服务器对第一待处理视频流进行解码,得到一帧或一帧以上待处理图片。服务器将一帧或一帧以上待处理图片存储至分布式文件系统。可选的,分布式文件存储系统包括cepch。
在步骤304中,服务器将向事件检测任务发送相应的事件检测模型调用请求。例如,服务器将调用抽烟检测模型的请求发送至第一事件检测任务,将调用烟火检测模型的请求发送至第二事件检测任务,将调用垃圾满溢检测模型和猫狗入侵检测模型的请求发送至第三事件检测任务。
待执行检测任务在接收到事件检测模型调用请求后,依据模型调用请求调用步骤302获取到的事件检测模型,并对事件检测模型进行封装。其中,对事件检测模型进行封装指,在利用事件检测模型执行事件检测任务时,从硬件资源池中调用与待执行检测任务对应的硬件资源执行。
例如,第一事件检测任务在接收到事件检测模型调用请求后,依据该请求调用抽烟检测模型。若与第一事件检测任务对应的硬件资源为1号GPU,那么通过对抽烟检测模型进行封装,使在利用抽烟检测模型进行抽烟检测时,从硬件资源池中调用1号GPU执行抽烟检测。
应理解,待执行检测任务与硬件资源池中的硬件资源之间的对应关系为预先配置的。
在步骤305中,服务器利用事件检测模型对待处理图片进行处理得到检测结果。
可选的,服务器在步骤305中并行执行两个或两个以上待执行检测任务。
在一种可能实现的方式中,服务器从分布式文件系统读取待处理图片;利用抽烟检测模型对待处理图片中的第一参考有效区域进行处理,得到第一中间检测结果;利用烟火检测模型对待处理图片中的第二参考有效区域进行处理,得到第二中间检测结果。其中,第一中间检测结果包括第一参考有效区域内存在抽烟事件或第一参考有效区域内不存在抽烟事件。第二中间检测结果包括第二参考有效区域内存在烟火或第二参考有效区域内不存在烟火。
在另一种可能实现的方式中,服务器从分布式文件系统读取待处理图片;利用抽烟检测模型对待处理图片中的第一参考有效区域进行处理,得到第一中间检测结果;利用垃圾满溢检测模型和猫狗入侵检测模型对待处理图片中的第二参考有效区域进行处理,得到第三中间检测结果。其中,第一中间检测结果包括第一参考有效区域内存在抽烟事件或第一参考有效区域内不存在抽烟事件。第三中间检测结果包括第二参考有效区域内存在垃圾满溢事件和猫狗入侵;第三中间检测结果或包括第二参考有效区域内存在垃圾满溢事件,但不存在猫狗入侵;第三中间检测结果或包括第二参考有效区域内不存在垃圾满溢事件,但存在猫狗入侵;第三中间检测结果或包括第二参考有效区域内步存在垃圾满溢事件和猫狗入侵。
可选的,服务器可并行执行第一事件检测任务、第二事件检测任务和第三事件检测任务。
在利用事件检测模型对待处理图片进行处理得到检测结果后,服务器在步骤306中对检测结果进行校验。该校验过程可参见上述步骤10和步骤11,此处将不再赘述。
在通过执行完步骤306确定检测结果满足推送条件(即检测结果通过校验)的情况下,在分布式文件系统内推送检测结果。可选的,服务器通过高吞吐量的分布式发布订阅消息系统(kafka)在分布式文件系统内推送检测结果。
可选的,服务器还可在确定检测结果满足推送条件的情况下,向电子设备和第三方平台(例如物业管理平台等)推送检测结果。
基于本申请实施例提供的技术方案,本申请还提供了一种可能的应用场景。
随着越监控摄像头的增多,相关电子设备可通过对监控摄像头采集到的视频流进行处理,从而监测是否有特定事件发生,由此减少公共安全事故的发生。
例如,A地管理中心有一台服务器,该服务器与A地的监控摄像头之间具有通信连接。服务器通过该通信连接可获取到监控摄像头采集到的视频流。管理中心的工作人员想通过该服务器监测监控摄像头所拍摄的画面中是否有垃圾满溢的事件发生。
工作人员可向服务器输入垃圾满溢事件的发生区域在监控摄像头所拍摄的画面中的位置,作为第一应用位置。服务器从数据库中获取垃圾满溢检测模型,并依据本申请实施例提供的技术方案,利用垃圾满溢检测模型对监控摄像头采集到的视频流进行处理,以监测依据第一应用位置确定的第一应用有效区域内是否有垃圾满溢的事件发生。
服务器在确定第一应用有效区域内有垃圾满溢事件发生的情况下,可发出提示信息,或向管理中心的管理平台推送第一应用检测结果以及包含垃圾满溢事件的图像,其中,第一应用检测结果包括监控摄像头所拍摄的场景中出现垃圾满溢。
现A地管理中心的工作人员想在通过服务器监测垃圾满溢事件的同时,通过服务器监测是否有烟火,以预防火灾的发生。
工作人员可向服务器输入需要进行烟火监测的区域在监控摄像头所拍摄的画面中的位置,作为第二应用位置。服务器从数据库中获取烟火检测模型,并依据本申请实施例提供的技术方案,在对监控摄像头采集到的视频流进行垃圾满溢检测的同时,利用烟火检测模型对监控摄像头采集到的视频流进行处理,以监测依据第二应用位置确定的第二应用有效区域内是否有烟火。
服务器在确定第二应用有效区域内有烟火的情况下,可发出提示信息,或向管理中心的管理平台推送第二应用检测结果以及包含烟火的图像,其中,第二应用检测结果包括监控摄像头所拍摄的场景中出现烟火。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图4,图4为本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置1包括:获取单元11、第一处理单元12、第二处理单元13。可选的,视频处理装置1还包括:第三处理单元14、第四处理单元15。其中:
获取单元11,用于获取第一待处理视频、第一事件检测模型和目标位置,所述目标位置为所述第一事件的发生区域在所述第一待处理视频中的位置;
第一处理单元12,用于依据所述目标位置从所述第一待处理视频中确定有效区域;
第二处理单元13,用于利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果。
结合本申请任一实施方式,所述第二处理单元13,用于:
利用所述第一事件检测模型从所述有效区域内确定待确认对象;
在确定所述待确认对象满足第一事件发生条件的情况下,确定所述第一事件已发生;
在确定所述待确认对象不满足所述第一事件发生条件的情况下,确定所述第一事件未发生;
其中,所述第一事件发生条件包括所述待确认对象为所述第一事件的主体。
结合本申请任一实施方式,所述第一事件发生条件还包括所述待确认对象在所述有效区域内的持续时长大于最小时长。
结合本申请任一实施方式,所述视频处理装置1还包括:第三处理单元14,用于在所述利用所述第一事件检测模型检测所述有效区域内第一事件之前,依据所述第一待处理视频中的至少两张图像,确定所述有效区域内的像素点的变化,得到像素点监测结果;
所述第二处理单元13,用于:
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下,执行所述利用所述第一事件检测模型对所述有效区域进行处理的步骤。
结合本申请任一实施方式,所述第二处理单元13,还用于所述在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下之后,所述执行所述利用所述第一事件检测模型检测所述有效区域内第一事件的步骤之前,确定所述有效区域内的所述待确认对象的尺寸;
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化,且所述待确认对象的尺寸处于预设范围内的情况下,执行所述利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤。
结合本申请任一实施方式,所述获取单元11,还用于在所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果之前,获取第二事件检测模型,所述第二事件检测模型用于检测第二事件,所述第二事件与所述第一事件不同;
所述第二处理单元13,用于:
调用目标硬件资源,执行利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤,得到所述第一事件的第一检测结果;
所述视频处理装置1还包括:
调用单元,用于调用所述目标硬件资源,执行利用所述第二事件检测模型检测所述第一待处理视频的第二事件的步骤,得到所述第二事件的检测结果。
结合本申请任一实施方式,所述视频处理装置1:第四处理单元15,用于在所述第一事件已发生的情况下,从所述第一待处理视频中确定包含所述第一事件的至少一帧第一图像,所述至少一帧第一图像包括第二图像;
推送单元,用于在确定所述第二图像符合推送条件的情况下,推送所述第一检测结果和所述第一图像,所述推送条件包括以下至少一个:图像尺寸大于预设尺寸、图像分辨率高于预设分辨率。
结合本申请任一实施方式,所述获取单元11还用于:
获取所述第一事件的第二检测结果,所述第二检测结果通过利用所述第一事件检测模型对第二待处理视频进行处理得到,所述第一待处理视频和所述第二待处理视频为同一成像设备在不同时间对同一场景进行拍摄得到的视频,所述第二检测结果包括所述第一事件已发生;
所述第一处理单元12,还用于确定所述第二待处理视频中包含所述第一事件的至少一帧第三图像,所述至少一帧第三图像包括第四图像;
所述第一处理单元12,还用于对所述第二图像进行目标检测处理,得到包含所述第一事件的主体的第一检测框;
所述第一处理单元12,还用于对所述第四图像进行目标检测处理,得到包含所述第一事件的主体的第二检测框;
所述第一处理单元12,还用于合并所述第一检测框和所述第二检测框,得到更新后的有效区域。
本实施例中,由于有效区域为待处理视频中的第一事件的发生区域,视频处理装置利用第一事件检测模型对有效区域进行处理,即可确定第一待处理视频中是否存在第一事件。这样,视频处理装置无需对第一待处理视频中除有效区域之外的像素点区域进行处理量,进而可减少数据处理量,提高处理速度以及减少得到第一检测结果所耗费的硬件资源。同时,还可降低第一待处理视频中除有效区域之外的像素点区域对第一检测结果的干扰,从而提高第一检测结果的准确度。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图5为本申请实施例提供的一种视频处理装置的硬件结构示意图。该视频处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的第一待处理视频,又或者该存储器22还可用于存储通过处理器21得到的第一检测结果等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图5仅仅示出了一种视频处理装置的简化设计。在实际应用中,视频处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的视频处理装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (11)

1.一种视频处理方法,其特征在于,所述方法包括:
获取第一待处理视频、第一事件检测模型和目标位置,所述目标位置为所述第一事件的发生区域在所述第一待处理视频中的位置;
依据所述目标位置从所述第一待处理视频中确定有效区域;
利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果。
2.根据权利要求1所述的方法,其特征在于,所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果,包括:
利用所述第一事件检测模型从所述有效区域内确定待确认对象;
在确定所述待确认对象满足第一事件发生条件的情况下,确定所述第一事件已发生;
在确定所述待确认对象不满足所述第一事件发生条件的情况下,确定所述第一事件未发生;
其中,所述第一事件发生条件包括所述待确认对象为所述第一事件的主体。
3.根据权利要求2所述的方法,其特征在于,所述第一事件发生条件还包括所述待确认对象在所述有效区域内的持续时长大于最小时长。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述利用所述第一事件检测模型检测所述有效区域内第一事件之前,所述方法还包括:
依据所述第一待处理视频中的至少两张图像,确定所述有效区域内的像素点的变化,得到像素点监测结果;
所述利用所述第一事件检测模型检测所述有效区域内第一事件,包括:
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下,执行所述利用所述第一事件检测模型对所述有效区域进行处理的步骤。
5.根据权利要求4所述的方法,其特征在于,所述在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下之后,所述执行所述利用所述第一事件检测模型检测所述有效区域内第一事件的步骤之前,所述方法还包括:
确定所述有效区域内的所述待确认对象的尺寸;
所述在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化的情况下,执行所述利用所述第一事件检测模型检测所述有效区域内第一事件的步骤,包括:
在确定所述像素点监测结果包括所述有效区域内的像素点已发生变化,且所述待确认对象的尺寸处于预设范围内的情况下,执行所述利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤。
6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果之前,所述方法还包括:
获取第二事件检测模型,所述第二事件检测模型用于检测第二事件,所述第二事件与所述第一事件不同;
所述利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果,包括:
调用目标硬件资源,执行利用所述第一事件检测模型检测所述有效区域内的第一事件的步骤,得到所述第一事件的第一检测结果;
所述方法还包括:
调用所述目标硬件资源,执行利用所述第二事件检测模型检测所述第一待处理视频的第二事件的步骤,得到所述第二事件的检测结果。
7.根据权利要求2至6中任意一项所述的方法,其特征在于,在所述第一事件已发生的情况下,所述方法还包括:
从所述第一待处理视频中确定包含所述第一事件的至少一帧第一图像,所述至少一帧第一图像包括第二图像;
在确定所述第二图像符合推送条件的情况下,推送所述第一检测结果和所述第一图像,所述推送条件包括以下至少一个:图像尺寸大于预设尺寸、图像分辨率高于预设分辨率。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取所述第一事件的第二检测结果,所述第二检测结果通过利用所述第一事件检测模型对第二待处理视频进行处理得到,所述第一待处理视频和所述第二待处理视频为同一成像设备在不同时间对同一场景进行拍摄得到的视频,所述第二检测结果包括所述第一事件已发生;
确定所述第二待处理视频中包含所述第一事件的至少一帧第三图像,所述至少一帧第三图像包括第四图像;
对所述第二图像进行目标检测处理,得到包含所述第一事件的主体的第一检测框;
对所述第四图像进行目标检测处理,得到包含所述第一事件的主体的第二检测框;
合并所述第一检测框和所述第二检测框,得到更新后的有效区域。
9.一种视频处理装置,其特征在于,所述装置包括:
获取单元,用于获取第一待处理视频、第一事件检测模型和目标位置,所述目标位置为所述第一事件的发生区域在所述第一待处理视频中的位置;
第一处理单元,用于依据所述目标位置从所述第一待处理视频中确定有效区域;
第二处理单元,用于利用所述第一事件检测模型检测所述有效区域内的第一事件,得到所述第一事件的第一检测结果。
10.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至7中任意一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至7中任意一项所述的方法。
CN202110730209.3A 2021-06-29 2021-06-29 视频处理及装置、电子设备及计算机可读存储介质 Pending CN113469021A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110730209.3A CN113469021A (zh) 2021-06-29 2021-06-29 视频处理及装置、电子设备及计算机可读存储介质
PCT/CN2021/125345 WO2023273029A1 (zh) 2021-06-29 2021-10-21 视频处理方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110730209.3A CN113469021A (zh) 2021-06-29 2021-06-29 视频处理及装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113469021A true CN113469021A (zh) 2021-10-01

Family

ID=77873941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110730209.3A Pending CN113469021A (zh) 2021-06-29 2021-06-29 视频处理及装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN113469021A (zh)
WO (1) WO2023273029A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640608A (zh) * 2022-04-01 2022-06-17 上海商汤智能科技有限公司 测试方法及装置、电子设备及计算机可读存储介质
WO2023273029A1 (zh) * 2021-06-29 2023-01-05 深圳市商汤科技有限公司 视频处理方法、装置、设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966062A (zh) * 2015-06-17 2015-10-07 浙江大华技术股份有限公司 视频监视方法和装置
WO2016157327A1 (ja) * 2015-03-27 2016-10-06 日本電気株式会社 映像監視システム及び映像監視方法
CN110363153A (zh) * 2019-07-16 2019-10-22 广州图普网络科技有限公司 涉水检测方法、装置、服务器及计算机可读存储介质
CN111812691A (zh) * 2019-04-11 2020-10-23 北京初速度科技有限公司 一种车载终端及图像帧检测处理方法、装置
CN112069939A (zh) * 2020-08-21 2020-12-11 深圳市商汤科技有限公司 事件检测方法及其装置、电子设备、存储介质
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112507813A (zh) * 2020-11-23 2021-03-16 北京旷视科技有限公司 事件检测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI698121B (zh) * 2018-11-05 2020-07-01 緯創資通股份有限公司 網路裝置、影像處理方法及電腦可讀媒體
CN112668496A (zh) * 2020-12-31 2021-04-16 深圳市商汤科技有限公司 入侵检测方法、装置、设备及存储介质
CN113011290A (zh) * 2021-03-03 2021-06-22 上海商汤智能科技有限公司 事件检测方法及装置、电子设备和存储介质
CN113469021A (zh) * 2021-06-29 2021-10-01 深圳市商汤科技有限公司 视频处理及装置、电子设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157327A1 (ja) * 2015-03-27 2016-10-06 日本電気株式会社 映像監視システム及び映像監視方法
CN104966062A (zh) * 2015-06-17 2015-10-07 浙江大华技术股份有限公司 视频监视方法和装置
CN111812691A (zh) * 2019-04-11 2020-10-23 北京初速度科技有限公司 一种车载终端及图像帧检测处理方法、装置
CN110363153A (zh) * 2019-07-16 2019-10-22 广州图普网络科技有限公司 涉水检测方法、装置、服务器及计算机可读存储介质
CN112069939A (zh) * 2020-08-21 2020-12-11 深圳市商汤科技有限公司 事件检测方法及其装置、电子设备、存储介质
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112507813A (zh) * 2020-11-23 2021-03-16 北京旷视科技有限公司 事件检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273029A1 (zh) * 2021-06-29 2023-01-05 深圳市商汤科技有限公司 视频处理方法、装置、设备、存储介质及程序产品
CN114640608A (zh) * 2022-04-01 2022-06-17 上海商汤智能科技有限公司 测试方法及装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2023273029A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
CN112216049B (zh) 一种基于图像识别的施工警戒区监测预警系统及方法
CN113469021A (zh) 视频处理及装置、电子设备及计算机可读存储介质
CN109801412B (zh) 门禁解锁方法及相关装置
CN108628442B (zh) 一种信息提示方法、装置以及电子设备
CN110267010B (zh) 图像处理方法、装置、服务器及存储介质
CN110956122A (zh) 图像处理方法及装置、处理器、电子设备、存储介质
CN112241696A (zh) 图像处理方法及装置、电子设备及存储介质
CN113705417B (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN114253647A (zh) 元素展示方法、装置、电子设备及存储介质
CN114442805A (zh) 一种监控场景展示方法、系统、电子设备及存储介质
CN115379125A (zh) 交互信息发送方法、装置、服务器和介质
CN112966256B (zh) 基于建筑信息模型的设备管理方法及相关装置
CN113536980A (zh) 拍摄行为检测方法、装置、电子装置和存储介质
CN107301373B (zh) 数据处理方法、装置及存储介质
CN108076370B (zh) 信息传输方法、装置和电子设备
WO2023273154A1 (zh) 图像处理方法、装置、设备、介质及程序
CN115883959A (zh) 用于隐私保护的画面内容控制方法及相关产品
CN106470331A (zh) 一种监控方法、监控摄像机及监控系统
CN112507798B (zh) 活体检测方法、电子设备与存储介质
CN113483760A (zh) 巡更监测方法及装置、电子设备及计算机可读存储介质
CN114387544A (zh) 一种高空抛物检测方法、系统、电子设备及存储介质
CN112329621A (zh) 一种异常行为预警数据的处理方法、系统、终端及介质
CN111491133A (zh) 应用电子人像锁定技术的商场安全监控系统
CN116301363B (zh) 隔空手势识别方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051298

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20211001

RJ01 Rejection of invention patent application after publication