发明内容
本发明提供视频检索方法、系统及设备,以提高视频检索效率;
本发明还提供视频存储方法及系统,以减少视频存储空间的占用。
本发明的技术方案是这样实现的:
一种视频检索方法,包括:
对视频序列进行运动检测和跟踪,根据检测和跟踪结果以及预设的危险事件触发规则,判断视频图像中是否存在危险事件,若发现视频图像中存在危险事件,则记录该危险事件的描述信息,该危险事件描述信息中至少包含:存在危险事件的图像标识;所述危险事件触发规则包括:若进入预设警戒区域内的运动物体的面积与运动物体总面积的比值大于预设百分比,则确定入侵事件发生;若有运动物体的运动方向与预设运动正向的夹角位于预设范围之外,则确定逆行事件发生;若在一个区域内人体的数量大于预设数目,则确认多人聚集事件发生;若一个运动物体从某一时刻起静止,且静止状态持续时长超过预定时长,则确定有危险物遗留事件发生;若预设禁止停车区域发现车辆,则确定违规停车事件发生;若预设贵重物体所在区域的像素值发生变化,且变化持续时长超过预定时长,则确认有贵重物体丢失事件发生;
当要检索存在危险事件的视频图像时,接收检索条件,将检索条件与记录的危险事件描述信息匹配,若匹配上,则根据危险事件描述信息中的图像标识,从视频存储设备获取视频图像,并将视频图像显示给用户。
所述危险事件为:入侵事件,和/或逆行事件,和/或多人聚集事件,和/或危险物遗留事件,和/或违规停车事件,和/或贵重物体丢失事件。
所述危险事件描述信息进一步包括:危险事件类型、发生位置、发生时刻、持续时长中的一种或任意组合。
所述发现视频图像中存在危险事件之后进一步包括:对危险事件中的运动物体进行类型,和/或身份,和/或特征检测,
所述危险事件描述信息进一步包括:危险事件中的运动物体的类型、位置、身份、特征、出现时刻、持续时长中的一种或任意组合。
所述检索条件包含:查询时段、危险事件的类型、发生位置、发生时刻、持续时长中的一种或任意组合,
和/或,危险事件中的运动物体的类型、位置、身份、特征、出现时刻、持续时长中的一种或任意组合。
所述运动物体的类型为:人脸,或人体,或车辆,
所述运动物体的特征为:人体的体形,或人体的衣服颜色、或人体的性别,或车辆的型号,或车辆的颜色。
所述方法进一步包括:为每类危险事件选择一帧最具代表性的图像,将该图像标识记录在该危险事件的描述信息中。
所述最具代表性的图像为:运动物体面积最大的图像或运动物体最靠近预设目标区域的图像。
一种视频检索系统,包括:
视频分析设备,对视频序列进行运动检测和跟踪,根据检测和跟踪结果以及预设的危险事件触发规则,判断视频图像中是否存在危险事件,若发现视频图像中存在危险事件,则将危险事件描述信息发送给视频检索设备,危险事件描述信息至少包含:存在危险事件的图像标识;所述危险事件触发规则包括:若进入预设警戒区域内的运动物体的面积与运动物体总面积的比值大于预设百分比,则确定入侵事件发生;若有运动物体的运动方向与预设运动正向的夹角位于预设范围之外,则确定逆行事件发生;若在一个区域内人体的数量大于预设数目,则确认多人聚集事件发生;若一个运动物体从某一时刻起静止,且静止状态持续时长超过预定时长,则确定有危险物遗留事件发生;若预设禁止停车区域发现车辆,则确定违规停车事件发生;若预设贵重物体所在区域的像素值发生变化,且变化持续时长超过预定时长,则确认有贵重物体丢失事件发生;
视频检索设备,存储危险事件描述信息;接收检索条件,将检索条件与各危险事件描述信息匹配,若匹配上,则将危险事件描述信息中的图像标识显示给用户,或者,根据危险事件描述信息中的图像标识,从视频存储设备获取视频图像,并将视频图像显示给用户。
所述视频分析设备包括:
危险事件检测模块,对视频序列进行运动检测和跟踪,对于每帧视频图像,根据检测和跟踪结果以及预设的危险事件触发规则,判断视频图像中是否存在危险事件,若发现该帧视频图像中存在危险事件,则将危险事件描述信息发送给运动物体分析模块;
运动物体分析模块,接收危险事件描述信息,对危险事件中的运动物体进行检测,将检测结果记录在危险事件描述信息中,将危险事件描述信息发送给视频检索设备。
一种视频存储方法,包括:
对视频序列进行运动检测和跟踪,对于每帧视频图像,根据检测和跟踪结 果以及预设的危险事件触发规则,判断该帧图像中是否存在危险事件,若是,则存储该视频图像;否则,丢弃该帧视频图像;所述危险事件触发规则包括:若进入预设警戒区域内的运动物体的面积与运动物体总面积的比值大于预设百分比,则确定入侵事件发生;若有运动物体的运动方向与预设运动正向的夹角位于预设范围之外,则确定逆行事件发生;若在一个区域内人体的数量大于预设数目,则确认多人聚集事件发生;若一个运动物体从某一时刻起静止,且静止状态持续时长超过预定时长,则确定有危险物遗留事件发生;若预设禁止停车区域发现车辆,则确定违规停车事件发生;若预设贵重物体所在区域的像素值发生变化,且变化持续时长超过预定时长,则确认有贵重物体丢失事件发生。
所述危险事件为入侵事件,和/或逆行事件,和/或多人聚集事件,和/或危险物遗留事件,和/或违规停车事件,和/或贵重物体丢失事件。
一种视频存储系统,包括:
视频分析设备,对视频序列进行运动检测和跟踪,对于每帧视频图像,根据检测和跟踪结果以及预设的危险事件触发规则,判断该帧图像中是否存在危险事件,若是,将该帧视频图像存储到存储设备上;否则,丢弃该帧视频图像;所述危险事件触发规则包括:若进入预设警戒区域内的运动物体的面积与运动物体总面积的比值大于预设百分比,则确定入侵事件发生;若有运动物体的运动方向与预设运动正向的夹角位于预设范围之外,则确定逆行事件发生;若在一个区域内人体的数量大于预设数目,则确认多人聚集事件发生;若一个运动物体从某一时刻起静止,且静止状态持续时长超过预定时长,则确定有危险物遗留事件发生;若预设禁止停车区域发现车辆,则确定违规停车事件发生;若预设贵重物体所在区域的像素值发生变化,且变化持续时长超过预定时长,则确认有贵重物体丢失事件发生;
存储设备,存储存在危险事件的视频图像。
与现有技术相比,本发明中,对视频序列进行运动检测和跟踪,若发现视频图像中存在危险事件,则记录该危险事件的描述信息,该危险事件描述信息中至少包含:存在危险事件的图像标识;当要检索存在危险事件的视频图像时,接收检索条件,将检索条件与记录的危险事件描述信息匹配,若匹配上,则根据危险事件描述信息中的图像标识,从视频存储设备获取视频图像,并将视频图像显示给用户。本发明减少了人工的参与,降低了检索工作量,且加快了检索速度、提高了检索精确度。
另外,本发明只将存在危险事件的视频存储,这样不仅保存了有效视频,且大大节省了存储空间。
具体实施方式
本发明的基本思想是:对每帧视频图像进行危险事件检测,并记录危险事件描述信息;当用户要检索存在危险事件的视频图像时,输入检索条件,视频检索设备先将检索条件与各危险事件描述信息匹配,若匹配上,再根据危险事件描述信息找到存在危险事件的视频图像,将视频图像显示给用户。
本发明还可只存储存在危险事件的视频图像,以节省存储空间。
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的在视频图像中检测危险事件的流程图,如图1所示,其具体步骤如下:
步骤100:预先设置危险事件触发规则。
步骤101:摄像头采集监控场景下的视频图像。
对每帧视频图像进行如下步骤102~108的处理:
步骤102:对该帧视频图像进行运动检测与跟踪。
步骤103:判断是否检测到运动物体,若是,执行步骤104;否则,本流程结束。
步骤104:记录各运动物体的运动信息如:位置、尺寸、速度、运动轨迹等。
通常每个运动物体以一个矩形框标定,则运动物体的位置可以运动物体的左上端点和右下端点坐标来表示;运动物体的尺寸可以矩形框的面积表示;运动物体的运动轨迹可以运动物体在连续帧中的中心点连线表示。
本步骤可采用现有技术实现。
步骤105:根据运动物体的运动信息和预先设置的危险事件触发规则,判断当前帧图像中是否存在危险事件,若是,执行步骤106;否则,不作处理,本流程结束。
对于不同类型的危险事件其触发规则不同,例如:
一、危险事件为:入侵。
触发规则可为:若进入预设警戒区域内的运动物体的面积与运动物体总面积的比值大于预设百分比,则确定入侵事件发生。
二、危险事件为:逆行。
触发规则可为:若有运动物体的运动方向与预设运动正向的夹角位于预设范围之外,则确定逆行事件发生。
在实际应用中,由于运动物体的速度可由幅度和角度两个参数表示,因此,可由速度的角度来确定运动物体是否发生了逆行:若速度的角度与预设运动正向的夹角在预设范围之外,则确认该运动物体发生逆行。
三、危险事件为:多人聚集。
触发规则可为:若在一个区域内人体的数量大于预设数目,则确认多人聚集事件发生。
四、危险事件为:危险物遗留。
触发规则可为:若一个运动物体从某一时刻起静止,且静止状态持续时长超过预定时长,则确定有危险物遗留事件发生。
五、危险事件为:违规停车事件。
触发规则可为:若预设禁止停车区域发现车辆,则确定违规停车事件发生。
六、危险事件为:贵重物体丢失。
触发规则可为:若预设贵重物体所在区域的像素值发生变化,且变化持续时长超过预定时长,则确认有贵重物体丢失事件发生。
步骤106:判断该危险事件是否为新发生事件,若是,执行步骤107;否则,执行步骤108。
步骤107:记录该危险事件的描述信息如:该危险事件的类型、发生时刻、持续时长、发生位置等,本流程结束。
进一步地,危险事件的描述信息还可包括:危险事件中的每个运动物体的描述信息如:位置、出现时刻、持续时长等。此时,若危险事件中有新的 运动物体出现,就需在危险事件描述信息中增加该运动物体的描述信息;对于已存在的运动物体,则需更新危险事件描述信息中该运动物体的描述信息。
运动物体的位置可以运动物体的中心点表示,或者以运动物体的外框如:左上端点和右下端点表示。
步骤108:更新已记录的该危险事件的描述信息,如:该危险事件的持续时长、发生位置等。
例如:若危险事件为:入侵,且该危险事件已存在于之前帧中,则当前帧只需更新持续时长即可。
在实际应用中,步骤105中,在判定当前帧存在危险事件后,还可进一步对危险事件中的每个运动物体进行类型检测如:人脸、人体、车辆检测,并在危险事件描述信息中记录各运动物体的类型信息。
同时,在确定运动物体的类型之后,还可进一步识别各运动物体的身份,并在危险事件描述信息中记录各运动物体的身份。例如:若一个运动物体为人脸,则将该运动物体与人脸数据库中的各人脸匹配,以确认该运动物体的身份;若一个运动物体为车辆,则可识别该车辆的车牌号码。
另外,在确定运动物体的类型之后,还可进一步提取各运动物体的特征,并在危险事件描述信息中记录各运动物体的特征信息。例如:若一个运动物体为人体,则可提取该人体的体形特征如:高矮胖瘦、衣服的颜色、性别等;若一个运动物体为车辆,则可提取该车辆的车型、颜色等特征。
在实际应用中,还可为每类危险事件选择一帧最具代表性的图像,例如:可在存在该危险事件的视频片段中,选择一帧包含运动物体面积最大的图像,或者选择一帧运动物体最靠近预设目标区域的图像作为最具代表性的图像,在危险事件描述信息中记录该最具代表性图像的标识如:帧序号、接收时刻等。
在实际应用中,步骤105中,在判定当前帧存在危险事件后,可保存当前帧图像,而对于不存在危险事件的视频图像则不保存,这样,可以大大节 省存储空间。
图2为本发明实施例提供的检索存在危险事件的视频图像的流程图,如图2所示,其具体步骤如下:
步骤201:用户要检索存在危险事件的视频图像,向视频检索设备输入检索条件。
当危险事件多于一类时,该检索条件至少包含危险事件的类型,还可包含该危险事件的其它描述信息中的一种或任意组合,还可包含查询时段,例如:逆行+车辆+08/12/01 8:00-20:00,即要检索08年12月1日8:00-20:00之间发生了逆行事件且逆行对象为车辆的视频图像,或者:入侵+人脸+张三,即要检索发生了入侵事件且入侵区域包含张三的脸的视频图像。
步骤202:视频检索设备接收检索条件,将该检索条件与记录的各危险事件描述信息依次匹配。
步骤203:视频检索设备判断是否匹配上,若是,执行步骤205;否则,执行步骤204。
步骤204:输出“无符合检索条件的视频”的字样给用户,本流程结束。
步骤205:视频检索设备根据匹配的危险事件描述信息中的图像标识如:发生时刻、持续时长等,在视频存储设备中查找视频,将查找到的视频显示给用户。
若视频检索设备不与视频存储设备相连,则视频检索设备可以只将危险事件描述信息中的图像标识显示给用户,用户根据图像标识如:发生时刻、持续时长等,从视频存储设备获取视频图像。
若检索条件中除了包含危险事件类型外,还包含查询时段,则视频检索设备在将检索条件与各危险事件描述信息匹配时,会首先将检索条件中的危险事件类型与危险事件描述信息中的危险事件类型匹配,若匹配上,则判断危险事件描述信息中的发生时刻是否位于查询时段内,若位于,则判断危险事件描述信息中的发生时刻+持续时长所得时刻是否在查询时段外,若是,则将发生时刻至查询时段的结束时刻之间的视频显示给用户;否则,将发生 时刻至发生时刻+持续时长所得时刻之间的视频显示给用户。
当危险事件描述信息中包含最具代表性图像标识时,用户可在检索条件中设置“要求输出最具代表性图像”项目,视频检索设备接收到检索条件后,发现该项目,则从危险事件描述信息中获取最具代表性图像标识,然后从视频存储设备获取该最具代表性图像显示给用户。
在实际应用中,用户可同时输入多组检索条件,视频检索设备可顺序将各组检索条件对应的视频显示给用户。
图3为本发明实施例提供的视频检索系统的组成图,如图3所示,其主要包括:视频分析设备31和视频检索设备32,其中:
视频分析设备31:接收视频序列,对视频序列进行运动检测和跟踪,若发现视频图像中存在危险事件,则将危险事件描述信息发送给视频检索设备32,危险事件描述信息至少包含:存在危险事件的图像标识。
视频检索设备32:存储视频分析设备31发来的危险事件描述信息;接收用户输入的检索条件,将检索条件与各危险事件描述信息匹配,若匹配上,则将危险事件描述信息中的图像标识显示给用户,或者,根据危险事件描述信息中的图像标识,从视频存储设备获取视频图像,并将视频图像显示给用户。
在实际应用中,如图4所示,视频分析设备31可包括:危险事件检测模块311和运动物体分析模块312,其中:
危险事件检测模块311:接收视频序列,对视频序列进行运动检测和跟踪,对于每帧视频图像,若发现该帧视频图像中存在危险事件,则将危险事件描述信息发送给运动物体分析模块312。
运动物体分析模块312:接收危险事件检测模块311发来的危险事件描述信息,对危险事件中的运动物体进行检测,将检测结果记录在危险事件描述信息中,将危险事件描述信息发送给视频检索设备32。
图5为视频检索设备32的结构示意图,如图5所示,其主要包括:危险事件描述模块321和检索模块322,其中:
危险事件描述模块321:存储视频分析设备31发来的危险事件描述信息, 该信息至少包含存在危险事件的图像标识。
检索模块322:接收用户输入的检索条件,将该检索条件与危险事件描述模块321中的各危险事件描述信息匹配,若匹配上,则将危险事件描述信息中的图像标识显示给用户,或者,根据危险事件描述信息中的图像标识,从视频存储设备获取视频图像,并将视频图像显示给用户。
图6为本发明实施例提供的视频存储系统的组成图,如图6所示,其主要包括:视频分析设备61和存储设备62,其中:
视频分析设备61:接收视频序列,对视频序列进行运动检测和跟踪,对于每帧视频图像,根据检测和跟踪结果以及预设的危险事件触发规则,判断该帧图像中是否存在危险事件,若是,将该帧视频图像存储到存储设备62上;否则,丢弃该帧视频图像。
存储设备62:存储存在危险事件的视频图像。
以上所述仅为本发明的过程及方法实施例,并不用以限制本发明,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。