一种智能视频分析系统及方法
技术领域
本发明涉及视频监控领域,特别涉及一种智能视频分析系统及方法。
背景技术
智能视频分析(Intelligent Video System,IVS)是一种计算机图像视觉分析技术,通过分离场景中的背景图像和目标图像来分析并追踪在背景图像对应的场景内出现的目标图像对应的待分析目标。在将智能视频分析技术应用于视频监控系统中时,系统根据对背景图像对应的场景预设的报警算法,在该场景内出现的与目标图像对应的待分析目标符合报警算法中包含的报警条件时,系统会产生并输出报警信息。
图1为现有的智能视频分析系统的结构示意图。现结合图1,对现有的智能视频分析系统的结构进行说明,具体如下:
现有的智能视频分析系统包含:智能视频分析服务器10及多台第一存储器11。其中,多台第一存储器11中的任一第一存储器11用以保存前端图像采集装置输出的视频数据;智能视频分析服务器10根据外部输入的待测目标信息,利用现有的图像处理算法,对多台第一存储器11中保存的与待测目标信息对应的视频数据进行解码,利用现有的IVS算法,将视频数据包含的多帧图像中的背景图像和目标图像进行分离,根据多帧图像中的目标图像获得待测目标的运动轨迹,利用预设的报警算法及待测目标的运动轨迹,判断待测目标是否符合报警条件,如果是,则生成并输出报警信息。
综上所述,现有的智能视频分析系统中的智能视频分析服务器每收到外部输入的待测目标信息,就会对所有第一存储器中保存的与待测目标信息相关的视频数据进行解码、分析及报警判定,对于待测目标信息对应的视频数据的数据量巨大、外部输入待测目标信息频繁、且待测目标的种类繁多的应用场合,现有的智能视频分析系统中的智能视频分析服务器耗费计算资源过大、耗时过长、效率低下,无法满足实际应用的需求。
发明内容
有鉴于此,本发明的目的在于提供一种智能视频分析系统,该系统能够加快视频数据的处理速度,节省时间,提高工作效率。
本发明的目的在于提供一种智能视频分析方法,该方法能够加快视频数据的处理速度,节省时间,提高工作效率。
为达到上述目的,本发明的技术方案具体实现如下:
一种智能视频分析系统,该系统包含:
多台第一存储器,任一第一存储器用以保存视频数据;
第二存储器,用以保存元数据;所述元数据至少包含目标身份标识号ID及目标位置信息;
至少一台预处理服务器,任一预处理服务器对接收到的视频数据或第一存储器保存的视频数据进行解码,利用智能视频分析IVS算法,从解码后的图像中提取目标图像,获得目标ID及目标位置信息,将目标ID及目标位置信息作为元数据存储至第二存储器;
至少一台检索服务器,任一检索服务器根据外部输入的检索条件,从第二存储器中查找与检索条件匹配的元数据,根据预设的报警算法,在判定所述元数据符合报警条件时,生成并输出报警信息。
上述系统中,所述预处理服务器包含:
图像处理单元,对接收到的视频数据或第一存储器保存的视频数据的每帧图像进行解码,将解码后的图像输出至IVS处理单元;
IVS处理单元,利用所述IVS算法,对接收到的每帧图像包含的目标图像和背景图像进行分离,计算获得目标坐标并分配目标ID,按照每帧图像对应的帧号,将目标ID及作为目标位置信息的目标坐标存储至第二存储器。
上述系统中,所述预处理服务器包含:
图像处理单元,对接收到的视频数据或第一存储器保存的视频数据的每帧图像进行解码,将解码后的图像输出至IVS处理单元;
IVS处理单元,利用所述IVS算法,对接收到的每帧图像包含的目标图像和背景图像进行分离,计算获得目标坐标并分配目标ID,将每帧图像对应的帧号、目标ID及目标坐标输出至轨迹生成单元;
轨迹生成单元,根据每帧图像对应的帧号及目标ID,提取第一时间内目标ID相同且帧号连续的多个目标坐标,根据所述多个目标坐标生成与第一时间对应的目标轨迹,按照目标ID,将目标ID及作为目标位置信息的目标轨迹存储至第二存储器;
所述第一时间为生成目标轨迹所需数据帧对应的时长。
上述系统中,所述检索服务器包含:
条件解析单元,接收外部输入的检索条件,从检索条件中提取出预设的时间段及报警算法ID,输出预设的时间段及报警算法ID至报警分析单元;
报警分析单元,根据报警算法ID查找报警算法,根据预设的时间段从第二存储器中读取与预设时间段对应的帧号所对应的元数据,判断元数据包含的目标坐标是否符合报警条件,如果是,触发结果输出单元,否则不触发结果输出单元;
结果输出单元,根据触发生成报警信息并输出;所述报警信息至少包含报警触发时间及目标ID;所述报警触发时间为满足报警条件的视频数据的图像采集时间。
上述系统中,所述检索服务器包含:
条件解析单元,接收外部输入的检索条件,从检索条件中提取出待测目标的目标ID及报警算法ID,输出目标ID及报警算法ID至报警分析单元;
报警分析单元,根据报警算法ID查找报警算法,根据目标ID从第二存储器中读取元数据,判断元数据包含的目标轨迹是否符合报警条件,如果是,触发结果输出单元,否则不触发结果输出单元;
结果输出单元,根据触发生成报警信息并输出;所述报警信息至少包含报警触发时间及目标ID;所述报警触发时间为满足报警条件的视频数据的图像采集时间。
一种智能视频分析方法,该方法包括:
A、解码接收到的或保存的视频数据,并利用智能视频分析IVS算法从解码后的视频数据中获取目标身份标识号ID及目标位置信息,将目标ID及目标位置信息作为元数据进行保存;
B、解析外部输入的检索条件,从第二存储器中查找与检索条件匹配的元数据,根据预设的报警算法及元数据,判断所述元数据是否符合报警条件,如果是,生成并输出报警信息,否则结束。
上述方法中,步骤A所述利用智能视频分析IVS算法从解码后的视频数据中获取目标ID及目标位置信息,包括:
对解码后的视频数据的每帧图像利用所述IVS算法分离出目标图像和背景图像,计算获得目标坐标并分配目标ID。
上述方法中,步骤A所述将目标ID及目标位置信息作为元数据进行保存,包括:
按照每帧图像的帧号,保存目标ID及作为目标位置信息的目标坐标。
上述方法中,步骤A所述将目标ID及目标位置信息作为元数据进行保存,包括:
A1、根据每帧图像对应的帧号及目标ID,提取第一时间内目标ID相同且帧号连续的多个目标的目标坐标;所述第一时间为生成目标轨迹所需数据帧对应的时长;
A2、根据步骤A1所述多个目标的目标坐标,生成与第一时间对应的目标轨迹;
A3、按照目标ID,保存目标ID及作为目标位置信息的目标轨迹。
上述方法中,所述步骤B包括:
B1、解析外部输入的检索条件,获得预设的时间段及报警算法ID;
B2、根据报警算法ID查找报警算法,根据预设的时间段,读取与预设的时间段对应的帧号所对应的元数据;
B3、判断元数据包含的目标坐标是否符合报警条件,如果是,生成并输出报警信息,否则结束;
所述报警信息至少包含报警触发时间及目标ID;所述报警触发时间为满足报警条件的视频数据的图像采集时间。
上述方法中,所述步骤B包括:
B4、解析外部输入的检索条件,获得待测目标的目标ID及报警算法ID;
B5、根据报警算法ID查找报警算法,根据目标ID读取保存的元数据;
B6、判断元数据包含的目标轨迹是否符合报警条件,如果是,生成并输出报警信息,否则结束;
所述报警信息至少包含报警触发时间及目标ID;所述报警触发时间为满足报警条件的视频数据的图像采集时间。
由上述的技术方案可见,本发明提供了一种智能视频分析系统,该系统中预处理服务器对接收到的视频数据或任一第一存储器保存的视频数据进行解码,利用智能视频分析IVS算法,从解码后的图像中提取目标图像、分配与之对应的唯一的目标身份标识号(Identity,ID),获得目标ID及通过计算获取目标位置信息,并将目标ID及目标位置信息作为元数据存储至第二存储器;检索服务器根据外部输入的检索条件,从第二存储器中查找与检索条件匹配的元数据,根据预设的报警算法,在判定所述元数据符合报警条件时,生成并输出报警信息。本发明还提供了一种智能视频分析方法。采用本发明的系统及方法,能够加快视频数据处理速度、节省时间,提高工作效率。
附图说明
图1为现有的智能视频分析系统的结构示意图。
图2为本发明智能视频分析系统的结构示意图。
图3为本发明智能视频分析系统实施例一的结构示意图。
图4为本发明智能视频分析系统实施例二的结构示意图。
图5为本发明智能视频分析方法的流程图。
具体实施方式
为使本发明的目的、技术方案、及优点更加清楚明白,以下参照附图并举例对本发明进一步详细说明。
本发明提供了一种智能视频分析系统及方法,与现有的智能视频分析系统相比,本发明的智能视频分析系统不再每次根据每一次外部输入的检索条件,对多台第一存储器中保存的与检索条件相关的视频数据进行解码、分析及报警判断,而是由预处理服务器预先对接收到的视频数据或多台第一存储器中保存的视频数据进行解码和分析,提取元数据并保存在一台第二存储器中,在检索服务器接收到外部输入的检索条件时,直接从第二存储器中查找元数据,根据元数据及报警算法进行报警判断;在与待测目标信息对应的视频数据的数据量巨大、外部频繁输入待测目标信息、且待测目标的种类繁多的情况下,本发明的智能视频分析系统较现有的智能视频分析系统,能够有效地节约计算资源,节省一定的视频处理所耗费的时间,提高检索的工作效率。
图2为本发明智能视频分析系统的结构示意图。现结合图2,对本发明智能视频分析系统的结构进行说明,具体如下:
本发明的智能视频分析系统包含:多台第一存储器21、至少一台预处理服务器20、第二存储器22及至少一台检索服务器23。其中,多台第一存储器21可连接前端的图像采集装置;预处理服务器20连接多台第一存储器21及第二存储器22,还可连接前端的图像采集装置;检索服务器23连接第二存储器22。
第一存储器21用以保存来自前端的图像采集装置的视频数据。
第二存储器22用以保存元数据。其中,元数据至少包含目标ID及目标位置信息;目标位置信息可为目标坐标或目标轨迹。本发明的第二存储器22上可配置有现有的任一类型的数据库,比如常见的mysql、google的bigtable、开源的hbase、hypertable等数据库。
任一预处理服务器20对一台或多台第一存储器21保存的视频数据进行解码,或者对前端的图像采集装置输出的视频数据进行解码,利用智能视频分析(Intelligent Video System,IVS)算法,从解码后的图像中提取目标图像,获得目标ID及目标位置信息,将目标ID及目标位置信息作为元数据(Metadata)存储至第二存储器22。其中,预处理服务器20是在一台或多台第一存储器21中被写入了视频数据后,或前端的图像采集装置输出视频数据时,对接收到的视频数据或第一存储器21中保存的视频数据进行解码和分析,以获得目标位置信息及目标ID,而无需根据每次的检索条件,遍历第一存储器21并对第一存储器21保存的相关的视频数据进行解码和分析,在一定程度上有效的减少了解码和分析的次数,节省了计算资源及时间。
任一检索服务器23根据外部输入的检索条件,从第二存储器22中查找与检索条件匹配的元数据,根据预设的报警算法,在判定元数据符合报警条件时,生成并输出报警信息。其中,报警算法可为穿越警戒线算法、进入或离开警戒区域算法等算法;报警条件为报警算法中触发生成报警信息的判断依据,可为代表空间位置的的坐标序列。
图3为本发明智能视频分析系统实施例一的结构示意图。现结合图3,对实施例一的智能视频分析系统的结构进行说明,具体如下:
在实施例一的智能视频分析系统中,第二存储器22中是以帧号对元数据进行存储的,即按照帧号划分的文件夹下存储有该帧号对应的图像中所包含的多个目标的目标ID及其目标坐标,换句话说,同一帧图像中包含的多个目标的目标ID及该目标的目标坐标存储在以该帧图像的帧号命名的文件夹下;实施例一的元数据包含的目标位置信息为目标坐标。
实施例一的预处理服务器20包含:图像处理单元201及IVS处理单元202。
图像处理单元201对接收到的视频数据或一台或多台第一存储器21保存的视频数据的每帧图像进行解码,将解码后的图像输出至IVS处理单元202。其中,第一存储器201中的视频数据是按帧进行存储的,或者来自前端的图像采集装置以视频帧的形式输出的视频数据,图像处理单元201在输出解码后的图像至IVS处理单元202的同时,将该图像对应的帧号输出至IVS处理单元202。
IVS处理单元202利用IVS算法,对接收到的每帧图像包含的目标图像和背景图像进行分离,根据目标图像及背景图像,计算获得目标坐标并分配目标ID,按照每帧图像对应的帧号,将目标ID及目标坐标作为元数据存储至第二存储器22。其中,IVS处理单元202根据提取后的特征及特征模板确定目标的类型,比如:人、车或物等目标,并为目标分配目标ID。
实施例一的检索服务器23包含:条件解析单元231、报警分析单元232及结果输出单元233。
条件解析单元231接收外部输入的检索条件,从检索条件中提取出预设的时间段及报警算法ID,输出预设的时间段及报警算法ID至报警分析单元232。其中,预设的时间段可为一段连续的时间、一段连续的时间内的多个分离的时间点或一个时间点。
报警分析单元232根据报警算法ID查找报警算法,根据预设的时间段,从第二存储器22中读取与预设时间段对应的帧号所对应的元数据,即从第二存储器22中读取预设时间点属于预设时间段的帧号所对应的元数据,判断元数据包含的目标坐标是否符合报警条件,如果是,触发结果输出单元233,否则不触发结果输出单元233。若报警算法为进入警戒区域算法,则报警条件为用以表示警戒区域的多边形顶点坐标,报警分析单元232在确定目标坐标落入警戒区域中时,判定该目标坐标所属的元数据符合报警条件,触发结果输出单元233;若报警算法为离开警戒区域算法,则报警条件为除警戒区域外的其他区域的多边形顶点坐标,报警分析单元232在确定目标坐标未落入警戒区域时,判定该目标坐标所属的元数据符合报警条件,触发结果输出单元233。
结果输出单元233根据触发生成报警信息并输出。其中,实施例一中的报警信息至少包含报警触发时间及目标ID;在实施例一中,报警触发时间即为符合报警条件的某一帧数据对应的图像采集时间,结果输出单元233可根据触发及帧号确定与帧号对应的数据帧的时间戳,进而将与时间戳对应的图像采集时间作为报警触发时间输出。
图4为本发明智能视频分析系统实施例二的结构示意图。现结合图4,对实施例二的智能视频分析系统进行说明,具体如下:
实施例二的智能视频分析系统中,第二存储器32中是以目标ID对元数据进行存储的,元数据包含的目标位置信息为目标轨迹;目标轨迹中还携带有生成轨迹的数据帧的图像采集时间。
实施例二的预处理服务器30包含:图像处理单元201、IVS处理单元202及轨迹生成单元303。实施例二的预处理服务器30与实施例一相比仅是增加了一个轨迹生成单元303,相应地,实施例二中的IVS处理单元202将帧号、目标ID及目标坐标输出至轨迹生成单元303。
轨迹生成单元303根据每帧图像对应的帧号及目标ID,提取第一时间内目标ID相同且帧号连续的多个目标坐标,根据多个目标坐标生成与第一时间对应的目标轨迹,按照目标ID,将目标ID及目标轨迹作为元数据存储至第二存储器32。轨迹生成单元303生成的目标轨迹中还包含生成该目标轨迹的数据帧的帧号,以便后续根据帧号确定满足报警条件的数据帧对应的报警触发时间,即满足报警条件的数据帧对应的图像采集时间。
其中,第一时间为生成目标轨迹所需数据帧对应的时长,比如第一时间为10分钟,则生成的目标轨迹为时长为10分钟的目标的运动轨迹;轨迹生成单元303在按照目标ID存储元数据时,将目标ID相同的元数据包含的目标轨迹存储于同一文件夹下,该文件夹可以目标ID进行标识。
实施例二的检索服务器33包含:条件解析单元331、报警分析单元332、及结果输出单元333。
条件解析单元331接收外部输入的检索条件,从检索条件中提取出待测目标的目标ID及报警算法ID,输出目标ID及报警算法ID至报警分析单元332。
报警分析单元332根据报警算法ID查找报警算法,根据目标ID从第二存储器32中读取元数据,判断元数据包含的目标轨迹是否符合报警条件,如果是,触发结果输出单元333,否则不触发结果输出单元333。若报警算法为穿越警戒线,则报警分析单元332对相同目标ID的多个目标轨迹及警戒线的坐标区域进行比较,在目标轨迹中存在超出警戒线对应的坐标区域的坐标时,判定元数据符合报警条件,触发结果输出单元333。
结果输出单元333根据触发生成报警信息并输出。其中,实施例二的报警信息至少包含目标ID和报警触发时间;在实施例二中,报警触发时间即为符合报警条件的目标轨迹所包含的满足报警条件的某一帧数据对应的图像采集时间,结果输出单元333可根据触发及帧号确定与帧号对应的数据帧的时间戳,进而将与时间戳对应的图像采集时间作为报警触发时间输出。
图5为本发明智能视频分析方法的流程图。现结合图5,对本发明智能视频分析方法进行说明,具体如下:
步骤401:利用智能视频分析IVS算法从解码后的视频数据中获取目标身份标识号ID及目标位置信息;
该步骤包括:对解码后的视频数据的每帧图像利用IVS算法分离出目标图像和背景图像,计算获得目标坐标并分配目标ID。
步骤402:将目标ID及目标位置信息作为元数据进行保存;
在目标位置信息为目标坐标时,该步骤为:按照每帧图像对应的帧号,将目标ID及目标坐标作为元数据进行保存;具体地,对于同一帧图像中包含的多个目标来说,将该帧图像包含的不同目标的目标ID及其目标坐标保存于以同一帧号命名的文件夹下。
在目标位置信息为目标轨迹时,该步骤包括:步骤4021,根据每帧图像对应的帧号及目标ID,提取第一时间内目标ID相同且帧号连续的多个目标的目标坐标;步骤4022,根据步骤4021中的多个目标的目标坐标,生成与第一时间对应的目标轨迹;步骤4023,按照目标ID,保存目标ID及作为目标位置信息的目标轨迹。
步骤4023中,按照目标ID保存元数据即为将不同时间获取的与第一时间对应的目标轨迹保存于同一目标ID对应的文件夹下。
步骤403:根据检索条件,判断元数据是否符合报警条件,如果是,执行步骤404,否则执行步骤405;
该步骤包括:4031,解析外部输入的检索条件,获得预设的时间段及报警算法ID;步骤4032,根据报警算法ID查找报警算法,根据预设的时间段,读取与预设的时间段对应的帧号所对应的元数据。步骤4033,判断元数据包含的目标坐标是否符合报警条件,如果是,则执行步骤404,否则执行步骤405。
或者,该步骤包括:步骤4034,解析外部输入的检索条件,获得待测目标的目标ID及报警算法ID;步骤4035,根据报警算法ID查找报警算法,根据目标ID读取保存的元数据;步骤4036,判断元数据包含的目标轨迹是否符合报警条件,如果是,执行步骤404,否则执行步骤405。
步骤404:生成并输出报警信息;
该步骤的报警信息至少包含报警触发时间及目标ID。其中,报警触发时间为满足报警条件的视频数据的图像采集时间。
步骤405:结束。
本发明的上述较佳实施例无需每次都根据检索条件对大量的视频数据逐一进行图像的解码、分析和报警判断,而是利用保存在第二存储器上数据库中的由大量的视频数据生成的元数据,在每次检索时,根据检索条件及已生成的元数据进行报警判断,避免了每次检索时都需要对大量视频数据进行的图像的解码和分析操作,在视频监控系统需要对大量视频数据进行分析检索的应用场合较现有的只能视频分析系统能有效地降低了资源消耗,节省了时间,提高了工作效率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。