CN105354247A - 一种支持存算联动的地理视频数据组织管理方法 - Google Patents
一种支持存算联动的地理视频数据组织管理方法 Download PDFInfo
- Publication number
- CN105354247A CN105354247A CN201510671281.8A CN201510671281A CN105354247A CN 105354247 A CN105354247 A CN 105354247A CN 201510671281 A CN201510671281 A CN 201510671281A CN 105354247 A CN105354247 A CN 105354247A
- Authority
- CN
- China
- Prior art keywords
- event
- video
- redis
- camera
- mysql
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种支持存算联动的地理视频数据组织管理方法,包括以下步骤:将视频流按视频帧序列接入内存数据库Redis的List数据结构,支持实时查询;利用视频帧序列分析提取出变化要素并存入关系数据库MySQL的变化要素内存表;通过MySQL的触发器机制实现异常事件的实时探测,并存入事件内存表;在事件内存表中建立Insert触发器,事件写入时实时同步到Redis;利用Redis的“订阅/发布”消息机制将事件推送至订阅该事件的地理对象,驱动视频分析的主动执行;将内存数据库中的视频帧按时间段△t成组批量写入分布式文件系统MongoDB,建立“DAY+CAMERA_ID”的混合片键,实现海量地理视频的分散存储;将视频帧的视域范围序列组成摄像头的移动轨迹,作为节点更新到基于视域范围序列构建的时空索引。
Description
技术领域
本发明属于地理空间信息系统技术领域,特别是涉及实时分析处理的地理视频数据组织管理方法。
背景技术
面对城市犯罪高发、警力资源不足、人力成本过高等现实挑战,视频监控作为犯罪防控的新型警务战略在安全领域得到了广泛应用。目前,我国已建成全世界首个大规模多级城市联网的视频监控网络,产生动态接入TB级/天的实时视频流和总量PB级的视频档案,为国家公共安全和应急管理科技支撑体系提供了重要基础数据。复杂地理环境下突发公共安全事件具有大范围流动性,传统针对独立视频流的分散处理,难以满足全局查找与跨境头的关联分析,地理视频(GeoVideo)作为集成地理空间与视频片段的新的表达方式,推动了以地理位置为核心的视频内外场景空间映射超媒体平台的发展,即通过地理位置关联实现视频的关联查询与分析计算。
图像传感器技术和空间定位技术的快速发展,使得海量地理视频数据源源不断地接入各类视频GIS处理系统中。鉴于视频处理是一种计算密集型和数据密集型的工作,需要消耗大量的计算资源,且分析结果具有时效性,如何有效组织管理海量视频数据,以支持TB级/天的实时视频流的在线智能处理,成为视频GIS面临的新挑战。视频接入的动态性、视频计算的实时性以及应急决策的限时性,急需视频GIS处理的实时化和智能化,为此传统存储与计算分离的视频组织管理方法的局限性日益突出,而存算联动成为地理视频数据组织管理领域新的研究前沿。
存算联动的核心价值在于将最新接入的视频数据融入分析和计算模型中,保证分析结果的现势性和有效性。当前视频计算系统一直以冯·诺依曼的计算与存储相分离的计算模型为基础,存储器件发展明显落后于处理器件,使得计算与存储之间出现了内存墙和I/O墙瓶颈,导致视频计算中主要能耗和操作时延源于海量地理视频数据在不同存储部件之间的传输,无法满足视频分析的限时性。此外,实时计算中视频价值的有效时间短,数据接入后直接处理,无须落盘,传统先存储再分析的处理模式不再适用。内外存协同是打破I/O瓶颈并实现存算联动的重要技术手段。然而,现有的视频GIS内存以缓存形式存在,协同效率很低;而目前流行的内存数据库往往是外存数据库的子集,容量有限且脆弱,需要定期保存到可靠的存储器上,协同能力十分有限。因此,如何进行地理视频数据的内外存协同存储和交互,使其具有良好的写入和调度效率是目前亟待解决的问题。
鉴于此,本发明深入分析地理视频数据的存算特点,利用内存数据库维护时空传感数据的实时接入和更新,以支持存算联动;利用分布式文件系统管理视频流数据的流式读写,以满足海量视频数据的存储管理与高效调度;利用关系型数据库的内存表管理视频处理中实时提取的变化要素,利用触发器机制实现异常事件的主动探测,并结合消息推送机制,驱动地理视频智能分析的连续发展;利用协同索引支持视频GIS数据的实时查询和动态更新。
目前,海量视频数据的组织管理方法主要有以下两种:
(1)基于时长的视频分段组织;
该类方法以时长为基准分割视频流媒体,并以文件方式存储,该类方法存储管理简单,易于理解。但流媒体的特点决定了即使是相同时长的流媒体文件所需的存储空间不一定相同,且空间差异还很大。采用定时长存储方式,随着系统运行进行的不断删除、写入的过程中必然产生大量的磁盘碎片,对视频存储性能产生不利影响。采用固定空间存储方式对定时长存储方式进行优化,将总空间一次性地初始化为多个固定大小的数据文件,每个数据文件中存储的流媒体的时长可能是不相同的,周期覆盖时也不删除数据文件,而是重写文件内容、更新索引,这种方法可以避免磁盘碎片的产生,但是也增加了视频索引的复杂度。
(2)基于变化检测的视频压缩存储;
该类方法以变化作为视频存储的触发点,从摄取的图像序列中提取运动信息,判断场景是否存在变化。当场景发生变化时进行视频记录,没有变化时就停止记录。这类方法避免了长时间监测没有变化的同一场景而导致的存储空间浪费,属于视频压缩存储的范畴,但是微小或无关的场景变化都会带来,不能突出监控的主体,不仅浪费了存储空间,而且对查找重要信息产生了很大的干扰。
发明内容
本发明目的在于针对传统海量视频数据管理方法难以支持存算联动的难题,针对地理视频数据的空间化特点、实时流数据特征,充分整合利用内外存数据库的性能特点,提出一种内外存协同的地理视频数据组织管理方法。
本发明所采用的技术方案是:一种支持存算联动的地理视频数据组织管理方法,其特征在于,包括有以下步骤:
步骤1:接入地理视频流,将视频流按照帧率转换为视频帧序列,并根据摄像头姿态和焦距计算每一帧的视域范围;
步骤2:将视频帧序列存入内存数据库Redis,每一路摄像机对应一个List链表,从列表头查询最近时间范围的视频帧数据,进行实时的运动区域检测与前景提取,同时以先进先出的顺序删除无效的历史视频帧数据,保持List链表长度恒定;
步骤3:视频帧序列分析提取变化要素并存入关系数据库MySQL的变化要素内存表,为MySQL中的变化要素内存表建立Insert触发器,执行变化的异常实时监测;判断变化要素值是否超出预先设定的阈值,如果超出,则根据异常数据超出范围触发不同类型事件,并将事件信息写入MySQL中的事件内存表;如果不超出,则执行下一个变化监测;
步骤4:为MySQL中的事件内存表建立Insert触发器,事件产生时,利用存储过程中内嵌的Gearman系统的任务分发功能,将事件信息同步发送到Redis中作为缓存;将MySQL的事件内存表行数据映射到Redis的哈希数据结构,以事件的全局唯一ID作为Hash数据结构的键Key;
步骤5:利用Redis的“订阅/发布”消息机制将Redis缓存中的事件推送至订阅了该事件的地理对象;以事件类别作为订阅和发布“频道”,以执行事件推送操作;
步骤6:地理对象接收到订阅事件,分析事件属性,依据事件类型和预定义事件处理模板,自主加载时空语义关联的地理视频数据和三维场景数据,以支持智能视频分析;
步骤7:将内存中的视频帧按时间段△t成组写入分布式文件系统MongoDB,创建“DATE+CAMERA_ID”的混合片键结构以支持将海量地理视频数据的分散存储;
步骤8:内存中的视频帧序列更新到MongoDB时,将步骤1中计算得到的每一帧的视域范围,按照时间段△t组成摄像头的移动轨迹,并计算该移动轨迹的MBR,作为节点更新到基于视域范围序列构建的时空索引。
作为优选,步骤2的具体实现包括以下子步骤:
步骤2.1:通过CreatList命令接入新的视频,将视频帧序列存入内存数据库Redis,以摄像机ID为List列表的Key值;
步骤2.2:通过SetVolume命名设置各列表的最长长度Length;
步骤2.3:针对实时写入,接入的最新视频帧通过LPush命令插入在表头,调用RPop命令删除过期数据;
针对实时查询,通过LPop命令获取实时接入的最新视频帧;通过GetRange命令可以获得最新的N张连续视频序列。
作为优选,步骤3中所述的变化要素内存表建立Insert触发器,其具体实现包括以下子步骤:
步骤3.1:首先确定触发语句,将变化要素写入MySQL变化要素内存表中时即要实时地执行异常判断,因此触发器指定变化要素内存表的Insert语句;
步骤3.2:其次确定触发条件,因视频帧中提取出的变化要素为量化值,故通过预先设定阈值来判断该变化是否异常;
步骤3.3:最后确定触发器动作,当变化值超过阈值时,会创建一个事件对象,事件对象信息包括事件类型、事件主体、事件客体,将事件对象写入按事件类型区分的事件内存表。
作为优选,步骤4中所述的MySQL事件信息同步到Redis缓存,其具体实现包括以下子步骤:
步骤4.1,为MySQL的事件内存表建立Insert触发器,当新事件写入时触发;加载Gearman-MySQL-UDF用户自定义函数,以Gearman为桥梁,实现MySQL和Redis的通信。
步骤4.2,编写PHPGearmanWorker,在PHPGearmanWorker中编写事件信息同步到Redis的操作。在事件的同步过程中,MySQL中的事件都是按表和按行存储,而Redis存储的是“键-值”对;为此,调用Redis的Hset接口,把MySQL的事件信息存入Redis的哈希数据结构,相对于每个字段都存储成String类型,更能节省内存,并以事件的全局唯一ID作为Hash数据结构的键Key。
作为优选,步骤5的具体实现包括以下子步骤:
步骤5.1:使用命令PublishChannelMessage发布事件消息,订阅者使用命令SubscribeChannel订阅频道;
步骤5.2:GearmanWorker将事件同步到Redis后,调用Redis的Publish命令发送事件消息,订阅端实时接收事件通知和事件ID;通过事件ID,查询位于Redis的事件缓存;
步骤5.3:获得事件相关的详细信息,进而通过摄像头ID,调用Redis的LPop接口获取实时接入的最新视频帧,自主加载该摄像头的实时监控画面。
作为优选,步骤7中所述的分布式文件系统MongoDB由分片Shard、Mongos路由器和配置服务Config组成,针对常规数据查询,创建混合索引,具体步骤包括:
步骤7.1:针对频繁访问的摄像头和视频对象查询需求,为摄像头ID和视频对象ID分别构建单键索引,提高查询效率;
步骤7.2:针对视频段查询,构建摄像头ID和时间属性的复合索引,提高时间范围查询的效率;
步骤7.3:针对摄像头的地理位置查询,创建MongoDB的空间索引,以支持空间查询,摄像头坐标存储结构为:{“Loc”:{“X”:100,“Y”:-100}}或者{“Loc”:{100,-100}};创建空间索引后,通过MongoDB特殊的空间查询操作符,如$near、$center、$box和limit操作符,实现多种灵活的组合查询,如矩形和圆形范围内的最近邻查询。
本发明为了寻求一种高效的地理视频数据组织管理方法,通过内存数据库接入视频帧序列的方式,支持视频流数据的实时接入和实时查询计算,避免了计算与存储之间的I/O瓶颈,满足视频分析的限时性;通过MySQL的触发器机制实现变化要素的异常事件实时探测;通过“订阅/发布”消息机制将事件推送至订阅该事件的地理对象,驱动视频分析的过程化处理;通过将内存数据库中的视频帧序列成组写入分布式文件系统,支持历史视频数据的分布式存储和并行调度,并构建时空索引,支持时空查询。本发明提出的海量地理视频数据组织管理方法具有方法简洁、执行效率高的优点,有效地解决了海量地理视频数据实时接入和实时计算的存算联动难题。
附图说明
图1:为本发明实施例的总体流程图;
图2:为本发明实施例的将视频帧序列存入内存数据库Redis的流程图;
图3:为本发明实施例的变化要素内存表建立Insert触发器的流程图;
图4:为本发明实施例的MySQL事件信息同步到Redis缓存的流程图;
图5:为本发明实施例的“订阅/发布”地理事件推送示意图;
图6:为本发明实施例中基于分布式文件系统MongoDB的集群架构。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
本发明的总体流程如图1所示,首先将地理视频以视频帧序列的方式接入内存数据库,支持视频流数据的实时接入和分析计算,再通过MySQL的触发器机制实现变化要素的异常事件实时探测,并通过“订阅/发布”消息机制将事件推送至订阅该事件的地理对象,驱动视频分析的过程化处理。本发明的重点是地理视频过程化处理结果的内外存协同存储和交互操作,探讨了一种支持实时接入和计算的新的视频组织方式,将视频分析的计算特点和内外存数据库存取的性能特点有机结合,并从空间维管理离散的非结构化视频流数据,支持视频流的时空检索。
本发明实施的实现过程采用计算机实现自动化处理,包括以下详细步骤:
步骤1:接入地理视频流,将视频流按照帧率转换为视频帧序列,并根据摄像头姿态和焦距计算每一帧的视域范围;由于摄像头姿态和焦距可能长时间静止,因此本发明在进行视频帧的视域范围计算时检测摄像机的变化情况,对于静态的摄像机,复用历史视域范围,通过这种方式减少视频帧视域范围的计算负担,提高视域范围分析的实时性。
步骤2:将视频帧序列存入内存数据库Redis,每一路摄像机对应一个List链表,从列表头查询最近时间范围的视频帧数据,进行实时的运动区域检测与前景提取,同时以先进先出的顺序删除无效的历史视频帧数据,保持List链表长度恒定。如图2所示,通过CreatList命令接入新的视频线路,以摄像机ID为List列表的Key值,接入的最新视频帧通过LPush命令插入在表头,为防止过渡占用内存容量可以通过SetVolume命令设置各列表的最长长度,达到长度限定值时会在表尾自动调用RPop命令删除过期数据,LPop命令获取实时接入的最新视频帧,GetRange命令可以获得最新的N张连续视频序列。
步骤3:将视频帧序列分析提取出的变化要素存入关系数据库MySQL变化要素内存表,为MySQL中的变化要素内存表建立Insert触发器,执行变化的异常实时监测。触发器是关系型数据库中的存储过程,当表被修改时,它隐式地被激发执行。如图3所示,变化要素内存表建立触发器的步骤如下:
步骤3.1:首先确定触发语句,将变化要素写入MySQL变化要素内存表中时即要实时地执行异常判断,因此触发器指定变化要素内存表的Insert语句;
步骤3.2:其次确定触发条件,定性描述不便于机器判断,因此视频帧中提取出的变化要素一般为量化值,例如监控对象间的距离或坐标位置,通过预先设定阈值来判断该变化是否异常;
步骤3.3:最后确定触发器动作,当变化值超过阈值时,会创建一个事件对象,事件对象信息包括事件类型、事件主体、事件客体等,将事件对象写入按事件类型区分的事件内存表。
步骤4:以Redis为缓存存储MySQL中的事件信息,以提高事件访问效率。其思路即为MySQL中的事件内存表建立Insert触发器,触发器的动作就是在事件对象写入时,利用Gearman系统的任务分发功能,将事件信息同步发送到Redis中作为缓存。如图4所示,具体步骤包括:
步骤4.1:为MySQL的事件内存表建立Insert触发器,当新事件写入时触发;加载Gearman-MySQL-UDF用户自定义函数,以Gearman为桥梁,实现MySQL和Redis的通信;
步骤4.2:编写PHPGearmanWorker,在PHPGearmanWorker中编写事件信息同步到Redis的操作;在事件的同步过程中,MySQL事件内存表中的事件都是按表和按行存储,而Redis存储的是“键-值”对;为此,调用Redis的Hset接口,把MySQL的事件信息存入Redis的哈希数据结构,相对于每个字段都存储成String类型,更能节省内存,并以事件的全局唯一ID作为Hash数据结构的键Key。
步骤5:利用Redis的“订阅/发布”消息机制将Redis缓存中的存储事件推送至订阅了该事件的地理对象,以事件类别作为订阅和发布“频道”,所有订阅此频道的订阅者都会收到此事件提示。如图5所示,具体步骤包括:
步骤5.1:使用命令PublishChannelMessage发布事件消息,订阅者使用命令SubscribeChannel订阅频道。
步骤5.2:GearmanWorker将事件同步到Redis后,调用Redis的Publish命令发送事件消息,订阅端实时接收事件通知和事件ID;通过事件ID,查询位于Redis的事件缓存;
步骤5.3:获得事件相关的详细信息,进而通过摄像头ID,调用Redis的LPop接口获取实时接入的最新视频帧,自主加载该摄像头的实时监控画面。
步骤6:地理对象接收到订阅事件,分析事件属性,依据事件类型和预定义事件处理模板,利用最近邻KNN查询,获得该摄像头周围一定区域的监控数据,利用R树查询事发地周围的场景信息,进而全方位掌握案发现场的情况,以支持智能决策。
步骤7:将内存中的视频帧按时间段△t成组写入分布式文件系统MongoDB,MongoDB通过集群的方式实现海量数据的高性能储存,采用自动分片机制扩展节点。MongoDB集群由分片Shard、Mongos路由器和配置服务Config组成,如图6所示,调用ensureIndex{“Day”-1,“Camera_ID”,1}接口创建“DAY+CAMERA_ID”的混合片键结构以支持将海量地理视频数据的分散存储。针对常规数据查询,创建混合索引,具体步骤包括:
步骤7.1:针对频繁访问的摄像头和视频对象查询需求,为摄像头ID和视频对象ID分别构建单键索引,提高查询效率;
步骤7.2:针对视频段查询,构建摄像头ID和时间属性的复合索引,提高时间范围查询的效率;
步骤7.3:针对摄像头的地理位置查询,创建MongoDB的空间索引,以支持空间查询,摄像头坐标存储结构为:{“Loc”:{“X”:100,“Y”:-100}}或者{“Loc”:{100,-100}};创建空间索引后,通过MongoDB特殊的空间查询操作符,如$near、$center、$box和limit操作符,实现多种灵活的组合查询,如矩形和圆形范围内的最近邻查询。
步骤8:为视频视域范围建立3DR时空索引,以时间段△t为粒度构建时空索引叶节点。内存中的视频帧序列更新到MongoDB时,将步骤1中计算得到的每一帧的视域范围,按照时间段△t组成摄像头的移动轨迹,并计算该移动轨迹的MBR,作为节点更新到基于视域范围序列构建的时空索引。为了避免自顶向下节点访问导致的I/O瓶颈,在内存中建立基于摄像头标识之上的哈希索引,快速定位摄像头最新记录在叶节点中的位置,支持直接访问叶节点中最新记录。当发出更新请求时,根据摄像头标识利用哈希索引直接获得此对象在叶节点中的索引项。若摄像头视域范围更新后的MBR并未超过所在叶节点的MBR上下界,那么通过更新算法,直接修改移动对象所在数据页面和叶节点页面即可,将更新操作限制在局部范围内,可减少索引树大范围的更新。否则,采用自顶向下的插入操作。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种支持存算联动的地理视频数据组织管理方法,其特征在于,包括有以下步骤:
步骤1:接入地理视频流,将视频流按照帧率转换为视频帧序列,并根据摄像头姿态和焦距计算每一帧的视域范围;
步骤2:将视频帧序列存入内存数据库Redis,每一路摄像机对应一个List链表,从列表头查询最近时间范围的视频帧数据,进行实时的运动区域检测与前景提取,同时以先进先出的顺序删除无效的历史视频帧数据,保持List链表长度恒定;
步骤3:视频帧序列分析提取变化要素并存入关系数据库MySQL的变化要素内存表,为MySQL中的变化要素内存表建立Insert触发器,执行变化的异常实时监测;判断变化要素值是否超出预先设定的阈值,如果超出,则根据异常数据超出范围触发不同类型事件,并将事件信息写入MySQL中的事件内存表;如果不超出,则执行下一个变化监测;
步骤4:为MySQL中的事件内存表建立Insert触发器,事件产生时,利用存储过程中内嵌的Gearman系统的任务分发功能,将事件信息同步发送到Redis中作为缓存;将MySQL的事件内存表行数据映射到Redis的哈希数据结构,以事件的全局唯一ID作为Hash数据结构的键Key;
步骤5:利用Redis的“订阅/发布”消息机制将Redis缓存中的事件推送至订阅了该事件的地理对象;以事件类别作为订阅和发布“频道”,以执行事件推送操作;
步骤6:地理对象接收到订阅事件,分析事件属性,依据事件类型和预定义事件处理模板,自主加载时空语义关联的地理视频数据和三维场景数据,以支持智能视频分析;
步骤7:将内存中的视频帧按时间段△t成组写入分布式文件系统MongoDB,创建“DATE+CAMERA_ID”的混合片键结构以支持将海量地理视频数据的分散存储;
步骤8:内存中的视频帧序列更新到MongoDB时,将步骤1中计算得到的每一帧的视域范围,按照时间段△t组成摄像头的移动轨迹,并计算该移动轨迹的MBR,作为节点更新到基于视域范围序列构建的时空索引。
2.根据权利要求1所述的支持存算联动的地理视频数据组织管理方法,其特征在于,步骤2的具体实现包括以下子步骤:
步骤2.1:通过CreatList命令接入新的视频,将视频帧序列存入内存数据库Redis,以摄像机ID为List列表的Key值;
步骤2.2:通过SetVolume命名设置各列表的最长长度Length;
步骤2.3:针对实时写入,接入的最新视频帧通过LPush命令插入在表头,调用RPop命令删除过期数据;
针对实时查询,通过LPop命令获取实时接入的最新视频帧;通过GetRange命令可以获得最新的N张连续视频序列。
3.根据权利要求1所述的支持存算联动的地理视频数据组织管理方法,其特征在于,步骤3中所述的变化要素内存表建立Insert触发器,其具体实现包括以下子步骤:
步骤3.1:首先确定触发语句,将视频分析提取出的变化要素写入MySQL的变化要素内存表中时即要实时地执行异常判断,因此触发器指定变化要素内存表的Insert语句;
步骤3.2:其次确定触发条件,因视频帧中提取出的变化要素为量化值,故通过预先设定阈值来判断该变化是否异常;
步骤3.3:最后确定触发器动作,当变化值超过阈值时,会创建一个事件对象,事件对象信息包括事件类型、事件主体、事件客体,将事件对象写入按事件类型区分的事件内存表。
4.根据权利要求1所述的支持存算联动的地理视频数据组织管理方法,其特征在于,步骤4中所述的MySQL事件信息同步到Redis缓存,其具体实现包括以下子步骤:
步骤4.1:为MySQL的事件内存表建立Insert触发器,当新事件写入时触发;加载Gearman-MySQL-UDF用户自定义函数,以Gearman为桥梁,实现MySQL和Redis的通信;
步骤4.2:编写PHPGearmanWorker,在PHPGearmanWorker中编写事件信息同步到Redis的操作;在事件的同步过程中,MySQL中的事件都是按表和按行存储,而Redis存储的是“键-值”对;为此,调用Redis的Hset接口,把MySQL的事件信息存入Redis的哈希数据结构,相对于每个字段都存储成String类型,更能节省内存,并以事件的全局唯一ID作为Hash数据结构的键Key。
5.根据权利要求1所述的支持存算联动的地理视频数据组织管理方法,其特征在于,步骤5的具体实现包括以下子步骤:
步骤5.1:使用命令PublishChannelMessage发布事件消息,订阅者使用命令SubcribeChannel订阅频道;
步骤5.2:GearmanWorker将事件同步到Redis后,调用Redis的Publish命令发送事件消息,订阅端实时接收事件通知和事件ID;通过事件ID,查询位于Redis的事件缓存;
步骤5.3:获得事件相关的详细信息,进而通过摄像头ID,调用Redis的LPop接口获取实时接入的最新视频帧,自主加载该摄像头的实时监控画面。
6.根据权利要求1所述的支持存算联动的地理视频数据组织管理方法,其特征在于,步骤7中所述的分布式文件系统MongoDB由分片Shard、Mongos路由器和配置服务Config组成,针对常规数据查询,创建混合索引,具体步骤包括:
步骤7.1:针对频繁访问的摄像头和视频对象查询需求,为摄像头ID和视频对象ID分别构建单键索引,提高查询效率;
步骤7.2:针对视频段查询,构建摄像头ID和时间属性的复合索引,提高时间范围查询的效率;
步骤7.3:针对摄像头的地理位置查询,创建MongoDB的空间索引,以支持空间查询,摄像头坐标存储结构为:{“Loc”:{“X”:100,“Y”:-100}}或者{“Loc”:{100,-100}};创建空间索引后,通过MongoDB特殊的空间查询操作符,实现多种灵活的组合查询。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510671281.8A CN105354247B (zh) | 2015-10-13 | 2015-10-13 | 一种支持存算联动的地理视频数据组织管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510671281.8A CN105354247B (zh) | 2015-10-13 | 2015-10-13 | 一种支持存算联动的地理视频数据组织管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105354247A true CN105354247A (zh) | 2016-02-24 |
CN105354247B CN105354247B (zh) | 2018-08-10 |
Family
ID=55330220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510671281.8A Active CN105354247B (zh) | 2015-10-13 | 2015-10-13 | 一种支持存算联动的地理视频数据组织管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354247B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339419A (zh) * | 2016-08-16 | 2017-01-18 | 福建中金在线信息科技有限公司 | 邮币卡行情快速获取方法及系统 |
WO2018153237A1 (zh) * | 2017-02-23 | 2018-08-30 | 中兴通讯股份有限公司 | 用于直播回看的缓存方法、系统及播放方法、系统 |
CN108958922A (zh) * | 2017-05-17 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 用于执行任务的方法和装置 |
CN109783523A (zh) * | 2019-01-24 | 2019-05-21 | 广州虎牙信息科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
CN110149546A (zh) * | 2019-04-15 | 2019-08-20 | 广州虎牙信息科技有限公司 | 移动终端及其基于录屏的视频补帧方法、计算机存储介质 |
CN110580269A (zh) * | 2019-09-06 | 2019-12-17 | 中科院合肥技术创新工程院 | 一种面向公共安全事件的时空数据动态演化图生成方法及其动态演化系统 |
CN111177268A (zh) * | 2019-12-30 | 2020-05-19 | 积成电子股份有限公司 | 一种电力监控系统自定义实时库的实现方法 |
CN111651283A (zh) * | 2020-05-18 | 2020-09-11 | 中国矿业大学 | 一种基于地理对象属性变化监听的分布式gis实时协同驱动方法 |
CN112214642A (zh) * | 2020-09-17 | 2021-01-12 | 中国科学院沈阳应用生态研究所 | 地理语义关联约束的多视频事件盲区变化过程推演方法 |
CN112215083A (zh) * | 2020-09-17 | 2021-01-12 | 中国科学院沈阳应用生态研究所 | 一种基于异常变化建模的多地理视频自适应事件探测方法 |
CN112948386A (zh) * | 2021-03-04 | 2021-06-11 | 电信科学技术第五研究所有限公司 | 一种针对etl异常数据的简易索引及加密落盘机制 |
CN113961743A (zh) * | 2021-12-16 | 2022-01-21 | 飞狐信息技术(天津)有限公司 | 数据更新方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226838A (zh) * | 2013-04-10 | 2013-07-31 | 福州林景行信息技术有限公司 | 地理场景中移动监控目标的实时空间定位方法 |
CN103646111A (zh) * | 2013-12-25 | 2014-03-19 | 普元信息技术股份有限公司 | 大数据环境下实现实时数据关联的系统及方法 |
US8949175B2 (en) * | 2012-04-17 | 2015-02-03 | Turn Inc. | Meta-data driven data ingestion using MapReduce framework |
-
2015
- 2015-10-13 CN CN201510671281.8A patent/CN105354247B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8949175B2 (en) * | 2012-04-17 | 2015-02-03 | Turn Inc. | Meta-data driven data ingestion using MapReduce framework |
CN103226838A (zh) * | 2013-04-10 | 2013-07-31 | 福州林景行信息技术有限公司 | 地理场景中移动监控目标的实时空间定位方法 |
CN103646111A (zh) * | 2013-12-25 | 2014-03-19 | 普元信息技术股份有限公司 | 大数据环境下实现实时数据关联的系统及方法 |
Non-Patent Citations (2)
Title |
---|
C. WU 等: "AN ADAPTIVE ORGANIZATION METHOD OF GEOVIDEO DATA FOR SPATIO-TEMPORAL ASSOCIATION ANALYSIS", 《ISPRS ANNALS OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
吴晨 等: "基于MongoDB数据库的多时态地形数据存储管理优化方法", 《技术应用》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339419A (zh) * | 2016-08-16 | 2017-01-18 | 福建中金在线信息科技有限公司 | 邮币卡行情快速获取方法及系统 |
WO2018153237A1 (zh) * | 2017-02-23 | 2018-08-30 | 中兴通讯股份有限公司 | 用于直播回看的缓存方法、系统及播放方法、系统 |
CN108958922A (zh) * | 2017-05-17 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 用于执行任务的方法和装置 |
CN108958922B (zh) * | 2017-05-17 | 2022-01-07 | 北京京东尚科信息技术有限公司 | 用于执行任务的方法和装置 |
CN109783523A (zh) * | 2019-01-24 | 2019-05-21 | 广州虎牙信息科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
CN109783523B (zh) * | 2019-01-24 | 2022-02-25 | 广州虎牙信息科技有限公司 | 一种数据处理方法、装置、设备和存储介质 |
CN110149546A (zh) * | 2019-04-15 | 2019-08-20 | 广州虎牙信息科技有限公司 | 移动终端及其基于录屏的视频补帧方法、计算机存储介质 |
CN110580269B (zh) * | 2019-09-06 | 2021-11-12 | 中科院合肥技术创新工程院 | 一种面向公共安全事件的时空数据动态演化图生成方法及其动态演化系统 |
CN110580269A (zh) * | 2019-09-06 | 2019-12-17 | 中科院合肥技术创新工程院 | 一种面向公共安全事件的时空数据动态演化图生成方法及其动态演化系统 |
CN111177268A (zh) * | 2019-12-30 | 2020-05-19 | 积成电子股份有限公司 | 一种电力监控系统自定义实时库的实现方法 |
CN111177268B (zh) * | 2019-12-30 | 2023-07-07 | 积成电子股份有限公司 | 一种电力监控系统自定义实时库的实现方法 |
CN111651283A (zh) * | 2020-05-18 | 2020-09-11 | 中国矿业大学 | 一种基于地理对象属性变化监听的分布式gis实时协同驱动方法 |
CN112214642B (zh) * | 2020-09-17 | 2021-05-25 | 中国科学院沈阳应用生态研究所 | 地理语义关联约束的多视频事件盲区变化过程推演方法 |
CN112215083B (zh) * | 2020-09-17 | 2021-11-09 | 中国科学院沈阳应用生态研究所 | 一种基于异常变化建模的多地理视频自适应事件探测方法 |
CN112215083A (zh) * | 2020-09-17 | 2021-01-12 | 中国科学院沈阳应用生态研究所 | 一种基于异常变化建模的多地理视频自适应事件探测方法 |
CN112214642A (zh) * | 2020-09-17 | 2021-01-12 | 中国科学院沈阳应用生态研究所 | 地理语义关联约束的多视频事件盲区变化过程推演方法 |
CN112948386A (zh) * | 2021-03-04 | 2021-06-11 | 电信科学技术第五研究所有限公司 | 一种针对etl异常数据的简易索引及加密落盘机制 |
CN112948386B (zh) * | 2021-03-04 | 2023-09-22 | 电信科学技术第五研究所有限公司 | 一种针对etl异常数据的简易索引及加密落盘机制 |
CN113961743A (zh) * | 2021-12-16 | 2022-01-21 | 飞狐信息技术(天津)有限公司 | 数据更新方法、装置、电子设备及存储介质 |
CN113961743B (zh) * | 2021-12-16 | 2022-03-01 | 飞狐信息技术(天津)有限公司 | 数据更新方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105354247B (zh) | 2018-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105354247A (zh) | 一种支持存算联动的地理视频数据组织管理方法 | |
CN105045820B (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
US8620945B2 (en) | Query rewind mechanism for processing a continuous stream of data | |
CN105681768A (zh) | 一种通过通信数据实现人流实时监控的方法 | |
CN104966006A (zh) | 基于云变平台的智能人脸识别系统 | |
CN102880854B (zh) | 基于分布式和哈希映射的室外海量物体识别方法和系统 | |
CN102902752A (zh) | 一种日志监控方法及系统 | |
CN106060176A (zh) | 一种基于混合云的云计算应用架构及云计算服务方法 | |
CN107800808A (zh) | 一种基于Hadoop架构的数据存储系统 | |
CN104301671B (zh) | Hdfs中基于事件密集度的交通监控视频存储方法 | |
CN110851473A (zh) | 一种数据处理方法、装置和系统 | |
US20230412769A1 (en) | Scalable Visual Computing System | |
CN109460393B (zh) | 一种基于大数据的预检预修可视化系统 | |
CN101827120A (zh) | 一种集群存储方法及系统 | |
CN107566785A (zh) | 一种面向大数据的视频监控系统及方法 | |
CN108959614A (zh) | 一种快照管理方法、系统、装置、设备及可读存储介质 | |
Zhang et al. | Efficient online surveillance video processing based on spark framework | |
CN104778355A (zh) | 基于广域分布交通系统的异常轨迹检测方法 | |
CN113868465B (zh) | 一种基于二维时间格网的可定位视频检索方法 | |
CN109165203A (zh) | 基于Hadoop架构的大型公共建筑能耗数据存储分析方法 | |
CN114328683A (zh) | 一种数据导入方法、装置、设备及存储介质 | |
CN113947498A (zh) | 一种融合终端数据中心的数据存储与检索方法 | |
CN105677853A (zh) | 一种基于大数据技术框架的数据存储方法及装置 | |
CN113268503B (zh) | 信息聚合方法、存储介质、计算机设备 | |
Zhao et al. | A real-time processing system for massive traffic sensor data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |