CN103870574B - 基于h.264密文云视频存储的标签制作及索引方法 - Google Patents

基于h.264密文云视频存储的标签制作及索引方法 Download PDF

Info

Publication number
CN103870574B
CN103870574B CN201410101348.XA CN201410101348A CN103870574B CN 103870574 B CN103870574 B CN 103870574B CN 201410101348 A CN201410101348 A CN 201410101348A CN 103870574 B CN103870574 B CN 103870574B
Authority
CN
China
Prior art keywords
video
file
record
show
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410101348.XA
Other languages
English (en)
Other versions
CN103870574A (zh
Inventor
刘庆昊
芦翔
吕世超
潘磊
周新运
孙利民
孙兆曙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Cas Internet Of Things Technology Venture Capital Co ltd
Original Assignee
Jiangsu IoT Research and Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu IoT Research and Development Center filed Critical Jiangsu IoT Research and Development Center
Priority to CN201410101348.XA priority Critical patent/CN103870574B/zh
Publication of CN103870574A publication Critical patent/CN103870574A/zh
Application granted granted Critical
Publication of CN103870574B publication Critical patent/CN103870574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明提供一种基于H.264密文云视频存储的标签制作及索引方法，包括：首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：TimeStamp：表明记录对应的该帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；Offset：表明上述一帧图像在视频文件中的偏移量信息；Content：表明用户感兴趣的信息的具体内容。然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法；最后将经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储。

Description

基于H.264密文云视频存储的标签制作及索引方法
技术领域
本发明涉及一种视频云存储方法，尤其是一种云视频存储的标签制作及索引方法。
背景技术
近年来，我国安防行业一直保持高速增长，“十一五”期间年复合增长率超过23%，根据《中国安防行业“十二五”发展规划》，2015年行业总产值将达5000亿元。按照全行业20%的年复合增长率估算，其中视频监控系统产值将突破1000亿元，占安防电子系统的份额超过50%，成为其规模最大且最具增长潜力的细分领域。视频监控系统处于安防系统核心地位，因为其他系统基本都需与其结合应用，而且视频监控系统在安防系统中的产值占比也最大，达到40-45%。随着计算机技术、通信技术、物联网技术等众多新技术得到创新应用，也促进了视频监控系统的革新性发展，视频监控系统变得更加强大，可与各个行业业务管理系统不断融合，进一步发挥更大价值。相对封闭的视频监控系统正在与IT、通信等产业相融合。各地区的视频监控系统分散独立建设，各自几乎都为一个独立的系统。这样导致各地市和各使用部门建设的独立监控系统没有进行统一的资源库整合，无法进行资源共享，各部门之间的监控系统没有衔接，存在着大量的信息孤岛。为了打破信息孤岛，大联网平台建设已经成为未来几年平安城市建设的首要任务。
构建大联网平台建设离不开海量的视频存储系统，云计算以分布式的架构思想为海量视频存储以及检索系统提供了实践上的可能性，利用云存储以及云计算来构建大规模统一平台的视频监控系统也成为了最快速和有效的途径。云计算本身发展到今天已经有很多成熟的应用，如Google公司的GoogleDocs，另外微软、Amazon也有类似的云计算服务。云计算基础设施之一是提供可靠、安全的数据存储中心。
另一方面，如何从海量的视频存储系统中快速有效的检索出需要的有价值的信息也称为了挑战之一。智能视频监控以数字化、网络化视频监控为基础，它是一种更高端的视频监控应用。智能视频技术借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤掉用户不关心的信息，仅仅为监控者提供有用的关键信息。在世界反恐斗争日趋严峻的今天，智能视频监控显然能够成为应对恐怖主义袭击和处理突发事件的有力辅助工具。此外，智能视频监控还可以应用在交通管理、客户行为分析、客户服务等多种非安全相关的场景，以提高用户的投资回报。
发明内容
本发明的目的在于提供一种用于快速检索的视频标签制作方法，以完成在海量密文视频数据中快速检索所需要信息的任务。本发明采用的技术方案是：
一种基于H.264密文云视频存储的标签制作及索引方法，包括：
首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：
TimeStamp：表明记录对应的该帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；
Offset：表明上述一帧图像在视频文件中的偏移量信息；
Content：表明用户感兴趣的信息的具体内容；
该视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件；
然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化；
最后将经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储。
进一步地，制作视频标签文件时，视频标签文件中的每条记录还包括下述列：
ID：视频标签的标示符；
通道信息：表明视频的来源；
NAL_Type：表明所索引帧的类型；
Video/Audio：表明所索引的帧是视频帧还是音频帧。
进一步地，在一级索引文件的基础上，针对TimeStamp列构建二级索引，即在一级索引文件中，相隔一个时间段就抽取一条记录，根据抽取出的记录在一级索引文件中的偏移量，以及该条抽取出的记录中的绝对时间戳信息，构建二级索引，形成二级索引文件并上传至云服务器存储。
进一步地，视频文件中的偏移量，以及构建二级索引时抽取出的记录在一级索引文件中的偏移量均用字节偏移量表示。
本发明的优点在于：在建立了视频标签文件并形成二级检索机制后，可以大大的提高密文视频的检索速度，有利于在海量的视频文件中，快速检索到用户需要的内容信息。
附图说明
图1为本发明的结构流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
本技术方案的基本思想是前端IP网络摄像头（IPC）采集的H.264视频流数据通过智能视频分析提取出用户可能感兴趣的信息制作视频标签，然后将视频数据流进行加密，采用压缩比不变的视频加密方法进行加密，以保证加密前后标签的索引位置不会发生变化，保证提取标签的有效性。
如图1所示：
流程图中①显示前端IPC采用H.264视频压缩标准采集的视频数据流经过视频智能分析，提取出用户感兴趣的信息制作成视频标签文件；然后采用流加密的方式对明文视频数据流进行加密，注意要采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化，否则偏移量等信息发生变化，视频标签文件将会失效。最后经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储。
其中视频标签文件针对H.264视频压缩标准进行制作，一个视频标签文件中通常包含了许多条记录，一条记录就是一个标签。通过对H.264码流的视频帧结构进行研究提取的视频标签结构如下：
a)ID：为视频标签的标示符；
b)通道信息：表明视频的来源，即IPC的IP地址以及地理位置信息；
c)Video/Audio：表明索引的帧是视频帧还是音频帧；
d)TimeStamp：表明记录对应的某帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；
e)NAL_Type：表明所索引帧的类型，包括I帧、P帧、SPS、PPS、SEI等类型；
f)Offset：表明上述一帧图像在视频文件中的偏移量信息；此处偏移量用字节偏移量表示。
g)Content：为经过智能视频分析所得出的用户感兴趣的信息的具体内容，其中包括该帧中是否有人或者车辆出现，以及物体的运动轨迹监测，以及物体的颜色等辅助信息，来完成类似“穿红色衣服男子”、“发生越界行为”、“车辆发生碰撞”等检索请求。
long表示长整型数据类型，int表示整型数据类型。
视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件。也就是说，视频标签文件就是一个一级索引文件。视频标签文件基于TimeStamp列进行排序，这也符合视频流实时存储的概念，也方便针对该列构建二级索引，方便快速定位。
由于前端摄像头数量庞大，而且都为高清视频，所以视频标签文件的数量和大小都很大，造成检索速度的下降，为此提出二级索引机制来完成密文视频的快速检索。在视频一级索引文件的基础上再构建一级索引来实现快速定位。具体如下：
由于视频标签文件是基于TimeStamp列进行排序的，所以可以在一级索引文件的基础上，针对TimeStamp列构建二级索引，即在一级索引文件中，相隔一个时间段就抽取一条记录，根据抽取出的记录在一级索引文件中的偏移量，以及该条抽取出的记录中的绝对时间戳信息，构建二级索引，形成二级索引文件并上传至云服务器存储。此处偏移量用字节偏移量表示。
一个一级索引文件和二级索引文件的例子如下所示：
以上是一级索引文件；
1394599084343 137
1394599596371 4163
1394600108363 8299
以上是二级索引文件。4163表示时间戳1394599596371在一级索引文件中的偏移量。
检索过程中首先查找二级索引文件，例如时间戳1394599596371，得到该时间戳在二级索引文件中的偏移量4163，根据偏移量4163到一级索引文件中找到时间戳1394599596371所在的那条记录，从该条记录中就可以获知Offest=37278212，那么一帧图像在视频文件中的位置就可以得到确认。
流程图中②③表示客户端发起检索请求，通过视频标签文件，查找到所需信息的偏移量，从而准确快速定位用户所需视频。
流程图中④显示云存储服务器通过流媒体服务器发送用户想要检索的视频信息给客户端。
本发明中，因为是先抽取的标签信息然后再对视频流进行加密，因而要确保采用压缩比不变的加密算法。本发明的重点在于标签制作和索引，因此对于视频加密方法的介绍从略。

Claims (2)

1.一种基于H.264密文云视频存储的标签制作及索引方法，其特征在于，包括：
首先对采用H.264视频压缩标准采集的视频数据流进行视频分析，提取出用户感兴趣的信息制作成视频标签文件；视频标签文件中的每条记录即标签至少包含下述列：
TimeStamp：表明记录对应的帧图像的绝对时间戳信息，用以完成基于时间点的检索请求；
Offset：表明上述一帧图像在视频文件中的偏移量信息；
Content：表明用户感兴趣的信息的具体内容；
该视频标签文件中的记录基于TimeStamp列的时间戳前后顺序进行排序，就自然形成一级索引文件；
然后采用流加密的方式对明文视频数据流进行加密，加密时采用压缩比不变的视频加密方法以保证加密前后视频的大小不会发生变化；
最后将经过加密的H.264格式的视频文件以及提取的视频标签文件上传至云服务器存储；
在一级索引文件的基础上，针对TimeStamp列构建二级索引，即在一级索引文件中，相隔一个时间段就抽取一条记录，根据抽取出的记录在一级索引文件中的偏移量，以及该条抽取出的记录中的绝对时间戳信息，构建二级索引，形成二级索引文件并上传至云服务器存储；
视频文件中的偏移量，以及构建二级索引时抽取出的记录在一级索引文件中的偏移量均用字节偏移量表示。
2.如权利要求1所述的基于H.264密文云视频存储的标签制作及索引方法，其特征在于，制作视频标签文件时，视频标签文件中的每条记录还包括下述列：
ID：视频标签的标示符；
通道信息：表明视频的来源；
NAL_Type：表明所索引帧的类型；
Video/Audio：表明所索引的帧是视频帧还是音频帧。
CN201410101348.XA 2014-03-18 2014-03-18 基于h.264密文云视频存储的标签制作及索引方法 Active CN103870574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410101348.XA CN103870574B (zh) 2014-03-18 2014-03-18 基于h.264密文云视频存储的标签制作及索引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410101348.XA CN103870574B (zh) 2014-03-18 2014-03-18 基于h.264密文云视频存储的标签制作及索引方法

Publications (2)

Publication Number Publication Date
CN103870574A CN103870574A (zh) 2014-06-18
CN103870574B true CN103870574B (zh) 2017-03-08

Family

ID=50909104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410101348.XA Active CN103870574B (zh) 2014-03-18 2014-03-18 基于h.264密文云视频存储的标签制作及索引方法

Country Status (1)

Country Link
CN (1) CN103870574B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284163A (zh) * 2014-10-29 2015-01-14 广州中国科学院软件应用技术研究所 一种视频分析设备及系统
CN105007465B (zh) * 2015-07-21 2018-06-08 江苏物联网研究发展中心 基于live555框架和ffmpeg库的密文H264视频直播和点播平台
CN106202157A (zh) * 2016-06-23 2016-12-07 深圳市华域无线技术股份有限公司 基于时间流的视频快速检索方法
CN108924451A (zh) * 2017-05-09 2018-11-30 高德信息技术有限公司 一种图像获取方法及装置
CN107528917B (zh) * 2017-09-13 2020-12-15 马上消费金融股份有限公司 一种文件存储方法及装置
CN110505194A (zh) * 2019-05-30 2019-11-26 福建知鱼科技有限公司 一种云计算支撑平台
CN111263097B (zh) * 2019-09-19 2024-01-02 华为技术有限公司 媒体数据传输方法及相关设备
CN112783986B (zh) * 2020-09-23 2022-12-13 上海芯翌智能科技有限公司 基于标签的对象分组编制方法及装置、存储介质、终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996017313A1 (en) * 1994-11-18 1996-06-06 Oracle Corporation Method and apparatus for indexing multimedia information streams
CN101802823A (zh) * 2007-08-20 2010-08-11 诺基亚公司 用于流式多媒体数据的分段的元数据和位标
CN101977319A (zh) * 2010-11-03 2011-02-16 上海交通大学 基于视频特征及数字签名的视频隐蔽标签生成及认证方法
CN103593363A (zh) * 2012-08-15 2014-02-19 中国科学院声学研究所 视频内容索引结构的建立方法、视频检索方法及装置
CN103595730A (zh) * 2013-11-28 2014-02-19 中国科学院信息工程研究所 一种密文云存储方法和系统
CN103617233A (zh) * 2013-11-26 2014-03-05 烟台中科网络技术研究所 一种基于语义内容多层表示的重复视频检测方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8959071B2 (en) * 2010-11-08 2015-02-17 Sony Corporation Videolens media system for feature selection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996017313A1 (en) * 1994-11-18 1996-06-06 Oracle Corporation Method and apparatus for indexing multimedia information streams
CN101802823A (zh) * 2007-08-20 2010-08-11 诺基亚公司 用于流式多媒体数据的分段的元数据和位标
CN101977319A (zh) * 2010-11-03 2011-02-16 上海交通大学 基于视频特征及数字签名的视频隐蔽标签生成及认证方法
CN103593363A (zh) * 2012-08-15 2014-02-19 中国科学院声学研究所 视频内容索引结构的建立方法、视频检索方法及装置
CN103617233A (zh) * 2013-11-26 2014-03-05 烟台中科网络技术研究所 一种基于语义内容多层表示的重复视频检测方法与装置
CN103595730A (zh) * 2013-11-28 2014-02-19 中国科学院信息工程研究所 一种密文云存储方法和系统

Also Published As

Publication number Publication date
CN103870574A (zh) 2014-06-18

Similar Documents

Publication Publication Date Title
CN103870574B (zh) 基于h.264密文云视频存储的标签制作及索引方法
CN104488231B (zh) 用于有选择地监视流量的方法、设备和系统
US9665651B2 (en) Method and apparatus to identify outliers in social networks
US9723344B1 (en) Early detection of policy violating media
CN103281213B (zh) 一种网络流量内容提取和分析检索方法
US10708635B2 (en) Subsumption architecture for processing fragments of a video stream
CN109936512B (zh) 流量分析方法、公共服务流量归属方法及相应的计算机系统
WO2016119528A1 (zh) 视频数据的智能处理方法及系统
EP3321821B1 (en) Big data exchange method and device
CN109661822A (zh) 用于识别匹配内容的系统和方法
CN107690776A (zh) 用于异常检测中的将特征分组为具有选择的箱边界的箱的方法和装置
CN102882703A (zh) 一种基于http分析的url自动分类分级的系统及方法
CN106101015A (zh) 一种移动互联网流量类别标记方法和系统
CN110197085A (zh) 一种基于fabric联盟链的文档防篡改方法
CN102045305A (zh) 一种多媒体资源传播的监测追踪方法和系统
CN108200111A (zh) 资源配置信息更新方法、装置和资源接口设备
CN103024598A (zh) 获取网络视频播放流畅度的方法及装置
CN104298748A (zh) 一种用于视频中人脸检索的装置及方法
CN102223368A (zh) 在远程桌面传输协议监控时实现操作识别的系统及方法
CN103036910B (zh) 一种用户Web访问行为控制方法及装置
CN105827629A (zh) 云计算环境下软件定义安全导流装置及其实现方法
US10719552B2 (en) Focalized summarizations of a video stream
CN102571946A (zh) 一种基于对等网络的协议识别与控制系统的实现方法
DE202023100535U1 (de) Systeme für Multi-Blockchain- und Multi-Token-Interoperabilität durch gemeinsame Blockchain-Integration
CN112187774B (zh) 一种基于http/2传输特征的加密数据长度还原方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230720

Address after: 214135 Building C, Weina Sensor Network International Innovation Park, No. 200, Linghu Avenue, the Taihu Lake International Science Park, Wuxi New District, Jiangsu Province

Patentee after: JIANGSU CAS INTERNET-OF-THINGS TECHNOLOGY VENTURE CAPITAL CO.,LTD.

Address before: 214135 Block C, International Innovation Park of China Sensor Network, 200 Linghu Avenue, Wuxi New District, Jiangsu Province

Patentee before: JIANGSU R & D CENTER FOR INTERNET OF THINGS