CN105072456B - 基于Hadoop的密文视频流处理方法、装置、服务器及系统 - Google Patents

基于Hadoop的密文视频流处理方法、装置、服务器及系统 Download PDF

Info

Publication number
CN105072456B
CN105072456B CN201510413421.1A CN201510413421A CN105072456B CN 105072456 B CN105072456 B CN 105072456B CN 201510413421 A CN201510413421 A CN 201510413421A CN 105072456 B CN105072456 B CN 105072456B
Authority
CN
China
Prior art keywords
video
video stream
stream data
flv
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510413421.1A
Other languages
English (en)
Other versions
CN105072456A (zh
Inventor
陈玉成
汪明伟
芦翔
龚慧芸
魏振宇
周新运
孙利民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201510413421.1A priority Critical patent/CN105072456B/zh
Publication of CN105072456A publication Critical patent/CN105072456A/zh
Application granted granted Critical
Publication of CN105072456B publication Critical patent/CN105072456B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于Hadoop的密文视频流处理方法、装置、服务器及密文视频监控系统，该方法包括：接收网络摄像机发送的H.264密文视频流数据；将该H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据；将第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据，并将其存储在Hadoop集群的分布式文件系统HDFS中，其中，第一、二flv视频流数据均包含N个视频文件，N为大于1的整数；获取第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。该方法可以对密文视频进行海量存储及检索，并保证其完整性。

Description

基于Hadoop的密文视频流处理方法、装置、服务器及系统
技术领域
本发明涉及技术领域，尤其涉及一种基于Hadoop的密文视频流数据处理方法、装置、服务器及密文视频监控系统。
背景技术
随着视频编码技术和网络技术的快速发展，视频会议、数字电视、视频聊天、在线影视等已经逐渐成为人们日常生活中的一部分。视频会议以其快速实时的特点得到广泛应用，然而，这些视频服务在开放网络环境中很容易遭受人为的攻击，如数据拦截、信息窃取、数据篡改和数据添删等。而对于政府、企业和军事、安防监控等领域，对视频内容的安全要求更高，如何保证视频内容的安全性是当前多媒体领域研究的重点之一。
目前，多采用认证技术或者权限划分的方式，防止非法用户访问存储器中的视频。在传输方面，多采用建立专门的安全通道保证视频传输的安全性。这些方式都存在一定的缺陷，例如，如果认证过程过于严格，或者权限划分过于复杂将降低用户使用的方便性，极大降低用于体验，相反，如果认证比较简单或者权限划分粒度大，则容易出现漏洞，从而被攻击。因此，对视频内容本身进行加密，可以较好的解决这一问题。
虽然密文视频流在整体上保留了视频流的基本格式，但是密文视频流又有其特有的特点，比如增加了新的数据类型、添加了控制信息以及对密文数据进行“加壳”等操作。现有的视频存储机制没有针对密文视频的具体特点进行设计，无法对密文视频中新增添的信息进行分析处理。因此，现有的视频存储机制不适合密文视频流的情况。密文视频内存储的实现存在以下困难点：
(1)、视频数据量巨大，需要解决视频的海量存储问题；
(2)、密文视频对数据的完整性要就非常高，一旦遭到破坏，将无法进行解密播放；
(3)、时间戳信息已经被加密，无法进行后期的检索、视频点播时的快进等操作。
鉴于此，如何对密文视频进行海量存储及检索，并保证其完整性成为目前需要解决的技术问题。
发明内容
为解决上述的技术问题，本发明提供一种基于Hadoop的密文视频流数据处理方法、装置、服务器及密文视频监控系统，能够对密文视频进行海量存储及检索，并保证其完整性。
第一方面，本发明提供一种基于Hadoop的密文视频流处理方法，包括：
接收网络摄像机发送的H.264密文视频流数据；
将所述H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据；
将所述第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数；
获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。
可选地，将生成的关键帧信息文件存储在本地文件系统中。
可选地，所述将所述第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据，包括：
将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据。
可选地，所述将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，包括：
每次接收的所述第一flv视频流数据中的视频文件时，判断所述视频文件是否为所述第一flv视频流数据中的第1个视频文件；
若所述视频文件不是所述第一flv视频流数据中的第1个视频文件，则将本视频文件中第1个关键帧的时间戳置零，将本视频文件中第2至M个视频帧的时间戳减去本视频文件中第1个关键帧置零之前的时间戳，直至接收完所有所述第一flv视频流数据中的视频文件，得到第二flv视频流数据，其中M为大于1的整数。
第二方面，本发明提供一种基于Hadoop的密文视频流处理装置，包括：
格式转化模块，用于接收网络摄像机发送的H.264密文视频流数据，并将所述H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据；
时间戳调整模块，用于将所述第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数；
关键帧信息提取模块，用于获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。
可选地，所述关键帧信息提取模块，具体用于
获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成关键帧信息文件，并将生成的关键帧信息文件存储在本地文件系统中。
可选地，所述时间戳调整模块，具体用于
将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数。
可选地，所述时间戳调整模块，进一步具体用于
每次接收的所述第一flv视频流数据中的视频文件时，判断所述视频文件是否为所述第一flv视频流数据中的第1个视频文件；
若所述视频文件不是所述第一flv视频流数据中的第1个视频文件，则将本视频文件中第1个关键帧的时间戳置零，将本视频文件中第2至M个视频帧的时间戳减去本视频文件中第1个关键帧置零之前的时间戳，直至接收完所有所述第一flv视频流数据中的视频文件，得到第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N和M均为大于1的整数。
第三方面，本发明提供一种服务器，包括：上述基于Hadoop的密文视频流处理装置。
第四方面，本发明提供一种密文视频监控系统，包括：网络摄像机、终端和上述服务器，所述服务器与所述网络摄像机、所述终端分别连接。
由上述技术方案可知，本发明的基于Hadoop的密文视频流数据处理方法、装置、服务器及密文视频监控系统，通过将密文视频存储在Hadoop分布式文件系统(HadoopDistributed File System，简称HDFS)中，解决了海量密文视频存储的问题，通过调用FFmpeg库将H.264密文视频流以无损的方式转换成flv格式，保证了视频数据的完整性，从而保证了密文视频数据可以正常解密播放，最后，通过建立关键帧信息提取机制、对关键帧进行重新生成时间戳的方式，实现了关键帧信息(meta)文件的生成，解决了密文视频检索的问题。
附图说明
图1为H.264密文视频流的的结构示意图；
图2为本发明第一实施例提供的基于Hadoop的密文视频流处理方法的流程示意图；
图3为本发明第一实施例提供的时间戳转化方法的流程示意图；
图4为本发明第二实施例提供的基于Hadoop的密文视频流处理装置的结构示意图；
图5为本发明第三实施例提供的一种服务器的结构示意图；
图6为本发明第四实施例提供的一种密文视频监控系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他的实施例，都属于本发明保护的范围。
Hadoop是一个开源分布式计算平台，实现了一个分布式文件系统，即Hadoop分布式文件系统HDFS。HDFS具有高容量、高容错、高伸缩的优点，因此非常适合大量视频文件的存储。FFmpeg是一款开源流媒体处理软件，可以实现视频格式的转化、视频编码以及视频解码的功能。
H.264视频压缩编码标准是由国际电信联盟远程通信标准化组织ITU-T视频编码专家组(Video Coding Experts Group，简称VCEG)和国际标准化组织(InternationalOrganization for Standardization，简称ISO)/国际电工委员会(InternationalElectrotechnical Commission，简称IEC)动态图像专家组(Moving Picture ExpertsGroup，简称MPEG)联合组成的联合视频组(Joint Video Team，简称JVT)提出的高度压缩数字视频编解码器标准。具有高压缩比、高稳定性、高容错性的特点。
本发明是在H.264密文视频流的环境下进行设计实现的，H.264密文视频流的特点如图1所示。从图1中可以看出，H264码流主要由参数集和数据帧(即视频帧)两部分组成。参数集由序列参数集SPS、图像参数集PPS两部分组成，视频帧由一系列的I帧、P帧组成。其中，I帧为帧内编码帧，I帧表示关键帧，可以理解为这一帧画面的完整保留，解码时只需要本帧数据就可以完成(因为包含完整画面)；P帧为前向预测编码帧，P帧表示的是这一帧跟之前的一个关键帧(或P帧)的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面(也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据)。
对于每一个视频帧，由视频帧头部、视频帧数据部分等组成部分。视频加密时，以帧为单位进行加密，由于参数集主要包含视频的基本信息，例如分辨率、档级等信息，因此加密时，保留参数集，仅仅对I帧P帧以及B帧的中的视频数据部分进行加密。
第一实施例
图2示出了本发明第一实施例提供的基于Hadoop的密文视频流处理方法的流程示意图，如图2所示，本实施例的基于Hadoop的密文视频流处理方法如下所述。
201、接收网络摄像机发送的H.264密文视频流数据。
在具体应用中，在网络摄像机中，该密文视频流通过实时流传输协议(Real TimeStreaming Protocol，简称RTSP)将视频推送到网络，服务器利用传输控制协议(Transmission Control Protocol，简称TCP)通过网络获取该密文视频流。由于在H264密文视频流中，时间戳信息被当作数据信息进行加密，在不解密的前提下，无法直接获取时间戳的信息，因此对于H264格式的视频文件无法直接进行基于时间戳的视频检索，从而也就无法完成视频点播时客户端用户的快进、回看等操作。由于FLV格式的视频具有时间戳。视频数据等部分，而且时间戳不依赖于视频数据，可以单独打印。因此，本方案首先设计了对H264密文视频流进行无损格式转化的模块，无损转化的目标是转化后的视频文件不影响密文视频的解密。
202、将所述H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据。
203、将所述第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数。
在具体应用中，将所述第二flv视频流数据按照时长进行周期性存储，同时，为了方便视频检索，文件名可统一命名为：“网络摄像机IP+视频接入时间+.flv”的格式。
在具体应用中，本步骤203中的“将所述第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据”，可具体包括：
将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据。
更进一步地，所述将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，可具体包括：
每次接收的所述第一flv视频流数据中的视频文件时，判断所述视频文件是否为所述第一flv视频流数据中的第1个视频文件；
若所述视频文件不是所述第一flv视频流数据中的第1个视频文件，则将本视频文件中第1个关键帧的时间戳置零，将本视频文件中第2至M个视频帧的时间戳减去本视频文件中第1个关键帧置零之前的时间戳，直至接收完所有所述第一flv视频流数据中的视频文件，得到第二flv视频流数据，其中M为大于1的整数(所述视频文件包括M个视频帧)。
本实施例的时间戳转化流程可参考图3。
可理解的是，本实施例通过调用FFmpeg实现密文视频流无损格式转化的过程中，flv格式的时间戳一直在累计增加。由于视频文件是周期性存储的，这样导致来自于同一个网络摄像机的密文视频流的不同视频文件中，第二个视频文件以及以后的视频文件的时间戳都是基于第一个视频文件累加的，这将导致的问题是：进行视频推送时，将出现用户长时间等待的现象，因此本发明设计时间戳转化，对第二个以及后来的视频文件，以第一个关键帧为参考，重新打时间戳，使得每一个视频文件的中每一个flv单元中的时间戳相对于0开始(即，第二个以及后来的视频文件的时间戳从0开始)，从而使得基于同一个网络摄像机的不同视频文件在逻辑上保持连续的同时，在物理上又是独立的。
204、获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。
优选地，在步骤204中，可将生成的关键帧信息文件存储在本地文件系统中。其中，本地文件系统为Linux系统，所述Hadoop集群安装在该本地文件系统中。
在具体应用中，本实施例所述关键帧信息文件为meta文件，该meta文件主要是xml文件，文件名命名规则统一为：“视频文件名”+“.meta”，所述关键帧信息文件的文件内容可以包括：视频文件的长度、视频文件的时间长度、每一个关键帧在视频文件中的位置和每一个关键帧在视频文件中的时间戳信息等。
可理解的是，由于视频存储的方式是按照用户设定的时长进行周期性存储的，比如假设用户选择存储周期为24h，当天0点接入视频，那么本存储系统就会在每天的0时将视频存储成一个视频文件。因此，对每一个视频文件的容量是非常大的，而对大的视频文件中的内容进行检索是非常花费计算机资源和耗费时间的。另一方面，在视频推送时，当用户第一次点播视频，一般都会生成一个meta文件，对于大的视频文件，生成关键帧信息文件是非常浪费时间的，这样极大地降低了用户体验，因此在存储视频文件时，设计了对HDFS中存储的FLV密文视频文件进行关键帧分析，预先生成关键帧信息meta文件。以满足基于关键帧的视频检索的需求。
由于Hadoop运行时，NameNode节点会将所有文件的元文件加载到内存中，有研究表明,大量的小的文件存储在Hadoop的HDFS中中会造成Hadoop集群的性能严重下降。由于每一视频文件的meta文件大小在几K到几百K，因此可以优选考虑将关键帧信息文件存储在linux本地文件系统。
本实施例的基于Hadoop的密文视频流处理方法，通过将处理后的密文视频存储在Hadoop分布式文件系统HDFS中，解决了海量密文视频存储的问题，通过调用FFmpeg库将H.264密文视频流以无损的方式转换成flv格式，保证了视频数据的完整性，从而保证了密文视频数据可以正常解密播放，最后，通过建立关键帧信息提取机制、对关键帧进行重新生成时间戳的方式，实现了关键帧信息meta文件的生成，解决了密文视频检索的问题。
第二实施例
图4示出了第二实施例提供的基于Hadoop的密文视频流处理装置的结构示意图，如图4所示，本实施例的基于Hadoop的密文视频流处理装置21包括：格式转化模块21a、时间戳调整模块21b和关键帧信息提取模块21c；
格式转化模块21a，用于接收网络摄像机发送的H.264密文视频流数据，并将所述H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据；
时间戳调整模块21b，用于将所述第一flv视频流数据中的视频文件进行时间戳调整，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数；
关键帧信息提取模块21c，用于获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。
在具体应用中，本实施例在所述关键帧信息提取模块中，可优选地将生成的关键帧信息文件存储在本地文件系统中。该本地文件系统为Linux系统，所述Hadoop集群安装在所述本地文件系统中。
在具体应用中，本实施例所述关键帧信息文件为meta文件，所述关键帧信息文件的文件内容可以包括：视频文件的长度、视频文件的时间长度、每一个关键帧在视频文件中的位置和每一个关键帧在视频文件中的时间戳信息等。
在具体应用中，本实施例所述时间戳调整模块21b，可具体用于
将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数。
更进一步地，所述时间戳调整模块21b，可具体用于
每次接收的所述第一flv视频流数据中的视频文件时，判断所述视频文件是否为所述第一flv视频流数据中的第1个视频文件；
若所述视频文件不是所述第一flv视频流数据中的第1个视频文件，则将本视频文件中第1个关键帧的时间戳置零，将本视频文件中第2至M个视频帧的时间戳减去本视频文件中第1个关键帧置零之前的时间戳，直至接收完所有所述第一flv视频流数据中的视频文件，得到第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N和M均为大于1的整数。
本实施例的基于Hadoop的密文视频流处理装置，通过将处理后的密文视频存储在Hadoop分布式文件系统HDFS中，解决了海量密文视频存储的问题，通过调用FFmpeg库将H.264密文视频流以无损的方式转换成flv格式，保证了视频数据的完整性，从而保证了密文视频数据可以正常解密播放，最后，通过建立关键帧信息提取机制、对关键帧进行重新生成时间戳的方式，实现了关键帧信息meta文件的生成，解决了密文视频检索的问题。
本实施例的基于Hadoop的密文视频流处理装置，可以用于执行前述图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
第三实施例
图5示出了第三实施例提供的一种服务器的结构示意图，如图5所示，本实施例的服务器2，包括：第二实施例所述的基于Hadoop的密文视频流处理装置21。
本实施例的服务器，可以对密文视频进行海量存储及检索，并保证其完整性。
第四实施例
图6示出了第四实施例提供的一种密文视频监控系统的结构示意图，如图6所示，本实施例的密文视频监控系统，包括：网络摄像机1、终端3和第三实施例所述的服务器2，所述服务器2与所述网络摄像机1、所述终端3分别连接。
本实施例的密文视频监控系统，可以在视频服务的基础上，通过将处理后的密文视频存储在Hadoop分布式文件系统HDFS中，解决了海量密文视频存储的问题，通过调用FFmpeg库将H.264密文视频流以无损的方式转换成flv格式，保证了视频数据的完整性，从而保证了密文视频数据可以正常解密播放，最后，通过建立关键帧信息提取机制、对关键帧进行重新生成时间戳的方式，实现了关键帧信息meta文件的生成，解决了密文视频检索的问题。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于Hadoop的密文视频流处理方法，其特征在于，包括：
接收网络摄像机发送的H.264密文视频流数据；
将所述H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据；
将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数；
获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。
2.根据权利要求1所述的方法，其特征在于，将生成的关键帧信息文件存储在本地文件系统中。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，包括：
每次接收的所述第一flv视频流数据中的视频文件时，判断所述视频文件是否为所述第一flv视频流数据中的第1个视频文件；
若所述视频文件不是所述第一flv视频流数据中的第1个视频文件，则将本视频文件中第1个关键帧的时间戳置零，将本视频文件中第2至M个视频帧的时间戳减去本视频文件中第1个关键帧置零之前的时间戳，直至接收完所有所述第一flv视频流数据中的视频文件，得到第二flv视频流数据，其中M为大于1的整数。
4.一种基于Hadoop的密文视频流处理装置，其特征在于，包括：
格式转化模块，用于接收网络摄像机发送的H.264密文视频流数据，并将所述H.264密文视频流数据利用FFmpeg转化为第一flv视频流数据；
时间戳调整模块，用于将所述第一flv视频流数据中的第2至N个视频文件的第1个关键帧的时间戳置零，获得第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N为大于1的整数；
关键帧信息提取模块，用于获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成并存储关键帧信息文件。
5.根据权利要求4所述的装置，其特征在于，所述关键帧信息提取模块，具体用于
获取所述第二flv视频流数据中的各视频文件的关键帧信息，生成关键帧信息文件，并将生成的关键帧信息文件存储在本地文件系统中。
6.根据权利要求4所述的装置，其特征在于，所述时间戳调整模块，进一步具体用于
每次接收的所述第一flv视频流数据中的视频文件时，判断所述视频文件是否为所述第一flv视频流数据中的第1个视频文件；
若所述视频文件不是所述第一flv视频流数据中的第1个视频文件，则将本视频文件中第1个关键帧的时间戳置零，将本视频文件中第2至M个视频帧的时间戳减去本视频文件中第1个关键帧置零之前的时间戳，直至接收完所有所述第一flv视频流数据中的视频文件，得到第二flv视频流数据，并将所述第二flv视频流数据存储在Hadoop集群的分布式文件系统HDFS中，其中，所述第一flv视频流数据和所述第二flv视频流数据均包含N个视频文件，N和M均为大于1的整数。
7.一种服务器，其特征在于，包括：如权利要求4-6中任一项所述的基于Hadoop的密文视频流处理装置。
8.一种密文视频监控系统，其特征在于，包括：网络摄像机、终端和如权利要求7所述的服务器，所述服务器与所述网络摄像机、所述终端分别连接。
CN201510413421.1A 2015-07-14 2015-07-14 基于Hadoop的密文视频流处理方法、装置、服务器及系统 Expired - Fee Related CN105072456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510413421.1A CN105072456B (zh) 2015-07-14 2015-07-14 基于Hadoop的密文视频流处理方法、装置、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510413421.1A CN105072456B (zh) 2015-07-14 2015-07-14 基于Hadoop的密文视频流处理方法、装置、服务器及系统

Publications (2)

Publication Number Publication Date
CN105072456A CN105072456A (zh) 2015-11-18
CN105072456B true CN105072456B (zh) 2019-04-26

Family

ID=54501716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510413421.1A Expired - Fee Related CN105072456B (zh) 2015-07-14 2015-07-14 基于Hadoop的密文视频流处理方法、装置、服务器及系统

Country Status (1)

Country Link
CN (1) CN105072456B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106792111A (zh) * 2016-12-07 2017-05-31 武汉斗鱼网络科技有限公司 一种使用ffmpeg接口录制直播网站视频的方法及装置
CN110719520A (zh) * 2019-09-29 2020-01-21 天脉聚源(杭州)传媒科技有限公司 一种视频信息提取方法、系统及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024603B (zh) * 2012-12-27 2016-06-15 合一网络技术(北京)有限公司 一种用于解决播放网络视频时短时停顿的装置及方法
CN103279521A (zh) * 2013-05-28 2013-09-04 重庆大学 一种基于Hadoop的视频大数据分布式解码方法
KR101568063B1 (ko) * 2013-11-06 2015-11-10 건국대학교 산학협력단 멀티미디어 트랜스코딩 방법 및 이를 수행하는 하둡 기반 멀티미디어 트랜스코딩 시스템

Also Published As

Publication number Publication date
CN105072456A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
US9154857B2 (en) ABR live to VOD system and method
CN108702527A (zh) 用于使用通用夹层分发格式的媒体传送的系统和方法
CN105681827B (zh) 直播频道的海报生成方法、系统及相关装置
CN110493657A (zh) OnStream智能在线流媒体平台系统
CN105659623B (zh) 发送装置、发送方法、接收装置以及接收方法
US11601525B2 (en) Apparatus and methods for content access, retrieval, and delivery in a content distribution network
US11315605B2 (en) Method, device, and computer program product for storing and providing video
US10715836B2 (en) Method and apparatus for delocalized management of video data
US10715880B2 (en) Method for creation and distribution of segmented video over distributed multicast-aware sparse networks with low latency
CN114363703B (zh) 视频处理方法、装置及系统
CN105072456B (zh) 基于Hadoop的密文视频流处理方法、装置、服务器及系统
CN110719526A (zh) 视频播放方法及装置
CN105610823A (zh) 一种基于任务向量的流媒体处理方法及其处理系统架构
CN106982376B (zh) 一种多媒体内容个性化呈现的时间线控制方法
CN111885351A (zh) 一种屏幕显示方法、装置、终端设备和存储介质
EP2378441A1 (en) Method and system for comparing media assets
EP3891999A1 (en) Just after broadcast media content
US20150172735A1 (en) Program source data processing method and device
CN106357816B (zh) 一种云端存储复合文档的方法及系统
CN104333765A (zh) 一种视频直播流的处理方法及处理装置
CN105187855A (zh) 基于Hadoop和Red5的视频点播系统及方法
CN111800649A (zh) 存储视频的方法和装置以及生成视频的方法和装置
Kumar et al. Cloud‐based video streaming services: Trends, challenges, and opportunities
CN111147952B (zh) 一种监控资源数据发送方法、装置及存储介质
Bibak Sareshkeh Combined ict technologies for supervisión of complex operations in resilient communities

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190426

Termination date: 20190714

CF01 Termination of patent right due to non-payment of annual fee