CN109547865B - 视频编码数据的组织方法、同步播放方法、分段清除方法 - Google Patents
视频编码数据的组织方法、同步播放方法、分段清除方法 Download PDFInfo
- Publication number
- CN109547865B CN109547865B CN201811336317.7A CN201811336317A CN109547865B CN 109547865 B CN109547865 B CN 109547865B CN 201811336317 A CN201811336317 A CN 201811336317A CN 109547865 B CN109547865 B CN 109547865B
- Authority
- CN
- China
- Prior art keywords
- video
- time
- pts
- video data
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
- H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码数据的组织方法,包含以下程序步骤:步骤A.1、根据自定义规则和已知信息生成文件头和视频流头;步骤A.2、对编码后的ES码流数据进行打包处理,形成视频数据包;其中:视频数据包的包头包含PTS时间信息;步骤A.3、根据收到的日历时间或默认时间生成绝对时间包;步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。本发明提供的视频文件可以使专用播放器能够根据码流中的PTS时间信息进行多路同时同步播放,可以使视频数据清除工具以PTS时间为参数输入,能够快速地改写码流中的原始数据,满足一些特殊应用场合的需求。
Description
技术领域
本发明属于视频处理领域,涉及视频编码压缩后视频数据的组织方法、同步播放方法和分段清除方法。
背景技术
随着信息技术的快速发展,视音频记录系统、视频监控系统已广泛应用于社会生活的方方面面,如行车记录仪、机载视频记录仪、银行视频监控设备等,这些设备接收和处理的对象均为视频,且多通道、大分辨率是这类设备发展的必然趋势,因视频的原始数据量非常庞大,如1秒钟1080p分辨率的摄像头所产生的数据量为3.564Gb,故在这些设备内部需对输入视频都进行编码压缩处理,以通常的200:1视频压缩比计算,1秒钟1080p分辨率数据编码后降为17.82Mb,这大大降低了后端数据处理的压力。
目前视频编码压缩标准常用的为H.264,最新并即将广泛推广的为H.265标准,针对这些视频编码标准,很多商用播放软件或码流分析软件均推出了对应的工具对编码数据进行解码播放,但是所有这些商用工具或软件只适合于对单路编码视频进行处理,当需要对多路视频同时同步播放时,这些工具或软件显然满足不了需求。
另外,在一些特殊应用场合,如刑侦、谍战、国防等领域,为了数据的安全或保密的需要,需人为地将视频数据中的某一段或几段清除,但清除后又不能影响其它保留数据的正常播放,常用的方法是用二进制文本工具将原始视频数据打开,通过手动计算要删除的起始视频帧位置和结束视频帧位置,然后手动将该段二进制视频数据删除。采用该方法的缺点为:
a)要删除的起始视频帧位置和结束视频帧位置计算繁琐;
b)手动删除视频数据将减少总视频播放时间长度,容易造成误判;
c)容易对数据造成误删除,并可能会影响保留数据的播放;
d)删除效率低下。
发明内容
针对多路视频不能同时同步播放的缺点和视频分段清除操作难的缺点,本发明的目的是提出了一种视频编码数据的组织方法,以方便专用播放器能够根据码流中的PTS时间信息进行多路同时同步播放,以及方便视频数据清除工具以PTS时间为参数输入,能够快速地改写码流中的原始数据,满足一些特殊应用场合的需求。
本发明的发明目的通过以下技术方案实现:
一种视频编码数据的组织方法,包含以下程序步骤:
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头;
步骤A.2、对编码后的ES码流数据进行打包处理,形成视频数据包;其中:视频数据包的包头包含PTS时间信息;
步骤A.3、根据收到的日历时间或默认时间生成绝对时间包;
步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。
根据上述视频文件实现的同步播放方法,包含以下程序步骤:
步骤B.1、解析各路视频的视频文件,根据视频文件中最后一个视频数据包的PTS时间信息和第一个视频数据包的PTS时间信息计算出各路视频的时间跨度,并选用最长的时间跨度做为各路视频的播放时长;
步骤B.2、从各路视频的视频文件中的第一个视频数据包开始,以视频数据包中的PTS时间信息为进度依次解码播放各视频数据包中的ES码流。
根据上述视频文件实现的分段清除方法,包含以下程序步骤:
步骤C.1、选择需进行待清除操作的视频文件;
步骤C.2、输入需要进行清除处理的视频片段的起始PTS时间和结束PTS时间;
步骤C.3、根据起始PTS时间找到对应的起始视频数据包,根据结束PTS时间找到对应的结束视频数据包;
步骤C.4、将起始视频数据包和结束视频数据包之间ES码流中的编码数据全部用数据0替换。
本发明的有益效果在于:
1)以视频数据包中的PTS时间为进度进行播放,只要ES码流数据和PTS时间对应关系正确,专用播放器将能够同时同步播放多路视频数据,提高了用户的使用效率,满足了用户的感官需求,在消费类电子及军用电子领域都有较高的应用价值;
2)因播放器以PTS时间为进度进行播放,而一帧ES视频码流严格对应一个PTS时间,故只要确定需要清除数据的起始和结束PTS时间,便能立即对应到该段ES视频码流,能够做到定位准确,高效清除修改,在国防、公安等对数据安全或保密要求高的领域将有较高的应用价值。
附图说明
图1为本发明中视频文件的结构示意图。
图2为本发明中按PTS时间进度进行视频播放的原理框图。
图3为本发明中视频数据清除工具界面示意图。
图4为本发明中H.264标准的ES基本码流构成示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
a)视频码流组织装置:
如图1所示,视频文件开始部分由固定的32byte的文件头和20byte的视频流头构成,紧随其后为一系列以帧为单位的视频数据包和绝对时间包。文件头的具体定义见表1,视频流头的具体定义见表2,视频数据包头的具体定义见表3,绝对时间包的具体定义见表4。
表1文件头定义
表2视频流头定义
表3视频数据包头定义
表4绝对时间包定义
名称 | 位宽(bit) | 说明 | 默认值 | 备注 |
Track id | 8 | 特殊用途的Track id | 0xFD | |
Packet size | 24 | 本绝对时间包大小(单位:byte) | 16 | 小端模式 |
Times tamp | 32 | 时间戳(PTS=Time stamp/90000) | 小端模式 | |
Datetime | 48 | 绝对时间信息 | 大端模式 | |
Reserved | 16 | 保留位 |
如表3或表4所示,时间戳PTS时间共占有32bit的位宽,以小端模式显示。假设在视频文件中PTS时间按照此顺序显示A0 44 01 0B,则PTS时间的具体计算过程如下:
√小端模式十六进制数A044010B以大端模式显示0B0144A0;
√十六进制数0B0144A0转为十进制数184632480;
√因PTS时间精度LSBPTS=(1/90000)s,即单位时间为(1/90000)s,故以s计算的时间为184632480x(1/90000)=2051.472s;
√2051.472s=0x3600+34x60+11+472x10-3,故时、分、秒信息为0:34:11.472。
如表4所示,绝对时间包共占有48bit的位宽,以大端模式显示,其内容包括年、月、日、时、分、秒信息,具体格式如表5所示。假设在视频文件中绝对时间按照此顺序显示5A C47F D9 71 88,则绝对时间的具体计算过程如下:
√十六进制数5AC47FD9转为十进制数1522827225;
√因绝对时间精度LSB精对=40us,即单位时间为40us,故以us计算的时间为1522827225x40=60913089000us;
√60913089000us转为60913.089s;
√60913.089s=16x3600+55x60+13+89x10-3,故时、分、秒信息为16:55:13.89;
√十六进制数71 88转为二进制数0111000110001000;
√前5位01110=14,代表日期为14日,紧接的4位0011=3,代表月份为3月,最后7位0001000=8,代表年份为2008年(8+2000);
√得出绝对时间为2008-3-14 16:55:13.89。
表5绝对时间信息格式定义
视频码流组织装置可以通下步骤完成视频文件的组织:
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头;
步骤A.2、对编码后的ES码流数据进行打包处理,形成视频数据包;其中:视频数据包的包头包含PTS时间信息;
步骤A.3、根据收到的日历时间或默认时间生成绝对时间包;
步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。
b)视频播放器
如图2,专用视频播放器根据视频码流组织架构获取各路视频的视频文件中的PTS时间信息,通过最后一个视频数据包PTS时间和第一个视频数据包的PTS时间计算出各路视频的时间跨度,并选用最长的时间跨度做为播放器的播放时长,然后从第一个视频数据包开始以PTS时间为进度依次解码播放视频数据包中的ES码流,因各路视频数据包的个数不完全一致,视频数据包少的先结束播放,视频数据包多的后结束播放,这样便能保证各路视频能够同时同步播放。
c)视频数据清除工具
如图3,视频数据清除工具的界面包括三个选项:视频文件选择、起始PTS时间选择、结束PTS时间选择,其操作和清除原理为:
√通过视频文件选择按键确定需进行待清除操作的视频文件;
√然后在起始PTS时间框和结束PTS时间框内输入需要进行清除处理的视频片段的起止时间,视频数据清除工具根据起始PTS时间找到对应的起始视频数据包,根据结束PTS时间找到对应的结束视频数据包;
√根据ES码流数据的特点,将起始和结束视频数据包之间ES码流中的编码数据全部用数据0替换,具体为:
i.ES(Elementary Stream)码流是基本码流,以H.264基本码流为例,其基本码流也叫NALU(网络抽象层单元),其构成如图4所示;
ii.Start code为码流起始标志,一般为00 00 00 01(十六进制);
iii.NALU header为NALU的头,其有3部分组成:
iv.将NALU payload的内容全部用数据0替换。
点击确定键后,会即时弹出“处理完成”提示信息,表示清除更新完成,此时若再用播放器播放被处理的视频文件,则该时间段内将是空白画面播放。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (2)
1.一种视频编码数据的组织和同步播放方法,其特征在于视频文件通过以下程序步骤组织形成:
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头;
步骤A.2、对编码后的ES码流数据进行打包处理,形成视频数据包;其中:视频数据包的包头包含PTS时间信息;
步骤A.3、生成绝对时间包;绝对时间包包含根据收到的日历时间或默认时间生成的绝对时间和PTS时间信息;
步骤A.4、在文件头和视频流头后加入一系列以帧为单位的视频数据包和绝对时间包形成视频文件;其中,一个视频数据包配一个绝对时间包;
PTS时间信息为十六进制的小端模式数X1X2X3X4X5X6X7X8;绝对时间为十六进制的大端模式数T1T2T3T4T5T6T7T8T9T10T11T12;
视频文件通过以下程序步骤同步播放:
步骤B.1、解析各路视频的视频文件,根据视频文件中最后一个视频数据包的PTS时间信息和第一个视频数据包的PTS时间信息计算出各路视频的时间跨度,并选用最长的时间跨度做为各路视频的播放时长;其中,PTS时间信息解析过程为:
将十六进制的小端模式数X1X2X3X4X5X6X7X8转换为十六进制大端模式数X7X8X5X6X3X4X1X2;
将十六进制数的大端模式数X7X8X5X6X3X4X1X2转为十进制数Y;
PTS时间信息W=Y×PTS时间精度LSBPTS;
将W分解为a×3600+b×60+c+d×10-3,获得PTS时间信息的时a:分b:秒c.毫秒d;
步骤B.2、从各路视频的视频文件中的第一个视频数据包开始,以视频数据包中的PTS时间信息为进度依次解码播放各视频数据包中的ES码流和绝对时间包中的绝对时间;其中绝对时间的解码过程为:
将十六进制数的大端模式数T1T2T3T4T5T6T7T8转为十进制数P;
绝对时间信息Q=P×绝对时间精度LSB绝对,若Q的时间单位不是秒,则转换为秒;
将Q分解为k×3600+j×60+i+l×10-3;获取绝对时间的时k:分j:秒i.毫秒l;
将十六进制数的T9T10T11T12转为二进制数Z=R1R2R3R4R5R6R7R8R9R10R11R12R13R14R15R16;
将二进制数R1R2R3R4R5转为十进制数U,将二进制数R6R7R8R9转为十进制数V,将二进制数R10R11R12R13R14R15R16转为十进制数S,则绝对日期为(2000+S)年V月U日。
2.一种视频编码数据的组织和分段清除方法,特征在于视频文件通过以下程序步骤组织形成:
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头;
步骤A.2、对编码后的ES码流数据进行打包处理,形成视频数据包;其中:视频数据包的包头包含PTS时间信息;
步骤A.3、生成绝对时间包;绝对时间包包含根据收到的日历时间或默认时间生成的绝对时间和PTS时间信息;
步骤A.4、在文件头和视频流头后加入一系列以帧为单位的视频数据包和绝对时间包形成视频文件;其中,一个视频数据包配一个绝对时间包;
PTS时间信息为十六进制的小端模式数X1X2X3X4X5X6X7X8;
视频文件的分段清除包含以下程序步骤:
步骤C.1、选择需进行待清除操作的视频文件;
步骤C.2、输入需要进行清除处理的视频片段的起始PTS时间和结束PTS时间;
步骤C.3、根据起始PTS时间找到对应的起始视频数据包,根据结束PTS时间找到对应的结束视频数据包;其中,对视频数据包中的PTS时间信息解析过程为:
将十六进制的小端模式数X1X2X3X4X5X6X7X8转换为十六进制的大端模式数X7X8X5X6X3X4X1X2;
将十六进制数大端模式数X7X8X5X6X3X4X1X2转为十进制数Y;
PTS时间信息W=Y×PTS时间精度LSBPTS;
将W分解为a×3600+b×60+c+d×10-3,获得PTS时间信息的时a:分b:秒c.毫秒d;
步骤C.4、将起始视频数据包和结束视频数据包之间ES码流中的编码数据全部用数据0替换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811336317.7A CN109547865B (zh) | 2018-11-09 | 2018-11-09 | 视频编码数据的组织方法、同步播放方法、分段清除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811336317.7A CN109547865B (zh) | 2018-11-09 | 2018-11-09 | 视频编码数据的组织方法、同步播放方法、分段清除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109547865A CN109547865A (zh) | 2019-03-29 |
CN109547865B true CN109547865B (zh) | 2021-09-24 |
Family
ID=65846704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811336317.7A Active CN109547865B (zh) | 2018-11-09 | 2018-11-09 | 视频编码数据的组织方法、同步播放方法、分段清除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109547865B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115643442A (zh) * | 2022-10-25 | 2023-01-24 | 广州市保伦电子有限公司 | 一种音视频合流录制播放方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102547482A (zh) * | 2011-12-30 | 2012-07-04 | 北京锐安科技有限公司 | 一种多路ip音视频流同步播放方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1933594A (zh) * | 2005-09-14 | 2007-03-21 | 王世刚 | 多路音视频数据网络传输与同步播放的方法 |
CN103702013B (zh) * | 2013-11-28 | 2017-02-01 | 北京航空航天大学 | 一种用于多路实时视频的帧同步方法 |
CN104394450B (zh) * | 2014-11-14 | 2017-12-29 | 青岛海信宽带多媒体技术有限公司 | 一种多媒体帧的处理方法及装置 |
CN106231222B (zh) * | 2016-08-23 | 2019-05-14 | 深圳亿维锐创科技股份有限公司 | 基于多码流可交互的示教录像文件格式的存储播放方法 |
CN106604059B (zh) * | 2016-12-28 | 2020-07-14 | 深圳Tcl新技术有限公司 | 数据投放方法及系统 |
CN107343207A (zh) * | 2017-08-16 | 2017-11-10 | 哈尔滨市舍科技有限公司 | 一种视频编辑方法及系统 |
-
2018
- 2018-11-09 CN CN201811336317.7A patent/CN109547865B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102547482A (zh) * | 2011-12-30 | 2012-07-04 | 北京锐安科技有限公司 | 一种多路ip音视频流同步播放方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109547865A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3672237B1 (en) | Compressed domain encoding apparatus and methods for use with media signals | |
CN103188522B (zh) | 提供与传送复合浓缩串流的方法以及系统 | |
CN106937121B (zh) | 图像解码和编码方法、解码和编码装置、解码器及编码器 | |
US20120201290A1 (en) | Method and system for media file compression | |
CN104837031B (zh) | 一种高速自适应提取视频关键帧的方法 | |
US9860594B2 (en) | Method and apparatus for image frame identification and video stream comparison | |
KR101489523B1 (ko) | 데이터 스트림으로 비디오 데이터 및 관련 메타데이터를 전송하기 위한 방법 | |
CN110113617B (zh) | 图像压缩与解压缩的方法、装置、电子设备及存储介质 | |
CN109547865B (zh) | 视频编码数据的组织方法、同步播放方法、分段清除方法 | |
CN112991135B (zh) | 视频叠加水印方法、装置、计算机设备和计算机存储介质 | |
CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及系统 | |
CN105491462B (zh) | 基于压缩视频的缩时概要输出系统与方法 | |
CN114363648A (zh) | 直播系统混流过程中音视频对齐的方法、设备及存储介质 | |
JP2003526861A (ja) | 圧縮されたデータ項目の記憶 | |
CN113784094B (zh) | 视频数据处理方法、网关、终端设备及存储介质 | |
CN111601113B (zh) | 一种基于区块链的直播溯源方法 | |
JP7343378B2 (ja) | 編集システム | |
WO2007092891A2 (en) | Methods and systems for picture rate reduction of stored video while under continuous record load | |
CN102047662A (zh) | 编码器 | |
KR101568680B1 (ko) | 데이터 파편 분류를 이용한 데이터 복원 방법 | |
US10701367B2 (en) | Method for encoding raw high frame rate video via an existing HD video architecture | |
US9025677B2 (en) | Method, notably for optimizing the compression of a video and/or audio file, using a codec assigning a weight in bits per second to the corresponding compressed file, and associated system | |
CN105141830A (zh) | 一种实时同步融入气压、海拔信息到视频中的录像方法 | |
Rumsey | Audio networking | |
CN117254938A (zh) | 一种飞机驾驶舱音频数据分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |