CN109547865A - 视频编码数据的组织方法、同步播放方法、分段清除方法 - Google Patents

视频编码数据的组织方法、同步播放方法、分段清除方法 Download PDF

Info

Publication number
CN109547865A
CN109547865A CN201811336317.7A CN201811336317A CN109547865A CN 109547865 A CN109547865 A CN 109547865A CN 201811336317 A CN201811336317 A CN 201811336317A CN 109547865 A CN109547865 A CN 109547865A
Authority
CN
China
Prior art keywords
video
video data
time
data packet
pts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811336317.7A
Other languages
English (en)
Other versions
CN109547865B (zh
Inventor
章圣焰
胡轶群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aeronautical Radio Electronics Research Institute
Original Assignee
China Aeronautical Radio Electronics Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aeronautical Radio Electronics Research Institute filed Critical China Aeronautical Radio Electronics Research Institute
Priority to CN201811336317.7A priority Critical patent/CN109547865B/zh
Publication of CN109547865A publication Critical patent/CN109547865A/zh
Application granted granted Critical
Publication of CN109547865B publication Critical patent/CN109547865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频编码数据的组织方法，包含以下程序步骤：步骤A.1、根据自定义规则和已知信息生成文件头和视频流头；步骤A.2、对编码后的ES码流数据进行打包处理，形成视频数据包；其中：视频数据包的包头包含PTS时间信息；步骤A.3、根据收到的日历时间或默认时间生成绝对时间包；步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。本发明提供的视频文件可以使专用播放器能够根据码流中的PTS时间信息进行多路同时同步播放，可以使视频数据清除工具以PTS时间为参数输入，能够快速地改写码流中的原始数据，满足一些特殊应用场合的需求。

Description

视频编码数据的组织方法、同步播放方法、分段清除方法
技术领域
本发明属于视频处理领域，涉及视频编码压缩后视频数据的组织方法、同步播放方法和分段清除方法。
背景技术
随着信息技术的快速发展，视音频记录系统、视频监控系统已广泛应用于社会生活的方方面面，如行车记录仪、机载视频记录仪、银行视频监控设备等，这些设备接收和处理的对象均为视频，且多通道、大分辨率是这类设备发展的必然趋势，因视频的原始数据量非常庞大，如1秒钟1080p分辨率的摄像头所产生的数据量为3.564Gb，故在这些设备内部需对输入视频都进行编码压缩处理，以通常的200:1视频压缩比计算，1秒钟1080p分辨率数据编码后降为17.82Mb，这大大降低了后端数据处理的压力。
目前视频编码压缩标准常用的为H.264，最新并即将广泛推广的为H.265标准，针对这些视频编码标准，很多商用播放软件或码流分析软件均推出了对应的工具对编码数据进行解码播放，但是所有这些商用工具或软件只适合于对单路编码视频进行处理，当需要对多路视频同时同步播放时，这些工具或软件显然满足不了需求。
另外，在一些特殊应用场合，如刑侦、谍战、国防等领域，为了数据的安全或保密的需要，需人为地将视频数据中的某一段或几段清除，但清除后又不能影响其它保留数据的正常播放，常用的方法是用二进制文本工具将原始视频数据打开，通过手动计算要删除的起始视频帧位置和结束视频帧位置，然后手动将该段二进制视频数据删除。采用该方法的缺点为：
a)要删除的起始视频帧位置和结束视频帧位置计算繁琐；
b)手动删除视频数据将减少总视频播放时间长度，容易造成误判；
c)容易对数据造成误删除，并可能会影响保留数据的播放；
d)删除效率低下。
发明内容
针对多路视频不能同时同步播放的缺点和视频分段清除操作难的缺点，本发明的目的是提出了一种视频编码数据的组织方法，以方便专用播放器能够根据码流中的PTS时间信息进行多路同时同步播放，以及方便视频数据清除工具以PTS时间为参数输入，能够快速地改写码流中的原始数据，满足一些特殊应用场合的需求。
本发明的发明目的通过以下技术方案实现：
一种视频编码数据的组织方法，包含以下程序步骤：
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头；
步骤A.2、对编码后的ES码流数据进行打包处理，形成视频数据包；其中：视频数据包的包头包含PTS时间信息；
步骤A.3、根据收到的日历时间或默认时间生成绝对时间包；
步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。
根据上述视频文件实现的同步播放方法，包含以下程序步骤：
步骤B.1、解析各路视频的视频文件，根据视频文件中最后一个视频数据包的PTS时间信息和第一个视频数据包的PTS时间信息计算出各路视频的时间跨度，并选用最长的时间跨度做为各路视频的播放时长；
步骤B.2、从各路视频的视频文件中的第一个视频数据包开始，以视频数据包中的PTS时间信息为进度依次解码播放各视频数据包中的ES码流。
根据上述视频文件实现的分段清除方法，包含以下程序步骤：
步骤C.1、选择需进行待清除操作的视频文件；
步骤C.2、输入需要进行清除处理的视频片段的起始PTS时间和结束PTS时间起止时间；
步骤C.3、根据起始PTS时间找到对应的起始视频数据包，根据结束PTS时间找到对应的结束视频数据包；
步骤C.4、将起始视频数据包和结束视频数据包之间ES码流中的编码数据全部用数据0替换。
本发明的有益效果在于：
1)以视频数据包中的PTS时间为进度进行播放，只要ES码流数据和PTS时间对应关系正确，专用播放器将能够同时同步播放多路视频数据，提高了用户的使用效率，满足了用户的感官需求，在消费类电子及军用电子领域都有较高的应用价值；
2)因播放器以PTS时间为进度进行播放，而一帧ES视频码流严格对应一个PTS时间，故只要确定需要清除数据的起始和结束PTS时间，便能立即对应到该段ES视频码流，能够做到定位准确，高效清除修改，在国防、公安等对数据安全或保密要求高的领域将有较高的应用价值。
附图说明
图1为本发明中视频文件的结构示意图。
图2为本发明中按PTS时间进度进行视频播放的原理框图。
图3为本发明中视频数据清除工具界面示意图。
图4为本发明中H.264标准的ES基本码流构成示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。
a)视频码流组织装置：
如图1所示，视频文件开始部分由固定的32byte的文件头和20byte的视频流头构成，紧随其后为一系列以帧为单位的视频数据包和绝对时间包。文件头的具体定义见表1，视频流头的具体定义见表2，视频数据包头的具体定义见表3，绝对时间包的具体定义见表4。
表1文件头定义
表2视频流头定义
表3视频数据包头定义
表4绝对时间包定义
名称 位宽(bit) 说明 默认值 备注
Track id 8 特殊用途的Track id 0xFD
Packet size 24 本绝对时间包大小(单位：byte) 16 小端模式
Times tamp 32 时间戳(PTS＝Time stamp/90000) 小端模式
Datetime 48 绝对时间信息 大端模式
Reserved 16 保留位
如表3或表4所示，时间戳PTS时间共占有32bit的位宽，以小端模式显示。假设在视频文件中PTS时间按照此顺序显示A0 44 01 0B，则PTS时间的具体计算过程如下：
√小端模式十六进制数A044010B以大端模式显示0B0144A0；
√十六进制数0B0144A0转为十进制数184632480；
√因LSB＝(1/90000)s，即单位时间为(1/90000)s，故以s计算的时间为184632480x(1/90000)＝2051.472s；
√2051.472s＝0x3600+34x60+11+472x10-3，故时、分、秒信息为0:34:11.472。
如表4所示，绝对时间包共占有48bit的位宽，以大端模式显示，其内容包括年、月、日、时、分、秒信息，具体格式如表5所示。假设在视频文件中绝对时间按照此顺序显示5A C47F D9 71 88，则绝对时间的具体计算过程如下：
√十六进制数5AC47FD9转为十进制数1522827225；
√因LSB＝40us，即单位时间为40us，故以us计算的时间为1522827225x40＝60913089000us；
√60913089000us转为60913.089s；
√60913.089s＝16x3600+55x60+13+89x10-3，故时、分、秒信息为16:55:13.89；
√十六进制数71 88转为二进制数0111000110001000；
√前5位01110＝14，代表日期为14日，紧接的4位0011＝3，代表月份为3月，最后7位0001000＝8，代表年份为2008年(8+2000)；
√得出绝对时间为2008-3-14 16:55:13.89。
表5绝对时间信息格式定义
视频码流组织装置可以通下步骤完成视频文件的组织：
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头；
步骤A.2、对编码后的ES码流数据进行打包处理，形成视频数据包；其中：视频数据包的包头包含PTS时间信息；
步骤A.3、根据收到的日历时间或默认时间生成绝对时间包；
步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。
b)视频播放器
如图2，专用视频播放器根据视频码流组织架构获取各路视频的视频文件中的PTS时间信息，通过最后一个视频数据包PTS时间和第一个视频数据包的PTS时间计算出各路视频的时间跨度，并选用最长的时间跨度做为播放器的播放时长，然后从第一个视频数据包开始以PTS时间为进度依次解码播放视频数据包中的ES码流，因各路视频数据包的个数不完全一致，视频数据包少的先结束播放，视频数据包多的后结束播放，这样便能保证各路视频能够同时同步播放。
c)视频数据清除工具
如图3，视频数据清除工具的界面包括三个选项：视频文件选择、起始PTS时间选择、结束PTS时间选择，其操作和清除原理为：
√通过视频文件选择按键确定需进行待清除操作的视频文件；
√然后在起始PTS时间框和结束PTS时间框内输入需要进行清除处理的视频片段的起止时间，视频数据清除工具根据起始PTS时间找到对应的起始视频数据包，根据结束PTS时间找到对应的结束视频数据包；
√根据ES码流数据的特点，将起始和结束视频数据包之间ES码流中的编码数据全部用数据0替换，具体为：
i.ES(Elementary Stream)码流是基本码流，以H.264基本码流为例，其基本码流也叫NALU(网络抽象层单元)，其构成如图4所示；
ii.Start code为码流起始标志，一般为00 00 00 01(十六进制)；
iii.NALU header为NALU的头，其有3部分组成：
Forbidden zero bit(禁止位)：位宽1bit，默认为0，当NALU中有数据错误时设置为1，以便接收方纠正或丢弃该NALU；
Nal ref idc(NAL重要性指示)：位宽2bit，标志该NALU的重要性，值越大，越重要；
Nal unit type(NALU类型)：位宽5bit，NALU类型，如序列参数集时取值7(十六进制)、图像参数集时取值8(十六进制)；
NALU payload(NALU数据)：也叫RBSP(原始字节序列载荷)，是最原始的H.264编码数据，末尾为1个bit的1和若干bit的0，以便字节对齐。
iv.将NALU payload的内容全部用数据0替换。
点击确定键后，会即时弹出“处理完成”提示信息，表示清除更新完成，此时若再用播放器播放被处理的视频文件，则该时间段内将是空白画面播放。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (3)

1.一种视频编码数据的组织方法，包含以下程序步骤：
步骤A.1、根据自定义规则和已知信息生成文件头和视频流头；
步骤A.2、对编码后的ES码流数据进行打包处理，形成视频数据包；其中：视频数据包的包头包含PTS时间信息；
步骤A.3、根据收到的日历时间或默认时间生成绝对时间包；
步骤A.4、在文件头和视频流头后加入一系列的视频数据包和绝对时间包形成视频文件。
2.一种视频编码数据的同步播放方法，应用于权利要求1所述的视频文件，包含以下程序步骤：
步骤B.1、解析各路视频的视频文件，根据视频文件中最后一个视频数据包的PTS时间信息和第一个视频数据包的PTS时间信息计算出各路视频的时间跨度，并选用最长的时间跨度做为各路视频的播放时长；
步骤B.2、从各路视频的视频文件中的第一个视频数据包开始，以视频数据包中的PTS时间信息为进度依次解码播放各视频数据包中的ES码流。
3.一种视频编码数据的分段清除方法，应用于权利要求1所述的视频文件，包含以下程序步骤：
步骤C.1、选择需进行待清除操作的视频文件；
步骤C.2、输入需要进行清除处理的视频片段的起始PTS时间和结束PTS时间起止时间；
步骤C.3、根据起始PTS时间找到对应的起始视频数据包，根据结束PTS时间找到对应的结束视频数据包；
步骤C.4、将起始视频数据包和结束视频数据包之间ES码流中的编码数据全部用数据0替换。
CN201811336317.7A 2018-11-09 2018-11-09 视频编码数据的组织方法、同步播放方法、分段清除方法 Active CN109547865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811336317.7A CN109547865B (zh) 2018-11-09 2018-11-09 视频编码数据的组织方法、同步播放方法、分段清除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811336317.7A CN109547865B (zh) 2018-11-09 2018-11-09 视频编码数据的组织方法、同步播放方法、分段清除方法

Publications (2)

Publication Number Publication Date
CN109547865A true CN109547865A (zh) 2019-03-29
CN109547865B CN109547865B (zh) 2021-09-24

Family

ID=65846704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811336317.7A Active CN109547865B (zh) 2018-11-09 2018-11-09 视频编码数据的组织方法、同步播放方法、分段清除方法

Country Status (1)

Country Link
CN (1) CN109547865B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115643442A (zh) * 2022-10-25 2023-01-24 广州市保伦电子有限公司 一种音视频合流录制播放方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN102547482A (zh) * 2011-12-30 2012-07-04 北京锐安科技有限公司 一种多路ip音视频流同步播放方法
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN104394450A (zh) * 2014-11-14 2015-03-04 青岛海信宽带多媒体技术有限公司 一种多媒体帧的处理方法及装置
CN106231222A (zh) * 2016-08-23 2016-12-14 深圳亿维锐创科技股份有限公司 基于多码流可交互的示教录像文件格式及存储播放方法
CN106604059A (zh) * 2016-12-28 2017-04-26 深圳Tcl新技术有限公司 数据投放方法及系统
CN107343207A (zh) * 2017-08-16 2017-11-10 哈尔滨市舍科技有限公司 一种视频编辑方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1933594A (zh) * 2005-09-14 2007-03-21 王世刚 多路音视频数据网络传输与同步播放的方法
CN102547482A (zh) * 2011-12-30 2012-07-04 北京锐安科技有限公司 一种多路ip音视频流同步播放方法
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN104394450A (zh) * 2014-11-14 2015-03-04 青岛海信宽带多媒体技术有限公司 一种多媒体帧的处理方法及装置
CN106231222A (zh) * 2016-08-23 2016-12-14 深圳亿维锐创科技股份有限公司 基于多码流可交互的示教录像文件格式及存储播放方法
CN106604059A (zh) * 2016-12-28 2017-04-26 深圳Tcl新技术有限公司 数据投放方法及系统
CN107343207A (zh) * 2017-08-16 2017-11-10 哈尔滨市舍科技有限公司 一种视频编辑方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115643442A (zh) * 2022-10-25 2023-01-24 广州市保伦电子有限公司 一种音视频合流录制播放方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109547865B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
KR101680679B1 (ko) 디지털 방송 시스템 및 데이터 처리 방법
CN1210948C (zh) 用于数字数据处理的节目特定信息的形成
CN1294741C (zh) 数字数据和节目特定信息的处理和存储方法
CN1166179C (zh) 对于包括节目特定信息的数字数据进行的解码
JP6024854B1 (ja) 送信装置及び送信方法、並びに受信装置及び受信方法
CN108924600A (zh) 直播数据的发送接收方法、装置及电子设备
MX2007011286A (es) Aparatos y metodos de codificacion de dominios comprimidos para su utilizacion con senales de medios.
CN105765943B (zh) 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法
KR20100089003A (ko) 송/수신 시스템 및 데이터 처리 방법
CN109587489A (zh) 一种数字视频压缩方法
CN106605408B (zh) 用于传送和接收媒体数据的方法和装置
KR101792519B1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN109547865A (zh) 视频编码数据的组织方法、同步播放方法、分段清除方法
US8718131B2 (en) Method and apparatus for generating and processing packet in MPEG-2 transport stream
CN114363648A (zh) 直播系统混流过程中音视频对齐的方法、设备及存储介质
CN101116334A (zh) 用于接合地面数字多媒体广播信号的装置
CN105141962B (zh) 一种面向h.264/avc视频码流的大容量数据隐藏方法
CN102047662A (zh) 编码器
US6681363B1 (en) Data receiver, data transmission system, and data transmitting method therefor
CN202587238U (zh) Ts流字幕插入系统
CN102685558B (zh) Ts流字幕插入方法
US9025677B2 (en) Method, notably for optimizing the compression of a video and/or audio file, using a codec assigning a weight in bits per second to the corresponding compressed file, and associated system
JPH1051494A (ja) Ｍｐｅｇ多重構造伝送方法とそのシステム
US20090041127A1 (en) Flexible length decoder
KR20050076135A (ko) Ｉｅｃ958 출력을 통해 전송되는 오디오 스트림 데이터의저장방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant