CN109274973A - 嵌入式arm平台上的快速视频解码方法 - Google Patents
嵌入式arm平台上的快速视频解码方法 Download PDFInfo
- Publication number
- CN109274973A CN109274973A CN201811122472.9A CN201811122472A CN109274973A CN 109274973 A CN109274973 A CN 109274973A CN 201811122472 A CN201811122472 A CN 201811122472A CN 109274973 A CN109274973 A CN 109274973A
- Authority
- CN
- China
- Prior art keywords
- image data
- decoding
- hardware
- arm platform
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种嵌入式ARM平台上的快速视频解码方法，包括以下步骤：步骤S1，首先打开ARM平台的硬件解码器；步骤S2，然后继续从图像数据源获取一帧图像数据；步骤S3，判断图像数据的结束标志位是否有效，若有效则关闭硬件解码器，若无效则进一步判断起始标志位是否有效，若有效进行下一步，若无效返回步骤S2；步骤S4，调用ARM平台硬件厂家提供的API，按照H.264的相关标准设定解码参数，然后初始化硬件解码器，为硬件解码分配缓存；步骤S5，将图像数据发送至硬件解码器进行解码运算；步骤S6，每一帧的解码完成后需要对缓存进行清空，返回步骤S2；这样循环操作直到检测到有效的结束标志位。本发明具有处理耗时短的优点。
Description
技术领域
本发明涉及视频监控技术领域，尤其是一种嵌入式ARM平台上的快速视频解码方法。
背景技术
视频编解码技术的本质是一种视频数据的压缩算法，被广泛应用在各类视频监控系统中。随着技术的发展，现有的视频监控类产品已经无法满足用户的全部需求，以电子警察类产品的发展趋势为例进行分析：
1．随着图像处理技术的高速发展，更多更复杂的图像算法被不断开发出来。考虑到此类产品系统对实时性的要求很高，图像处理时间过长会发生延时，在算法复杂度提高的同时又要保证处理时间，图像处理系统势必要消耗更多的系统资源。
2．超清、高清摄像机的应用普及，采集端的图像数据源采样率和分辨率越来越高，传输子系统和编解码子系统的数据量会成倍增加，传输过程中消耗的系统资源和时间也相应增加。
3．交管部门功能需求的多样化、智能化。从最初的单一抓拍功能到交通流量平台，再到目前已经开始运行的突发事件识别功能、治安卡口功能、违停识别功能等，更多的智能化功能被要求加入到图像处理子模块中。在复杂的软件系统中，有时增加一个看似简单的功能需求，对应的软件代码量可能要增加上万行，系统的结构和逻辑需要重大调整甚至重新设计，对应系统的开销增加也是必然的。
综合以上三点，以电子警察为代表的视频监控类产品需要升级性能是必然的。升级的主要方向在解码子模块与图像处理子模块上，图像处理子模块需要加入大量新的功能，增加系统资源。
因此，解码子模块就成了性能升级的突破口。相比于图像处理，解码的算法相对固定，处理时间长短和数据运算量的大小有关，对系统资源的消耗相对要小一些。以现有的编解码方法，要保证系统的实时性，只能降低系统采样率，但这显然是用户体验无法接受的。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种嵌入式ARM平台上的快速视频解码方法，具有解码性能高、处理耗时短的优点，对系统资源消耗低，保证图像处理子模块有足够的系统资源使用。本发明采用的技术方案是：
一种嵌入式ARM平台上的快速视频解码方法，包括以下步骤：
步骤S1，首先打开ARM平台的硬件解码器；
步骤S2，然后继续从图像数据源获取一帧图像数据；
步骤S3，判断图像数据的结束标志位是否有效，若有效则关闭硬件解码器，若无效则进一步判断起始标志位是否有效，若有效进行下一步，若无效返回步骤S2；
步骤S4，调用ARM平台硬件厂家提供的API，按照H.264的相关标准设定解码参数，然后初始化硬件解码器，为硬件解码分配缓存；
步骤S5，将图像数据发送至硬件解码器进行解码运算；
步骤S6，每一帧的解码完成后需要对缓存进行清空，返回步骤S2；
这样循环操作直到检测到有效的结束标志位，说明全部解码完成，关闭硬件解码器。
进一步地，步骤S2中，使用ffmpeg的API从图像数据源获取一帧图像数据。
进一步地，需要解码的图像数据是ARM平台的本地图像文件或来自于RTSP服务器。
进一步地，步骤S5中，GPU自动对硬件解码操作进行加速。
本发明的优点在于：本发明利用硬件编解码的方法和GPU的硬件加速功能，与既有的ffmpeg体系相结合,极大提升了解码子模块的解码速度，同时降低了解码子模块的资源消耗。解决了原视频监控系统中解码速度处理时间长，资源消耗大的问题。
附图说明
图1为现有视频处理流程的模块示意图。
图2为本发明的快速视频解码流程图。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
本发明提供一种嵌入式ARM平台上的快速视频解码方法，将视频解码的工作交给硬件来完成，因此能够提高解码速度，大大降低视频解码的耗时。
（一）以下首先介绍本发明涉及的一些术语与技术知识。
1）H.264与YUV；
YUV是一种颜色编码方法；Y表示明亮度，U和V则是色度、浓度；如果图像只有Y，没有UV，那么人们看到的就是黑白的图像；通常前端的高清相机采集到的视频数据都是YUV格式的，这种格式的视频清晰度高但是体积大传输用时多，为保证视频监控系统的实时性，通常的做法是将YUV格式的文件转换为H.264格式，然后再传输。
H.264是一种文件格式，也可以理解为是一种高度压缩数字视频编解码器标准。这个标准通常被称之为H.264/AVC。H.264的优势主要有高数据压缩比率，在同等图像质量的条件下，H.264的压缩比远高于其他的格式。大大节省用户的下载时间和数据流量。H.264同时还拥有高质量流畅的图像，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少。
2）ARM平台；
本实施例中涉及的ARM平台，具体采用S5P4418，S5P4418是一款三星开发的核心板，使用4 核 A9 ARM 架构，CPU频率为1.4GHz。高性能的同时功耗较低。继承了coda960编解码芯片，支持多种视频格式的硬件编解码，带有GPU硬件加速功能。
3）硬件编解码；
发送一个较大的视频文件前可以通过编码转化为一个较小的文件，接收到以后通过解码可以基本还原发送前的数据，这样传输的时间就节省了。传统的视频编解码是使用软件来实现的。具体是使用常规的x264、x265等软件编解码器对数据进行处理，优点是灵活，缺点是速度比较慢。硬件编解码是直接使用硬件电路来完成编解码，优点是速度快，不占用CPU资源。
4）GPU；
GPU全称是图形处理器，是专为执行复杂的数学和几何计算而设计的，拥有一个由数以千计的小而高效的核心组成的大规模并行计算架构。有了GPU，CPU就从简单重复的任务中解放出来， 将应用程序计算密集部分的工作负载转移到 GPU，同时仍由 CPU 运行其余程序代码。从用户的角度来看，应用程序的运行速度明显加快。
传统的视频监控系统，如图1所示，包括采集模块、处理模块、上位机；
采集模块包括高清相机和RTSP服务器；采集模块中的高清相机拍摄到视频数据(YUV格式)，经过编码存储在RTSP服务器上(H.264格式)；处理模块接收到视频数据后，先交由软件解码子模块解码，解码后的结果交给图像处理子模块处理，最后发往上位机做进一步处理。传统的视频解码通过ffmpeg工具进行；ffmpeg工具是一个开源的音视频工具，可以运行音频和视频多种格式的录影、转换、流功能。
图1中现有的视频监控系统，支持的图像分辨率为704*576，采样率最高可达15帧，即每秒钟要求处理15帧图像，每帧图像的处理时间是70毫秒左右，目前处理一帧704*576的图像数据，解码耗时约40ms，图像处理耗时约60ms，满足需求。但是按照未来升级的趋势，如果换上最大分辨率1920*1080，采样率25帧的高清相机，问题就出现了；首先，视频解码的用时会大大的增加，因为计算的数据量是以前的五倍，如果视频解码在用时上超过了图像处理，那么就会出现上一帧图像数据分析完成后，下一帧图像数据还没有完成解码，图像处理子模块只能处于等待的情况。其次，系统资源是有限的。随着数据量的提升，解码和图像处理两者都需要更多的资源，容易因为申请资源而发生冲突。
（二）如图2所示，嵌入式ARM平台上的快速视频解码方法，对上述问题进行了改进；
步骤S1，首先打开ARM平台的硬件解码器,此操作在程序中对应的函数名为NX_VidDecOpen；操作的各函数由 ARM平台硬件厂商提供；后续步骤中的函数名也在图2中列出；
步骤S2，然后继续使用ffmpeg的API（即应用程序编程接口）从图像数据源获取一帧图像数据；
使用ffmpeg的API可以使硬解码过程与原视频监控系统无缝衔接，解码后的数据可以直接送往图像处理子模块而不需要额外的封装处理；
需要解码的图像数据可以是ARM平台的本地图像文件或来自于RTSP服务器；
步骤S3，判断图像数据的结束标志位是否有效，若有效则关闭硬件解码器，若无效则进一步判断起始标志位是否有效，若有效进行下一步，若无效返回步骤S2；
步骤S4，调用ARM平台硬件厂家提供的API，按照H.264的相关标准设定解码参数，然后初始化硬件解码器，为硬件解码分配缓存；
步骤S5，将图像数据发送至硬件解码器进行解码运算；其中GPU会自动对硬件解码操作进行加速；
步骤S6，每一帧的解码完成后需要对缓存进行清空，返回步骤S2；
这样循环操作直到检测到有效的结束标志位，说明全部解码完成，关闭硬件解码器。
（三）处理结果；
因为使用硬件解码,因此对系统资源的消耗极少,解码速度则有了明显的提升。解码分辨率704*576的文件，47帧耗时78ms，平均1ms/帧；解码分辨率1920*1080的文件，183帧耗时1508ms，平均8ms/帧。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种嵌入式ARM平台上的快速视频解码方法，其特征在于，包括以下步骤：
步骤S1，首先打开ARM平台的硬件解码器；
步骤S2，然后继续从图像数据源获取一帧图像数据；
步骤S3，判断图像数据的结束标志位是否有效，若有效则关闭硬件解码器，若无效则进一步判断起始标志位是否有效，若有效进行下一步，若无效返回步骤S2；
步骤S4，调用ARM平台硬件厂家提供的API，按照H.264的相关标准设定解码参数，然后初始化硬件解码器，为硬件解码分配缓存；
步骤S5，将图像数据发送至硬件解码器进行解码运算；
步骤S6，每一帧的解码完成后需要对缓存进行清空，返回步骤S2；
这样循环操作直到检测到有效的结束标志位，说明全部解码完成，关闭硬件解码器。
2.如权利要求1所述的嵌入式ARM平台上的快速视频解码方法，其特征在于，
步骤S2中，使用ffmpeg的API从图像数据源获取一帧图像数据。
3.如权利要求1所述的嵌入式ARM平台上的快速视频解码方法，其特征在于，
需要解码的图像数据是ARM平台的本地图像文件或来自于RTSP服务器。
4.如权利要求1所述的嵌入式ARM平台上的快速视频解码方法，其特征在于，
步骤S5中，GPU自动对硬件解码操作进行加速。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811122472.9A CN109274973A (zh) | 2018-09-26 | 2018-09-26 | 嵌入式arm平台上的快速视频解码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811122472.9A CN109274973A (zh) | 2018-09-26 | 2018-09-26 | 嵌入式arm平台上的快速视频解码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109274973A true CN109274973A (zh) | 2019-01-25 |
Family
ID=65197544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811122472.9A Pending CN109274973A (zh) | 2018-09-26 | 2018-09-26 | 嵌入式arm平台上的快速视频解码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109274973A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738154A (zh) * | 2019-10-08 | 2020-01-31 | 南京熊猫电子股份有限公司 | 一种基于人体姿态估计的行人摔倒检测方法 |
| CN111225259A (zh) * | 2020-01-19 | 2020-06-02 | 重庆众鸿科技有限公司 | 一种车载互联视频显示加速装置 |
| CN112463335A (zh) * | 2020-12-03 | 2021-03-09 | Oppo广东移动通信有限公司 | 一种应用程序运行方法、装置和存储介质 |
| CN113596469A (zh) * | 2021-06-23 | 2021-11-02 | 天津津航计算技术研究所 | 一种软硬结合且高效传输的视频解码方法 |
| CN113727115A (zh) * | 2021-07-21 | 2021-11-30 | 天津津航计算技术研究所 | 一种高效可转码的视频解码方法 |
| CN114358643A (zh) * | 2022-01-13 | 2022-04-15 | 南京讯思雅信息科技有限公司 | 一种多媒体内容风控管理装置及管理方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101252685A (zh) * | 2008-02-22 | 2008-08-27 | 华为技术有限公司 | 解码方法及装置 |
| CN101317459A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于可伸缩视频编码的有效解码图像缓存管理 |
| CN201657223U (zh) * | 2010-03-19 | 2010-11-24 | 山东大学 | 一种jpeg图像解码器的vlsi系统结构 |
| US20150128155A1 (en) * | 2012-09-06 | 2015-05-07 | Tencent Technology (Shenzhen) Company Limited | Method, system, module, and storage medium for automatic adaptation of hardware encoding and decoding |
| CN104683860A (zh) * | 2015-02-02 | 2015-06-03 | 北京神州天脉网络计算机有限公司 | 一种音视频多路并发解码加速卡及其解码加速方法 |
| CN104994390A (zh) * | 2015-06-30 | 2015-10-21 | 湖南基石通信技术有限公司 | 一种嵌入式视频处理器、系统及构建方法 |
| CN106534764A (zh) * | 2015-09-09 | 2017-03-22 | 阎哲 | 一种基于h264编码的嵌入式远程监控系统 |
| CN108111859A (zh) * | 2017-12-29 | 2018-06-01 | 北京华航无线电测量研究所 | 基于JetsonTX1平台的H.264视频编解码方法及装置 |
-
2018
- 2018-09-26 CN CN201811122472.9A patent/CN109274973A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101317459A (zh) * | 2005-10-11 | 2008-12-03 | 诺基亚公司 | 用于可伸缩视频编码的有效解码图像缓存管理 |
| CN101252685A (zh) * | 2008-02-22 | 2008-08-27 | 华为技术有限公司 | 解码方法及装置 |
| CN201657223U (zh) * | 2010-03-19 | 2010-11-24 | 山东大学 | 一种jpeg图像解码器的vlsi系统结构 |
| US20150128155A1 (en) * | 2012-09-06 | 2015-05-07 | Tencent Technology (Shenzhen) Company Limited | Method, system, module, and storage medium for automatic adaptation of hardware encoding and decoding |
| CN104683860A (zh) * | 2015-02-02 | 2015-06-03 | 北京神州天脉网络计算机有限公司 | 一种音视频多路并发解码加速卡及其解码加速方法 |
| CN104994390A (zh) * | 2015-06-30 | 2015-10-21 | 湖南基石通信技术有限公司 | 一种嵌入式视频处理器、系统及构建方法 |
| CN106534764A (zh) * | 2015-09-09 | 2017-03-22 | 阎哲 | 一种基于h264编码的嵌入式远程监控系统 |
| CN108111859A (zh) * | 2017-12-29 | 2018-06-01 | 北京华航无线电测量研究所 | 基于JetsonTX1平台的H.264视频编解码方法及装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738154A (zh) * | 2019-10-08 | 2020-01-31 | 南京熊猫电子股份有限公司 | 一种基于人体姿态估计的行人摔倒检测方法 |
| CN111225259A (zh) * | 2020-01-19 | 2020-06-02 | 重庆众鸿科技有限公司 | 一种车载互联视频显示加速装置 |
| CN112463335A (zh) * | 2020-12-03 | 2021-03-09 | Oppo广东移动通信有限公司 | 一种应用程序运行方法、装置和存储介质 |
| CN113596469A (zh) * | 2021-06-23 | 2021-11-02 | 天津津航计算技术研究所 | 一种软硬结合且高效传输的视频解码方法 |
| CN113727115A (zh) * | 2021-07-21 | 2021-11-30 | 天津津航计算技术研究所 | 一种高效可转码的视频解码方法 |
| CN113727115B (zh) * | 2021-07-21 | 2024-04-23 | 天津津航计算技术研究所 | 一种高效可转码的视频解码方法 |
| CN114358643A (zh) * | 2022-01-13 | 2022-04-15 | 南京讯思雅信息科技有限公司 | 一种多媒体内容风控管理装置及管理方法 |
| CN114358643B (zh) * | 2022-01-13 | 2023-09-12 | 南京讯思雅信息科技有限公司 | 一种多媒体内容风控管理装置及管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109274973A (zh) | 嵌入式arm平台上的快速视频解码方法 | |
| US9967579B2 (en) | Fast switching hybrid video decoder | |
| TWI725299B (zh) | 圖片檔處理方法、設備及儲存介質 | |
| CN105163127A (zh) | 视频分析方法及装置 | |
| US10200707B2 (en) | Video bit stream decoding | |
| US10554989B2 (en) | Efficient encoding of display data | |
| WO2017096823A1 (zh) | 视频转码方法和装置系统 | |
| CN110730364B (zh) | 一种云手机数据传输方法、装置及存储介质 | |
| CN114938408A (zh) | 一种云手机的数据传输方法、系统、设备及介质 | |
| CN112911306B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
| KR20110074853A (ko) | 리치미디어 서비스를 제공하는 방법 및 장치 | |
| CN113395523A (zh) | 基于并行线程的图像解码方法、装置、设备及存储介质 | |
| CN112543374A (zh) | 一种转码控制方法、装置及电子设备 | |
| CN117130749A (zh) | 一种基于WebGPU提升Web播放器硬件解码能力的方法 | |
| CN116668691A (zh) | 一种图片压缩传输方法、装置及终端设备 | |
| CN110868610A (zh) | 流媒体传输方法、装置及服务器 | |
| CN116366865A (zh) | 一种视频解码方法、装置、电子设备及介质 | |
| CN113709518B (zh) | 一种基于rtsp协议的视频实时传输模式设计方法 | |
| CN113422983B (zh) | 数据处理方法、计算机设备和存储介质 | |
| CN115914745A (zh) | 视频的解码方法、装置、电子设备及计算机可读介质 | |
| CN112686109B (zh) | 离线视频文件的提取方法、装置、电子设备及存储介质 | |
| CN106851134B (zh) | 传输图像数据的方法、装置及系统 | |
| CN110969672A (zh) | 图像压缩方法及装置 | |
| CN116405733B (zh) | 一种数据传输方法及电子设备 | |
| CN109495793B (zh) | 一种弹幕写入方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190125 |
|
| RJ01 | Rejection of invention patent application after publication |