CN104754336A - 基于统计分析图像优先级的编码方法及编码码流控制装置 - Google Patents

基于统计分析图像优先级的编码方法及编码码流控制装置 Download PDF

Info

Publication number
CN104754336A
CN104754336A CN201510172102.6A CN201510172102A CN104754336A CN 104754336 A CN104754336 A CN 104754336A CN 201510172102 A CN201510172102 A CN 201510172102A CN 104754336 A CN104754336 A CN 104754336A
Authority
CN
China
Prior art keywords
piecemeal
image
corpus
probability
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510172102.6A
Other languages
English (en)
Other versions
CN104754336B (zh
Inventor
杨大方
汪洪
张正义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co Ltd
Original Assignee
CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co Ltd filed Critical CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co Ltd
Priority to CN201510172102.6A priority Critical patent/CN104754336B/zh
Publication of CN104754336A publication Critical patent/CN104754336A/zh
Application granted granted Critical
Publication of CN104754336B publication Critical patent/CN104754336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于统计分析图像优先级的编码方法及编码码流控制装置，通过统计分析方法，确定拍摄场景中变化大的区域和变化小的区域，通过统计分析的结果，设置编码器对不同区域的编码质量和帧率进行控制。采用本发明的方法及装置，可以用来在不明显降低视频质量的情况下的降低视频码流，降低实时流媒体传输对带宽的需求，节约成本。

Description

基于统计分析图像优先级的编码方法及编码码流控制装置
技术领域
本发明涉及一种图像编码方法及装置，特别涉及一种基于统计分析图像优先级的编码方法和编码码流控制装置。
背景技术
随着流媒体直播应用在日常生活的应用越来越普遍，人们对高质量低码流的流媒体要求也越来越高，并且2k、4k图像传感器的普及，编码后的视频码流也越来越高，但是目前的网络带宽流量的成本非常高，这个问题在移动网络中非常严重。现有技术中通常采用人工手动设定编码区域，设置编码区域的质量和帧率，存在以下问题：1.人工手动设置编码区域的质量和帧率,虽然能解决解决带宽较高的问题，但是需要专业技能进行复杂的设置。2.手动设定的编码区域，可能会随着环境和时间的改变而不适用。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于分析图像优先级的编码方法和编码码流控制装置，该方法及装置基于分析图像优先级的编码，用来在不明显降低视频质量的情况下的降低视频码流，降低实时流媒体传输对带宽的需求，节约成本。
为了实现上述发明目的，本发明提供了以下技术方案：
基于统计分析图像优先级的编码方法，包括以下步骤：
1）采集图像传感器的图像原始数据；
2）将采集的每一帧图像按照矩形分块；
3）计算每个分块中图像的变化，并且记录和统计每个分块的图像改变概率；
4）根据每个分块的图像改变概率，设置该分块的编码质量和帧率。
优选的，还包括步骤5）根据各分块的编码设置压缩视频并发送/存储视频文件。
优选的，所述步骤3）中图像改变概率为当前拍摄场景中，变化越大的区域图像改变概率越大。
优选的，所述步骤3）计算每个分块中图像的变化，并且记录和统计每个分块的图像改变概率具体为：编解码芯片的运动侦测通道接收每个分块图像的运动状态，并输出每个分块的运动侦测信息，所述运动侦测信息包含每个分块图像的宏块SAD值信息、运动区域信息和报警像素个数，对每个分块的运动侦测信息进行最近时间加权，每个分块的图像改变概率是前n秒的变化统计，n为大于1的整数。
优选的，所述步骤4）根据每个分块的图像改变概率，设置该分块的编码质量和帧率具体为：图像改变概率大的区域编码质量和帧率设置为高，其他区域设置为低。
基于统计分析图像优先级的编码码流控制装置，包括：
采集模块，用于采集图像原始数据；
数据处理模块，用于将采集的每一帧图像按照矩形分块；
统计分析模块，用于计算每个分块中图像的变化，并且记录和统计每个块的图像改变概率；
编码模块，用于根据每个分块的图像改变概率，设置该分块的编码质量和帧率。
优选的，还包括发送和存储模块，用于发送/存储根据各分块的编码设置压缩后的视频文件。
优选的，所述统计分析模块记录和统计的图像改变概率为当前拍摄场景中，变化越大的区域图像改变概率越大。
优选的，统计分析模块的运动侦测通道接收每个分块图像的运动状态，并输出每个分块的运动侦测信息，所述运动侦测信息包含每个分块图像的宏块SAD值信息、运动区域信息和报警像素个数，对每个分块的运动侦测信息进行最近时间加权，每个分块的图像改变概率是前n秒的变化统计，n为大于1的整数。
优选的，所述编码模块对图像改变概率大的区域编码质量和帧率设置为高，其他区域设置为低。
与现有技术相比，本发明的有益效果：
1.自动化动态改变编码器区域的质量和帧率，不需要人工干预，减少学习和维护成本。
2.相比手动设置编码器，本发明方法的精确度更高。
3.随着时间和场景拍摄对象的变化，本发明的方法可以自动调整编码器对区域的质量和帧率，任意场景、任意时间都有效。。
附图说明
图1为本发明方法的流程图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
如图1所示，本发明方法的具体流程如下：
1）采集图像传感器的图像原始数据；
2）将采集的每一帧图像按照矩形分块；
3）计算每个分块中图像的变化，并且记录和统计每个块的图像改变的概率，当前拍摄场景中，变化越大的区域概率越大；安防处理芯片的运动侦测通道（安防处理芯片均具有运动侦测功能）接收每个分块图像的运动状态，并输出每个分块的运动侦测信息，所述运动侦测信息包含每个分块图像的宏块SAD值信息、运动区域信息和报警像素个数，根据这些信息，可以区分每个分块的变化状态。对每个分块的运动侦测信息进行最近时间加权，每个分块的图像改变概率是前n秒的变化统计，n为大于1的整数。根据这些信息，可以区分每个分块的变化状态。遍历每个块信息，找到变化概率最小的分块，并且将该分块的画质，帧率，帧间隔等设置为低。对每个块的移动侦测信息进行最近时间加权，每个块的变化概率是前n（n可配置，为大于1的整数）秒的变化统计。
4）根据每个分块的改变概率，设置该分块的编码质量和帧率。变化概率大的区域编码质量和帧率可以设置为高，其他区域设置为低。通过遍历每个块信息，找到变化概率最小的分块，并且将该分块的画质，帧率，帧间隔等设置为低。分块的画质调节有两种情况，芯片编码器支持分区域质量调节，那么直接设置分块区域的质量，芯片编码器不支持区域质量调节，将采集的原始图像按分块交给编码器编码成单独的H264 NALU，编码器编码后产生分块个数的h264 NALU，解码的时候分别解码每个分块的H264 NALU，按照分块的位置拼接成完整的图像显示。
5）根据各分块的编码设置压缩视频并进行发送/存储视频文件。
相应的，本发明的基于统计分析图像优先级的编码码流控制装置，包括：
采集模块，用于采集图像原始数据；
数据处理模块，用于将采集的每一帧图像按照矩形分块；
统计分析模块，用于计算每个分块中图像的变化，并且记录和统计每个块的图像改变概率；
编码模块，用于根据每个分块的图像改变概率，设置该分块的编码质量和帧率。
该装置还可以包括发送和存储模块，用于发送/存储根据各分块的编码设置压缩后的视频文件。
所述统计分析模块记录和统计的图像改变概率为当前拍摄场景中，变化越大的区域图像改变概率越大。
所述编码模块对图像改变概率大的区域编码质量和帧率设置为高，其他区域设置为低。
更具体的，统计分析模块的运动侦测通道（安防处理芯片均具有运动侦测功能）接收每个分块图像的运动状态，并输出每个分块的运动侦测信息，所述运动侦测信息包含每个分块图像的宏块SAD值信息、运动区域信息和报警像素个数，根据这些信息，可以区分每个分块的变化状态。对每个分块的运动侦测信息进行最近时间加权，每个分块的图像改变概率是前n秒的变化统计，n为大于1的整数。根据这些信息，可以区分每个分块的变化状态。通过遍历每个分块信息，找到变化概率最小的分块，并且将该分块的画质，帧率，帧间隔等设置为低。分块的画质调节有两种情况，芯片编码器支持分区域质量调节，那么直接设置分块区域的质量，芯片编码器不支持区域质量调节，将采集的原始图像按分块交给编码器编码成单独的H264 NALU，编码器编码后产生分块个数的h264 NALU，解码的时候分别解码每个分块的H264 NALU，按照分块的位置拼接成完整的图像显示。

Claims (10)

1.基于统计分析图像优先级的编码方法，其特征在于，包括以下步骤：
1）采集图像传感器的图像原始数据；
2）将采集的每一帧图像按照矩形分块；
3）计算每个分块中图像的变化，并且记录和统计每个分块的图像改变概率；
4）根据每个分块的图像改变概率，设置该分块的编码质量和帧率。
2.根据权利要求1所述的基于统计分析图像优先级的编码方法，其特征在于，还包括步骤5）根据各分块的编码设置压缩视频并发送/存储视频文件。
3.根据权利要求1或2所述的基于统计分析图像优先级的编码方法，其特征在于，所述步骤3）中图像改变概率为当前拍摄场景中，变化越大的区域图像改变概率越大。
4.根据权利要求1或2所述的基于统计分析图像优先级的编码方法，其特征在于，所述步骤3）计算每个分块中图像的变化，并且记录和统计每个分块的图像改变概率具体为：处理芯片的运动侦测通道接收每个分块图像的运动状态，并输出每个分块的运动侦测信息，所述运动侦测信息包含每个分块图像的宏块SAD值信息、运动区域信息和报警像素个数，对每个分块的运动侦测信息进行最近时间加权，每个分块的图像改变概率是前n秒的变化统计，n为大于1的整数。
5.根据权利要求1或2所述的基于统计分析图像优先级的编码方法，其特征在于，所述步骤4）根据每个分块的图像改变概率，设置该分块的编码质量和帧率具体为：图像改变概率大的区域编码质量和帧率设置为高，其他区域设置为低。
6.基于统计分析图像优先级的编码码流控制装置，其特征在于，包括：
采集模块，用于采集图像原始数据；
数据处理模块，用于将采集的每一帧图像按照矩形分块；
统计分析模块，用于计算每个分块中图像的变化，并且记录和统计每个分块的图像改变概率；
编码模块，用于根据每个分块的图像改变概率，设置该分块的编码质量和帧率。
7.根据权利要求6所述的基于统计分析图像优先级的编码码流控制装置，其特征在于，还包括发送和存储模块，用于发送/存储根据各分块的编码设置压缩后的视频文件。
8.根据权利要求6或7所述的基于统计分析图像优先级的编码码流控制装置，其特征在于，所述统计分析模块记录和统计的图像改变概率为当前拍摄场景中，变化越大的区域图像改变概率越大。
9.根据权利要求6或7所述的基于统计分析图像优先级的编码码流控制装置，其特征在于，统计分析模块的运动侦测通道接收每个分块图像的运动状态，并输出每个分块的运动侦测信息，所述运动侦测信息包含每个分块图像的宏块SAD值信息、运动区域信息和报警像素个数，对每个分块的运动侦测信息进行最近时间加权，每个分块的图像改变概率是前n秒的变化统计，n为大于1的整数。
10.根据权利要求6或7所述的基于统计分析图像优先级的编码码流控制装置，其特征在于，所述编码模块对图像改变概率大的区域编码质量和帧率设置为高，其他区域设置为低。
CN201510172102.6A 2015-04-13 2015-04-13 基于统计分析图像优先级的编码方法及编码码流控制装置 Active CN104754336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510172102.6A CN104754336B (zh) 2015-04-13 2015-04-13 基于统计分析图像优先级的编码方法及编码码流控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510172102.6A CN104754336B (zh) 2015-04-13 2015-04-13 基于统计分析图像优先级的编码方法及编码码流控制装置

Publications (2)

Publication Number Publication Date
CN104754336A true CN104754336A (zh) 2015-07-01
CN104754336B CN104754336B (zh) 2018-12-21

Family

ID=53593358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510172102.6A Active CN104754336B (zh) 2015-04-13 2015-04-13 基于统计分析图像优先级的编码方法及编码码流控制装置

Country Status (1)

Country Link
CN (1) CN104754336B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954004A (zh) * 2017-03-17 2017-07-14 宇龙计算机通信科技(深圳)有限公司 一种屏幕共享的方法及装置
CN107454395A (zh) * 2017-08-23 2017-12-08 上海安威士科技股份有限公司 一种高清网络摄像机及智能码流控制方法
CN108141586A (zh) * 2015-10-08 2018-06-08 高通股份有限公司 经更新的视频区域的信令
WO2020259041A1 (zh) * 2019-06-27 2020-12-30 西安万像电子科技有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097768A1 (en) * 2007-10-15 2009-04-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding image by exponential golomb binarization using optimal threshold, and method and apparatus for decoding image by exponential golomb binarization using optimal threshold
CN101534444A (zh) * 2009-04-20 2009-09-16 杭州华三通信技术有限公司 一种图像处理方法、系统和装置
CN102625106A (zh) * 2012-03-28 2012-08-01 上海交通大学 场景自适应的屏幕编码码率控制方法及其系统
CN104427337A (zh) * 2013-08-21 2015-03-18 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097768A1 (en) * 2007-10-15 2009-04-16 Samsung Electronics Co., Ltd. Method and apparatus for encoding image by exponential golomb binarization using optimal threshold, and method and apparatus for decoding image by exponential golomb binarization using optimal threshold
CN101534444A (zh) * 2009-04-20 2009-09-16 杭州华三通信技术有限公司 一种图像处理方法、系统和装置
CN102625106A (zh) * 2012-03-28 2012-08-01 上海交通大学 场景自适应的屏幕编码码率控制方法及其系统
CN104427337A (zh) * 2013-08-21 2015-03-18 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141586A (zh) * 2015-10-08 2018-06-08 高通股份有限公司 经更新的视频区域的信令
CN106954004A (zh) * 2017-03-17 2017-07-14 宇龙计算机通信科技(深圳)有限公司 一种屏幕共享的方法及装置
CN107454395A (zh) * 2017-08-23 2017-12-08 上海安威士科技股份有限公司 一种高清网络摄像机及智能码流控制方法
WO2020259041A1 (zh) * 2019-06-27 2020-12-30 西安万像电子科技有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN104754336B (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN108965883B (zh) 使用虚拟帧内帧对视频内容进行编码的系统和方法
CN102724492B (zh) 视频图像传输、播放方法和系统
US20060078046A1 (en) Method and system for multi-path video delivery and distribution
CN104754336A (zh) 基于统计分析图像优先级的编码方法及编码码流控制装置
WO2021057689A1 (zh) 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置
CN103647954A (zh) 基于3g信道与智能终端的移动视频监控系统
CN104519325A (zh) 一种基于4g网络的无线视频监控系统自适应保障方法
CN105072345A (zh) 视频编码方法和装置
CN103595965B (zh) 基于视频流量控制的移动视频监控方法
CN103118241A (zh) 基于3g网络的移动视频监控流媒体传输自适应调整算法
CN102377730A (zh) 音视频信号的处理方法及移动终端
US20170142029A1 (en) Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium
CN104349074A (zh) 用于生成合并的数字视频序列的方法、设备和系统
CN104093021A (zh) 一种监控视频压缩方法
CN105049918A (zh) 一种本地录制视频和网络直播视频的分离方法
CN108810530A (zh) 一种基于人眼视觉系统的avc码率控制方法
CN105812710A (zh) 视频通话过程中优化图像质量的方法及系统
CN107800989B (zh) 基于动态帧率检测的视频显示方法、系统及网络录像机
JP2017163228A (ja) 監視カメラ
CN100505870C (zh) 根据影像变化自动调整监视画面的装置及方法
CN113630576A (zh) 自适应视频流式传输系统和方法
CN108810468A (zh) 一种优化显示效果的视频传输装置及方法
CN111586418A (zh) 一种视频压缩方法及装置
US10880562B2 (en) Image processing method and camera thereof
Reznik User-adaptive mobile video streaming using MPEG-DASH

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Coding method and coded stream control device on basis of image priority statistical analysis

Effective date of registration: 20190507

Granted publication date: 20181221

Pledgee: Chengdu High-tech Jinhong Technology Small Loan Co.,Ltd.

Pledgor: CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co.,Ltd.

Registration number: 2019510000055

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20200611

Granted publication date: 20181221

Pledgee: Chengdu High-tech Jinhong Technology Small Loan Co.,Ltd.

Pledgor: CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co.,Ltd.

Registration number: 2019510000055

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Coding method and coded stream control device on basis of image priority statistical analysis

Effective date of registration: 20200618

Granted publication date: 20181221

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co.,Ltd.

Registration number: Y2020980003188

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20210819

Granted publication date: 20181221

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co.,Ltd.

Registration number: Y2020980003188

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Coding method based on statistical analysis of image priority and coding code stream control device

Effective date of registration: 20210909

Granted publication date: 20181221

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co.,Ltd.

Registration number: Y2021510000214

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220808

Granted publication date: 20181221

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU HUAMAI COMMUNICATION TECHNOLOGY Co.,Ltd.

Registration number: Y2021510000214