CN113453007A - 一种提高监控场景h264编码效率的方法 - Google Patents

一种提高监控场景h264编码效率的方法 Download PDF

Info

Publication number
CN113453007A
CN113453007A CN202010214744.9A CN202010214744A CN113453007A CN 113453007 A CN113453007 A CN 113453007A CN 202010214744 A CN202010214744 A CN 202010214744A CN 113453007 A CN113453007 A CN 113453007A
Authority
CN
China
Prior art keywords
ddr
coding
encoding
image
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010214744.9A
Other languages
English (en)
Inventor
张明瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Ingenic Technology Co ltd
Original Assignee
Hefei Ingenic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Ingenic Technology Co ltd filed Critical Hefei Ingenic Technology Co ltd
Priority to CN202010214744.9A priority Critical patent/CN113453007A/zh
Publication of CN113453007A publication Critical patent/CN113453007A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Abstract

本发明提供一种提高监控场景H264编码效率的方法，所述方法包括以下步骤：S1，ISP负责处理CMOS传感器发送过来的原图像，并输出到DDR中存储为图片I；S2，AI模块会对图片I进行物体的检测，AI做完检测之后输出相应的坐标位置P的数据到DDR存储；S3，CPU在做码率控制分析时，会根据存储到DDR中的坐标位置P的数据把图片I分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上；S4，编码器调整不同编码宏块的编码参数，在感兴趣区域和其他区域分别用不同的编码参数进行编码以实现区别编码。利用AI模块进行操作方法简单且准确率更高，修改维护更方便，更有效提高编码效率。

Description

一种提高监控场景H264编码效率的方法
技术领域
本发明涉及视频技术领域，涉及一种提高监控场景H264编码效率的方法。
背景技术
随着科技的不断发展，特别是视频技术方面的发展，在视频采集或者监控系统中，都会包含如图1所示的三个模块，ISP负责处理CMOS sensor发送过来的raw图，并处理成成一幅正常亮度和颜色的图像，并写入到DDR中暂存，H264 ENC是H264编码器，负责把ISP生成的连续图像编码成相应的视频流，以节省视频存储空间。对于大部分的系统来说，ISP和H264 ENC都是独立控制和独立工作的。对于H264 ENC来说，在一定的码率下，码率控制算法会算出当前帧编码需要的QP值，并在对当前帧编码的时候使用该QP去编。
H264 ENC在编码的时候一般会把图像分成若干个不重叠的块，如图2所示，并按照块为单位进行编码，这些块也称为编码宏块，在H264中宏块的大小一般为16x16。因为H264编码时有损压缩编码，跟原图像相比，编码之后的图像肯定会有细节损失，其中对细节损失影响比较大的参数之一就是量化参数QP，QP越小，图像质量越好，细节损失越小，但是码率越大，反之，QP越大，图像质量会变差，细节损失变大，但是码率会变小。在实际使用过程中，QP会根据要求进行动态的变化，以达到码率和图像质量的平衡。
现有技术中，常用的方法和术语如下：
ISP：image signal processer,图像处理器，对CMOS sensor输入的raw图进行算法处理的模块，一般包含去噪，插值，去坏点，锐化等算法。
H264：一种编码协议，主要用来做视频压缩。
QP：量化参数，H264协议中的参数，QP变大会减小码率，但是编码效果会变差，QP减小会增大码率会，但图像效果会变好。
AI：人工智能。
Macro：编码宏块,在H264中，一般为16x16的方块。
DDR：即双倍速率同步动态随机存储器，是内存的其中一种。
现有技术中，监控场景中背景一般是比较固定的，前景中一般关注较多的是人或者车等感兴趣物体，当有感兴趣物体在场景中时，主观上希望感兴趣区域编码质量高一些，这样在视频中感兴趣区域的清晰度就会高，其他区域编码质量可以低一些，即使视频质量低影响也不大，这样做带来的一个非常大的好处就是可以非常明显的降低码流，节省硬盘存储空间。但编码器本身并不带有区分感兴趣区域和非感兴趣区域的能力。如果在编码器中增加这样的模块，势必又会增加不小的代价。
发明内容
为了解决上述问题，本发明提供了一种方法，可以在AI做人或者车等感兴趣物体检测的基础上(此时人和车就是感兴趣的物体)，把感兴趣物体的位置信息告知编码器，编码器会在感兴趣区域和其他区域分别用不同的编码参数进行编码，当画面中没有感兴趣的物体时，可以直接通过跳帧来处理，以此来降低码流。
具体地，本发明提供一种提高监控场景H264编码效率的方法，所述方法包括：ISP输出图像到DDR中，AI模块会对DDR中存储的图像进行人或者车的检测，AI做完检测之后输出相应的坐标位置P到DDR，CPU会根据DDR中的坐标位置P把图像分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上，之后编码器调整不同宏块的编码参数来实现区别编码。
所述方法包括以下步骤：
S1，ISP负责处理CMOS传感器发送过来的原图像，并输出到DDR中存储为图片I；
S2，AI模块会对图片I进行物体的检测，AI做完检测之后输出相应的坐标位置P的数据到DDR存储；
S3，CPU在做码率控制分析时，会根据存储到DDR中的坐标位置P的数据把图片I分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上；
S4，编码器调整不同编码宏块的编码参数，在感兴趣区域和其他区域分别用不同的编码参数进行编码以实现区别编码。
由此，本申请的优势在于：利用AI模块进行操作方法简单且准确率更高，修改维护更方便，更有效提高编码效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明涉及现有技术的示意框图。
图2是本发明涉及现有技术的具体实例示意图。
图3是本发明方法的示意框图。
图4是本发明方法的具体实例的示意图。
图5是本发明方法的流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
本发明涉及了一种提高监控场景H264编码效率的方法，所述方法包括：ISP输出图像到DDR中，AI模块会对DDR中存储的图像进行人或者车的检测，AI做完检测之后输出相应的坐标位置P到DDR，CPU会根据DDR中的坐标位置P把图像分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上，之后编码器调整不同宏块的编码参数来实现区别编码。
如图5所示，所述方法包括以下步骤：
S1，ISP负责处理CMOS传感器发送过来的原图像，并输出到DDR中存储为图片I；
S2，AI模块会对图片I进行物体的检测，AI做完检测之后输出相应的坐标位置P的数据到DDR存储；
S3，CPU在做码率控制分析时，会根据存储到DDR中的坐标位置P的数据把图片I分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上；
S4，编码器调整不同编码宏块的编码参数，在感兴趣区域和其他区域分别用不同的编码参数进行编码以实现区别编码。
所述步骤S3中CPU把区域信息映射到编码宏块上，形成一张宏块级的编码参数表M，并把M写回DDR。
所述步骤S4中编码器在编码的时候会一起读入表M和图片I的数据进行编码，以调节不同编码宏块的QP值。
所述调节不同编码宏块的QP值，是设置不同的QP值，在感兴趣的宏块上设置小的QP值，非感兴趣区域的宏块上设置大的QP值。
所述步骤S4当画面中没有感兴趣的物体时，可以直接通过跳帧来处理，以此来降低码流。
所述物体为人或者车；所述编码器为H264编码器。
具体地，如图3所示，ISP会输出图像I，AI模块会对I进行人或者车的检测，AI模块做完检测之后输出相应的坐标位置P，CPU会根据P把图像分成感兴趣区域和非感兴趣区域，同时把区域信息映射到宏块上，之后调整不同宏块的编码参数来达到区别编码的目的。比如通过设置不同的QP值，在感兴趣的宏块上设置小的QP，非感兴趣区域的宏块上设置大的QP，并形成一张宏块级的QP表M，编码器通过读入M并进行编码，如图4中，粗体黑框所示。当画面中没有感兴趣的物体时，可以直接跳帧处理，进一步的降低码流。
可以采用如下算法来：
Figure BDA0002424004320000051
当然，也可以采用其他算法，主要看使用者的需求和需要达到的精确程度。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种提高监控场景H264编码效率的方法，其特征在于，所述方法包括：ISP输出图像到DDR中，AI模块会对DDR中存储的图像进行人或者车的检测，AI做完检测之后输出相应的坐标位置P到DDR，CPU会根据DDR中的坐标位置P把图像分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上，之后编码器调整不同宏块的编码参数来实现区别编码。
2.根据权利要求1所述的一种提高监控场景H264编码效率的方法，其特征在于，所述方法包括以下步骤：
S1，ISP负责处理CMOS传感器发送过来的原图像，并输出到DDR中存储为图片I；
S2，AI模块会对图片I进行物体的检测，AI模块做完检测之后输出相应的坐标位置P的数据到DDR存储；
S3，CPU在做码率控制分析时，会根据存储到DDR中的坐标位置P的数据把图片I分成感兴趣区域和非感兴趣区域，同时把区域信息映射到编码宏块上；
S4，编码器调整不同编码宏块的编码参数，在感兴趣区域和其他区域分别用不同的编码参数进行编码以实现区别编码。
3.根据权利要求2所述的一种提高监控场景H264编码效率的方法，其特征在于，所述步骤S3中CPU把区域信息映射到编码宏块上，形成一张宏块级的编码参数表M，并把M写回DDR。
4.根据权利要求2所述的一种提高监控场景H264编码效率的方法，其特征在于，所述步骤S4中编码器在编码的时候会一起读入表M和图片I的数据进行编码，以调节不同编码宏块的QP值。
5.根据权利要求4所述的一种提高监控场景H264编码效率的方法，其特征在于，所述调节不同编码宏块的QP值，是设置不同的QP值，在感兴趣的宏块上设置小的QP值，非感兴趣区域的宏块上设置大的QP值。
6.根据权利要求2所述的一种提高监控场景H264编码效率的方法，其特征在于，所述步骤S4当画面中没有感兴趣的物体时，可以直接通过跳帧来处理，以此来降低码流。
7.根据权利要求1所述的一种提高监控场景H264编码效率的方法，其特征在于，所述物体为人或者车；所述编码器为H264编码器。
CN202010214744.9A 2020-03-24 2020-03-24 一种提高监控场景h264编码效率的方法 Pending CN113453007A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010214744.9A CN113453007A (zh) 2020-03-24 2020-03-24 一种提高监控场景h264编码效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010214744.9A CN113453007A (zh) 2020-03-24 2020-03-24 一种提高监控场景h264编码效率的方法

Publications (1)

Publication Number Publication Date
CN113453007A true CN113453007A (zh) 2021-09-28

Family

ID=77806702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010214744.9A Pending CN113453007A (zh) 2020-03-24 2020-03-24 一种提高监控场景h264编码效率的方法

Country Status (1)

Country Link
CN (1) CN113453007A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886923A (zh) * 2023-06-19 2023-10-13 广州开得联软件技术有限公司 课堂视频编码方法、装置、存储介质和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070056229A (ko) * 2005-11-29 2007-06-04 주식회사 케이티 영상 부호기 및 이의 관심 영역 검출방법
CN101102492A (zh) * 2007-07-26 2008-01-09 上海交通大学 实现基于感兴趣区域的压缩域mpeg-2到h.264视频转换的方法
US20100183070A1 (en) * 2007-08-15 2010-07-22 Xiaoan Lu Method and apparatus for improved video encoding using region of interest (roi) information
CN104065964A (zh) * 2014-06-19 2014-09-24 上海交通大学 感兴趣区域信息的编解码方法以及视频编解码装置
CN104427337A (zh) * 2013-08-21 2015-03-18 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN109005409A (zh) * 2018-07-27 2018-12-14 浙江工业大学 一种基于目标检测与跟踪的智能视频编码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070056229A (ko) * 2005-11-29 2007-06-04 주식회사 케이티 영상 부호기 및 이의 관심 영역 검출방법
CN101102492A (zh) * 2007-07-26 2008-01-09 上海交通大学 实现基于感兴趣区域的压缩域mpeg-2到h.264视频转换的方法
US20100183070A1 (en) * 2007-08-15 2010-07-22 Xiaoan Lu Method and apparatus for improved video encoding using region of interest (roi) information
CN104427337A (zh) * 2013-08-21 2015-03-18 杭州海康威视数字技术股份有限公司 基于目标检测的感兴趣区域视频编码方法及其装置
CN104065964A (zh) * 2014-06-19 2014-09-24 上海交通大学 感兴趣区域信息的编解码方法以及视频编解码装置
CN109005409A (zh) * 2018-07-27 2018-12-14 浙江工业大学 一种基于目标检测与跟踪的智能视频编码方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886923A (zh) * 2023-06-19 2023-10-13 广州开得联软件技术有限公司 课堂视频编码方法、装置、存储介质和设备

Similar Documents

Publication Publication Date Title
CN109905711B (zh) 一种图像的处理方法、系统及终端设备
CN1094291C (zh) 环路滤波器和环路滤波方法
TW202044834A (zh) 用於處理視訊內容的方法及系統
CN106231214A (zh) 基于可调宏块的高速cmos传感器图像近似无损压缩方法
US8873625B2 (en) Enhanced compression in representing non-frame-edge blocks of image frames
CN111355951B (zh) 视频解码方法、装置及解码设备
CN113766247B (zh) 环路滤波的方法与装置
CN101316366A (zh) 图像编/解码方法和图像编/解码装置
KR20030086076A (ko) 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
CN113453007A (zh) 一种提高监控场景h264编码效率的方法
CN111770334B (zh) 数据编码方法及装置、数据解码方法及装置
CN102098505B (zh) 监控视频压缩方法及设备
CN101742323A (zh) 无再损视频编码和解码的方法和装置
CN113573058B (zh) 一种基于时空显著性融合的帧间图像编码方法
CN112672164B (zh) 视频压缩系统及方法、视频解压缩系统及方法
JPH0256187A (ja) 動画像符号化装置
JP2005323312A (ja) 量子化制御装置、その方法及びそのプログラム、並びに、適応量子化符号化装置
CN113810692A (zh) 对变化和移动进行分帧的方法、图像处理装置及程序产品
CN101494718B (zh) 图像编码方法和装置
CN109274970B (zh) 一种快速场景切换检测方法和系统
KR100289054B1 (ko) 매크로블록 단위 영역 분할 및 배경 모자이크구성방법
CN116982262A (zh) 视频编码中依赖性量化的状态转换
CN107343199B (zh) 用于hevc中样点的快速自适应补偿方法
CN113453001A (zh) 一种利用isp信息自适应分配qp提高h264编码效率的方法
CN110769252A (zh) 一种利用ai人脸检测提升编码质量的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210928