CN116708789A - 一种基于人工智能的视频分析编码系统 - Google Patents
一种基于人工智能的视频分析编码系统 Download PDFInfo
- Publication number
- CN116708789A CN116708789A CN202310977741.4A CN202310977741A CN116708789A CN 116708789 A CN116708789 A CN 116708789A CN 202310977741 A CN202310977741 A CN 202310977741A CN 116708789 A CN116708789 A CN 116708789A
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- subset
- frame sequence
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 58
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 18
- 230000008859 change Effects 0.000 claims description 111
- 238000007405 data analysis Methods 0.000 claims description 28
- 230000006835 compression Effects 0.000 claims description 27
- 238000007906 compression Methods 0.000 claims description 27
- 230000009471 action Effects 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 5
- 238000012517 data analytics Methods 0.000 claims 3
- 241000023320 Luma <angiosperm> Species 0.000 claims 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及视频编码传输领域，尤其涉及一种基于人工智能的视频分析编码系统，本发明本发明通过设置数据获取模块、数据分析模块以及数据编码模块，通过数据分析模块获取视频帧序列子集的图像参数，基于图像参数的波动情况计算图像波动参量，采用较小算力初步划分视频帧序列子集的变化状态，并且，在视频帧序列子集处于不同的变化状态下，采取不同的解析间隔数量从视频帧序列子集中调用相邻视频帧进行动作解析，在提高对关键特征采集的基础上节约算力，并且，后续基于视频帧序列子集的动作变化状态适应性的调整编码参数，通过上述过程，在节约算力的前提下，考虑视频帧中轮廓坐标变化情况，适应性调整编码参数节约传输带宽保证传输后视频的质量。
Description
技术领域
本发明涉及视频编码传输领域，尤其涉及一种基于人工智能的视频分析编码系统。
背景技术
视频编码的一个重要目的就是对视频信号进行压缩，减少视频信号的数据量，从而节约视频信号的存储空间和传输带宽，现有的编码方式中，常纳入对视频内容的考虑，基于视频中运动矢量的变化对视觉效果的影响，适应性的调整编码参数。
例如，中国专利申请公开号：CN101325707A，公开了一种纹理自适应视频编码系统、一种纹理自适应视频解码系统和一种纹理自适应视频编解码系统。纹理自适应视频编码系统包含视频编码器和编码端纹理分析器；纹理自适应视频解码系统包含视频解码器和解码端纹理分析器；纹理自适应视频编解码系统包括纹理自适应视频编码系统和纹理自适应视频解码系统，纹理自适应视频编解码系统将视频图像的纹理特征信息纳入到视频编解码系统中，以提高视频编码的压缩效率和主观质量。
但是，现有技术中还存在以下问题，现有技术中，基于视频中运动矢量的变化对视觉效果的影响，适应性的调整编码参数，对局部运动矢量的分析相关联的计算成本很高并且读取当前的对比帧和先前的参考帧所需的存储带宽非常高，尤其是在视频量较大时占用较大的算力。
发明内容
为解决对局部运动矢量的分析相关联的计算成本很高并且读取当前的对比帧和先前的参考帧所需的存储带宽非常高，尤其是在视频量较大时占用较大的算力的问题，本发明提供一种基于人工智能的视频分析编码系统，其包括：
数据获取模块，其与图像采集端连接，用以获取图像采集端所采集的视频帧序列；
数据分析模块，其用以接收所述数据获取模块所获取的视频帧序列，并将各所述视频帧序列拆分得到视频帧序列子集，确定视频帧序列子集中各视频帧的图像参数，并且，基于视频帧序列子集中连续视频帧对应图像参数的波动情况计算图像波动参量，并基于所述图像波动参量划分各所述视频帧序列子集的变化状态，所述变化状态包括第一变化状态以及第二变化状态；
数据编码模块，其与所述数据分析模块以及数据获取模块连接，包括运动解析单元以及编码单元，
所述运动解析单元用以基于所述视频帧序列子集的变化状态确定解析间隔数量，每隔所述解析间隔数量从所述视频帧序列子集中调用相邻视频帧进行动作参数解析，包括，解析相邻视频帧中轮廓坐标的变化参量，并基于所述视频帧序列子集中各变化参量的平均值划分视频帧序列子集的动作变化状态；
所述编码单元用以基于所述视频帧序列子集的动作变化状态对所述视频帧序列子集进行编码，包括，
以初始编码压缩率对所述视频帧序列子集中的各视频帧进行编码；
或，基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码。
进一步地，所述数据分析模块确定视频帧序列子集中各视频帧的图像参数，包括，获取各视频帧的平均色度以及各视频帧的平均亮度。
进一步地，所述数据分析模块基于视频帧序列子集中连续视频帧对应图像参数的波动情况根据公式（1）计算图像波动参量，其中，
，
公式（1）中，E表示图像波动参量，P（i+1）表示第i+1个视频帧的平均色度，P（i）表示第i个视频帧的平均色度，L（i+1）表示第i+1个视频帧的平均亮度，L（i）表示第i个视频帧的平均亮度，n表示视频帧序列子集中视频帧的数量。
进一步地，所述数据分析模块基于所述图像波动参量划分各所述视频帧序列子集的变化状态，其中，
所述数据分析模块将所述图像波动参量与预设的图像波动参量对比阈值进行对比，
若所述图像波动参量大于所述图像波动参量对比阈值，所述数据分析模块判定所述视频帧序列子集的变化状态为第一变化状态；
若所述图像波动参量小于或等于所述图像波动参量对比阈值，所述数据分析模块判定所述视频帧序列子集的变化状态为第二变化状态。
进一步地，所述运动解析单元基于所述视频帧序列子集的变化状态确定解析间隔数量，其中，
在所述视频帧序列子集的变化状态为第一变化状态时，增加解析间隔数量；
在所述视频帧序列子集的变化状态为第二变化状态时，减小解析间隔数量。
进一步地，所述运动解析单元内设置有增大或减小解析间隔数量的运行算法，其中，
增大解析间隔数量的增大量以及减小解析间隔数量的减小量均基于所述视频帧序列子集的图像波动参量所确定。
进一步地，所述运动解析单元解析相邻视频帧中轮廓坐标的变化参量，其中，
所述运动解析单元在各视频帧中以视频帧中心为基准建立直角坐标系，识别相邻视频帧中相同物体轮廓的中心点，并按照公式（2）计算所述相邻视频帧中相同物体轮廓变化参量，
，
公式（2）中，G表示相同物体轮廓变化参量，x1表示相邻的第一视频帧中物体轮廓的中心点x轴向坐标，y1表示相邻的第一视频帧中所述物体轮廓的中心点y轴向坐标，x2表示相邻的第二视频帧中相同物体轮廓的中心点的x轴向坐标，y2表示相邻的第二视频帧中相同物体轮廓的中心点的y轴向坐标；
所述运动解析单元将所述相邻视频帧中各相同物体轮廓变化参量的平均值确定为所述相邻视频帧中轮廓坐标的变化参量。
进一步地，所述运动解析单元基于所述视频帧序列子集中各变化参量的平均值划分视频帧序列子集的动作变化状态，其中，
所述运动解析单元将所述视频帧序列子集中各变化参量的平均值与预设的变化参量对比阈值进行对比，
若所述视频帧序列子集中各变化参量的平均值大于所述变化参量对比阈值，则判定所述视频帧序列子集属于第一动作变化状态；
若所述视频帧序列子集中各变化参量的平均值小于或等于所述变化参量对比阈值则判定所述视频帧序列子集属于第二动作变化状态。
进一步地，所述编码单元基于所述视频帧序列子集的动作变化状态对所述视频帧序列子集进行编码，其中，
若所述视频帧序列子集为第一动作变化状态，以初始编码参数对所述视频帧序列子集中的各视频帧进行编码；
若所述视频帧序列子集为第二动作变化状态，基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码。
进一步地，所述编码单元基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码，其中，
所述编码单元内设置有若干基于变化参量调整编码压缩率的调整方式，各所述调整方式中对所述编码压缩率的调整量不同。
与现有技术相比，本发明通过设置数据获取模块、数据分析模块以及数据编码模块，通过数据分析模块获取视频帧序列子集的图像参数，基于图像参数的波动情况计算图像波动参量，采用较小算力初步划分视频帧序列子集的变化状态，并且，在视频帧序列子集处于不同的变化状态下，采取不同的解析间隔数量从视频帧序列子集中调用相邻视频帧进行动作解析，在提高对关键特征采集的基础上节约算力，并且，后续基于视频帧序列子集的动作变化状态适应性的调整编码参数，通过上述过程，在节约算力的前提下，考虑视频帧中轮廓坐标的变化情况，适应性调整编码参数，节约传输带宽保证传输后视频的质量。
尤其，本发明基于视频帧序列子集中连续视频帧对应图像参数的波动情况计算图像波动参量，并基于所述图像波动参量划分各所述视频帧序列子集的变化状态，在实际情况中，图像波动参量能够表征出视频帧中画面内容的变化情况，相较于其中轮廓点的运动矢量分析，图像参数提取的所占用算力是较少的，进而计算图像波动参量也占用较小算力，因此，本发明通过图像波动参量初步划分视频帧的变化情况，在占用较小算力的前提下为后续的数据处理提供依据。
尤其，本发明基于所述视频帧序列子集的变化状态确定解析间隔数量，对于视频帧序列子集，图像波动参量变化程度越小，表征画面变化情况相对较小，但是其中仍然可能存在运动轮廓变化量较大的情况，还需要纳入对运动轮廓的考量，在实际情况中，第一变化状态的视频帧序列子集相对于第二变化状态的视频帧序列子集其中物体轮廓矢量变化量可能会大，并且其中的运动轮廓特征也可能较多，因此，适应性的调整解析间隔数量，对第一变化状态的视频帧序列子集提取更多的相邻视频帧纳入动作变化状态的判定依据，对第二变化状态的视频帧序列子集适应性的减少相邻视频帧的提取数量，进而避免特征遗漏，在保证数据表征性的前提下，减少算力，为后续适应性调整编码参数提供可靠依据，进而节约传输带宽，保证视频编码传输后质量。
尤其，本发明基于视频帧序列子集对应的动作变化状态适应性调整编码参数，对于第二动作变化状态的视频帧序列子集，其中物体轮廓的运动矢量变化情况较小，适应性调整编码压缩率，在保证解码传输后视频观感的前提下，节约带宽，保证解码传输效果。
附图说明
图1为发明实施例的基于人工智能的视频分析编码系统结构示意图；
图2为发明实施例的数据编码模块结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
请参阅图1以及图2所示，分别为本发明实施例的基于人工智能的视频分析编码系统结构示意图以及数据编码模块结构示意图，本发明的基于人工智能的视频分析编码系统包括：
数据获取模块，其与图像采集端连接，用以获取图像采集端所采集的视频帧序列；
数据分析模块，其用以接收所述数据获取模块所获取的视频帧序列，并将各所述视频帧序列拆分得到视频帧序列子集，确定视频帧序列子集中各视频帧的图像参数，并且，基于视频帧序列子集中连续视频帧对应图像参数的波动情况计算图像波动参量，并基于所述图像波动参量划分各所述视频帧序列子集的变化状态，所述变化状态包括第一变化状态以及第二变化状态；
数据编码模块，其与所述数据分析模块以及数据获取模块连接，包括运动解析单元以及编码单元，
所述运动解析单元用以基于所述视频帧序列子集的变化状态确定解析间隔数量，每隔所述解析间隔数量从所述视频帧序列子集中调用相邻视频帧进行动作参数解析，包括，解析相邻视频帧中轮廓坐标的变化参量，并基于所述视频帧序列子集中各变化参量的平均值划分视频帧序列子集的动作变化状态；
所述编码单元用以基于所述视频帧序列子集的动作变化状态对所述视频帧序列子集进行编码，包括，
以初始编码压缩率对所述视频帧序列子集中的各视频帧进行编码；
或，基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码。
具体而言，本发明对数据获取模块的具体结构不做限定，数据获取模块可以是数据转接器，设置于数据分析模块与数据采集端之间，当然，也可以是其他形式，只需能完成数据的转接、传输即可，此处不再赘述。
具体而言，本发明对数据分析模块以及数据编码模块的具体结构不做限定，均可以为逻辑部件或逻辑部件的组合，逻辑部件包括现场可编程部件、计算机以及计算机中的微处理器。
具体而言，本发明对获取图像参数的具体算法不做限定，图像参数为图像的基本参数，其获取方式为现有技术，且所占用算力较小，在本实施例中可以预先训练能够识别图像基本参数的模型将对应模型导入数据分析模块即可，此为现有技术，不再赘述。
同样的，本发明对数据分析模块获取相邻视频帧中相同轮廓的中心坐标的图像算法不做具体限定，在本实施例中，可以预先训练能够实现上述功能的图像模型，将对应图像模型导入数据分析模块中实现对应功能，此为现有技术，不再赘述。
具体而言，本发明对编码单元的具体结构不做现代，编码单元可以是能够控制的编码器，此为现有技术，不再赘述。
具体而言，所述视频分析模块将各所述视频帧序列拆分得到视频帧序列子集，其中，各视频帧序列子集中视频帧的数量相同。
具体而言，所述数据分析模块确定视频帧序列子集中各视频帧的图像参数，包括，获取各视频帧的平均色度以及各视频帧的平均亮度。
具体而言，所述数据分析模块基于视频帧序列子集中连续视频帧对应图像参数的波动情况根据公式（1）计算图像波动参量，其中，
，
公式（1）中，E表示图像波动参量，P（i+1）表示第i+1个视频帧的平均色度，P（i）表示第i个视频帧的平均色度，L（i+1）表示第i+1个视频帧的平均亮度，L（i）表示第i个视频帧的平均亮度，n表示视频帧序列子集中视频帧的数量。
具体而言，所述数据分析模块基于所述图像波动参量划分各所述视频帧序列子集的变化状态，其中，
所述数据分析模块将所述图像波动参量与预设的图像波动参量对比阈值进行对比，
若所述图像波动参量大于所述图像波动参量对比阈值，所述数据分析模块判定所述视频帧序列子集的变化状态为第一变化状态；
若所述图像波动参量小于或等于所述图像波动参量对比阈值，所述数据分析模块判定所述视频帧序列子集的变化状态为第二变化状态。
具体而言，在本实施例中，图像波动参量对比阈值E0为预先统计所得，其中，获取若干视频样本，采集视频样本中的图像参数，并对应计算各视频样本的图像波动参量E，并求解图像波动参量平均值△E，设定E0=α1×△E，α1表示第一偏差因子，0.5＜α1＜0.7。
本发明基于视频帧序列子集中连续视频帧对应图像参数的波动情况计算图像波动参量，并基于所述图像波动参量划分各所述视频帧序列子集的变化状态，在实际情况中，图像波动参量能够表征出视频帧中画面内容的变化情况，相较于其中轮廓点的运动矢量分析，图像参数提取的所占用算力是较少的，进而计算图像波动参量也占用较小算力，因此，本发明通过图像波动参量初步划分视频帧的变化情况，在占用较小算力的前提下为后续的数据处理提供依据。
具体而言，所述运动解析单元基于所述视频帧序列子集的变化状态确定解析间隔数量，其中，
在所述视频帧序列子集的变化状态为第一变化状态时，增加解析间隔数量；
在所述视频帧序列子集的变化状态为第二变化状态时，减小解析间隔数量。
具体而言，所述运动解析单元内设置有增大或减小解析间隔数量的运行算法，其中，
增大解析间隔数量的增大量以及减小解析间隔数量的减小量均基于所述视频帧序列子集的图像波动参量所确定。
在本实施例中设定Ne1=Ne2=[|E-△E|×N0/E]，Ne1表示解析间隔数量的增大量，Ne2表示解析间隔数量的减小量，N0表示初始解析间隔数量。
本发明基于所述视频帧序列子集的变化状态确定解析间隔数量，对于视频帧序列子集，图像波动参量变化程度越小，表征画面变化情况相对较小，但是其中仍然可能存在运动轮廓变化量较大的情况，还需要纳入对运动轮廓的考量，在实际情况中，第一变化状态的视频帧序列子集相对于第二变化状态的视频帧序列子集其中物体轮廓矢量变化量可能会大，并且其中的运动轮廓特征也可能较多因此，适应性的调整解析间隔数量，对第一变化状态的视频帧序列子集提取更多的相邻视频帧纳入动作变化状态的判定依据，对第二变化状态的视频帧序列子集适应性的减少相邻视频帧的提取数量，进而避免特征遗漏，在保证数据表征性的前提下，减少算力，为后续适应性调整编码参数提供可靠依据，进而节约传输带宽，保证视频编码传输后质量。
具体而言，所述运动解析单元解析相邻视频帧中轮廓坐标的变化参量，其中，
所述运动解析单元在各视频帧中以视频帧中心为基准建立直角坐标系，识别相邻视频帧中相同物体轮廓的中心点，并按照公式（2）计算所述相邻视频帧中相同物体轮廓变化参量，
，
公式（2）中，G表示相同物体轮廓变化参量，x1表示相邻的第一视频帧中物体轮廓的中心点x轴向坐标，y1表示相邻的第一视频帧中所述物体轮廓的中心点y轴向坐标，x2表示相邻的第二视频帧中相同物体轮廓的中心点的x轴向坐标，y2表示相邻的第二视频帧中相同物体轮廓的中心点的y轴向坐标；
所述运动解析单元将所述相邻视频帧中各相同物体轮廓变化参量的平均值确定为所述相邻视频帧中轮廓坐标的变化参量。
具体而言，所述运动解析单元基于所述视频帧序列子集中各变化参量的平均值划分视频帧序列子集的动作变化状态，其中，
所述运动解析单元将所述视频帧序列子集中各变化参量的平均值与预设的变化参量对比阈值进行对比，
若所述视频帧序列子集中各变化参量的平均值大于所述变化参量对比阈值，则判定所述视频帧序列子集属于第一动作变化状态；
若所述视频帧序列子集中各变化参量的平均值小于或等于所述变化参量对比阈值则判定所述视频帧序列子集属于第二动作变化状态。
具体而言，在本实施例中变化参量对比阈值G0为预先统计所得，其中，获取若干视频样本，随机从各视频样本中筛选出若干相邻视频帧，并求解各相邻视频帧中轮廓坐标的变化参量△G，求解各变化参量的平均值△Ge，设定G0=△Ge×α2，α2表示第二偏差因子，0.3＜α2＜0.5。
具体而言，所述编码单元基于所述视频帧序列子集的动作变化状态对所述视频帧序列子集进行编码，其中，
若所述视频帧序列子集为第一动作变化状态，以初始编码参数对所述视频帧序列子集中的各视频帧进行编码；
若所述视频帧序列子集为第二动作变化状态，基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码。
具体而言，所述编码单元基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码，其中，
所述编码单元内设置有若干基于变化参量调整编码压缩率的调整方式，各所述调整方式中对所述编码压缩率的调整量不同。
具体而言，在本实施例中至少提供两种编码压缩率的调整方式，其中，
编码单元将变化参量ΔG与预设的变化参量调整阈值Ge进行对比，
若ΔG＞Ge，所述编码单元将编码压缩率调整至第一编码压缩率F1，设定F1=F0+k1×F0；
若ΔG≤Ge，所述编码单元将编码压缩率调整至第二编码压缩率F2，设定F2=F0+k2×F0；
F0表示初始编码压缩率，K1表示第一调整系数，K2表示第二调整系数，0.15＜k1＜0.3＜k2＜0.45，Ge基于G0所确定，Ge=γ×G0，γ表示比例参数，0.6＜γ＜0.8。
本发明基于视频帧序列子集对应的动作变化状态适应性调整编码参数，对于第二动作变化状态的视频帧序列子集，其中物体轮廓的运动矢量变化情况较小，适应性调整编码压缩率，在保证解码传输后视频观感的前提下，节约带宽，保证解码传输效果。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于人工智能的视频分析编码系统，其特征在于，包括：
数据获取模块，其与图像采集端连接，用以获取图像采集端所采集的视频帧序列；
数据分析模块，其用以接收所述数据获取模块所获取的视频帧序列，并将各所述视频帧序列拆分得到视频帧序列子集，确定视频帧序列子集中各视频帧的图像参数，并且，基于视频帧序列子集中连续视频帧对应图像参数的波动情况计算图像波动参量，并基于所述图像波动参量划分各所述视频帧序列子集的变化状态，所述变化状态包括第一变化状态以及第二变化状态；
数据编码模块，其与所述数据分析模块以及数据获取模块连接，包括运动解析单元以及编码单元，
所述运动解析单元用以基于所述视频帧序列子集的变化状态确定解析间隔数量，每隔所述解析间隔数量从所述视频帧序列子集中调用相邻视频帧进行动作参数解析，包括，解析相邻视频帧中轮廓坐标的变化参量，并基于所述视频帧序列子集中各变化参量的平均值划分视频帧序列子集的动作变化状态；
所述编码单元用以基于所述视频帧序列子集的动作变化状态对所述视频帧序列子集进行编码，包括，
以初始编码压缩率对所述视频帧序列子集中的各视频帧进行编码；
或，基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码。
2.根据权利要求1所述基于人工智能的视频分析编码系统，其特征在于，所述数据分析模块确定视频帧序列子集中各视频帧的图像参数，包括，获取各视频帧的平均色度以及各视频帧的平均亮度。
3.根据权利要求2所述基于人工智能的视频分析编码系统，其特征在于，所述数据分析模块基于视频帧序列子集中连续视频帧对应图像参数的波动情况根据公式（1）计算图像波动参量，其中，
，
公式（1）中，E表示图像波动参量，P（i+1）表示第i+1个视频帧的平均色度，P（i）表示第i个视频帧的平均色度，L（i+1）表示第i+1个视频帧的平均亮度，L（i）表示第i个视频帧的平均亮度，n表示视频帧序列子集中视频帧的数量。
4.根据权利要求3所述基于人工智能的视频分析编码系统，其特征在于，所述数据分析模块基于所述图像波动参量划分各所述视频帧序列子集的变化状态，其中，
所述数据分析模块将所述图像波动参量与预设的图像波动参量对比阈值进行对比，
若所述图像波动参量大于所述图像波动参量对比阈值，所述数据分析模块判定所述视频帧序列子集的变化状态为第一变化状态；
若所述图像波动参量小于或等于所述图像波动参量对比阈值，所述数据分析模块判定所述视频帧序列子集的变化状态为第二变化状态。
5.根据权利要求1所述基于人工智能的视频分析编码系统，其特征在于，所述运动解析单元基于所述视频帧序列子集的变化状态确定解析间隔数量，其中，
在所述视频帧序列子集的变化状态为第一变化状态时，增加解析间隔数量；
在所述视频帧序列子集的变化状态为第二变化状态时，减小解析间隔数量。
6.根据权利要求5所述基于人工智能的视频分析编码系统，其特征在于，所述运动解析单元内设置有增大或减小解析间隔数量的运行算法，其中，
增大解析间隔数量的增大量以及减小解析间隔数量的减小量均基于所述视频帧序列子集的图像波动参量所确定。
7.根据权利要求1所述基于人工智能的视频分析编码系统，其特征在于，所述运动解析单元解析相邻视频帧中轮廓坐标的变化参量，其中，
所述运动解析单元在各视频帧中以视频帧中心为基准建立直角坐标系，识别相邻视频帧中相同物体轮廓的中心点，并按照公式（2）计算所述相邻视频帧中相同物体轮廓变化参量，
，
公式（2）中，G表示相同物体轮廓变化参量，x1表示相邻的第一视频帧中物体轮廓的中心点x轴向坐标，y1表示相邻的第一视频帧中所述物体轮廓的中心点y轴向坐标，x2表示相邻的第二视频帧中相同物体轮廓的中心点的x轴向坐标，y2表示相邻的第二视频帧中相同物体轮廓的中心点的y轴向坐标；
所述运动解析单元将所述相邻视频帧中各相同物体轮廓变化参量的平均值确定为所述相邻视频帧中轮廓坐标的变化参量。
8.根据权利要求1所述基于人工智能的视频分析编码系统，其特征在于，所述运动解析单元基于所述视频帧序列子集中各变化参量的平均值划分视频帧序列子集的动作变化状态，其中，
所述运动解析单元将所述视频帧序列子集中各变化参量的平均值与预设的变化参量对比阈值进行对比，
若所述视频帧序列子集中各变化参量的平均值大于所述变化参量对比阈值，则判定所述视频帧序列子集属于第一动作变化状态；
若所述视频帧序列子集中各变化参量的平均值小于或等于所述变化参量对比阈值则判定所述视频帧序列子集属于第二动作变化状态。
9.根据权利要求1所述基于人工智能的视频分析编码系统，其特征在于，所述编码单元基于所述视频帧序列子集的动作变化状态对所述视频帧序列子集进行编码，其中，
若所述视频帧序列子集为第一动作变化状态，以初始编码参数对所述视频帧序列子集中的各视频帧进行编码；
若所述视频帧序列子集为第二动作变化状态，基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码。
10.根据权利要求9所述基于人工智能的视频分析编码系统，其特征在于，所述编码单元基于所述变化参量调整编码压缩率对所述视频帧序列子集中的各视频帧进行编码，其中，
所述编码单元内设置有若干基于变化参量调整编码压缩率的调整方式，各所述调整方式中对所述编码压缩率的调整量不同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310977741.4A CN116708789B (zh) | 2023-08-04 | 2023-08-04 | 一种基于人工智能的视频分析编码系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310977741.4A CN116708789B (zh) | 2023-08-04 | 2023-08-04 | 一种基于人工智能的视频分析编码系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116708789A true CN116708789A (zh) | 2023-09-05 |
| CN116708789B CN116708789B (zh) | 2023-10-13 |
Family
ID=87843665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310977741.4A Active CN116708789B (zh) | 2023-08-04 | 2023-08-04 | 一种基于人工智能的视频分析编码系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116708789B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117135364A (zh) * | 2023-10-26 | 2023-11-28 | 深圳市宏辉智通科技有限公司 | 一种视频解码方法和系统 |
| CN117319661A (zh) * | 2023-09-26 | 2023-12-29 | 中移凯普(北京)技术服务有限公司 | 一种用于视觉传达展示的图像传输系统 |
| CN117651148A (zh) * | 2023-11-01 | 2024-03-05 | 广东联通通信建设有限公司 | 一种物联网终端管控方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325707A (zh) * | 2007-06-12 | 2008-12-17 | 浙江大学 | 纹理自适应视频编解码系统 |
| US20090185621A1 (en) * | 2008-01-21 | 2009-07-23 | Samsung Electronics Co., Ltd. | Video encoding/decoding apparatus and method |
| US20110194615A1 (en) * | 2010-02-09 | 2011-08-11 | Alexander Zheludkov | Video sequence encoding system and algorithms |
| CN105847806A (zh) * | 2010-01-06 | 2016-08-10 | 杜比实验室特许公司 | 视频信息编码方法和视频信息编码系统 |
| CN110324721A (zh) * | 2019-08-05 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置及存储介质 |
| CN110662044A (zh) * | 2019-10-22 | 2020-01-07 | 浙江大华技术股份有限公司 | 一种视频编码方法、视频编码装置及计算机存储介质 |
| CN110855989A (zh) * | 2019-10-14 | 2020-02-28 | 深圳市天视通电子科技有限公司 | 一种网络视频图像编码方法和装置 |
| US20200128271A1 (en) * | 2019-12-20 | 2020-04-23 | Intel Corporation | Method and system of multiple channel video coding with frame rate variation and cross-channel referencing |
| US20200260085A1 (en) * | 2018-01-16 | 2020-08-13 | Tencent Technology (Shenzhen) Company Limited | Video encoding method, apparatus, and device, and storage medium |
| US20200374527A1 (en) * | 2019-05-24 | 2020-11-26 | Axis Ab | Method and bitrate controller for controlling output bitrate of a video encoder |
| CN112203085A (zh) * | 2020-09-30 | 2021-01-08 | 字节跳动(香港)有限公司 | 图像处理方法、装置、终端和存储介质 |
| CN116112675A (zh) * | 2023-04-11 | 2023-05-12 | 深圳市海威恒泰智能科技有限公司 | 一种视频编码方法和视频编码系统 |
| WO2023082904A1 (zh) * | 2021-11-09 | 2023-05-19 | 京东科技信息技术有限公司 | 视频编码方法和装置 |
| CN116260928A (zh) * | 2023-05-15 | 2023-06-13 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于智能插帧的视觉优化方法 |
-
2023
- 2023-08-04 CN CN202310977741.4A patent/CN116708789B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101325707A (zh) * | 2007-06-12 | 2008-12-17 | 浙江大学 | 纹理自适应视频编解码系统 |
| US20090185621A1 (en) * | 2008-01-21 | 2009-07-23 | Samsung Electronics Co., Ltd. | Video encoding/decoding apparatus and method |
| CN105847806A (zh) * | 2010-01-06 | 2016-08-10 | 杜比实验室特许公司 | 视频信息编码方法和视频信息编码系统 |
| US20110194615A1 (en) * | 2010-02-09 | 2011-08-11 | Alexander Zheludkov | Video sequence encoding system and algorithms |
| US20200260085A1 (en) * | 2018-01-16 | 2020-08-13 | Tencent Technology (Shenzhen) Company Limited | Video encoding method, apparatus, and device, and storage medium |
| US20200374527A1 (en) * | 2019-05-24 | 2020-11-26 | Axis Ab | Method and bitrate controller for controlling output bitrate of a video encoder |
| CN110324721A (zh) * | 2019-08-05 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置及存储介质 |
| CN110855989A (zh) * | 2019-10-14 | 2020-02-28 | 深圳市天视通电子科技有限公司 | 一种网络视频图像编码方法和装置 |
| CN110662044A (zh) * | 2019-10-22 | 2020-01-07 | 浙江大华技术股份有限公司 | 一种视频编码方法、视频编码装置及计算机存储介质 |
| US20200128271A1 (en) * | 2019-12-20 | 2020-04-23 | Intel Corporation | Method and system of multiple channel video coding with frame rate variation and cross-channel referencing |
| CN112203085A (zh) * | 2020-09-30 | 2021-01-08 | 字节跳动(香港)有限公司 | 图像处理方法、装置、终端和存储介质 |
| WO2023082904A1 (zh) * | 2021-11-09 | 2023-05-19 | 京东科技信息技术有限公司 | 视频编码方法和装置 |
| CN116112675A (zh) * | 2023-04-11 | 2023-05-12 | 深圳市海威恒泰智能科技有限公司 | 一种视频编码方法和视频编码系统 |
| CN116260928A (zh) * | 2023-05-15 | 2023-06-13 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于智能插帧的视觉优化方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117319661A (zh) * | 2023-09-26 | 2023-12-29 | 中移凯普(北京)技术服务有限公司 | 一种用于视觉传达展示的图像传输系统 |
| CN117319661B (zh) * | 2023-09-26 | 2024-04-12 | 中移凯普(北京)技术服务有限公司 | 一种用于视觉传达展示的图像传输系统 |
| CN117135364A (zh) * | 2023-10-26 | 2023-11-28 | 深圳市宏辉智通科技有限公司 | 一种视频解码方法和系统 |
| CN117135364B (zh) * | 2023-10-26 | 2024-02-02 | 深圳市宏辉智通科技有限公司 | 一种视频解码方法和系统 |
| CN117651148A (zh) * | 2023-11-01 | 2024-03-05 | 广东联通通信建设有限公司 | 一种物联网终端管控方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116708789B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116708789B (zh) | 一种基于人工智能的视频分析编码系统 | |
| CN108063944B (zh) | 一种基于视觉显著性的感知码率控制方法 | |
| CN110662044A (zh) | 一种视频编码方法、视频编码装置及计算机存储介质 | |
| US20200267396A1 (en) | Human visual system adaptive video coding | |
| JP2003018599A (ja) | 画像符号化装置および方法 | |
| EP3697095A1 (en) | Video transcoding method, computer device and storage medium | |
| CN111131828B (zh) | 一种图像压缩方法、装置、电子设备和存储介质 | |
| US11330263B1 (en) | Machine learning based coded size estimation in rate control of video encoding | |
| US10536696B2 (en) | Image encoding device and image encoding method | |
| CN108521572B (zh) | 一种基于像素域jnd模型的残差滤波方法 | |
| US11197021B2 (en) | Coding resolution control method and terminal | |
| CN113556544B (zh) | 基于场景自适应的视频编码方法和装置、设备及存储介质 | |
| CN115802038A (zh) | 一种量化参数确定方法、装置及一种视频编码方法、装置 | |
| KR100289054B1 (ko) | 매크로블록 단위 영역 분할 및 배경 모자이크구성방법 | |
| US11825088B2 (en) | Adaptively encoding video frames based on complexity | |
| CN117714697B (zh) | 数字人视频显示方法及设备 | |
| KR20110087859A (ko) | 양자화 계수 조절 방법, 장치 및 컴퓨터 판독가능 매체 | |
| CN113453007A (zh) | 一种提高监控场景h264编码效率的方法 | |
| WO2024082971A1 (zh) | 一种视频处理方法及相关装置 | |
| CN116248895B (zh) | 虚拟现实全景漫游的视频云转码方法及系统 | |
| CN116437162B (zh) | 一种信息传输方法、装置、显示器及存储介质 | |
| CN115361518B (zh) | 一种污水生化处理监控视频智能存储方法 | |
| CN114051140B (zh) | 视频编码方法、装置、计算机设备及存储介质 | |
| CN116760988B (zh) | 基于人类视觉系统的视频编码方法和装置 | |
| US20230262210A1 (en) | Visual lossless image/video fixed-rate compression |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |