CN115442617A - 一种基于视频编码的视频处理方法和装置 - Google Patents
一种基于视频编码的视频处理方法和装置 Download PDFInfo
- Publication number
- CN115442617A CN115442617A CN202211078336.0A CN202211078336A CN115442617A CN 115442617 A CN115442617 A CN 115442617A CN 202211078336 A CN202211078336 A CN 202211078336A CN 115442617 A CN115442617 A CN 115442617A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- frames
- intra
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000008859 change Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 21
- 238000013139 quantization Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000153 supplemental effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于视频编码的视频处理方法和装置，其中，该方法包括：对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定；对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。通过本发明，解决了视频目标检测相关技术中存在的工作量冗余和效率低下的问题。
Description
技术领域
本发明涉及视频处理领域，尤其涉及一种基于视频编码的视频处理方法和装置。
背景技术
视频编码的目的是为了压缩原始视频，去除冗余信息。H.264由于出色的数据压缩比率和视频质量，成为当前市场上流行的一种编解码标准。H.265(HEVC，High EfficiencyVideo Coding，高效率视频编码)在H.264的基础上改进，在保证相同视频质量的同时，视频流的码率还可以减少50％，节省了更多带宽和容量。在使用视频编码时，运动物体的信息无法及时存储下来，后期分析视频文件时需要再重新通过其他检测算法进行分析。目前对视频做运动目标检测时，普遍使用的方法是读取视频编码文件后通过第三方库检测算法进行分析，因此，现有技术中存在工作量冗余和效率低下，对实时处理应用的场景不理想的问题。
发明内容
本发明提供了一种基于视频编码的视频处理方法和装置，以至少解决相关技术中存在工作量冗余和效率低下的问题。
根据本发明实施例的第一方面，提供了一种基于视频编码的视频处理方法，该方法包括：对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，所述目标数量根据所述待处理视频多帧图像的变化速度确定；对所述多个帧对应的分块预测图像处理得到目标区域运动信息，其中，所述目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；将所述目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
可选地，所述方法还包括：对待处理视频中所有相邻两个关键帧内目标数量的帧动态处理，得到目标区域运动信息，将所述目标区域运动信息存入补充增强信息中，其中，所述动态处理为重复所述分块预测，得到多个帧对应的分块预测图像，根据所述多个帧对应的分块预测图像得到目标区域运动信息的过程。
可选地，所述对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像包括：对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像；对相邻两个关键帧内目标数量的帧重复所述通过帧内编码、帧内预测以及残差处理得到分块预测图像的过程，得到多个帧对应的分块预测图像。
可选地，所述对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像包括：对待处理视频中单帧图像分区并标注区域块，得到分区后的单帧图像数据；对所述分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据；将所述分区后的单帧图像数据与所述帧内预测数据求差，得到第一残差帧数据；对所述第一残差帧数据进行线性变换后的系数缩放和量化，得到残差帧系数；对所述残差帧系数进行缩放和量化的反处理，得到第二残差帧数据；将所述第二残差帧数据与所述帧内预测数据相加，得到分块预测图像。
可选地，所述对所述分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据包括：在帧内编码时，把每帧的帧内数据根据全像素生成对应的第一像素表，根据1/4像素生成对应的第二像素表，根据1/2像素生成对应的第三像素表；在帧内预测时，根据第一像素表、第二像素表和第三像素表得到帧内预测数据。
可选地，在得到根据实施例第一方面任一所述方法处理后的视频文件时，所述方法还包括：读取所述视频文件补充增强信息中的目标区域运动信息；根据所述目标区域运动信息确定视频中的运动目标物体的轨迹。
根据本发明实施例的第二方面，还提供了一种基于视频编码的视频处理装置，该装置包括：第一得到模块，用于对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，所述目标数量根据所述待处理视频的多帧图像变化速度确定；第二得到模块，用于对所述多个帧对应的分块预测图像处理得到目标区域运动信息，其中，所述目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；第三得到模块，用于将所述目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
可选地，所述装置还包括：动态处理模块，用于对待处理视频中所有相邻两个关键帧内目标数量的帧动态处理，得到目标区域运动信息，将所述目标区域运动信息存入补充增强信息中，其中，所述动态处理为重复所述分块预测，得到多个帧对应的分块预测图像，根据所述多个帧对应的分块预测图像得到目标区域运动信息的过程。
可选地，所述第一得到模块包括：第一得到单元，用于对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像；第二得到单元，用于对相邻两个关键帧内目标数量的帧重复所述通过帧内编码、帧内预测以及残差处理得到分块预测图像的过程，得到多个帧对应的分块预测图像。
可选地，所述第一得到单元包括：第一得到子模块，用于对待处理视频中单帧图像分区并标注区域块，得到分区后的单帧图像数据；第二得到子模块，对所述分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据；第三得到子模块，用于将所述分区后的单帧图像数据与所述帧内预测数据求差，得到第一残差帧数据；第四得到子模块，用于对所述第一残差帧数据进行线性变换后的系数缩放和量化，得到残差帧系数；第五得到子模块，用于对所述残差帧系数进行缩放和量化的反处理，得到第二残差帧数据；第六得到子模块，用于将所述第二残差帧数据与所述帧内预测数据相加，得到分块预测图像。
可选地，所述第二得到子模块包括：生成子单元，用于在帧内编码时，把每帧的帧内数据根据全像素生成对应的第一像素表，根据1/4像素生成对应的第二像素表，根据1/2像素生成对应的第三像素表；得到子单元，用于在帧内预测时，根据第一像素表、第二像素表和第三像素表得到帧内预测数据。
可选地，所述装置还包括：读取模块，用于读取所述视频文件补充增强信息中的目标区域运动信息；确定模块，用于根据所述目标区域运动信息确定视频中的运动目标物体的轨迹。
根据本发明实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行上述任一实施例中的方法步骤。
根据本发明实施例的第四方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的方法步骤。
在本发明实施例中，对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定；对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。由于在视频编码的过程中将目标区域运动信息存储在补充增强信息中，避免了在编码结束后再通过其他检测算法对运动目标进行分析，从而可以提高效率，解决了相关技术中存在的工作量冗余和效率低下的问题。
在本发明实施例中，根据全像素生成对应的第一像素表，根据1/4像素生成对应的第二像素表，根据1/2像素生成对应的第三像素表，通过查表得到帧内预测数据，提高了帧内编码的计算效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的基于视频编码的视频处理方法的硬件环境的示意图；
图2是根据本发明实施例的一种可选的基于视频编码的视频处理方法的流程示意图；
图3是根据本发明实施例的一种可选的基于视频编码的视频处理装置的结构框图；
图4是根据本发明实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的第一方面，提供了一种基于视频编码的视频处理方法。可选地，在本实施例中，上述基于视频编码的视频处理方法可以应用于如图1所示的硬件环境中。如图1所示，终端102中可以包含有存储器104、处理器106和显示器108(可选部件)。终端102可以通过网络110与服务器112进行通信连接，该服务器112可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器112上或独立于服务器112设置数据库114，用于为服务器112提供数据存储服务。此外，服务器112中可以运行有处理引擎116，该处理引擎116可以用于执行由服务器112所执行的步骤。
可选地，终端102可以但不限于为可以计算数据的终端，如移动终端(例如手机、平板电脑)、笔记本电脑、PC(Personal Computer，个人计算机)机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI(Wireless Fidelity，无线保真)及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。
此外，在本实施例中，上述基于视频编码的视频处理方法还可以但不限于应用于处理能力较强大的独立的处理设备中，而无需进行数据交互。例如，该处理设备可以但不限于为处理能力较强大的终端设备，即，上述基于视频编码的视频处理方法中的各个操作可以集成在一个独立的处理设备中。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，在本实施例中，上述基于视频编码的视频处理方法可以由服务器112来执行，也可以由终端102来执行，还可以是由服务器112和终端102共同执行。其中，终端102执行本发明实施例的基于视频编码的视频处理方法也可以是由安装在其上的客户端来执行。
以基于视频编码的视频处理方法应用于中央处理单元为例，图2是根据本发明实施例的一种可选的基于视频编码的视频处理方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤S201，对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定。可选地，视频由多帧图像组成，一帧即为视频中的一张图像，通过播放一系列的图像，在视觉上形成了动态效果。但是在传输视频时，如果将所有的图像都进行传输，数据量非常大，其中包含有大量的重复信息，所以需要对视频进行压缩即编码。当要检测运动目标时，需要对编码后的视频使用其他的算法进行处理，本实施例中，视频编码包括H.264和H.265，本发明以H.265为例对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定。具体来说，当视频多帧图像的变化速度快时，对运动目标检测需要选取较多的帧，以免丢失目标区域运动信息，当视频多帧图像的变化速度慢时，对运动目标检测可以选取较少的帧，避免重复分析浪费处理资源。另外视频关键帧是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，故在相邻两个关键帧内进行分块预测可以提高运动目标检测的准确性。
步骤S202，对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长。可选地，对得到的多个帧对应的分块预测图像根据H.265的运动估算方法生成目标区域运动信息，具体包括像素的坐标、运动方向、运动长度和运动时长。运动估算方法在某一特定的搜索范围内根据多个帧对应的分块预测图像和一定的匹配准则找出与当前块最相似的块，根据两者间的像素、时间信息生成目标区域运动信息。
步骤S203，将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。可选地，将通过运动估算方法生成的目标区域运动信息存入H.265的补充增强信息中，得到处理后的视频文件。需要说明的是，可以根据需要选取不同的存储形式，下面是一种可选的存储形式：
在本发明实施例中，对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定；对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。由于在视频编码的过程中将目标区域运动信息存储在补充增强信息中，避免了在编码结束后再通过其他检测算法对运动目标进行分析，从而可以提高效率，解决了相关技术中存在的工作量冗余和效率低下的问题。
作为一种可选的实施例，方法还包括：对待处理视频中所有相邻两个关键帧内目标数量的帧动态处理，得到目标区域运动信息，将目标区域运动信息存入补充增强信息中，其中，动态处理为重复分块预测，得到多个帧对应的分块预测图像，根据多个帧对应的分块预测图像得到目标区域运动信息的过程。可选地，通过在视频所有相邻两个关键帧内重复生成目标区域运动信息，将目标区域运动信息存入补充增强信息中，得到视频中所有运动物体以及该物体的目标区域运动信息，包括像素的坐标、运动方向、运动长度和运动时长。在本发明实施例中，通过将视频中所有运动物体的目标区域运动信息存储在补充增强信息中，避免了需要使用时再重复分析，提高了效率。
作为一种可选的实施例，对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像包括：对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像；对相邻两个关键帧内目标数量的帧重复通过帧内编码、帧内预测以及残差处理得到分块预测图像的过程，得到多个帧对应的分块预测图像。可选地，通过对单帧图像进行帧内编码、帧内预测和残差处理得到单帧图像的分块预测图像，然后对相邻两个关键帧内多帧图像的每一帧重复该过程，得到多个帧对应的分块预测图像。本实施例通过帧内编码、帧内预测和残差处理得到了多个帧对应的分块预测图像。
作为一种可选的实施例，对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像包括：对待处理视频中单帧图像分区并标注区域块，得到分区后的单帧图像数据；对分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据；将分区后的单帧图像数据与帧内预测数据求差，得到第一残差帧数据；对第一残差帧数据进行线性变换后的系数缩放和量化，得到残差帧系数；对残差帧系数进行缩放和量化的反处理，得到第二残差帧数据；将第二残差帧数据与帧内预测数据相加，得到分块预测图像。
可选地，在对视频中单帧图像处理时，首先需要将单帧图像划分为32x32或者4x4的块状区域，分块的大小可以根据图像需要确定，对划分后的多个分块区域进行标注，得到分区后的单帧图像数据。然后对分区后的单帧图像数据进行帧内编码，即根据已有块预测相邻块，预测分量包括亮度和色度，对应的预测块分别是亮度预测块和色度预测块，然后对得到的亮度预测块和色度预测块进行帧内预测，得到亮度预测块和色度预测块对应的预测数据。将分区后的单帧图像数据减去帧内预测得到的数据作为第一残差帧数据，对第一残差帧数据进行线性变换后的系数缩放和量化，得到残差帧系数，线性变换主要用于将图像从时域信号变换至频域，将能量集中至低频区域，减小图像编码的动态范围，量化算法公式为：I＝floor(c/Qstep+f)，其中，I表示量化后的值，floor为向下取整函数，c表示系数，Qstep表示量化步长，f控制舍入关系值，通过选取不同的量化参数重复量化过程，减少图像的失真率。然后对残差帧系数进行缩放和量化的反处理，得到第二残差帧数据，将第二残差帧数据与帧内预测数据相加，得到单帧图像的分块预测图像。本实施例通过对第一残差帧数据进行线性变换后的系数缩放和量化，达到了减小图像编码的动态范围和降低图像失真率的效果。
作为一种可选的实施例，对分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据包括：在帧内编码时，把每帧的帧内数据根据全像素生成对应的第一像素表，根据1/4像素生成对应的第二像素表，根据1/2像素生成对应的第三像素表；在帧内预测时，根据第一像素表、第二像素表和第三像素表得到帧内预测数据。可选地，对每帧图像的帧内数据根据不同的像素值生成对应的像素表，通过查表得到帧内预测数据，提高了帧内编码的计算效率。
作为一种可选的实施例，在得到根据实施例第一方面任一方法处理后的视频文件时，方法还包括：读取视频文件补充增强信息中的目标区域运动信息；根据目标区域运动信息确定视频中的运动目标物体的轨迹。可选地，通过本申请实施例第一方面任一方法处理后得到的的视频文件，当需要对该视频文件中的运动物体进行检测时，不需要通过其他的检测算法分析，只需要读取存储在补充增强信息中的目标区域运动信息，即可确定视频中的运动目标物体的轨迹以及其他存储的运动信息。本实施例，通过直接读取视频文件中存储的补充增强信息中的目标区域运动信息，提高了运动目标检测的效率。
根据本发明实施例的第二方面，还提供了一种用于实施上述基于视频编码的视频处理方法的基于视频编码的视频处理装置。图3是根据本发明实施例的一种可选的基于视频编码的视频处理装置的结构框图，如图3所示，该装置可以包括：第一得到模块301，用于对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频的多帧图像变化速度确定；第二得到模块302，用于对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；第三得到模块303，用于将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
需要说明的是，该实施例中的第一得到模块301可以用于执行上述步骤S201，该实施例中的第二得到模块302可以用于执行上述步骤S202，该实施例中的第三得到模块303可以用于执行上述步骤S203。通过上述模块，在视频编码的过程中将目标区域运动信息存储在补充增强信息中，避免了在编码结束后再通过其他检测算法对运动目标进行分析，从而可以提高效率，解决了相关技术中存在的工作量冗余和效率低下的问题。
作为一种可选的实施例，该装置还包括：动态处理模块，用于对待处理视频中所有相邻两个关键帧内目标数量的帧动态处理，得到目标区域运动信息，将目标区域运动信息存入补充增强信息中，其中，动态处理为重复分块预测，得到多个帧对应的分块预测图像，根据多个帧对应的分块预测图像得到目标区域运动信息的过程。
作为一种可选的实施例，第一得到模块包括：第一得到单元，用于对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像；第二得到单元，用于对相邻两个关键帧内目标数量的帧重复通过帧内编码、帧内预测以及残差处理得到分块预测图像的过程，得到多个帧对应的分块预测图像。
作为一种可选的实施例，第一得到单元包括：第一得到子模块，用于对待处理视频中单帧图像分区并标注区域块，得到分区后的单帧图像数据；第二得到子模块，对分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据；第三得到子模块，用于将分区后的单帧图像数据与帧内预测数据求差，得到第一残差帧数据；第四得到子模块，用于对第一残差帧数据进行线性变换后的系数缩放和量化，得到残差帧系数；第五得到子模块，用于对残差帧系数进行缩放和量化的反处理，得到第二残差帧数据；第六得到子模块，用于将第二残差帧数据与帧内预测数据相加，得到分块预测图像。
作为一种可选的实施例，第二得到子模块包括：生成子单元，用于在帧内编码时，把每帧的帧内数据根据全像素生成对应的第一像素表，根据1/4像素生成对应的第二像素表，根据1/2像素生成对应的第三像素表；得到子单元，用于在帧内预测时，根据第一像素表、第二像素表和第三像素表得到帧内预测数据。
作为一种可选的实施例，该装置还包括：读取模块，用于读取视频文件补充增强信息中的目标区域运动信息；确定模块，用于根据目标区域运动信息确定视频中的运动目标物体的轨迹。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本发明实施例的又一个方面，还提供了一种用于实施上述基于视频编码的视频处理方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图4是根据本发明实施例的一种可选的电子设备的结构框图，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402和存储器403通过通信总线404完成相互间的通信，其中，存储器403，用于存储计算机程序；处理器401，用于执行存储器403上所存放的计算机程序时，实现如下步骤：对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定。对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长。将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
可选地，在本实施例中，上述的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，如图4所示，上述存储器403中可以但不限于包括上述基于视频编码的视频处理装置中的第一得到模块301、第二得到模块302以及第三得到模块303。此外，还可以包括但不限于上述基于视频编码的视频处理装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU(Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(DigitalSignal Processing，数字信号处理器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外，上述电子设备还包括：显示器，用于显示基于视频编码的视频处理结果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图4所示的结构仅为示意，实施上述基于视频编码的视频处理方法的设备可以是终端设备，该终端设备可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图4其并不对上述电子设备的结构造成限定。例如，终端设备还可包括比图4中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图4所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本发明实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行基于视频编码的视频处理方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，目标数量根据待处理视频多帧图像的变化速度确定。对多个帧对应的分块预测图像处理得到目标区域运动信息，其中，目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长。将目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本发明实施例的又一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一个实施例中的基于视频编码的视频处理方法步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例基于视频编码的视频处理方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种基于视频编码的视频处理方法，其特征在于，所述方法包括：
对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，所述目标数量根据所述待处理视频多帧图像的变化速度确定；
对所述多个帧对应的分块预测图像处理得到目标区域运动信息，其中，所述目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；
将所述目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对待处理视频中所有相邻两个关键帧内目标数量的帧动态处理，得到目标区域运动信息，将所述目标区域运动信息存入补充增强信息中，其中，所述动态处理为重复所述分块预测，得到多个帧对应的分块预测图像，根据所述多个帧对应的分块预测图像得到目标区域运动信息的过程。
3.根据权利要求1所述的方法，其特征在于，所述对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像包括：
对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像；
对相邻两个关键帧内目标数量的帧重复所述通过帧内编码、帧内预测以及残差处理得到分块预测图像的过程，得到多个帧对应的分块预测图像。
4.根据权利要求3所述的方法，其特征在于，所述对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像包括：
对待处理视频中单帧图像分区并标注区域块，得到分区后的单帧图像数据；
对所述分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据；
将所述分区后的单帧图像数据与所述帧内预测数据求差，得到第一残差帧数据；
对所述第一残差帧数据进行线性变换后的系数缩放和量化，得到残差帧系数；
对所述残差帧系数进行缩放和量化的反处理，得到第二残差帧数据；
将所述第二残差帧数据与所述帧内预测数据相加，得到分块预测图像。
5.根据权利要求4所述的方法，其特征在于，所述对所述分区后的单帧图像数据进行帧内编码和帧内预测，得到帧内预测数据包括：
在帧内编码时，把每帧的帧内数据根据全像素生成对应的第一像素表，根据1/4像素生成对应的第二像素表，根据1/2像素生成对应的第三像素表；
在帧内预测时，根据第一像素表、第二像素表和第三像素表得到帧内预测数据。
6.根据权利要求1所述的方法，其特征在于，在得到根据权利要求1-5任一所述方法处理后的视频文件时，所述方法还包括：
读取所述视频文件补充增强信息中的目标区域运动信息；
根据所述目标区域运动信息确定视频中的运动目标物体的轨迹。
7.一种基于视频编码的视频处理装置，其特征在于，所述装置包括：
第一得到模块，用于对待处理视频相邻两个关键帧内目标数量的帧进行分块预测，得到多个帧对应的分块预测图像，其中，所述目标数量根据所述待处理视频的多帧图像变化速度确定；
第二得到模块，用于对所述多个帧对应的分块预测图像处理得到目标区域运动信息，其中，所述目标区域运动信息包括像素的坐标、运动方向、运动长度和运动时长；
第三得到模块，用于将所述目标区域运动信息存入补充增强信息中，得到处理后的视频文件。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
动态处理模块，用于对待处理视频中所有相邻两个关键帧内目标数量的帧动态处理，得到目标区域运动信息，将所述目标区域运动信息存入补充增强信息中，其中，所述动态处理为重复所述分块预测，得到多个帧对应的分块预测图像，根据所述多个帧对应的分块预测图像得到目标区域运动信息的过程。
9.根据权利要求7所述的装置，其特征在于，所述第一得到模块包括：
第一得到单元，用于对待处理视频中单帧图像分块，通过帧内编码、帧内预测以及残差处理得到分块预测图像；
第二得到单元，用于对相邻两个关键帧内目标数量的帧重复所述通过帧内编码、帧内预测以及残差处理得到分块预测图像的过程，得到多个帧对应的分块预测图像。
10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，
所述存储器，用于存储计算机程序；
所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至6中任一项所述的方法步骤。
11.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至6中任一项中所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211078336.0A CN115442617A (zh) | 2022-09-05 | 2022-09-05 | 一种基于视频编码的视频处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211078336.0A CN115442617A (zh) | 2022-09-05 | 2022-09-05 | 一种基于视频编码的视频处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115442617A true CN115442617A (zh) | 2022-12-06 |
Family
ID=84246339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211078336.0A Pending CN115442617A (zh) | 2022-09-05 | 2022-09-05 | 一种基于视频编码的视频处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115442617A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117112836A (zh) * | 2023-09-05 | 2023-11-24 | 广西华利康科技有限公司 | 一种面向视频内容的大数据智能分类方法 |
-
2022
- 2022-09-05 CN CN202211078336.0A patent/CN115442617A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117112836A (zh) * | 2023-09-05 | 2023-11-24 | 广西华利康科技有限公司 | 一种面向视频内容的大数据智能分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI622288B (zh) | 視訊解碼方法 | |
| CN103096055B (zh) | 一种图像信号帧内预测及解码的方法和装置 | |
| US20200288133A1 (en) | Video coding method and apparatus | |
| KR100809354B1 (ko) | 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법 | |
| US20180115787A1 (en) | Method for encoding and decoding video signal, and apparatus therefor | |
| US20140119456A1 (en) | Encoding video into lower resolution streams | |
| CN111316642B (zh) | 信令图像编码和解码划分信息的方法和装置 | |
| CN108848377B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
| KR102138650B1 (ko) | 디지털 이미지의 블록을 처리하는 시스템 및 방법 | |
| CN111050176B (zh) | 视频编码、视频解码方法、装置、计算机设备和存储介质 | |
| JP2022524916A (ja) | 適応的な数の領域を伴う幾何学的分割のための形状適応離散コサイン変換 | |
| JP5779116B2 (ja) | 画像符号化方法、画像符号化装置及び画像符号化プログラム | |
| CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
| KR102113904B1 (ko) | 보간을 이용한 연산 방법, 인코더, 및 디코더 | |
| CN110677676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
| CN114745551A (zh) | 处理视频帧图像的方法及电子设备 | |
| CN111654696A (zh) | 一种帧内的多参考行预测方法、装置、存储介质及终端 | |
| WO2021263251A1 (en) | State transition for dependent quantization in video coding | |
| JP2015076765A (ja) | 画像処理装置及びその制御方法、並びに、コンピュータプログラム | |
| TWI635742B (zh) | 動態影像編碼裝置及動態影像編碼方法 | |
| CN107172425B (zh) | 缩略图生成方法、装置及终端设备 | |
| CN110662060B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
| CN112449187B (zh) | 视频解码方法、编码方法、装置、介质及电子设备 | |
| CN109803147B (zh) | 基于视频纹理特征的变换处理方法及装置 | |
| CN112738522A (zh) | 视频编码方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 247100 intersection of Fengming Avenue and Hanjiang Road, Jiangnan industrial concentration area, Chizhou City, Anhui Province Applicant after: Anhui Wenxiang Technology Co.,Ltd. Address before: 247100 intersection of Fengming Avenue and Hanjiang Road, Jiangnan industrial concentration area, Chizhou City, Anhui Province Applicant before: Anhui Wenxiang Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Peng Zebo Inventor after: Song Xiangyang Inventor after: Zhang Diejun Inventor after: Qi Xiaoxin Inventor before: Peng Zebo Inventor before: Song Xiangyang Inventor before: Zhang Diejun |
|
| CB03 | Change of inventor or designer information |