CN113473142A - 视频编码、视频解码方法及装置、电子设备、存储介质 - Google Patents
视频编码、视频解码方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113473142A CN113473142A CN202111029246.8A CN202111029246A CN113473142A CN 113473142 A CN113473142 A CN 113473142A CN 202111029246 A CN202111029246 A CN 202111029246A CN 113473142 A CN113473142 A CN 113473142A
- Authority
- CN
- China
- Prior art keywords
- video
- information
- image
- characteristic
- recombination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000006798 recombination Effects 0.000 claims abstract description 54
- 238000005215 recombination Methods 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000007906 compression Methods 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 19
- 230000006837 decompression Effects 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000013139 quantization Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了视频编码、视频解码方法及装置、电子设备、存储介质，编码方法包括：根据当前视频分析任务对视频进行特征提取处理，以提取出视频特征信息；基于视频特征信息确定视频中图像的特征值信息，通过特征值信息生成视频中图像的分割信息和重组信息；基于分割信息对视频中图像进行分割处理，以将图像切分为多个图像块；基于重组信息对图像块进行重组处理，以生成重组后的图像；对重组后的图像进行压缩处理得到视频数据流，发送特征数据流和视频数据流，通过特征数据流传输分割、重组信息。本发明根据视频分析任务提取的特征为视频数据施加对应的编码和传输参数，以实现高效地编码和解码。
Description
技术领域
本发明涉及视频编码技术领域，更为具体来说，本发明能够提供视频编码、视频解码方法及装置、电子设备、存储介质。
背景技术
基于分块的视频编解码技术具有技术成熟、计算复杂度适中等特点，所以在过去的数十年里得到了非常快速的发展。目前，主流的编解码技术包括H.264/H.265/H.266和MPEG2/MPEG4等，均依赖于基于分块的视频编解码技术。然而传统基于分块的视频编解码技术实现的依据是人眼视觉感知，比如高度依赖于人眼对高频信息不敏感的特点，从而导致基于分块的视频编解码技术对视频数据中的高频分量进行了较大程度的压缩。
但是，随着视频编解码技术使用越来越广泛、应用场合越来越多，若仍然按照常规的依据人眼视觉感知进行视频编解码，将导致很多情形下的有用信息被忽略，后续视频处理过程往往需要更多的计算资源和时间才有可能达到视频处理目的，进而导致在很多应用场合下的视频处理结果反馈不及时、实施成本高，无法满足实际需要。
发明内容
为解决传统的视频编码技术易出现的有用信息被忽略的问题，本发明提供了一种视频编码、视频解码方法及装置、电子设备、存储介质，实现根据视频分析任务的需要对应地进行视频编码处理，有效解决上述问题。
为实现上述的技术目的，本发明提供了一种视频编码方法，该视频编码方法可包括但不限于如下的一个或多个步骤。
根据当前视频分析任务对视频进行特征提取处理，以提取出视频特征信息。
基于所述视频特征信息确定视频中图像的特征值信息。
通过所述特征值信息生成视频中图像的分割信息和重组信息。
基于所述分割信息对视频中图像进行分割处理，以将所述图像切分为多个图像块。
基于所述重组信息对图像块进行重组处理，以生成重组后的图像。
对所述重组后的图像基于块的图像压缩，得到用于发送的视频数据流。
发送特征数据流和视频数据流，通过特征数据流传输所述分割信息和所述重组信息。
进一步地，所述特征值信息为特征值在图像中各个不同块状区域上的统计信息。
进一步地，所述统计信息为块状区域上特征值超过预设值的像素的个数或块状区域上所有像素的特征值的均值或块状区域上所有像素的特征值之和。
进一步地，所述基于所述重组信息对图像块进行重组处理包括：
将特征值信息相同的多个不同图像块进行重新组合。
进一步地，该编码方法还包括：
通过所述特征值信息生成传输参数；
对重组后的图像施加特定的编码参数和/或传输参数。
进一步地，所述基于所述视频特征信息确定视频中图像的特征值信息包括：基于所述视频特征信息确定关键位置信息，其中，所述关键位置信息包括兴趣点的位置信息、特征位置信息中的至少一种；通过所述关键位置信息设置多个待分割的块状区域，根据块状区域上像素的特征值确定该块状区域的统计信息。
进一步地，所述视频特征信息包括：机器学习特征信息、视觉特征信息中的至少一种。
为实现上述的技术目的，本发明还提供了一种视频解码方法，该视频解码方法可包括但不限于如下的一个或多个步骤。
对接收的视频数据流进行解压处理，以得到重组后的图像。并从接收的特征数据流中获取重组信息和所述分割信息。
根据接收的重组信息对所述重组后的图像进行拆分处理，以得到重组前的图像块。
根据接收的分割信息对所述重组前的图像块进行拼接处理，以恢复出分割前的视频中图像。
为实现上述的技术目的，本发明还提供了一种视频编码装置，该视频编码装置包括但不限于视频特征提取模块、特征值信息确定模块、编码信息生成模块、视频图像分割模块、图像块重组模块、视频图像压缩模块及视频数据发送模块。
视频特征提取模块，用于根据当前视频分析任务对视频进行特征提取处理，以提取出视频特征信息。
特征值信息确定模块，用于基于所述视频特征信息确定视频中图像的特征值信息。
编码信息生成模块，用于通过所述特征值信息生成视频中图像的分割信息和重组信息。
视频图像分割模块，用于基于所述分割信息对视频中图像进行分割处理，以将所述图像切分为多个图像块。
图像块重组模块，用于基于所述重组信息对图像块进行重组处理，以生成重组后的图像。
视频图像压缩模块，用于对所述重组后的图像进行基于块的图像压缩，得到视频数据流。
视频数据发送模块，用于发送特征数据流和视频数据流，并用于通过特征数据流传输所述分割信息和所述重组信息。
为实现上述的技术目的，本发明还提供了一种视频解码装置，该视频解码装置具体包括但不限于视频图像解压模块、图像块拆分模块以及视频图像恢复模块。
视频图像解压模块，用于对接收的视频数据流进行解压处理，以得到重组后的图像，并用于从接收的特征数据流中获取所述重组信息和所述分割信息。
图像块拆分模块，用于根据接收的重组信息对所述重组后的图像进行拆分处理，以得到重组前的图像块。
视频图像恢复模块，用于根据接收的分割信息对所述重组前的图像块进行拼接处理，以恢复出分割前的视频中图像。
为实现上述的技术目的，本发明还能够具体提供一种电子设备，电子设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明任一实施例中所述的视频编码方法或本发明任一实施例中所述的视频解码方法。
为实现上述的技术目的，本发明还具体提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行本发明任一实施例所述的视频编码方法或本发明任一实施例所述的视频解码方法。
本发明的有益效果为：本发明能够根据实际视频分析任务有针对性地对待编码的视频进行特征提取，并能够根据提取的特征为待编码和传输的视频数据施加对应当前视频分析任务的编码参数和传输参数，可见本发明能够针对视频分析任务对应地进行高效编码、传输及解码，并能够有效地缩短视频处理时间和减少计算资源的使用。本发明可在满足视频分析任务要求的前提下通过视频压缩方式更大程度地消除视频中的冗余信息，具体消除连续的视频图像在时间和空间上存在的大量的冗余信息，可见本发明能够更高效地存储和传输视频图像信息。由于本发明所提供的编解码技术方案具有极强的针对性，视频数据处理过程是围绕视频分析任务执行的，则本发明与视频分析任务无关或关联非常小的视频数据可满足最大程度压缩的要求，可见本发明通过视频数据中的部分数据的超高比例压缩极大降低了传输带宽和数据存储空间，推动了视频编解码技术的进一步发展。
附图说明
图1示出了本发明一个或多个实施例中视频编码方法的流程示意图。
图2示出了本发明一个或多个实施例中视频解码方法的流程示意图。
图3示出了本发明一个或多个实施例中将图像分割成N×M个图像块的特征值信息示意图（其中，N=8，M=8）。
图4示出了本发明一个或多个实施例中按照Z形扫描模式对图3中的N×M个图像块进行扫描的示意图。
图5示出了本发明一个或多个实施例中通过扫描确定的特征值信息相同的图像块重新组合成包括一定数量图像块的图像的示意图。
图6示出了本发明一个或多个实施例中数据发送端设备的处理流程示意图。
图7示出了本发明一个或多个实施例中数据接收端设备的处理流程示意图。
具体实施方式
下面结合说明书附图对本发明提供的一种视频编码、视频解码方法及装置、电子设备、存储介质进行详细的解释和说明。
鉴于现有技术事实上并没有充分考虑到现在及未来大量的视频分析任务与人眼感知往往有不一样的需求，这是因为特定的视频分析任务往往与特定的视频特征有关，而这些特定的视频特征很多时候恰恰就是容易被人眼忽略的特征，例如被人眼忽略的高频数据等等。本发明创新根据视频特征对视频中的图像进行分割和重新组合，实现根据视频分析任务的需要针对视频数据施加特定的编码参数和传输参数，充分满足视频分析任务的需要。
如图1所示，并可结合图3至图6，本发明一个或多个实施例具体可提供一种视频编码方法，包括视频压缩处理和视频特征编码处理方法，并能够与数字视网膜技术相融合，进而提供一种数字视网膜视频编码方法。该方法能够通过视频采集设备对目标应用场景下的视频进行采集，然后在发送端设备经过编码后传输至接收端设备。
具体地，本发明实施例中视频编码方法包括但不限于如下的至少一个步骤。
步骤一：根据当前视频分析任务对采集的视频进行特征提取处理，以提取出视频特征信息。本发明中的视频特征信息包括机器学习特征信息、视觉特征信息中的至少一种，本实施例中机器学习特征信息包括但不限于行人识别特征信息、车牌识别特征信息、交通事故识别特征信息以及交通指示识别特征信息等，本实施例中的视觉特征信息包括但不限于颜色特征信息、图案特征信息、纹理特征信息以及灰度特征信息等。本发明的视频分析任务例如包括但不限于目标识别任务、视频检索任务、视频筛选任务等等，不同的视频分析任务往往需要对应提取不同的视频特征信息。
本发明实施例特征提取处理过程可包括但不限于兴趣点位置的提取过程、特征位置的提取过程中的至少一种，其中的兴趣点位置和特征位置均与当前视频分析任务直接相关。可选地，本发明一些实施例在进行特征提取的过程中对一些视频数据进行压缩后处理，例如对生成的摘要视频流等进行压缩。
步骤二：基于视频特征信息确定视频中图像的特征值信息。其中，该特征值信息具体为特征值在图像中各个不同块状区域上的统计信息，即本实施例中的特征值信息基于图像中各个不同块状区域上的特征值得到。
本发明一个或多个实施例中的基于视频特征信息确定视频中图像的特征值信息包括：基于视频特征信息确定关键位置信息，其中关键位置信息包括兴趣点的位置信息、特征位置信息中的至少一种；通过关键位置信息设置多个待分割的块状区域；根据块状区域上像素的特征值确定该块状区域的统计信息。本发明实施例统计信息为块状区域上特征值超过预设值的像素的个数或者块状区域上所有像素的特征值的均值或者块状区域上所有像素的特征值之和。本发明中涉及的特征值例如可以是亮度值，预设值可以是与视频分析任务相对应设置的预设像素参数，例如预设亮度值，当然不限于此。
如图3所述，本发明实施例可在图像上设置M×N（图示M=8,N=8）个块状区域，本实施例统计在每个块状区域上超过预设值的特征值的像素的个数（count）作为该块状区域的统计信息，即特征值信息，图3示出了一张特征值分布图；该图表示视频中的一帧图像可被分割成等分的8×8的图像块，其中每一小块上显示的值为该块状区域上的特征值信息。
可选地，本发明一些实施例还可对块状区域上所有像素的特征值之和或者特征值均值进行量化，将量化结果限定在固定的区间内。本发明还有一些实施例可通过“0”、“1”二值表示特征值信息，例如特征点判断的情形，此时特征值分布图体现为特征点分布图。由此在本发明公开内容基础上，可采用其他方式得到特征值信息，以能够实现本发明技术目的为准。
本发明实施例中的兴趣点是具有关键地位的像素点，可包括但不限于目标视频图像中突出的角点、轮廓点、边缘端点、极值点等。本发明能够采用LoG（Laplacian ofGaussian，高斯拉普拉斯算子）方法或者基于块的频域（Block Based Frequency Domain）方法或Harris（哈里斯）边角确定方法等方式实现兴趣点的识别，当然并不限于此。
步骤三：通过特征值信息生成视频中图像的分割信息和重组信息，即本发明将特征值信息作为后续的图像分割操作和图像块重组操作的依据。
具体地，本实施例通过特征值信息生成视频中图像的分割信息包括：根据特征值信息确定一帧图像中通过分割形成的每个图像块的尺寸、形状等信息。通过特征值信息生成视频中图像的重组信息包括：根据特征值信息确定图像块重组规则信息、可以重组的图像块的相近特征值的最大差值、图像块扫描方式等。
步骤四：基于分割信息对视频中图像进行分割处理，以将图像切分为多个图像块。本实施例中可将图像分割为多个矩形图形块，当然也可以是其它形状图形块，以能够实现本发明目的为准。
应当理解的是，本发明实施例中各个图像块具有特征值信息的属性，所以本发明后续的视频中图像处理过程中能够根据特征值信息进行重新组合。
步骤五：基于重组信息对图像块进行重组处理，以生成有多个图形块重组后的图像；如图5中所示，具体将12=4×3个图像块进行重组（另外两个×表示填充的来自邻近的有效图像块数据）。
可选地，本发明实施例基于重组信息对图像块进行重组处理可包括：将特征值信息相同或者特征值信息相似度达到阈值的多个不同的图像块进行重新组合；阈值例如可以是90%，当然并不限于此。
如图4、图5所示，本实施例例如可采用图4中示出的Z形扫描模式将特征值信息相同（示例中均为5）的图像块重新组合为一个分块组合，其大小例如为4×3，包括10个通过扫描确定的图像块和2个邻近图像块。在本发明一些实施例中，可将通过本发明实施例得到的图像块组合视为现有或未来基于块的编码单元条带（slice）、宏块（Micro Block）、树形结构编码单元（CTU，Coding Tree Units）、编码单元（Coding Unit）等进行进一步处理（例如进一步分割和编码）。
步骤六：对重组后的图像基于块的图像压缩，以得到用于发送的视频数据流。该压缩处理的过程可包括但不限于基于块的图像压缩处理过程，例如帧间编码过程或帧内编码过程，具体可包括通过帧间预测或帧内预测方式形成残差数据，然后对残差数据进行变换编码（比如DCT，Discrete Cosine Transform，离散余弦变换），再对变换系数进行量化，量化后再进行行程编码和熵编码，最后形成视频压缩数据。本发明对具有相同或相近特征值的图像块组合在一起进行编码，可以施加特定的编码参数（比如相对于具有其他特征值的区域具有更精细的量化）和/或传输参数（比如相对于具有其他特征值的区域具有更高的传输优先级和更低的编码速率）。由于本发明上述具有相同或相似特征值的图像块被组合在一起，编码参数和传输参数的设置只需要针对组合后形成的“大分块”进行，本实施例可以在形成编码码流的头部位置（header）中进行设置，可见本发明有效避免了在分散的较小的分块分别进行参数设置的问题，极大提高了参数设置的效率。
本发明实施例中图像压缩过程包括但不限于兴趣点位置的压缩、兴趣点的局部特征值压缩、局部特征描述子压缩、局部特征描述子聚合、局部特征位置压缩等，其中局部特征值的压缩可包括量化和编码的过程，并可达到减少传输带宽和数据存储空间等目的。本实施例通过视频数据流传输压缩后的视频中图像数据，即通过视频数据流传输压缩后的视频数据。本实施例可在传输视频数据流同时或之前或之后进行特征数据流的传输，以实现通过特征数据流传输图像的分割信息和重组信息。
可选地，本发明可通过如下方式对特征值信息进行压缩：将帧图像的特征值信息与前面最接近的参考帧图像进行比较，得到特征值残差，从而有效地减小特征值信息的传输带宽和存储空间。本发明能够对特征值进行变换编码处理（比如DCT），再对变换系数进行量化，量化后可进行行程编码和熵编码，最后形成特征码流。
步骤七：发送特征数据流和视频数据流；其中，本发明通过特征数据流传输分割信息和所述重组信息。传输参数包括但不限于确定不同图像数据的编码速率和不同数据流的传输优先级等等。
可选地，本发明中的视频数据流和特征数据流可通过以太网发送或者通过WiFi网络或5G/4G蜂窝通信网络等传输方式进行发送。
如图2所示，并可结合图7，与本发明的编码方法基于同一技术构思，本发明一个或多个实施例还能够提供一种视频解码方法，该视频解码方法可包括但不限于如下的一个或多个步骤。
步骤一：对接收的视频数据流进行解压处理，以得到重组后的图像。与压缩过程相对应，本发明实施例中的解压过程可以包括视频码流（视频数据流）信息读取、熵解码、反量化、反变换（比如反DCT变换）、帧间预测差分解码等过程，当然不限于此；并能够在视频码流相应位置的头部位置（header）中读取编码过程中专门为其设置的编码参数和/或传输参数，确定一幅图像被分割成多大的尺寸、图像块重组规则信息、可以重组的图像块的相近特征值的最大差值、图像块扫描方式等等。可见本发明实施例在具体执行时从接收的特征数据流中获取重组信息和分割信息。
本发明接收视频数据流和特征数据流的方式例如可以包括但不限于以太网方式、WiFi网络方式或5G/4G蜂窝通信网络等方式。
应当理解的是，本发明实施例的不同视频特征可以采用统一的编码和解码和/或特征匹配方式，当然也可采用独立的编码和解码和/或特征匹配方式。
步骤二：根据接收的重组信息对重组后的图像进行拆分处理，以得到重组前的图像块。本发明实施例根据确定图像块重组规则信息、可以重组的图像块的相近特征值的最大差值、图像块扫描方式等信息得到重组前图像块。
步骤三：根据接收的分割信息对重组前的图像块进行拼接处理，以恢复出分割前的视频中图像。本发明将恢复的重组前的图像块拼接，实现将具有相同或相似特征值信息的图像块重新调整恢复其各自在原始图像中的位置和恢复出原始图像，本发明能够对解码后的视频原始图像和相关的视频特征信息进行存储和/或显示。
与本发明的视频编码方法基于同一发明构思，本发明实施例还可提供一种视频编码装置，该编码装置可设置于数据发送端设备上。具体地，该视频解码装置可包括但不限于视频特征提取模块、特征值信息确定模块、编码信息生成模块、视频图像分割模块、图像块重组模块以及视频图像压缩模块。
如图6所示，本发明具体提供了数据发送端设备的工作流程示意图。应当理解的是，本发明在发送端实现视频编码目的的功能模块可以在同一个物理实体上实现，或者也可以通过多个物理上分离的物理实体实现。
视频特征提取模块用于根据当前视频分析任务对视频进行特征提取处理，以提取出视频特征信息。其中的视频特征信息可包括但不限于机器学习特征信息、视觉特征信息中的至少一种。
特征值信息确定模块用于基于视频特征信息确定视频中图像的特征值信息；其中，特征值信息为特征值在图像中各个不同块状区域上的统计信息。特征值信息确定模块具体能够用于基于视频特征信息确定关键位置信息以及用于通过关键位置信息设置多个待分割的块状区域，并用于根据块状区域上像素的特征值确定该块状区域的统计信息。本发明实施例中的统计信息为块状区域上特征值超过预设值的像素的个数或块状区域上所有像素的特征值的均值或块状区域上所有像素的特征值之和。其中，关键位置信息包括兴趣点的位置信息、特征位置信息中的至少一种。
编码信息生成模块用于通过特征值信息生成视频中图像的分割信息和重组信息。
视频图像分割模块用于基于分割信息对视频中图像进行分割处理，以将图像切分为多个图像块。
图像块重组模块可用于基于重组信息对图像块进行重组处理，以生成重组后的图像。
可选地，本发明实施例中的图像块重组模块可用于将特征值信息相同或特征值信息相似度达到阈值的多个不同图像块进行重新组合。
视频图像压缩模块用于对重组后的图像基于块的图像压缩，以得到用于发送的视频数据流。
视频数据发送模块，用于发送特征数据流和视频数据流，并用于通过特征数据流传输分割信息和重组信息。
与本发明的视频解码方法基于同一发明构思，本发明实施例还可提供一种视频解码装置，该解码装置可设置于数据接收端设备上。
具体地，该视频解码装置可包括但不限于视频图像解压模块、图像块拆分模块以及视频图像恢复模块。
视频图像解压模块用于对接收的视频数据流进行解压处理，以得到重组后的图像；视频图像解压模块还可用于从接收的特征数据流中获取重组信息和分割信息。
图像块拆分模块用于根据接收的重组信息对重组后的图像进行拆分处理，以得到重组前的图像块。
视频图像恢复模块用于根据接收的分割信息对重组前的图像块进行拼接处理，以恢复出分割前的视频中图像。
与本发明实施例中的视频编码方法基于同一技术构思，本发明实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中的视频编码方法或者本发明任一实施例中的视频解码方法。视频编码方法和视频解码方法已经在本说明书前述内容中有详细的记载，此处不再进行赘述。
与本发明实施例中的视频编码方法基于同一技术构思，本发明实施例还能够提供一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中的视频编码方法或本发明任一实施例中的视频解码方法。视频编码方法和视频解码方法已经在本说明书前述内容中有详细的记载，此处不再进行赘述。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM，Random Access Memory），只读存储器（ROM，Read-Only Memory），可擦除可编辑只读存储器（EPROM，Erasable Programmable Read-Only Memory，或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM，Compact Disc Read-Only Memory）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA，Programmable Gate Array），现场可编程门阵列（FPGA，Field Programmable Gate Array）等。
在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种视频编码方法，其特征在于，包括：
根据当前视频分析任务对视频进行特征提取处理，以提取出视频特征信息；
基于所述视频特征信息确定视频中图像的特征值信息；
通过所述特征值信息生成视频中图像的分割信息和重组信息；
基于所述分割信息对视频中图像进行分割处理，以将所述图像切分为多个图像块；
基于所述重组信息对图像块进行重组处理，以生成重组后的图像；
对所述重组后的图像进行基于块的图像压缩，得到视频数据流；
发送特征数据流和视频数据流，通过特征数据流传输所述分割信息和所述重组信息。
2.根据权利要求1所述的视频编码方法，其特征在于，
所述特征值信息为特征值在图像中各个不同块状区域上的统计信息。
3.根据权利要求2所述的视频编码方法，其特征在于，
所述统计信息为块状区域上特征值超过预设值的像素的个数或块状区域上所有像素的特征值的均值或块状区域上所有像素的特征值之和。
4.根据权利要求1所述的视频编码方法，其特征在于，所述基于所述重组信息对图像块进行重组处理包括：
将特征值信息相同的多个不同图像块进行重新组合。
5.根据权利要求1所述的视频编码方法，其特征在于，还包括：
通过所述特征值信息生成传输参数；
对重组后的图像施加特定的编码参数和/或传输参数。
6.根据权利要求2所述的视频编码方法，其特征在于，所述基于所述视频特征信息确定视频中图像的特征值信息包括：
基于所述视频特征信息确定关键位置信息；
其中，所述关键位置信息包括兴趣点的位置信息、特征位置信息中的至少一种；
通过所述关键位置信息设置多个待分割的块状区域；
根据块状区域上像素的特征值确定该块状区域的统计信息。
7.根据权利要求1所述的视频编码方法，其特征在于，
所述视频特征信息包括：机器学习特征信息、视觉特征信息中的至少一种。
8.一种视频解码方法，其特征在于，包括：
对接收的视频数据流进行解压处理，以得到重组后的图像；并从接收的特征数据流中获取重组信息和所述分割信息；
根据接收的重组信息对所述重组后的图像进行拆分处理，以得到重组前的图像块；
根据接收的分割信息对所述重组前的图像块进行拼接处理，以恢复出分割前的视频中图像。
9.一种视频编码装置，其特征在于，包括：
视频特征提取模块，用于根据当前视频分析任务对视频进行特征提取处理，以提取出视频特征信息；
特征值信息确定模块，用于基于所述视频特征信息确定视频中图像的特征值信息；
编码信息生成模块，用于通过所述特征值信息生成视频中图像的分割信息和重组信息；
视频图像分割模块，用于基于所述分割信息对视频中图像进行分割处理，以将所述图像切分为多个图像块；
图像块重组模块，用于基于所述重组信息对图像块进行重组处理，以生成重组后的图像；
视频图像压缩模块，用于对所述重组后的图像进行基于块的图像压缩，得到视频数据流；
视频数据发送模块，用于发送特征数据流和视频数据流，并用于通过特征数据流传输所述分割信息和所述重组信息。
10.一种视频解码装置，其特征在于，包括：
视频图像解压模块，用于对接收的视频数据流进行解压处理，以得到重组后的图像；并用于从接收的特征数据流中获取所述重组信息和所述分割信息；
图像块拆分模块，用于根据接收的重组信息对所述重组后的图像进行拆分处理，以得到重组前的图像块；
视频图像恢复模块，用于根据接收的分割信息对所述重组前的图像块进行拼接处理，以恢复出分割前的视频中图像。
11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述的视频编码方法或权利要求8所述的视频解码方法。
12.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项权利要求所述的视频编码方法或权利要求8所述的视频解码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111029246.8A CN113473142B (zh) | 2021-09-03 | 2021-09-03 | 视频编码、视频解码方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111029246.8A CN113473142B (zh) | 2021-09-03 | 2021-09-03 | 视频编码、视频解码方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113473142A true CN113473142A (zh) | 2021-10-01 |
| CN113473142B CN113473142B (zh) | 2022-10-04 |
Family
ID=77868016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111029246.8A Active CN113473142B (zh) | 2021-09-03 | 2021-09-03 | 视频编码、视频解码方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113473142B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257817A (zh) * | 2022-03-01 | 2022-03-29 | 浙江智慧视频安防创新中心有限公司 | 一种多任务数字视网膜特征流的编码方法及解码方法 |
| CN114422788A (zh) * | 2022-03-30 | 2022-04-29 | 浙江智慧视频安防创新中心有限公司 | 数字视网膜视频联合编码方法、译码方法、装置及电子设备 |
| CN114449280A (zh) * | 2022-03-30 | 2022-05-06 | 浙江智慧视频安防创新中心有限公司 | 一种视频编解码方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395029A (zh) * | 2011-11-05 | 2012-03-28 | 江苏物联网研究发展中心 | 一种支持视频可伸缩浏览的视频编解码方法和装置 |
| CN103002289A (zh) * | 2013-01-08 | 2013-03-27 | 中国电子科技集团公司第三十八研究所 | 面向监控应用的视频恒定质量编码装置及其编码方法 |
| US20150334398A1 (en) * | 2014-05-15 | 2015-11-19 | Daniel Socek | Content adaptive background foreground segmentation for video coding |
| CN106341664A (zh) * | 2016-09-29 | 2017-01-18 | 浙江宇视科技有限公司 | 一种数据处理方法及装置 |
-
2021
- 2021-09-03 CN CN202111029246.8A patent/CN113473142B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395029A (zh) * | 2011-11-05 | 2012-03-28 | 江苏物联网研究发展中心 | 一种支持视频可伸缩浏览的视频编解码方法和装置 |
| CN103002289A (zh) * | 2013-01-08 | 2013-03-27 | 中国电子科技集团公司第三十八研究所 | 面向监控应用的视频恒定质量编码装置及其编码方法 |
| US20150334398A1 (en) * | 2014-05-15 | 2015-11-19 | Daniel Socek | Content adaptive background foreground segmentation for video coding |
| CN106341664A (zh) * | 2016-09-29 | 2017-01-18 | 浙江宇视科技有限公司 | 一种数据处理方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257817A (zh) * | 2022-03-01 | 2022-03-29 | 浙江智慧视频安防创新中心有限公司 | 一种多任务数字视网膜特征流的编码方法及解码方法 |
| CN114422788A (zh) * | 2022-03-30 | 2022-04-29 | 浙江智慧视频安防创新中心有限公司 | 数字视网膜视频联合编码方法、译码方法、装置及电子设备 |
| CN114449280A (zh) * | 2022-03-30 | 2022-05-06 | 浙江智慧视频安防创新中心有限公司 | 一种视频编解码方法、装置及设备 |
| CN114449280B (zh) * | 2022-03-30 | 2022-10-04 | 浙江智慧视频安防创新中心有限公司 | 一种视频编解码方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113473142B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113473142B (zh) | 视频编码、视频解码方法及装置、电子设备、存储介质 | |
| KR102535098B1 (ko) | 이미지 프로세싱 및 비디오 압축 방법 | |
| US6853755B2 (en) | Method and apparatus for adaptive compression of scanned documents | |
| US10708601B2 (en) | Methods and apparatuses for encoding and decoding superpixel borders | |
| CN110996101B (zh) | 一种视频编码的方法和装置 | |
| CN111131825A (zh) | 一种视频处理方法及相关装置 | |
| CN114363623A (zh) | 图像处理方法、装置、介质及电子设备 | |
| Yuan et al. | Object shape approximation and contour adaptive depth image coding for virtual view synthesis | |
| Xia et al. | Visual sensitivity-based low-bit-rate image compression algorithm | |
| CN113596575B (zh) | 一种视频指纹数据的生成方法、比对方法及设备 | |
| CN114422788A (zh) | 数字视网膜视频联合编码方法、译码方法、装置及电子设备 | |
| US11297353B2 (en) | No-reference banding artefact predictor | |
| Tabesh et al. | JPEG2000 and motion JPEG2000 content analysis using codestream length information | |
| Lee et al. | Machine-Attention-based Video Coding for Machines | |
| CN111491166A (zh) | 基于内容分析的动态压缩系统及方法 | |
| CN112672164A (zh) | 视频压缩系统及方法、视频解压缩系统及方法 | |
| Thayammal et al. | A Review On Segmentation Based Image Compression Techniques. | |
| Anandan et al. | Nonsubsampled contourlet transform based video compression using Huffman and run length encoding for multimedia applications | |
| Wood | Task Oriented Video Coding: A Survey | |
| CN101310534A (zh) | 使用随机域模型改进图片和视频压缩以及帧速率上转换的方法和设备 | |
| KR100512276B1 (ko) | 영상 데이터의 압축 방법 및 장치 | |
| EP2658255A1 (en) | Methods and devices for object detection in coded video data | |
| US20230239474A1 (en) | Video coding method, apparatus, and device, and medium | |
| Kavitha et al. | Lossy compression through segmentation on low depth-of-field images | |
| CN111885378B (zh) | 多媒体数据编码方法、装置、设备以及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |