CN107623848A - 一种视频编码方法及装置 - Google Patents
一种视频编码方法及装置 Download PDFInfo
- Publication number
- CN107623848A CN107623848A CN201710786948.8A CN201710786948A CN107623848A CN 107623848 A CN107623848 A CN 107623848A CN 201710786948 A CN201710786948 A CN 201710786948A CN 107623848 A CN107623848 A CN 107623848A
- Authority
- CN
- China
- Prior art keywords
- cut zone
- coding
- modes
- zone block
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码方法及装置，解决了现有技术中可选预测编码模式的集合选择不当而引起的编码效率较低、编码精确度不高的问题，提高了编码质量。所述方法包括：从待编码视频中获取一帧待编码图像；利用预设算法对待编码图像进行图像分割，获得待编码图像的分割区域块集合；针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合；根据第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合；根据各第二可选预测编码模式集合对待编码图像进行编码。
Description
技术领域
本发明涉及视频编码技术领域，尤其涉及一种视频编码方法及装置。
背景技术
视频编码是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式的文件。视频图像数据具有极强的相关性而产生大量的冗余信息，很难直接用于实际的传输与存储，视频编码技术就是将视频数据中的这些冗余信息去除，减少表征视频的数据量。
常用的编码方式是基于块，将一帧图像分割成较小的编码单元，如大小为64×64、32×32或16×16等的像素块，对编码单元依次进行编码。随着图像分辨率的不断提高及对图像画质要求的不断提高，视频编码扮演着重要的角色。其中，预测编码是视频编码方式中一种重要的编码方式，其包括帧内预测编码与帧间预测编码，帧内预测编码是根据同一帧样本进行预测的编码方法，使用待编码图像内已编码像素预测邻近像素，以去除空域相关性。帧间预测编码是根据不同帧样本进行预测的编码方法，使用已编码图像预测待编码图像，以去除时域相关性。帧内预测与帧间预测均包含多种预测编码模式，编码器根据编码单元的特性，遍历各编码单元对应的可选预测编码模式，从中选择一种较优的编码结果作为各编码单元的编码结果。
现有的预测编码方式，通常将视频图像划分为前景及背景两个区域，根据这两个不同区域为各编码单元确定不同的可选预测编码模式，根据上述简单的区域划分确定可选预测编码模式的方式，可选的预测编码模式的种类范围较大，从而会影响编码速度及编码精确度。并且，可选预测编码模式中含有基于运动搜索的帧间预测编码模式时，需要确定编码单元的运动搜索范围，现有的基于前景区域与背景区域的运动搜索范围的搜索方法，搜索范围不够精确，且搜索范围过大，会使得搜索效率过低而影响编码速度及编码精确度。
发明内容
本发明公开了一种视频编码方法及装置，用以解决现有技术中可选预测编码模式的集合选择不当而引起的编码效率较低、编码精确度不高的问题，提高了编码质量。
本发明实施例提供了一种视频编码方法，包括：
从待编码视频中获取一帧待编码图像；
利用预设算法对所述待编码图像进行图像分割，获得所述待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征；
针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合；并
根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，所述参考帧为所述待编码图像的前一帧或多帧图像，所述参考帧的分割区域块集合为对所述参考帧进行图像分割后获得的；
根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码。
本发明实施例提供了一种视频编码装置，包括：
获取模块，用于从待编码视频中获取一帧待编码图像；
图像预处理模块，用于利用预设算法对所述待编码图像进行图像分割，获得所述待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征；
第一确定模块，用于针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合；并
第二确定模块，用于根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，所述参考帧为所述待编码图像的前一帧或多帧图像，所述参考帧的分割区域块集合为对所述参考帧进行图像分割后获得的；
编码模块，用于根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码。
本发明的有益效果包括：
本发明提供的视频编码方法及装置，从待编码视频中获取一帧待编码图像，利用第一预设算法对该待编码图像进行图像分割，获得待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征，针对每一编码单元，根据存储的预设的分割区域块类别与可选预测编码模式集合的对应关系，确定该编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合，并根据所述第一可选预测编码模式集合中包含的预测编码模式与存储的参考帧的分割区域块集合确定该编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，参考帧为待编码图像的前一帧或多帧图像，参考帧的分割区域块集合为对参考帧进行图像分割后获得的，根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对待编码图像进行编码，上述流程中，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，确定进行图像分割处理后的待编码图像中的各编码单元中包含的分割区域块类别对应的可选预测编码模式集合后，再根据参考帧的分割区域块集合与该预测编码模式集合中包含的预测编码模式，重新确定可选预测编码模式集合，使得可选预测编码模式集合的范围缩小，从而提高了编码效率，并且，由于通过对待编码图像进行图像分割处理，并根据分割区域块类别确定可选预测编码模式，分割区域块类别是根据待编码图像中的物体类别或纹理特征进行分类的，根据图像分割信息，提前选取几种合适的预测编码模式，丢弃一些不合理的预测编码模式，从而有效地提高了编码速度以及编码质量。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的视频编码方法的实施流程示意图；
图2a为待编码图像；
图2b为对图2a的待编码图像通过深度学习算法进行图像分割处理后的图像；
图3为HEVC标准下的帧内预测编码模式示意图；
图4为图2b中的编码单元示例图；
图5为本发明实施例中，确定编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合的实施流程示意图；
图6为图2a的参考帧经过图像分割处理后的图像；
图7为本发明实施例提供的视频编码装置的结构示意图。
具体实施方式
为了解决现有技术中可选预测编码模式的集合选择不当而引起的编码效率较低、编码精确度不高的问题，本发明提出了一种视频编码方法及装置。
本发明实施例提供的视频编码方法的实施原理是：从待编码视频中获取一帧待编码图像，利用第一预设算法对该待编码图像进行图像分割，获得待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征，针对每一编码单元，根据存储的预设的分割区域块类别与可选预测编码模式集合的对应关系，确定该编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合，并根据所述第一可选预测编码模式集合中包含的预测编码模式与存储的参考帧的分割区域块集合确定该编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，参考帧为待编码图像的前一帧或多帧图像，参考帧的分割区域块集合为对参考帧进行图像分割后获得的，根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对待编码图像进行编码，上述流程中，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，确定进行图像分割处理后的待编码图像中的各编码单元中包含的分割区域块类别对应的可选预测编码模式集合后，再根据参考帧的分割区域块集合与该预测编码模式集合中包含的预测编码模式，重新确定可选预测编码模式集合，使得可选预测编码模式集合的范围缩小，从而提高了编码效率，并且，由于通过对待编码图像进行图像分割处理，并根据分割区域块类别确定可选预测编码模式，分割区域块类别是根据待编码图像中的物体类别或纹理特征进行分类的，根据图像分割信息，提前选取几种合适的预测编码模式，丢弃一些不合理的预测编码模式，从而有效地提高了编码速度以及编码质量。
需要说明的是，本发明实施例提供的视频编码方法，适用的编码方式为预测编码，预测编码包括帧内预测编码与帧间预测编码，帧内预测编码是根据同一帧样本进行预测的编码方法，使用待编码图像内已编码像素预测邻近像素，以去除空域相关性，帧间预测编码是根据不同帧样本进行预测的编码方法，使用已编码图像预测待编码图像，以去除时域相关性。帧内预测与帧间预测均包含多种预测编码模式，编码器根据编码单元的特性，选择一种较优的编码方式对待编码图像中的编码单元进行编码。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图1所示，其为本发明实施例提供的视频编码方法的实施流程示意图，可以包括以下步骤：
S11、从待编码视频中获取一帧待编码图像。
具体实施时，从待编码视频中获取一帧待编码图像。
S12、利用预设算法对所述待编码图像进行图像分割，获得所述待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征。
具体实施时，首先对获得的待编码图像进行预处理，可以利用预设算法对待编码图像进行图像分割，获得分割图像，分割图像由所述待编码图像的分割区域块集合组成。预设算法可以为深度学习的方法，具体地，可以包括但不限于使用以下深度学习算法：卷积神经网络(CNN，Convolution Neural Network)、深度信念网络(DBN，Deep BeliefNetworks)、堆栈式自动编码器(Stacked Auto-Encoders)以及受限玻尔兹曼机(RBM，Boltzmann Machine)。
具体地，可以利用上述任一深度学习算法对预先采集的大量图像数据库利用相应工具进行离线训练，例如，CNN可采用Caffe(Convolutional Architecture for FastFeature Embedding，卷积神经网络框架)工具，进一步地，通过训练，获取深度学习的网络参数，并将学习得到的网络参数和待编码图像作为输入，进行推理，获得分割图像，分割图像由所述待编码图像的分割区域块集合组成。分割区域块集合中包括若干个分割区域块，每一分割区域块分别对应待编码图像中的一个物体类别或一个纹理特征或者同一物体类别与同一相同纹理特征，待编码图像以图2a为例，如图2b所示，其为对图2a通过深度学习算法进行图像分割处理后的图像，被分割成若干个分割区域块，如图2b中的分割区域块21对应图2a中的天空区域，分割区域块22对应图2a中的树，分割区域块23对应图2a中的道路指示牌，分割区域块24对应图2a中的公路防护栏，分割区域块25对应图2a中公路路面除去标志线的部分，分割区域26对应图2a中公路路面上的标志线。各分割区域块是以物体类别和/或纹理特征进行划分的，每个分割区域块分别对应待编码图像中的一个物体类别和/或纹理特征。图2a、2b中所述的上述实例是按照物体类别将待编码图像分割成若干分割区域块，每一分割区域块均只包含一类物体。具体实施时，还可以以纹理特征类别将待编码图像划分成若干分割区域块，每一分割区域块均只包含一类纹理特征。还可以根据物体类别与纹理特征将待编码图像划分成若干分割区域块，将包含同一种类物体并且具有同一类纹理特征的区域划分成同一类分割区域块。具体实施时，用户可以根据实际需要自行选择划分方法，此处不作限定。
S13、针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合。
本步骤中，可以将一帧待编码图像分割成若干个编码单元，编码单元大小可以但不限于为64×64、32×32或16×16的像素块，具体实施时，用户可以根据实际需要自行设置或者根据视频编码标准来确定编码单元的大小，此处对此不作限定。
针对每一编码单元，根据存储的预设的分割区域块类别与可选预测编码模式集合的对应关系确定该编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合，其中，预测编码模式可以包括帧内预测编码模式与帧间预测编码模式。帧间预测编码模式包括但不限于以下几种模式：Skip模式(跳过模式)、Merge模式(合并模式)以及driectinter mode(直接帧间模式)。帧间预测会将已编码的图像作为参考帧存入参考列表中，供后续待编码图像帧间预测使用。帧内预测编码模式以HEVC(High Efficiency VideoCoding，高效视频编码)标准为例，可以包括以下35种模式：Intra0～Intra34，其中，模式0定义为平面模式(Intra_Planar)，模式1定义为均值模式(Intra_DC)，Intra2～Intra34定义为角度预测模式，分别代表了不同的预测方向，如图3所示，Intra_DC模式适用于大面积平摊区域，当前预测值可由其左侧和上方(不包含左上角，左下方和右上方)参考像素的平均值得到，Intra_Planar模式适用于像素值缓慢变化的区域，使用水平和垂直方向的两个线性滤波器，将二者的平均值作为当前像素的预测值。
具体地，待编码图像仍以图2a为例，在编码前，用户可以根据经验预先设置一个分割区域块类别与可选预测编码模式集合的对应关系列表并存储，由于分割区域块类别可以根据物体类别和/或纹理特征进行划分，则分割区域块类别与可选预测编码模式集合的对应关系可以以物体类别与可选预测编码模式集合的对应关系来表示，和/或以纹理特征类别与可选预测编码模式集合的对应关系表示，本发明实施例图2中的分割区域块是以物体类别进行划分的，则设置的分割区域块类别与可选预测编码模式集合的对应关系列表如表1所示：
表1
基于表1，每一分割区域块类别对应的可选预测编码模式可以为帧间预测编码模式，也可以为帧内编码模式。
具体地，如果编码单元中包含的分割区域块的种类只有一种，则根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得该分割区域块类别对应的可选预测编码模式集合，并将获得的可选预测编码模式集合确定为该编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合；如果所述编码单元中包含的分割区域块的种类大于一种，则根据预设的分割区域块类别与可选预测编码模式集合的对应关系，分别获得各分割区域块类别对应的可选预测编码模式集合，并将获得的各可选预测编码模式集合的并集确定为该编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合。例如，如图4所示，编码单元x中包含的分割区域块类别只有一种，即对应的物体类别为天空的分割区域块，则根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得对应的物体类别为天空的分割区域块所对应的可选预测编码模式集合，由表1可知，对应的物体类别为天空的分割区域块所对应的可选预测编码模式集合为仅包含一种帧间预测编码模式：Skip模式，将该可选预测编码模式集合确定为该编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合。如图4中，编码单元y中包含的分割区域块类别有两种，分别为：对应的物体类别为天空的分割区域块与对应的物体类别为道路指示牌的分割区域块，根据表1，获得对应的物体类别为天空的分割区域块所对应的可选预测编码模式集合:Skip模式，以及对应的物体类别为道路指示牌的分割区域块所对应的可选预测编码模式集合：Merge模式、Intra0～Intra34，并将获得的上述两个可选预测编码模式的集合的并集确定为该编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合，即第一可选预测编码模式集合包括：Skip模式、Merge模式、Intra0～Intra34。
S14、根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，所述参考帧为所述待编码图像的前一帧或多帧图像，所述参考帧的分割区域块集合为对所述参考帧进行图像分割后获得的。
具体实施时，通过如图5所示的流程确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，可以包括以下步骤：
S201、判断第一可选预测编码模式集合中是否包含帧间预测编码模式，如果是，则执行步骤S202，否则执行步骤S204。
S202、判断所述编码单元中包含的分割区域块类别是否与存储的参考帧的分割区域块集合中对应的编码单元中包含的分割区域块类别相同，如果不同，则执行步骤S203，如果相同，则执行步骤S204。
本步骤中，当利用帧间预测编码模式对当前帧图像进行编码时，将已完成编码的前一帧或多帧图像作为参考帧存入参考列表中，参考帧的分割区域块集合的获得与待编码图像的分割区域块集合相同，为对所述参考帧进行图像分割后获得的，并将参考帧的分割区域块集合和参考帧一并存入参考列表中。
具体地，判断所述编码单元中包含的分割区域块类别是否与参考帧的分割区域块集合中对应位置的编码单元中包含的分割区域块类别相同，如果所述编码单元中包含的分割区域块类别与考帧的图像分割信息中对应位置的编码单元中包含的分割区域块类别不同，则执行步骤S203，例如，假设在图2a的前一参考帧中，在公路上有辆汽车，而图2a在视频中呈现出来的是汽车已经行驶过去，在图2a中已看不到该汽车，则此时，假设编码单元在图2b中公路上对应参考帧汽车的位置处，则确定编码单元中包含的分割区域块类别与考帧的图像分割信息中对应位置的编码单元中包含的分割区域块类别不同。
S203、将所述第一可选预测编码模式集合中包含的所有帧间预测编码模式删除，并将删除所述所有帧间预测编码模式后的预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
具体实施时，如果所述编码单元中包含的分割区域块类别与考帧的图像分割信息中对应位置的编码单元中包含的分割区域块类别不同，则当前待编码图像在此位置处的编码单元将不能参考参考帧来进行编码，将不再使用帧间预测编码模式，而使用帧内预测编码模式，因此，可以将第一可选预测编码模式集合中包含的所有帧间预测编码模式删除，并将删除所有帧间预测编码模式后的预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
S204、将所述第一可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
具体实施时，如果所述编码单元中包含的分割区域块类别与考帧的图像分割信息中对应位置的编码单元中包含的分割区域块类别相同，或者第一可选预测编码模式集合中不包含帧间预测编码模式，则将第一可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
较佳地，当所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中包含帧间预测编码模式时，确定所述编码单元的运动搜索范围。
具体地，分别对所述参考帧的分割区域块集合中包含的每一个分割区域块，按照预设的倍数进行扩大，获得扩大后的分割区域块集合。具体实施时，对参考帧进行图像分割处理后得到的分割图像的分割区域块集合中包含的每一个分割区域块，进行边界膨胀处理，对其中的每一个分割区域块按照预设的倍数进行扩大，扩大范围根据编码单元大小确定，不得超过编码单元的宽度和高度，用户可以根据实际需要自行设定。当确定所述编码单元中包含的分割区域块的类别为一种时，获取所述编码单元中包含的分割区域块的类别，并在扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，将筛选出的分割区域块，作为所述编码单元的运动搜索范围。或者，当确定所述编码单元中包含的分割区域块的类别大于一种时，获取所述编码单元中包含的面积最大的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，将筛选出的分割区域块，作为所述编码单元的运动搜索范围。如图6所示，其为图2a的参考帧经过图像分割处理后的图像，其包含如图6中所示的各分割区域块，以图中的一个对应的物体类别为道路指示牌的分割区域块为例，对其进行边界膨胀处理，扩大其范围后得到的分割区域块如图6中30所示，同样地，将图6中所有对应的物体类别为道路指示牌的分割区域块进行同等程度的扩大，并将扩大后的各对应的物体类别为道路指示牌的分割区域块作为图2b中包含的分割区域块类别为对应的物体类别为道路指示牌的编码单元的运动搜索范围。
S15、根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码。
具体实施时，针对每一编码单元，分别利用所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中的各预测编码模式对所述编码单元进行编码，获得各编码结果；比较获得的所述各编码结果，得到比较结果；根据所述比较结果从所述各编码结果中选择一个作为所述编码单元的编码结果。具体实施时，每一编码单元的编码器遍历该编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中的每一种预测编码模式，得到利用每一预测编码模式进行编码的编码结果，再从中选择一个最优的编码结果作为该编码单元的编码结果。对每个编码单元依次完成编码后即完成对当前帧待编码图像的编码，当确定当前帧需要作为参考帧时，则将当前帧图像及其进行图像分割处理后的分割区域块集合添加到参考列表中，供后续视频图像编码时使用。利用从步骤S11～S15所述的方法，通过对视频的每一帧图像依次进行编码，完成视频编码过程。
本发明实施例提供的视频编码方法，从待编码视频中获取一帧待编码图像，利用第一预设算法对该待编码图像进行图像分割，获得待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征，针对每一编码单元，根据存储的预设的分割区域块类别与可选预测编码模式集合的对应关系，确定该编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合，并根据所述第一可选预测编码模式集合中包含的预测编码模式与存储的参考帧的分割区域块集合确定该编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，参考帧为待编码图像的前一帧或多帧图像，参考帧的分割区域块集合为对参考帧进行图像分割后获得的，根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对待编码图像进行编码，上述流程中，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，确定进行图像分割处理后的待编码图像中的各编码单元中包含的分割区域块类别对应的可选预测编码模式集合后，再根据参考帧的分割区域块集合与该预测编码模式集合中包含的预测编码模式，重新确定可选预测编码模式集合，使得可选预测编码模式集合的范围缩小，从而提高了编码效率，并且，由于通过对待编码图像进行图像分割处理，并根据分割区域块类别确定可选预测编码模式，分割区域块类别是根据待编码图像中的物体类别或纹理特征进行分类的，根据图像分割信息，提前选取几种合适的预测编码模式，丢弃一些不合理的预测编码模式，从而有效地提高了编码速度以及编码精度，当可选预测编码模式中包含帧间预测编码模式时，还通过分割区域块类别确定编码单元对应的运动搜索范围，将运动搜索范围锁定在与编码单元中对应的物体类别相同的区域，有效缩小了运动搜索范围，提高了编码速度。
基于同一发明构思，本发明实施例还提供了一种视频编码装置，由于上述装置解决问题的原理与视频编码方法相似，因此上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图7所示，其为本发明实施例提供的视频编码装置的结构示意图，可以包括：
获取模块41，用于从待编码视频中获取一帧待编码图像；
图像预处理模块42，用于利用预设算法对所述待编码图像进行图像分割，获得所述待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征；
第一确定模块43，用于针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合；并
第二确定模块44，用于根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，所述参考帧为所述待编码图像的前一帧或多帧图像，所述参考帧的分割区域块集合为对所述参考帧进行图像分割后获得的；
编码模块45，用于根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码。
较佳地，所述第一确定模块43，具有用于确定所述编码单元中包含的分割区域块的类别为一种时，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得该分割区域块类别对应的可选预测编码模式集合，并将获得的所述可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合；或者确定所述编码单元中包含的分割区域块的类别大于一种时，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得各分割区域块类别对应的可选预测编码模式集合，并将获得的各可选预测编码模式集合的并集确定为所述编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合。
较佳地，所述第二确定模块44，具体用于判断所述第一可选预测编码模式集合中是否包含帧间预测编码模式；如果是，则判断所述编码单元中包含的分割区域块类别是否与存储的参考帧的分割区域块集合中对应的编码单元中包含的分割区域块类别相同；如果不同，则将所述第一可选预测编码模式集合中包含的所有帧间预测编码模式删除，并将删除所述所有帧间预测编码模式后的预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合；如果相同，或所述第一可选预测编码模式集合中不包含帧间预测编码模式，则将所述第一可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
可选地，所述视频编码装置，还可以包括：
第三确定模块，用于当所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中包含帧间预测编码模式时，确定所述编码单元的运动搜索范围。
较佳地，所述第三确定模块，具体用于分别对所述参考帧的分割区域块集合中包含的每一个分割区域块，按照预设的倍数进行扩大，获得扩大后的分割区域块集合；确定所述编码单元中包含的分割区域块的类别为一种时，获取所述编码单元中包含的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，以及将筛选出的分割区域块，作为所述编码单元的运动搜索范围；或者，确定所述编码单元中包含的分割区域块的类别大于一种时，获取所述编码单元中包含的面积最大的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，以及将筛选出的分割区域块，作为所述编码单元的运动搜索范围。
较佳地，所述编码模块45，具体用于针对每一编码单元，分别利用所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中的各预测编码模式对所述编码单元进行编码，获得各编码结果；比较获得的所述各编码结果，得到比较结果；根据所述比较结果从所述各编码结果中选择一个作为所述编码单元的编码结果。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种视频编码方法，其特征在于，包括：
从待编码视频中获取一帧待编码图像；
利用预设算法对所述待编码图像进行图像分割，获得所述待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征；
针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合；并
根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，所述参考帧为所述待编码图像的前一帧或多帧图像，所述参考帧的分割区域块集合为对所述参考帧进行图像分割后获得的；
根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码。
2.如权利要求1所述的方法，其特征在于，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合，具体包括：
确定所述编码单元中包含的分割区域块的类别为一种时，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得该分割区域块类别对应的可选预测编码模式集合，并将获得的所述可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合；或者
确定所述编码单元中包含的分割区域块的类别大于一种时，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得各分割区域块类别对应的可选预测编码模式集合，并将获得的各可选预测编码模式集合的并集确定为所述编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合。
3.如权利要求1或2所述的方法，其特征在于，根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，具体包括：
判断所述第一可选预测编码模式集合中是否包含帧间预测编码模式；
如果是，则判断所述编码单元中包含的分割区域块类别是否与存储的参考帧的分割区域块集合中对应的编码单元中包含的分割区域块类别相同；
如果不同，则将所述第一可选预测编码模式集合中包含的所有帧间预测编码模式删除，并将删除所述所有帧间预测编码模式后的预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合；
如果相同，或所述第一可选预测编码模式集合中不包含帧间预测编码模式，则将所述第一可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
4.如权利要求3所述的方法，其特征在于，还包括：
当所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中包含帧间预测编码模式时，确定所述编码单元的运动搜索范围。
5.如权利要求4所述的方法，其特征在于，确定所述编码单元的运动搜索范围，具体包括：
分别对所述参考帧的分割区域块集合中包含的每一个分割区域块，按照预设的倍数进行扩大，获得扩大后的分割区域块集合；
确定所述编码单元中包含的分割区域块的类别为一种时，获取所述编码单元中包含的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，以及将筛选出的分割区域块，作为所述编码单元的运动搜索范围；或者，
确定所述编码单元中包含的分割区域块的类别大于一种时，获取所述编码单元中包含的面积最大的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，以及将筛选出的分割区域块，作为所述编码单元的运动搜索范围。
6.如权利要求1所述的方法，其特征在于，根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码，具体包括：
针对每一编码单元，分别利用所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中的各预测编码模式对所述编码单元进行编码，获得各编码结果；
比较获得的所述各编码结果，得到比较结果；
根据所述比较结果从所述各编码结果中选择一个作为所述编码单元的编码结果。
7.一种视频编码装置，其特征在于，包括:
获取模块，用于从待编码视频中获取一帧待编码图像；
图像预处理模块，用于利用预设算法对所述待编码图像进行图像分割，获得所述待编码图像的分割区域块集合，其中，所述分割区域集合中包含的每一分割区域块分别对应所述待编码图像中的一个物体类别和/或纹理特征；
第一确定模块，用于针对每一编码单元，根据预设的分割区域块类别与可选预测编码模式集合的对应关系确定所述编码单元中含有的分割区域块类别对应的第一可选预测编码模式集合；并
第二确定模块，用于根据所述第一可选预测编码模式集合中包含的预测编码模式与参考帧的分割区域块集合确定所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合，其中，所述参考帧为所述待编码图像的前一帧或多帧图像，所述参考帧的分割区域块集合为对所述参考帧进行图像分割后获得的；
编码模块，用于根据各编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合对所述待编码图像进行编码。
8.如权利要求7所述的装置，其特征在于，
所述第一确定模块，具有用于确定所述编码单元中包含的分割区域块的类别为一种时，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得该分割区域块类别对应的可选预测编码模式集合，并将获得的所述可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合；或者确定所述编码单元中包含的分割区域块的类别大于一种时，根据预设的分割区域块类别与可选预测编码模式集合的对应关系，获得各分割区域块类别对应的可选预测编码模式集合，并将获得的各可选预测编码模式集合的并集确定为所述编码单元中包含的分割区域块类别对应的第一可选预测编码模式集合。
9.如权利要求7或8所述的装置，其特征在于，
所述第二确定模块，具体用于判断所述第一可选预测编码模式集合中是否包含帧间预测编码模式；如果是，则判断所述编码单元中包含的分割区域块类别是否与存储的参考帧的分割区域块集合中对应的编码单元中包含的分割区域块类别相同；如果不同，则将所述第一可选预测编码模式集合中包含的所有帧间预测编码模式删除，并将删除所述所有帧间预测编码模式后的预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合；如果相同，或所述第一可选预测编码模式集合中不包含帧间预测编码模式，则将所述第一可选预测编码模式集合确定为所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合。
10.如权利要求9所述的装置，其特征在于，还包括：
第三确定模块，用于当所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中包含帧间预测编码模式时，确定所述编码单元的运动搜索范围。
11.如权利要求10所述的装置，其特征在于，
所述第三确定模块，具体用于分别对所述参考帧的分割区域块集合中包含的每一个分割区域块，按照预设的倍数进行扩大，获得扩大后的分割区域块集合；确定所述编码单元中包含的分割区域块的类别为一种时，获取所述编码单元中包含的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，以及将筛选出的分割区域块，作为所述编码单元的运动搜索范围；或者，确定所述编码单元中包含的分割区域块的类别大于一种时，获取所述编码单元中包含的面积最大的分割区域块的类别，并在所述扩大后的分割区域块集合中筛选出与所述获取的类别相同的分割区域块，以及将筛选出的分割区域块，作为所述编码单元的运动搜索范围。
12.如权利要求7所述的装置，其特征在于，
所述编码模块，具体用于针对每一编码单元，分别利用所述编码单元中包含的分割区域块类别对应的第二可选预测编码模式集合中的各预测编码模式对所述编码单元进行编码，获得各编码结果；比较获得的所述各编码结果，得到比较结果；根据所述比较结果从所述各编码结果中选择一个作为所述编码单元的编码结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710786948.8A CN107623848B (zh) | 2017-09-04 | 2017-09-04 | 一种视频编码方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710786948.8A CN107623848B (zh) | 2017-09-04 | 2017-09-04 | 一种视频编码方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107623848A true CN107623848A (zh) | 2018-01-23 |
| CN107623848B CN107623848B (zh) | 2019-11-19 |
Family
ID=61088299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710786948.8A Active CN107623848B (zh) | 2017-09-04 | 2017-09-04 | 一种视频编码方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107623848B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213594A (zh) * | 2018-12-29 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 用于帧内编码的方法、装置、帧编码器、帧编码系统以及计算机可读存储媒体 |
| CN110381311A (zh) * | 2019-07-01 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 视频帧的编码方法、装置、计算机可读介质及电子设备 |
| CN110430398A (zh) * | 2019-08-06 | 2019-11-08 | 杭州微帧信息科技有限公司 | 一种基于强化学习的视频编码分布式方法 |
| CN114416000A (zh) * | 2021-12-29 | 2022-04-29 | 上海赫千电子科技有限公司 | 一种应用于智能汽车的多屏互动方法、多屏互动系统 |
| WO2024083115A1 (en) * | 2022-10-18 | 2024-04-25 | Mediatek Inc. | Method and apparatus for blending intra and inter prediction in video coding system |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1750658A (zh) * | 2004-09-14 | 2006-03-22 | 华为技术有限公司 | 帧间预测模式的选择方法 |
| CN102186070A (zh) * | 2011-04-20 | 2011-09-14 | 北京工业大学 | 分层结构预判的快速视频编码方法 |
| CN103098473A (zh) * | 2010-09-08 | 2013-05-08 | 三星电子株式会社 | 对帧内预测使用自适应dct/dst的低复杂度变换编码 |
| US20130142248A1 (en) * | 2011-12-02 | 2013-06-06 | Futurewei Technologies, Inc. | Image Transform Zero Coefficient Selection and Zero-Skip Transmission for Arbitrary Shape Transform Coding |
| CN103618900A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
| CN103931193A (zh) * | 2011-09-21 | 2014-07-16 | Lg电子株式会社 | 编码/解码图像的方法和装置 |
| CN104081770A (zh) * | 2012-01-20 | 2014-10-01 | 株式会社泛泰 | 帧内预测模式映射方法和使用该方法的装置 |
| CN104202602A (zh) * | 2014-08-18 | 2014-12-10 | 三星电子（中国）研发中心 | 执行视频编码的装置及方法 |
| CN104641642A (zh) * | 2012-04-25 | 2015-05-20 | 诺基亚公司 | 用于视频编码的方法和装置 |
-
2017
- 2017-09-04 CN CN201710786948.8A patent/CN107623848B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1750658A (zh) * | 2004-09-14 | 2006-03-22 | 华为技术有限公司 | 帧间预测模式的选择方法 |
| CN103098473A (zh) * | 2010-09-08 | 2013-05-08 | 三星电子株式会社 | 对帧内预测使用自适应dct/dst的低复杂度变换编码 |
| CN102186070A (zh) * | 2011-04-20 | 2011-09-14 | 北京工业大学 | 分层结构预判的快速视频编码方法 |
| CN103931193A (zh) * | 2011-09-21 | 2014-07-16 | Lg电子株式会社 | 编码/解码图像的方法和装置 |
| US20130142248A1 (en) * | 2011-12-02 | 2013-06-06 | Futurewei Technologies, Inc. | Image Transform Zero Coefficient Selection and Zero-Skip Transmission for Arbitrary Shape Transform Coding |
| CN104081770A (zh) * | 2012-01-20 | 2014-10-01 | 株式会社泛泰 | 帧内预测模式映射方法和使用该方法的装置 |
| CN104641642A (zh) * | 2012-04-25 | 2015-05-20 | 诺基亚公司 | 用于视频编码的方法和装置 |
| CN103618900A (zh) * | 2013-11-21 | 2014-03-05 | 北京工业大学 | 基于编码信息的视频感兴趣区域提取方法 |
| CN104202602A (zh) * | 2014-08-18 | 2014-12-10 | 三星电子（中国）研发中心 | 执行视频编码的装置及方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110213594A (zh) * | 2018-12-29 | 2019-09-06 | 腾讯科技（深圳）有限公司 | 用于帧内编码的方法、装置、帧编码器、帧编码系统以及计算机可读存储媒体 |
| US11582444B2 (en) | 2018-12-29 | 2023-02-14 | Tencent Technology (Shenzhen) Company Limited | Intra-frame coding method and apparatus, frame coder, and frame coding system |
| CN110381311A (zh) * | 2019-07-01 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 视频帧的编码方法、装置、计算机可读介质及电子设备 |
| CN110430398A (zh) * | 2019-08-06 | 2019-11-08 | 杭州微帧信息科技有限公司 | 一种基于强化学习的视频编码分布式方法 |
| CN110430398B (zh) * | 2019-08-06 | 2021-01-19 | 杭州微帧信息科技有限公司 | 一种基于强化学习的视频编码分布式方法 |
| CN114416000A (zh) * | 2021-12-29 | 2022-04-29 | 上海赫千电子科技有限公司 | 一种应用于智能汽车的多屏互动方法、多屏互动系统 |
| CN114416000B (zh) * | 2021-12-29 | 2024-02-20 | 上海赫千电子科技有限公司 | 一种应用于智能汽车的多屏互动方法、多屏互动系统 |
| WO2024083115A1 (en) * | 2022-10-18 | 2024-04-25 | Mediatek Inc. | Method and apparatus for blending intra and inter prediction in video coding system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107623848B (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107623848A (zh) | 一种视频编码方法及装置 | |
| CN104754350B (zh) | 对视频进行解码的方法和设备 | |
| CN105704491B (zh) | 图像编码方法、解码方法、编码装置和解码装置 | |
| CN102970526B (zh) | 一种获得变换块尺寸的方法和模块 | |
| CN101087422B (zh) | 用于估计象素预测模式的设备 | |
| DE69735437T2 (de) | Bildkodierer und bilddekodierer | |
| CN106105228A (zh) | 确定在视频译码中的调色板译码块的调色板大小、调色板条目及过滤 | |
| CN104702955B (zh) | 屏幕视频的预测编码的方法与系统 | |
| CN109753913A (zh) | 计算高效的多模式视频语义分割方法 | |
| CN104038760B (zh) | 一种3d视频深度图像帧内楔形分割模式选择方法及系统 | |
| CN113784124B (zh) | 使用多种形状子块进行精细划分的块匹配编码和解码方法 | |
| CN104125473A (zh) | 一种3d视频深度图像帧内预测模式选择方法及系统 | |
| CN109068142A (zh) | 基于纹理特征的360度视频帧内预测快速决策 | |
| Zhang et al. | Fast CU decision-making algorithm based on DenseNet network for VVC | |
| CN106162176A (zh) | 帧内预测模式选择方法和装置 | |
| CN108712648A (zh) | 一种深度视频快速帧内编码方法 | |
| CN107770525A (zh) | 一种图像编码的方法及装置 | |
| CN104768019A (zh) | 一种面向多纹理多深度视频的相邻视差矢量获取方法 | |
| CN104519362A (zh) | 一种邻帧预测深度相似性的视频编码方法 | |
| CN108989799A (zh) | 一种编码单元参考帧的选择方法、装置及电子设备 | |
| CN107507158A (zh) | 一种图像处理方法和装置 | |
| CN107295336A (zh) | 基于图像相关性的自适应快速编码单元划分方法及装置 | |
| Li et al. | Texture-based fast QTMT partition algorithm in VVC intra coding | |
| CN105263026B (zh) | 基于概率统计与图像梯度信息的全局矢量获取方法 | |
| CN109618169B (zh) | 用于hevc的帧内决策方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |