CN107566834B - 帧内预测单元划分方法、装置及电子设备 - Google Patents
帧内预测单元划分方法、装置及电子设备 Download PDFInfo
- Publication number
- CN107566834B CN107566834B CN201710938081.3A CN201710938081A CN107566834B CN 107566834 B CN107566834 B CN 107566834B CN 201710938081 A CN201710938081 A CN 201710938081A CN 107566834 B CN107566834 B CN 107566834B
- Authority
- CN
- China
- Prior art keywords
- current pixel
- pixel block
- area
- target
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种帧内预测单元划分方法、装置及电子设备，涉及视频处理技术领域，该方法包括：获取重点预测目标，所述重点预测目标包括人和/或车辆；根据所述重点预测目标，确定当前图像中的目标区域和背景区域；获取所述目标区域和所述背景区域对应的精细度需求；按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分。本发明提供的帧内预测单元划分方法、装置及电子设备，可以提高感兴趣的目标区域的画质，降低背景区域的画质，从而降低编码后的监控视频的比特率，提高其实用性。
Description
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种帧内预测单元划分方法、装置及电子设备。
背景技术
视频编码的流程主要分为预测、变换、量化、熵编码四个步骤，其中预测主要分为帧内预测和帧间预测。视频编码的帧内预测是指利用视频空间域的相关性，使用当前图像已编码的像素块预测当前像素块，以达到去除视频空域冗余的目的。
帧内预测的核心是预测单元的划分。现有技术中编码标准H.265/HEVC根据图像各部分的纹理复杂度的不同，将图像划分为64×64、32×32、16×16、8×8、4×4等大小不等的预测单元，视频图像中纹理复杂度高(亮度、颜色变化剧烈)的区域将被划分为精细的像素块，如树叶、文字、广告牌、条纹细密的衣服、物体的边缘等；纹理复杂度低(亮度、颜色一致或平滑)的区域将被划分为粗略的像素块，如公交车的车身、地面、光滑的墙面、天空等。
由于现有的帧内预测单元的划分方法只考虑图像各部分的纹理复杂度，因此在监控视频中通常对背景中的树叶、广告牌等纹理复杂度高的物体所在的图像区域划分的比较精细，而对行人、车辆、运动物体等纹理复杂度低的物体所在的图像区域划分的比较粗略，这就容易导致不感兴趣的背景区域画质较好，而感兴趣的目标区域画质较差，从而使得编码后的监控视频实用性差，无法满足实际的监控需求。
发明内容
有鉴于此，本发明的目的在于提供一种帧内预测单元划分方法、装置及电子设备，以提高感兴趣的目标区域的画质，降低背景区域的画质，从而降低编码后的监控视频的比特率，提高其实用性。
第一方面，本发明实施例提供了一种帧内预测单元划分方法，包括：
获取重点预测目标，所述重点预测目标包括人和/或车辆；
根据所述重点预测目标，确定当前图像中的目标区域和背景区域；
获取所述目标区域和所述背景区域对应的精细度需求；
按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据所述重点预测目标，确定当前图像中的目标区域和背景区域，包括：
在所述当前图像中检测所述重点预测目标；
将检测到所述重点预测目标的区域标记为所述目标区域，将未检测到所述重点预测目标的区域标记为所述背景区域。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述在所述当前图像中检测所述重点预测目标，包括：
确定所述重点预测目标对应的检测算法；其中，所述检测算法包括人脸检测算法、行人检测算法、车牌检测算法、车辆检测算法和运动目标检测算法中的一种或多种；
采用所述检测算法，在所述当前图像中检测所述重点预测目标。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述精细度需求包括尺寸要求；
所述按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分，包括：
从所述当前图像中选取一个待划分的像素块作为当前像素块；
判断所述当前像素块的尺寸是否满足所述当前像素块所属的区域类别对应的尺寸要求；其中，所述区域类别包括所述目标区域和所述背景区域；
如果是，则计算所述当前像素块的拉格朗日代价和所述当前像素块划分后的拉格朗日代价；
判断所述当前像素块划分后的拉格朗日代价是否小于所述当前像素块的拉格朗日代价；
如果是，则将所述当前像素块划分为四个子块。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述判断所述当前像素块的尺寸是否满足所述当前像素块所属的区域类别对应的尺寸要求，包括：
当所述当前像素块属于所述目标区域时，判断所述当前像素块的尺寸是否小于第一尺寸；如果是，确定所述当前像素块的尺寸满足所述目标区域对应的尺寸要求；
当所述当前像素块属于所述背景区域时，判断所述当前像素块的尺寸是否小于第二尺寸；如果是，确定所述当前像素块的尺寸满足所述背景区域对应的尺寸要求；
其中，所述第一尺寸小于所述第二尺寸。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，计算所述当前像素块的拉格朗日代价，包括：
从多种预测模式中选取对所述当前像素块的预测残差最小的第一模式；
根据所述当前像素块所属的区域类别、所述第一模式对应的编码流比特数和预测残差，计算所述当前像素块的拉格朗日代价。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，通过以下公式计算所述当前像素块的拉格朗日代价：
J＝D+λ·R，
其中，J表示所述当前像素块的拉格朗日代价，D表示与所述预测残差对应的失真值，R表示所述编码流比特数，λ表示与所述当前像素块所属的区域类别对应的编码流比特数权重。
结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，计算所述当前像素块划分后的拉格朗日代价，包括：
分别将所述当前像素块划分后的四个子块作为当前像素块，计算每个所述子块的拉格朗日代价；
计算四个所述子块的拉格朗日代价之和，将计算得到的和值作为所述当前像素块划分后的拉格朗日代价。
第二方面，本发明实施例还提供一种帧内预测单元划分装置，包括：
目标获取模块，用于获取重点预测目标，所述重点预测目标包括人和/或车辆；
区域确定模块，用于根据所述重点预测目标，确定当前图像中的目标区域和背景区域；
需求获取模块，用于获取所述目标区域和所述背景区域对应的精细度需求；
划分模块，用于按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例中，获取重点预测目标，重点预测目标包括人和/或车辆；根据该重点预测目标，确定当前图像中的目标区域和背景区域；获取目标区域和背景区域对应的精细度需求；按照目标区域和背景区域对应的精细度需求，分别对目标区域和背景区域进行预测单元划分。本发明提供的帧内预测单元划分方法、装置及电子设备，按照目标区域和背景区域对应的精细度需求，分别对目标区域和背景区域进行预测单元划分，保留了更多目标区域的细节，因此可以提高感兴趣的目标区域的画质，降低背景区域的画质，使得编码后的监控视频便于后续的智能分析，从而提高了编码后的监控视频的实用性。另外，由于监控视频中背景区域所占图像比例较大，适当降低背景区域的画质有利于降低编码后的监控视频的比特率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的帧内预测单元划分方法的流程示意图；
图2为本发明实施例提供的帧内预测单元划分方法中划分过程的流程示意图；
图3为本发明实施例提供的帧内预测单元划分装置的模块组成示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前现有的帧内预测单元的划分方法只考虑图像各部分的纹理复杂度，容易导致监控视频中不感兴趣的背景区域画质较好，而感兴趣的目标区域画质较差。基于此，本发明实施例提供的一种帧内预测单元划分方法、装置及电子设备，可以提高感兴趣的目标区域的画质，降低背景区域的画质，从而降低编码后的监控视频的比特率，提高其实用性。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种帧内预测单元划分方法进行详细介绍。
实施例一：
在视频监控领域，人们关心的主要是人、车辆及其他运动物体等目标而并不是背景区域，哪怕背景区域的纹理再复杂，并不关心摆动的树叶、建筑外墙，而是关心人脸、行人、车牌、车辆等。目前普遍的监控场景都是采用固定摄像机、广角镜头拍摄一个较大的场景，场景中的人脸、行人、车牌、车辆等目标一般占据画面的面积都较小，保留的细节并不多，如果不对这些目标进行更高精度的划分和细节保留，将对后续的图像处理和智能分析造成很大的困难。本发明实施例应用在视频监控领域中，根据视频图像中的目标区域和背景区域，分别对帧内预测单元进行不同等级的划分，这样保留了更多目标区域的细节，便于后续的智能分析，并且由于一般监控视频图像中背景区域占比较大，因此通过这种划分方法可以得到更低的编码比特率。
图1为本发明实施例提供的帧内预测单元划分方法的流程示意图，如图1所示，该方法包括以下几个步骤：
步骤S101，获取重点预测目标，重点预测目标包括人和/或车辆。
具体地，可以直接读取预先存储的重点预测目标，也可以使用图像处理和智能分析算法从监控视频中自动检测和确定重点预测目标，还可以接收监控终端发送的重点预测目标。监控人员也可以根据实际情况通过监控终端选择重点预测目标，监控终端可以为电脑或手机等。重点预测目标包括人或车辆、或人和车辆。
步骤S102，根据上述重点预测目标，确定当前图像中的目标区域和背景区域。
具体地，在当前图像中检测上述重点预测目标，将检测到重点预测目标的区域标记为目标区域，将未检测到重点预测目标的区域标记为背景区域，其中，目标区域可以为多块区域，背景区域也可以为多块区域。这样就将当前图像分成了两种区域类别：目标区域和背景区域。
在一个实施例中，上述在当前图像中检测上述重点预测目标，包括：确定重点预测目标对应的检测算法；采用该检测算法，在当前图像中检测重点预测目标。其中，检测算法包括但不限于人脸检测算法、行人检测算法、车牌检测算法、车辆检测算法和运动目标检测算法中的一种或多种。例如，重点预测目标包括人时，检测算法包括人脸检测算法、行人检测算法；重点预测目标包括车辆时，检测算法包括车牌检测算法、车辆检测算法和运动目标检测算法。
步骤S103，获取目标区域和背景区域对应的精细度需求。
具体地，可以直接读取预先存储的目标区域对应的精细度需求和背景区域对应的精细度需求，也可以接收监控终端发送的目标区域对应的精细度需求和背景区域对应的精细度需求。其中，目标区域对应的精细度需求可以根据重点预测目标确定。例如，精细度需求包括尺寸要求，重点预测目标包括人和车辆，人和车辆可以分别对应不同的尺寸要求，如可以将检测到人的区域划分至4×4的像素块(或其他尺寸的像素块)，将检测到车辆的区域划分至8×8的像素块(或其他尺寸的像素块)。
步骤S104，按照目标区域和背景区域对应的精细度需求，分别对目标区域和背景区域进行预测单元划分。
考虑到现有技术中，在划分预测单元时，为了达到较佳的划分效果，需要全局考虑当前图像，导致运算量较大。本发明实施例中，精细度需求包括尺寸要求，只有满足对应的尺寸要求才进行下一步的划分工作，后续的划分工作只需要考虑划分前后的图像，因此减少了划分过程的运算量，从而提高了预测单元的划分速度和效率。
图2为本发明实施例提供的帧内预测单元划分方法中划分过程的流程示意图，如图2所示，以精细度需求包括尺寸要求为例，步骤S104具体由以下几个步骤执行：
步骤S201，从上述当前图像中选取一个待划分的像素块作为当前像素块。
对当前图像的每个像素块均进行考虑，待划分的像素块包括一个像素块划分后未进一步划分的4个子像素块。例如：若一个32×32的像素块已被划分为4个16×16的子像素块，则待划分的像素块包括这4个16×16的子像素块。
步骤S202，判断当前像素块的尺寸是否满足当前像素块所属的区域类别对应的尺寸要求；其中，区域类别包括目标区域和背景区域。
具体地，当当前像素块属于目标区域时，判断当前像素块的尺寸是否小于第一尺寸；如果是，确定当前像素块的尺寸满足目标区域对应的尺寸要求；当当前像素块属于背景区域时，判断当前像素块的尺寸是否小于第二尺寸；如果是，确定当前像素块的尺寸满足背景区域对应的尺寸要求；其中，第一尺寸小于第二尺寸。第一尺寸和第二尺寸可以根据实际情况设定，例如，第一尺寸为8×8或16×16，第二尺寸为32×32或64×64。这样，对目标区域的各个像素块递归划分至较小的第一尺寸，对背景区域的各个像素块递归划分至较大的第二尺寸，保留了更多目标区域的细节，去除了更多背景区域的细节。
当判断结果为是时，执行步骤S203，否则重新执行步骤S201。
步骤S203，计算当前像素块的拉格朗日代价和当前像素块划分后的拉格朗日代价。
(1)计算当前像素块的拉格朗日代价，包括：
从多种预测模式中选取对当前像素块的预测残差最小的第一模式；根据当前像素块所属的区域类别、上述第一模式对应的编码流比特数和预测残差，计算当前像素块的拉格朗日代价。
具体地，当前像素块的预测模式会参考上方和左边已编码的像素块的预测模式进行选择，获取第一模式的具体过程可以参照现有技术的内容，这里不做过多阐述。
预测残差为当前像素块的真实值与预测值的差值。设当前像素块的真实值为f(x,y)，(x，y)为当前像素块的水平和竖直坐标，该像素值由已编码的重建值进行预测：
其中ak,l为(k，l)点对应的二维预测系数，Z为用于预测的参考像素块所在的区域，(k，l)为参考像素块的坐标。则预测残差e(x,y)为：
具体可以通过以下公式计算当前像素块的拉格朗日代价：
J＝D+λ·R，
其中，J表示当前像素块的拉格朗日代价，D表示与预测残差对应的失真值，R表示编码流比特数，λ表示与当前像素块所属的区域类别对应的编码流比特数权重。
失真值D为当前像素块的预测残差的绝对值误差和(包括亮度和色度等)，即SAD(Sum of Absolute Difference)。编码流比特数R表示数据量的大小，与划分精细度有关。
考虑到目标区域更注重预测残差对划分结果的影响，而背景区域更注重编码流比特数R对划分结果的影响，因此可以分别设定目标区域对应的编码流比特数权重λ1和背景区域对应的编码流比特数权重λ2，且λ1＜λ2。这样，对目标区域相当于提高了D的权值，对目标区域相当于提高了R的权值，使得最终的划分结果更符合实际需求。
(2)计算当前像素块划分后的拉格朗日代价，包括：
分别将当前像素块划分后的四个子块作为当前像素块，计算每个子块的拉格朗日代价；计算四个子块的拉格朗日代价之和，将计算得到的和值作为当前像素块划分后的拉格朗日代价。
参考(1)的计算过程，即可以计算得到当前像素块划分后的拉格朗日代价，这里不再赘述。
步骤S204，判断当前像素块划分后的拉格朗日代价是否小于当前像素块的拉格朗日代价。
具体地，选择保留拉格朗日代价较小的划分方式，当判断结果为是时，执行步骤S205，否则重新执行步骤S201。
步骤S205，将当前像素块划分为四个子块。
通过上述步骤S201至步骤S205，可以完成当前图像的预测单元划分。
与标准的帧内预测单元划分方法相比，本发明实施例提出的方法可以得到更好的目标区域画质和更低的总输出比特率。本发明实施例提供的方法得到的输出视频中背景区域画质相比标准方法有所下降，但是在视频监控领域中背景区域并不是关心的部分，因此这部分画质下降并不是缺点，而由此带来的码流比特率的降低，对于存储和传输具有更大意义。
实施例二：
图3为本发明实施例提供的帧内预测单元划分装置的模块组成示意图，如图3所示，该装置包括：
目标获取模块31，用于获取重点预测目标，重点预测目标包括人和/或车辆；
区域确定模块32，用于根据上述重点预测目标，确定当前图像中的目标区域和背景区域；
需求获取模块33，用于获取上述目标区域和背景区域对应的精细度需求；
划分模块34，用于按照上述目标区域和背景区域对应的精细度需求，分别对目标区域和背景区域进行预测单元划分。
本发明实施例中，目标获取模块31获取重点预测目标，重点预测目标包括人和/或车辆；区域确定模块32根据该重点预测目标，确定当前图像中的目标区域和背景区域；需求获取模块33获取目标区域和背景区域对应的精细度需求；划分模块34按照目标区域和背景区域对应的精细度需求，分别对目标区域和背景区域进行预测单元划分。本发明提供的帧内预测单元划分装置，按照目标区域和背景区域对应的精细度需求，分别对目标区域和背景区域进行预测单元划分，保留了更多目标区域的细节，因此可以提高感兴趣的目标区域的画质，降低背景区域的画质，使得编码后的监控视频便于后续的智能分析，从而提高了编码后的监控视频的实用性。
实施例三：
参见图4，本发明实施例还提供一种电子设备100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例提供的帧内预测单元划分装置及电子设备，与上述实施例提供的帧内预测单元划分方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的进行帧内预测单元划分方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置及电子设备，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种帧内预测单元划分方法，其特征在于，包括：
获取重点预测目标，所述重点预测目标包括人和/或车辆；
根据所述重点预测目标，确定当前图像中的目标区域和背景区域；
获取所述目标区域和所述背景区域对应的精细度需求；
按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分；
所述精细度需求包括尺寸要求；
所述按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分，包括：
从所述当前图像中选取一个待划分的像素块作为当前像素块；
判断所述当前像素块的尺寸是否满足所述当前像素块所属的区域类别对应的尺寸要求；其中，所述区域类别包括所述目标区域和所述背景区域；
如果是，则计算所述当前像素块的拉格朗日代价和所述当前像素块划分后的拉格朗日代价；
判断所述当前像素块划分后的拉格朗日代价是否小于所述当前像素块的拉格朗日代价；
如果是，则将所述当前像素块划分为四个子块；
所述判断所述当前像素块的尺寸是否满足所述当前像素块所属的区域类别对应的尺寸要求，包括：
当所述当前像素块属于所述目标区域时，判断所述当前像素块的尺寸是否小于第一尺寸；如果是，确定所述当前像素块的尺寸满足所述目标区域对应的尺寸要求；
当所述当前像素块属于所述背景区域时，判断所述当前像素块的尺寸是否小于第二尺寸；如果是，确定所述当前像素块的尺寸满足所述背景区域对应的尺寸要求；
其中，所述第一尺寸小于所述第二尺寸。
2.根据权利要求1所述的方法，其特征在于，所述根据所述重点预测目标，确定当前图像中的目标区域和背景区域，包括：
在所述当前图像中检测所述重点预测目标；
将检测到所述重点预测目标的区域标记为所述目标区域，将未检测到所述重点预测目标的区域标记为所述背景区域。
3.根据权利要求2所述的方法，其特征在于，所述在所述当前图像中检测所述重点预测目标，包括：
确定所述重点预测目标对应的检测算法；其中，所述检测算法包括人脸检测算法、行人检测算法、车牌检测算法、车辆检测算法和运动目标检测算法中的一种或多种；
采用所述检测算法，在所述当前图像中检测所述重点预测目标。
4.根据权利要求1所述的方法，其特征在于，计算所述当前像素块的拉格朗日代价，包括：
从多种预测模式中选取对所述当前像素块的预测残差最小的第一模式；
根据所述当前像素块所属的区域类别、所述第一模式对应的编码流比特数和预测残差，计算所述当前像素块的拉格朗日代价。
5.根据权利要求4所述的方法，其特征在于，通过以下公式计算所述当前像素块的拉格朗日代价：
J＝D+λ·R，
其中，J表示所述当前像素块的拉格朗日代价，D表示与所述预测残差对应的失真值，R表示所述编码流比特数，λ表示与所述当前像素块所属的区域类别对应的编码流比特数权重。
6.根据权利要求5所述的方法，其特征在于，计算所述当前像素块划分后的拉格朗日代价，包括：
分别将所述当前像素块划分后的四个子块作为当前像素块，计算每个所述子块的拉格朗日代价；
计算四个所述子块的拉格朗日代价之和，将计算得到的和值作为所述当前像素块划分后的拉格朗日代价。
7.一种帧内预测单元划分装置，其特征在于，包括：
目标获取模块，用于获取重点预测目标，所述重点预测目标包括人和/或车辆；
区域确定模块，用于根据所述重点预测目标，确定当前图像中的目标区域和背景区域；
需求获取模块，用于获取所述目标区域和所述背景区域对应的精细度需求；
划分模块，用于按照所述目标区域和所述背景区域对应的精细度需求，分别对所述目标区域和所述背景区域进行预测单元划分；
所述精细度需求包括尺寸要求；所述划分模块具体用于：
从所述当前图像中选取一个待划分的像素块作为当前像素块；
判断所述当前像素块的尺寸是否满足所述当前像素块所属的区域类别对应的尺寸要求；其中，所述区域类别包括所述目标区域和所述背景区域；
如果是，则计算所述当前像素块的拉格朗日代价和所述当前像素块划分后的拉格朗日代价；
判断所述当前像素块划分后的拉格朗日代价是否小于所述当前像素块的拉格朗日代价；
如果是，则将所述当前像素块划分为四个子块；
所述划分模块在用于判断所述当前像素块的尺寸是否满足所述当前像素块所属的区域类别对应的尺寸要求时，具体用于：
当所述当前像素块属于所述目标区域时，判断所述当前像素块的尺寸是否小于第一尺寸；如果是，确定所述当前像素块的尺寸满足所述目标区域对应的尺寸要求；
当所述当前像素块属于所述背景区域时，判断所述当前像素块的尺寸是否小于第二尺寸；如果是，确定所述当前像素块的尺寸满足所述背景区域对应的尺寸要求；
其中，所述第一尺寸小于所述第二尺寸。
8.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710938081.3A CN107566834B (zh) | 2017-10-10 | 2017-10-10 | 帧内预测单元划分方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710938081.3A CN107566834B (zh) | 2017-10-10 | 2017-10-10 | 帧内预测单元划分方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107566834A CN107566834A (zh) | 2018-01-09 |
| CN107566834B true CN107566834B (zh) | 2019-09-13 |
Family
ID=60985137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710938081.3A Active CN107566834B (zh) | 2017-10-10 | 2017-10-10 | 帧内预测单元划分方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107566834B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109063603B (zh) * | 2018-07-16 | 2020-09-11 | 深圳地平线机器人科技有限公司 | 基于区域动态筛选的图像预测方法和装置及电子设备 |
| CN112087624A (zh) | 2019-06-13 | 2020-12-15 | 深圳市中兴微电子技术有限公司 | 基于高效率视频编码的编码管理方法 |
| CN112995488B (zh) * | 2019-12-12 | 2023-04-18 | 深圳富泰宏精密工业有限公司 | 高解析度视频图像处理方法、装置及电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102088801B1 (ko) * | 2013-03-07 | 2020-03-13 | 삼성전자주식회사 | 가변블록 사이즈 코딩 정보를 이용한 관심영역 코딩 방법 및 장치 |
| CN106664404B (zh) * | 2014-09-01 | 2019-10-01 | 华为技术有限公司 | 视频编码中的块分割方式处理方法和相关装置 |
| CN106157388B (zh) * | 2016-07-06 | 2018-08-14 | 福州瑞芯微电子股份有限公司 | 局部高效编码行车记录方法及系统 |
| CN106331727B (zh) * | 2016-08-26 | 2019-03-08 | 天津大学 | 一种深度建模模式简化搜索方法 |
| CN106162176A (zh) * | 2016-10-09 | 2016-11-23 | 北京数码视讯科技股份有限公司 | 帧内预测模式选择方法和装置 |
-
2017
- 2017-10-10 CN CN201710938081.3A patent/CN107566834B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107566834A (zh) | 2018-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102682446B (zh) | 使用自适应联合双边滤波器生成稠密深度图的设备和方法 | |
| CN110892719B (zh) | 影像编码/解码方法及装置 | |
| CN103124354B (zh) | 处理视频信息 | |
| CN107566834B (zh) | 帧内预测单元划分方法、装置及电子设备 | |
| CN109660800B (zh) | 运动估计方法、装置、电子设备及计算机可读存储介质 | |
| CN107483953B (zh) | 帧间运动估计方法、装置及电子设备 | |
| CN106162177A (zh) | 视频编码方法和装置 | |
| CN108352074A (zh) | 准参数光学流估计 | |
| CN104573625A (zh) | 面部检测 | |
| CN108124154A (zh) | 帧间预测模式的快速选择方法、装置及电子设备 | |
| CN108712648A (zh) | 一种深度视频快速帧内编码方法 | |
| CN101957918B (zh) | 用于识别图案的方法、图案识别器和计算机程序 | |
| CN102801972A (zh) | 基于特征的运动矢量估计和传递方法 | |
| CN111047874B (zh) | 智能交通违章管理方法及相关产品 | |
| CN103596004A (zh) | Hevc中基于数学统计和分类训练的帧内预测方法及装置 | |
| CN102752483A (zh) | 基于fpga平台的滤波降噪系统及滤波降噪方法 | |
| CN105120290A (zh) | 一种深度视频快速编码方法 | |
| CN106504205A (zh) | 一种图像去雾方法及终端 | |
| CN112399177B (zh) | 一种视频编码方法、装置、计算机设备及存储介质 | |
| CN104602096A (zh) | 一种视频字幕区的检测方法和装置 | |
| CN104333758A (zh) | 深度图的预测方法和检测像素点的方法及相关装置 | |
| CN103747257A (zh) | 一种视频数据高效编码的方法 | |
| CN108765503B (zh) | 一种肤色检测方法、装置及终端 | |
| CN103716622B (zh) | 用于图像处理的方法和装置 | |
| CN103366343B (zh) | 一种位图缩放方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Unit 201-26, Luohu Business Center, No. 2028 Shennan East Road, Chengdong Community, Dongmen Street, Luohu District, Shenzhen, Guangdong Province, 518000 Patentee after: Sima Motor Tuo (Shenzhen) Intelligent Systems Co.,Ltd. Country or region after: China Address before: Room 1019, Zhongguancun Entrepreneurship Building, No. 26 Shangdi Information Road, Haidian District, Beijing, 100089 Patentee before: BMI (BEIJING) INTELLIGENT SYSTEM CO.,LTD. Country or region before: China |