CN107483953B - 帧间运动估计方法、装置及电子设备 - Google Patents
帧间运动估计方法、装置及电子设备 Download PDFInfo
- Publication number
- CN107483953B CN107483953B CN201710938050.8A CN201710938050A CN107483953B CN 107483953 B CN107483953 B CN 107483953B CN 201710938050 A CN201710938050 A CN 201710938050A CN 107483953 B CN107483953 B CN 107483953B
- Authority
- CN
- China
- Prior art keywords
- block
- frame image
- pixels
- motion
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010845 search algorithm Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种帧间运动估计方法、装置及电子设备，该方法包括：根据当前帧图像和已编码帧图像，建立背景模型；根据背景模型，确定当前帧图像的运动目标区域；对运动目标区域的各个运动目标进行跟踪，确定各个运动目标的运动向量；根据该运动向量，获取运动目标区域中的各个像素块的运动向量初始值；对于每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值；将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。这样可以降低帧间运动估计耗时，满足实时编码需求，并提高运动估计精度，从而提高编码视频的质量。
Description
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种帧间运动估计方法、装置及电子设备。
背景技术
视频编码的流程主要分为预测、变换、量化、熵编码四个步骤，其中预测主要分为帧内预测和帧间预测。视频编码的帧间预测是指利用视频时间域的相关性，使用时间上相邻的已编码图像的已编码像素块预测当前待编码图像的当前像素块，以达到去除视频时域冗余的目的。
帧间预测的核心是基于块的运动估计，即为当前图像的每个像素块在之前已编码图像中寻找一个最佳匹配块，从而得到每个像素块对应的运动向量，其中用于预测的图像称为参考图像，参考图像中的像素块称为参考块，当前图像中待预测的像素块称当前像素块，参考块到当前像素块的位移称为运动向量。
运动估计是由搜索算法完成的。传统视频编码标准通常采用全搜索、二维对数搜索、三维对数搜索、UMHexagonS搜索、TZ搜索等方法，其中，全搜索复杂度极高，无法满足实时编码需求；其余的快速算法只能得到局部最优参考块，而非全局最优参考块，使得其编码视频的质量不如全搜索的编码视频的质量高。
发明内容
有鉴于此，本发明的目的在于提供一种帧间运动估计方法、装置及电子设备，以降低帧间运动估计耗时，满足实时编码需求，并提高运动估计精度，使得帧间运动估计更加快速、准确，从而提高编码视频的质量。
第一方面，本发明实施例提供了一种帧间运动估计方法，包括：
根据当前帧图像和已编码帧图像，建立背景模型；
根据所述背景模型，确定所述当前帧图像的运动目标区域；
对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；
根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；
对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；
将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据当前帧图像和已编码帧图像，建立背景模型，包括：
根据当前帧图像和已编码帧图像，采用混合高斯模型算法或旋转不变纹理特征提取算法建立背景模型。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述背景模型，确定所述当前帧图像的运动目标区域，包括：
对比所述背景模型和所述当前帧图像；
将所述当前帧图像中与所述背景模型不同的区域确定为所述当前帧图像的运动目标区域。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量，包括：
采用时空上下文跟踪算法对所述运动目标区域的各个运动目标进行多运动目标跟踪，得到各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值，包括：
将每个所述像素块对应的运动目标的运动向量确定为所述像素块的运动向量初始值。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述查找所述像素块的全局最优的匹配参考块，包括：
采用全搜索算法、二维对数搜索算法、三维对数搜索算法、UMHexagonS搜索算法或TZ搜索算法，查找所述像素块的全局最优的匹配参考块。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，所述计算所述像素块的运动向量估计值，包括：
计算所述像素块到所述匹配参考块的位移，将所述位移作为所述像素块的运动向量估计值。
第二方面，本发明实施例还提供一种帧间运动估计装置，包括：
模型建立模块，用于根据当前帧图像和已编码帧图像，建立背景模型；
区域确定模块，用于根据所述背景模型，确定所述当前帧图像的运动目标区域；
向量确定模块，用于对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；
初始值确定模块，用于根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；
查找估计模块，用于对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；
参数确定模块，用于将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。
本发明实施例带来了以下有益效果：
本发明实施例中，根据当前帧图像和已编码帧图像，建立背景模型；根据该背景模型，确定当前帧图像的运动目标区域；对该运动目标区域的各个运动目标进行跟踪，确定各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量；其中，参考帧图像为与当前帧图像的运动目标最匹配的已编码帧图像；根据各个运动目标的运动向量，获取运动目标区域中的各个像素块的运动向量初始值；对于每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值；将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。由于搜索点是通过对运动目标的跟踪确定的，因此全局最优的匹配参考块应在搜索点的预设邻域内，进而通过在搜索点的预设邻域内进行查找，可以快速确定对应的像素块的全局最优的匹配参考块和运动向量估计值。这样在降低全搜索的复杂度即降低了帧间运动估计耗时的同时，保证了全搜索的运动估计精度，从而满足了实时编码需求，提高了编码视频的质量。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的帧间运动估计方法的第一种流程示意图；
图2为本发明实施例提供的帧间运动估计方法的第二种流程示意图；
图3为本发明实施例提供的帧间运动估计装置的模块组成示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前传统视频编码标准通常采用全搜索、二维对数搜索、三维对数搜索、UMHexagonS搜索、TZ搜索等方法，然而全搜索复杂度极高，无法满足实时编码需求；其余的快速算法只能得到局部最优参考块，而非全局最优参考块，使得编码视频的质量差。基于此，本发明实施例提供的一种帧间运动估计方法、装置及电子设备，可以降低帧间运动估计耗时，满足实时编码需求，并提高运动估计精度，从而提高编码视频的质量。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种帧间运动估计方法进行详细介绍。
实施例一：
考虑到视频监控领域主要采用固定摄像机、广角镜头覆盖较大面积区域的方案，本发明实施例提出了一种帧间运动估计方法，可以克服解决全搜索速度过慢以及快速搜索不能得到全局最优点的不足，实现更加快速、准确的多运动目标检测与跟踪。
图1为本发明实施例提供的帧间运动估计方法的第一种流程示意图，如图1所示，该方法包括以下几个步骤：
步骤S101，根据当前帧图像和已编码帧图像，建立背景模型。
考虑到监控视频是采用固定摄像机拍摄得到的，因此可以对监控视频建立相对稳定的背景模型。具体地，根据当前帧图像和已编码帧图像，可以但不限于采用混合高斯模型算法或旋转不变纹理特征提取算法建立背景模型，其中，已编码帧图像可以为监控视频中距离当前帧图像最近的多个已编码的视频帧图像，这里对已编码帧图像的个数不作限定。本发明实施例中，采用动态更新背景模型的方式，可以有效地提高背景建模和运动目标检测的精度。
步骤S102，根据上述背景模型，确定当前帧图像的运动目标区域。
考虑到背景模型变化较小或不变，因此可以仅关注运动目标区域。具体地，可以通过下述过程确定当前帧图像的运动目标区域：对比上述背景模型和当前帧图像，将当前帧图像中与背景模型不同的区域确定为当前帧图像的运动目标区域。
步骤S103，对上述运动目标区域的各个运动目标进行跟踪，确定各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量。
其中，参考帧图像为与当前帧图像的运动目标最匹配的已编码帧图像。具体地，可以但不限于采用时空上下文跟踪算法对上述运动目标区域的各个运动目标进行多运动目标跟踪，得到各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量。采用多运动目标跟踪可以确定每个运动目标对应的参考帧图像和运动向量，需要说明的是，各个运动目标对应的参考帧图像不一定相同，例如，当前帧图像中检测到有运动目标A和运动目标B，运动目标A对应的参考帧图像为图像C，运动目标B对应的参考帧图像为图像D，图像C与图像D可能为不同的两个视频帧图像。
步骤S104，根据各个运动目标的运动向量，获取运动目标区域中的各个像素块的运动向量初始值。
具体地，考虑到属于同一运动目标的各个像素块的运动向量相差不大，可以将每个像素块对应的运动目标的运动向量确定为该像素块的运动向量初始值。例如运动目标A的运动向量为(-50，-50)，则属于运动目标A的各个像素块的运动向量初始值均记为(-50，-50)。
步骤S105，对于上述每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值。
具体地，对于运动目标区域中的每个像素块，先在参考帧图像中确定每个像素块对应的搜索点，该搜索点为像素块的运动向量初始值从当前帧图像的位置指向参考帧图像的点，例如，像素块a的位置坐标为(100，100)(在当前帧图像中)，运动向量初始值为(-50，-50)，则在参考帧图像中的搜索点的位置坐标为(100，100)+(-50，-50)＝(50，50)。
确定像素块的搜索点后，在搜索点的预设邻域内查找该像素块的全局最优的匹配参考块，其中，预设邻域可以根据实际需求设置，这里不作限定，例如预设邻域可以为64×64或其它尺寸的像素区域。具体可以但不限于采用全搜索算法、二维对数搜索算法、三维对数搜索算法、UMHexagonS搜索算法或TZ搜索算法，查找每个像素块的全局最优的匹配参考块。查找到每个像素块的全局最优的匹配参考块后，即可确定匹配参考块的位置坐标，然后根据像素块的位置坐标(在当前帧图像中)和匹配参考块的位置坐标，计算该像素块到匹配参考块的位移，将该位移作为该像素块的运动向量估计值。
步骤S106，将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。
通过上述步骤得到了运动目标区域中的各个像素块的运动向量估计值和对应的匹配参考块，将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数，帧间视频编码的运动估计过程完成。
本发明实施例中，根据当前帧图像和已编码帧图像，建立背景模型；根据该背景模型，确定当前帧图像的运动目标区域；对该运动目标区域的各个运动目标进行跟踪，确定各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量；其中，参考帧图像为与当前帧图像的运动目标最匹配的已编码帧图像；根据各个运动目标的运动向量，获取运动目标区域中的各个像素块的运动向量初始值；对于每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值；将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。由于搜索点是通过对运动目标的跟踪确定的，因此全局最优的匹配参考块应在搜索点的预设邻域内，进而通过在搜索点的预设邻域内进行查找，可以快速确定对应的像素块的全局最优的匹配参考块和运动向量估计值。这样在降低全搜索的复杂度即降低了帧间运动估计耗时的同时，保证了全搜索的运动估计精度，从而满足了实时编码需求，提高了编码视频的质量。
图2为本发明实施例提供的帧间运动估计方法的第二种流程示意图，如图2所示，以混合高斯模型算法建立背景模型，时空上下文跟踪算法进行跟踪，全搜索算法查找匹配参考块为例，该方法包括以下几个步骤：
步骤S201，根据当前帧图像和已编码帧图像，采用混合高斯模型算法建立背景模型。
步骤S202，对比上述背景模型和当前帧图像。
步骤S203，将当前帧图像中与背景模型不同的区域确定为当前帧图像的运动目标区域。
步骤S204，采用时空上下文跟踪算法对上述运动目标区域的各个运动目标进行多运动目标跟踪，得到各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量。
步骤S205，将运动目标区域中每个像素块对应的运动目标的运动向量确定为该像素块的运动向量初始值。
步骤S206，根据上述每个像素块的运动向量初始值，确定该像素块在参考帧图像中对应的搜索点。
步骤S207，采用全搜索算法在搜索点的预设邻域内查找上述像素块的全局最优的匹配参考块。
步骤S208，计算每个像素块到匹配参考块的位移，将该位移作为该像素块的运动向量估计值。
步骤S209，将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。
图2中的各个步骤的具体过程与前述图1所示方法的具体过程相同，这里不再赘述。
进一步地，当摄像机不是固定的，即不能够建立背景模型，或者，监控视频场景不太大，目标占视频面积比例较高，因而不宜采用运动目标检测和跟踪方法进行检测和跟踪目标时，可以采用其它目标跟踪算法来计算目标在每帧之间的运动向量，包括但不限于人脸跟踪算法、跟踪-学习-检测算法等。
综上所述，采用本发明实施例提供的帧间运动估计方法进行帧间预测编码，能够快速为每一帧的多个运动目标搜索全局最优的参考块，即使是运动目标高速运动的场合下亦如此，且大幅降低了帧间运动估计的耗时，提高了运动估计精度，从而提高了编码视频的质量。
特别地，对于运动目标高速运动的视频编码，为了得到精确度较高的运动向量，传统的基于分块的运动估计需要扩大匹配块的搜索范围，从而导致计算速度大幅度降低。采用本发明实施例提供的帧间运动估计方法，可以快速、准确地得到运动目标覆盖的预测块的运动向量。因此对于运动目标高速运动的场景，相对于传统视频编码方法，本发明实施例提供的方法具有更大的优势。
实施例二：
图3为本发明实施例提供的帧间运动估计装置的模块组成示意图，如图3所示，该装置包括：
模型建立模块31，用于根据当前帧图像和已编码帧图像，建立背景模型；
区域确定模块32，用于根据上述背景模型，确定当前帧图像的运动目标区域；
向量确定模块33，用于对上述运动目标区域的各个运动目标进行跟踪，确定各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量；其中，参考帧图像为与当前帧图像的运动目标最匹配的已编码帧图像；
初始值确定模块34，用于根据各个运动目标的运动向量，获取运动目标区域中的各个像素块的运动向量初始值；
查找估计模块35，用于对于上述每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找像素块的全局最优的匹配参考块，并计算像素块的运动向量估计值；
参数确定模块36，用于将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。
本发明实施例中，模型建立模块31根据当前帧图像和已编码帧图像，建立背景模型；区域确定模块32根据该背景模型，确定当前帧图像的运动目标区域；向量确定模块33对该运动目标区域的各个运动目标进行跟踪，确定各个运动目标在当前帧图像与对应的参考帧图像之间的运动向量；其中，参考帧图像为与当前帧图像的运动目标最匹配的已编码帧图像；初始值确定模块34根据各个运动目标的运动向量，获取运动目标区域中的各个像素块的运动向量初始值；查找估计模块35对于每个像素块，在参考帧图像中像素块的运动向量初始值指向的搜索点的预设邻域内，查找该像素块的全局最优的匹配参考块，并计算该像素块的运动向量估计值；参数确定模块36将每个像素块的运动向量估计值和匹配参考块作为当前帧图像的帧间运动估计参数。由于搜索点是通过对运动目标的跟踪确定的，因此全局最优的匹配参考块应在搜索点的预设邻域内，进而通过在搜索点的预设邻域内进行查找，可以快速确定对应的像素块的全局最优的匹配参考块和运动向量估计值。这样在降低全搜索的复杂度即降低了帧间运动估计耗时的同时，保证了全搜索的运动估计精度，从而满足了实时编码需求，提高了编码视频的质量。
实施例三：
参见图4，本发明实施例还提供一种电子设备100，包括：处理器40，存储器41，总线42和通信接口43，所述处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器40在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例提供的帧间运动估计装置及电子设备，与上述实施例提供的帧间运动估计方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的进行帧间运动估计方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置及电子设备，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种帧间运动估计方法，其特征在于，包括：
根据当前帧图像和已编码帧图像，建立背景模型；
根据所述背景模型，确定所述当前帧图像的运动目标区域；
对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；
根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；
对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；
将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。
2.根据权利要求1所述的方法，其特征在于，所述根据当前帧图像和已编码帧图像，建立背景模型，包括：
根据当前帧图像和已编码帧图像，采用混合高斯模型算法或旋转不变纹理特征提取算法建立背景模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述背景模型，确定所述当前帧图像的运动目标区域，包括：
对比所述背景模型和所述当前帧图像；
将所述当前帧图像中与所述背景模型不同的区域确定为所述当前帧图像的运动目标区域。
4.根据权利要求1所述的方法，其特征在于，所述对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量，包括：
采用时空上下文跟踪算法对所述运动目标区域的各个运动目标进行多运动目标跟踪，得到各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量。
5.根据权利要求1所述的方法，其特征在于，所述根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值，包括：
将每个所述像素块对应的运动目标的运动向量确定为所述像素块的运动向量初始值。
6.根据权利要求1所述的方法，其特征在于，所述查找所述像素块的全局最优的匹配参考块，包括：
采用全搜索算法、二维对数搜索算法、三维对数搜索算法、UMHexagonS搜索算法或TZ搜索算法，查找所述像素块的全局最优的匹配参考块。
7.根据权利要求1所述的方法，其特征在于，所述计算所述像素块的运动向量估计值，包括：
计算所述像素块到所述匹配参考块的位移，将所述位移作为所述像素块的运动向量估计值。
8.一种帧间运动估计装置，其特征在于，包括：
模型建立模块，用于根据当前帧图像和已编码帧图像，建立背景模型；
区域确定模块，用于根据所述背景模型，确定所述当前帧图像的运动目标区域；
向量确定模块，用于对所述运动目标区域的各个运动目标进行跟踪，确定各个所述运动目标在所述当前帧图像与对应的参考帧图像之间的运动向量；其中，所述参考帧图像为与所述当前帧图像的运动目标最匹配的已编码帧图像；
初始值确定模块，用于根据各个所述运动目标的运动向量，获取所述运动目标区域中的各个像素块的运动向量初始值；
查找估计模块，用于对于每个所述像素块，在所述参考帧图像中所述像素块的运动向量初始值指向的搜索点的预设邻域内，查找所述像素块的全局最优的匹配参考块，并计算所述像素块的运动向量估计值；
参数确定模块，用于将每个所述像素块的运动向量估计值和匹配参考块作为所述当前帧图像的帧间运动估计参数。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至7中任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710938050.8A CN107483953B (zh) | 2017-10-10 | 2017-10-10 | 帧间运动估计方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710938050.8A CN107483953B (zh) | 2017-10-10 | 2017-10-10 | 帧间运动估计方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107483953A CN107483953A (zh) | 2017-12-15 |
| CN107483953B true CN107483953B (zh) | 2019-11-29 |
Family
ID=60606249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710938050.8A Active CN107483953B (zh) | 2017-10-10 | 2017-10-10 | 帧间运动估计方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107483953B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110859057A (zh) * | 2018-06-29 | 2020-03-03 | 深圳市大疆创新科技有限公司 | 运动矢量确定方法、设备及机器可读存储介质 |
| CN110866936B (zh) * | 2018-08-07 | 2023-05-23 | 创新先进技术有限公司 | 视频标注方法、跟踪方法、装置、计算机设备及存储介质 |
| CN110516620B (zh) * | 2019-08-29 | 2023-07-28 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN112738521B (zh) * | 2020-12-03 | 2022-07-01 | 深圳万兴软件有限公司 | 视频编码方法和装置、电子设备、存储介质 |
| CN113409353B (zh) * | 2021-06-04 | 2023-08-01 | 杭州联吉技术有限公司 | 运动前景检测方法、装置、终端设备及存储介质 |
| CN117710235B (zh) * | 2024-02-06 | 2024-05-14 | 浙江华感科技有限公司 | 图像目标增强方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101945284A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
| CN102710940A (zh) * | 2012-06-04 | 2012-10-03 | 公安部第三研究所 | 基于dsp平台利用运动估计算法实现优化视频编码的方法 |
| CN104427345A (zh) * | 2013-09-11 | 2015-03-18 | 华为技术有限公司 | 运动矢量的获取方法、获取装置、视频编解码器及其方法 |
| CN104602019A (zh) * | 2014-12-31 | 2015-05-06 | 乐视网信息技术（北京）股份有限公司 | 一种视频编码方法及装置 |
| CN107204006A (zh) * | 2017-06-01 | 2017-09-26 | 大连海事大学 | 一种基于双背景差分的静止目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8228992B2 (en) * | 2007-10-12 | 2012-07-24 | Broadcom Corporation | Method and system for power-aware motion estimation for video processing |
-
2017
- 2017-10-10 CN CN201710938050.8A patent/CN107483953B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101945284A (zh) * | 2010-09-29 | 2011-01-12 | 无锡中星微电子有限公司 | 一种运动估计的装置和方法 |
| CN102710940A (zh) * | 2012-06-04 | 2012-10-03 | 公安部第三研究所 | 基于dsp平台利用运动估计算法实现优化视频编码的方法 |
| CN104427345A (zh) * | 2013-09-11 | 2015-03-18 | 华为技术有限公司 | 运动矢量的获取方法、获取装置、视频编解码器及其方法 |
| CN104602019A (zh) * | 2014-12-31 | 2015-05-06 | 乐视网信息技术（北京）股份有限公司 | 一种视频编码方法及装置 |
| CN107204006A (zh) * | 2017-06-01 | 2017-09-26 | 大连海事大学 | 一种基于双背景差分的静止目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107483953A (zh) | 2017-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107483953B (zh) | 帧间运动估计方法、装置及电子设备 | |
| KR102150776B1 (ko) | 얼굴 위치 추적 방법, 장치 및 전자 디바이스 | |
| KR100879324B1 (ko) | 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| CN102077250B (zh) | 移动体检测方法及移动体检测装置 | |
| JP2017091549A (ja) | 単一のカメラを用いた移動物体検出のための方法およびシステム | |
| CN110692083A (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
| CN106887021B (zh) | 立体视频的立体匹配方法、控制器和系统 | |
| CN105100807A (zh) | 一种基于运动矢量后处理的帧率提升方法 | |
| KR20170091496A (ko) | 양안 시차 영상의 처리 방법 및 장치 | |
| US20180005039A1 (en) | Method and apparatus for generating an initial superpixel label map for an image | |
| US20240013478A1 (en) | Localization of light sources using reference viewpoints | |
| CN104754180A (zh) | 降低视频画面抖动的方法与装置 | |
| CN114419519B (zh) | 目标对象检测方法、装置、电子设备和存储介质 | |
| CN110490131B (zh) | 一种拍摄设备的定位方法、装置、电子设备及存储介质 | |
| CN107566834B (zh) | 帧内预测单元划分方法、装置及电子设备 | |
| CN101945210B (zh) | 运动跟踪预测方法 | |
| Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
| Dobias et al. | Real-time global prediction for temporally stable stereo | |
| CN107767393B (zh) | 一种面向移动硬件的场景流估计方法 | |
| CN111402429B (zh) | 一种尺度还原、三维重建方法、系统、存储介质及设备 | |
| TW202123080A (zh) | 物件辨識方法及裝置 | |
| KR20190027435A (ko) | 평면모델링을 통한 깊이 영상 부호화에서 움직임 추정 방법 및 장치와 비일시적 컴퓨터 판독가능 기록매체 | |
| Miyama | Fast stereo matching with super-pixels using one-way check and score filter | |
| Thevenon et al. | Dense pixel matching between unrectified and distorted images using dynamic programming | |
| CN104104959A (zh) | 深度图像帧内预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Unit 201-26, Luohu Business Center, No. 2028 Shennan East Road, Chengdong Community, Dongmen Street, Luohu District, Shenzhen, Guangdong Province, 518000 Patentee after: Sima Motor Tuo (Shenzhen) Intelligent Systems Co.,Ltd. Country or region after: China Address before: Room 1019, Zhongguancun Entrepreneurship Building, No. 26 Shangdi Information Road, Haidian District, Beijing, 100089 Patentee before: BMI (BEIJING) INTELLIGENT SYSTEM CO.,LTD. Country or region before: China |