CN112532984B - 自适应运动向量检测系统 - Google Patents

Abstract

本发明涉及一种自适应运动向量检测系统，包括：向量检测设备，用于基于当前使用帧数选择从当前时刻的采集图像帧对应的目标区域起到之前的数个采集时刻分别对应的数个目标区域共计当前使用帧数的多个目标区域以执行对当前时刻的采集图像帧对应的目标区域中各个运动目标的各个运动向量的检测；编码执行设备，与向量检测设备连接，用于基于检测到的各个运动目标的各个运动向量对当前时刻的采集图像帧对应的目标区域进行编码。本发明的自适应运动向量检测系统原理可靠、方便操控。由于在场地图像的清晰度和对象数量的智能化检测的基础上，自适应设定执行对场地图像中运动向量检测所需要的图像帧的数量，从而兼顾了编码运算量和编码可靠度。

Description

自适应运动向量检测系统

技术领域

本发明涉及图像编解码领域，尤其涉及一种自适应运动向量检测系统。

背景技术

在帧间编码中，用运动矢量(MotionVector,MV)表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。每个划分的块都有相应的运动信息需要传送到解码端。如果对每个块的MV进行独立编码和传输，特别是划分成小尺寸的块，需要消耗相当多的比特。

为了降低用于编码运动信息的比特数，H.264/AVC利用相邻宏块之间的空间相关性，根据相邻已编码块的运动信息对当前待编码块的运动信息进行预测，然后对预测差进行编码。这样可以有效地降低表示运动信息的比特数。基于此，在对当前宏块的MV编码过程中，H.264/AVC首先使用相邻已编码块的MV预测当前宏块的MV，然后对MV的预测值(记为MVP(Motion Vector Prediction))与MV的真正估值之间的差值(记为MVD(MotionVectorDifference))进行编码，从而有效降低MV的编码比特数。

目前，在对网球追踪和网球运动员动作跟踪等各种对运动检测要求较为严格的应用场景，不仅仅需要高精度的图像采集机制，还需要高精度的运动向量检测机制，然而，运动向量检测机制的精度和运算量相互制约，需要根据图像乃至视频的具体内容对二者进行动态均衡，显然，目前缺乏相应的技术方案。

发明内容

本发明至少具有以下两处关键的发明点：

(1)对鹰眼采集机构采集到的网球场地图像的清晰度和对象数量进行检测，基于二者检测结果决定执行对当前网球场地图像中运动向量检测所需要的图像帧的数量，以在编码运算量和编码可靠度之间达到动态均衡；

(2)采用针对性的检测机制分别检测鹰眼采集机构采集到的网球场地图像的清晰度和对象数量。

根据本发明的一方面，提供了一种自适应运动向量检测系统，所述系统包括：

向量检测设备，与帧数选择机构连接，用于基于当前使用帧数选择从当前时刻的采集图像帧对应的目标区域起到之前的数个采集时刻分别对应的数个目标区域共计当前使用帧数的多个目标区域以执行对当前时刻的采集图像帧对应的目标区域中各个运动目标的各个运动向量的检测；

编码执行设备，与所述向量检测设备连接，用于基于检测到的各个运动目标的各个运动向量对当前时刻的采集图像帧对应的目标区域进行编码，以获得待传输的编码数据；

鹰眼采集机构，设置在网球比赛场地，用于对网球比赛现场执行均匀时间间隔的超清图像采集，以获得连续的多个采集图像帧；

带通滤波设备，与所述鹰眼采集机构连接，用于对接收到的每一个采集图像帧执行带通滤波处理，以获得现场处理图像；

场地识别设备，与所述带通滤波设备连接，用于基于网球场地成像特征从所述现场处理图像中识别出只包括网球场地的目标区域；

剪裁处理设备，与所述场地识别设备连接，用于从所述现场处理图像中剪裁出目标区域，以获得连续的多个采集图像帧分别对应的连续的多个目标区域；

清晰度解析设备，与所述剪裁处理设备连接，用于提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出；

数量识别设备，与所述清晰度解析设备连接，用于对当前时刻的采集图像帧对应的目标区域中存在的对象的数量进行识别，以获得当前对象数量；

帧数选择机构，分别与所述清晰度解析设备和所述数量识别设备连接，用于基于当前清晰度和当前对象数量确定对应的当前使用帧数；

其中，基于当前清晰度和当前对象数量确定对应的当前使用帧数包括：当前清晰度越高，确定的对应的当前使用帧数越少；

其中，基于当前清晰度和当前对象数量确定对应的当前使用帧数包括：当前对象数量越少，确定的对应的当前使用帧数越少。

本发明的自适应运动向量检测系统原理可靠、方便操控。由于在场地图像的清晰度和对象数量的智能化检测的基础上，自适应设定执行对场地图像中运动向量检测所需要的图像帧的数量，从而兼顾了编码运算量和编码可靠度。

具体实施方式

下面将对本发明的自适应运动向量检测系统的实施方案进行详细说明。

图像压缩编码可分为两类：一类压缩是可逆的，即从压缩后的数据可以完全恢复原来的图像，信息没有损失，称为无损压缩编码；另一类压缩是不可逆的，即从压缩后的数据无法完全恢复原来的图像，信息有一定损失，称为有损压缩编码。

在满足一定保真度的要求下，对图像数据的进行变换、编码和压缩，去除多余数据减少表示数字图像时需要的数据量，以便于图像的存储和传输。即以较少的数据量有损或无损地表示原来的像素矩阵的技术，也称图像编码。

例如，BMP是一种与硬件设备无关的图像文件格式，使用非常广。它采用位映射存储格式，除了图像深度可选以外，不采用其他任何压缩，因此，BMP文件所占用的空间很大。BMP文件的图像深度可选lbit、4bit、8bit及24bit。BMP文件存储数据时，图像的扫描方式是按从左到右、从下到上的顺序。由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准，因此在Windows环境中运行的图形图像软件都支持BMP图像格式。典型的BMP图像文件由三部分组成：位图文件头数据结构，它包含BMP图像文件的类型、显示内容等信息；位图信息数据结构，它包含有BMP图像的宽、高、压缩方法，以及定义颜色等信息。

运动向量是执行图像编码需要的关键参数之一，尤其适用于对图像内的运动目标进行的编码。目前，在对网球追踪和网球运动员动作跟踪等各种对运动检测要求较为严格的应用场景，不仅仅需要高精度的图像采集机制，还需要高精度的运动向量检测机制，然而，运动向量检测机制的精度和运算量相互制约，需要根据图像乃至视频的具体内容对二者进行动态均衡，显然，目前缺乏相应的技术方案。

为了克服上述不足，本发明搭建了一种自适应运动向量检测系统，能够有效解决相应的技术问题。

根据本发明实施方案示出的自适应运动向量检测系统包括：

向量检测设备，与帧数选择机构连接，用于基于当前使用帧数选择从当前时刻的采集图像帧对应的目标区域起到之前的数个采集时刻分别对应的数个目标区域共计当前使用帧数的多个目标区域以执行对当前时刻的采集图像帧对应的目标区域中各个运动目标的各个运动向量的检测；

编码执行设备，与所述向量检测设备连接，用于基于检测到的各个运动目标的各个运动向量对当前时刻的采集图像帧对应的目标区域进行编码，以获得待传输的编码数据；

鹰眼采集机构，设置在网球比赛场地，用于对网球比赛现场执行均匀时间间隔的超清图像采集，以获得连续的多个采集图像帧；

带通滤波设备，与所述鹰眼采集机构连接，用于对接收到的每一个采集图像帧执行带通滤波处理，以获得现场处理图像；

场地识别设备，与所述带通滤波设备连接，用于基于网球场地成像特征从所述现场处理图像中识别出只包括网球场地的目标区域；

剪裁处理设备，与所述场地识别设备连接，用于从所述现场处理图像中剪裁出目标区域，以获得连续的多个采集图像帧分别对应的连续的多个目标区域；

清晰度解析设备，与所述剪裁处理设备连接，用于提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出；

数量识别设备，与所述清晰度解析设备连接，用于对当前时刻的采集图像帧对应的目标区域中存在的对象的数量进行识别，以获得当前对象数量；

帧数选择机构，分别与所述清晰度解析设备和所述数量识别设备连接，用于基于当前清晰度和当前对象数量确定对应的当前使用帧数；

其中，基于当前清晰度和当前对象数量确定对应的当前使用帧数包括：当前清晰度越高，确定的对应的当前使用帧数越少；

其中，基于当前清晰度和当前对象数量确定对应的当前使用帧数包括：当前对象数量越少，确定的对应的当前使用帧数越少。

接着，继续对本发明的自适应运动向量检测系统的具体结构进行进一步的说明。

在所述自适应运动向量检测系统中：

所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构都设置在网球比赛场地的控制室内。

在所述自适应运动向量检测系统中，还包括：

数据暂存机构，分别与所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构连接。

在所述自适应运动向量检测系统中：

所述数据暂存机构用于分别存储所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构的暂存数据。

在所述自适应运动向量检测系统中：

所述数据暂存机构还用于分别存储所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构的配置参数。

在所述自适应运动向量检测系统中，还包括：

不间断电源，分别与所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构连接。

在所述自适应运动向量检测系统中：

所述不间断电源用于分别为所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构提供各自所需的供电电压。

在所述自适应运动向量检测系统中：

提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出包括：提取当前时刻的采集图像帧对应的目标区域中各个图像分块的清晰度以作为各个参考清晰度。

在所述自适应运动向量检测系统中：

提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出还包括：对所述各个参考清晰度进行排序并去除最高值和最低值后获得一个以上的待处理清晰度。

在所述自适应运动向量检测系统中：

提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出还包括：对所述一个以上的待处理清晰度进行均值计算以获得当前清晰度；

其中，对当前时刻的采集图像帧对应的目标区域中存在的对象的数量进行识别，以获得当前对象数量包括：去除所述当前时刻的采集图像帧对应的目标区域中的背景区域，将剩余的各个前景图像分块的数量作为当前对象数量输出。

另外，在所述自适应运动向量检测系统中，可以采用FPM DRAM来实现所述数据暂存机构。FPM DRAM(Fast Page Mode RAM)：快速页面模式内存。是一种在486时期被普遍应用的内存(也曾应用为显存)。FPM DRAM的参数如下：72线、5V电压、带宽32bit、基本速度60ns以上。他的读取周期是从DRAM阵列中某一行的触发开始，然后移至内存地址所指位置，即包含所需要的数据。第一条信息必须被证实有效后存至系统，才能为下一个周期作好准备。这样就引入了“等待状态”，因为CPU必须傻傻的等待内存完成一个周期。FPM之所以被广泛应用，一个重要原因就是它是种标准而且安全的产品。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种自适应运动向量检测系统，其特征在于，所述系统包括：

向量检测设备，与帧数选择机构连接，用于基于当前使用帧数选择从当前时刻的采集图像帧对应的目标区域起到之前的数个采集时刻分别对应的数个目标区域共计当前使用帧数的多个目标区域以执行对当前时刻的采集图像帧对应的目标区域中各个运动目标的各个运动向量的检测；

编码执行设备，与所述向量检测设备连接，用于基于检测到的各个运动目标的各个运动向量对当前时刻的采集图像帧对应的目标区域进行编码，以获得待传输的编码数据；

鹰眼采集机构，设置在网球比赛场地，用于对网球比赛现场执行均匀时间间隔的超清图像采集，以获得连续的多个采集图像帧；

带通滤波设备，与所述鹰眼采集机构连接，用于对接收到的每一个采集图像帧执行带通滤波处理，以获得现场处理图像；

场地识别设备，与所述带通滤波设备连接，用于基于网球场地成像特征从所述现场处理图像中识别出只包括网球场地的目标区域；

剪裁处理设备，与所述场地识别设备连接，用于从所述现场处理图像中剪裁出目标区域，以获得连续的多个采集图像帧分别对应的连续的多个目标区域；

清晰度解析设备，与所述剪裁处理设备连接，用于提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出；

数量识别设备，与所述清晰度解析设备连接，用于对当前时刻的采集图像帧对应的目标区域中存在的对象的数量进行识别，以获得当前对象数量；

帧数选择机构，分别与所述清晰度解析设备和所述数量识别设备连接，用于基于当前清晰度和当前对象数量确定对应的当前使用帧数；

其中，基于当前清晰度和当前对象数量确定对应的当前使用帧数包括：当前清晰度越高，确定的对应的当前使用帧数越少；

其中，基于当前清晰度和当前对象数量确定对应的当前使用帧数包括：当前对象数量越少，确定的对应的当前使用帧数越少。

2.如权利要求1所述的自适应运动向量检测系统，其特征在于：

所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构都设置在网球比赛场地的控制室内。

3.如权利要求2所述的自适应运动向量检测系统，其特征在于，所述系统还包括：

数据暂存机构，分别与所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构连接。

4.如权利要求3所述的自适应运动向量检测系统，其特征在于：

所述数据暂存机构用于分别存储所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构的暂存数据。

5.如权利要求4所述的自适应运动向量检测系统，其特征在于：

所述数据暂存机构还用于分别存储所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构的配置参数。

6.如权利要求5所述的自适应运动向量检测系统，其特征在于，所述系统还包括：

不间断电源，分别与所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构连接。

7.如权利要求6所述的自适应运动向量检测系统，其特征在于：

所述不间断电源用于分别为所述带通滤波设备、所述场地识别设备、所述剪裁处理设备、所述清晰度解析设备、所述数量识别设备和所述帧数选择机构提供各自所需的供电电压。

8.如权利要求7所述的自适应运动向量检测系统，其特征在于：

提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出包括：提取当前时刻的采集图像帧对应的目标区域中各个图像分块的清晰度以作为各个参考清晰度。

9.如权利要求8所述的自适应运动向量检测系统，其特征在于：

提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出还包括：对所述各个参考清晰度进行排序并去除最高值和最低值后获得一个以上的待处理清晰度。

10.如权利要求9所述的自适应运动向量检测系统，其特征在于：

提取当前时刻的采集图像帧对应的目标区域的清晰度以作为当前清晰度输出还包括：对所述一个以上的待处理清晰度进行均值计算以获得当前清晰度；

其中，对当前时刻的采集图像帧对应的目标区域中存在的对象的数量进行识别，以获得当前对象数量包括：去除所述当前时刻的采集图像帧对应的目标区域中的背景区域，将剩余的各个前景图像分块的数量作为当前对象数量输出。