CN107730531A - 运动图像分层处理系统和方法 - Google Patents

Abstract

本发明提供了运动图像分层处理系统和方法，涉及运动图像数字化处理技术领域，包括采集层、预处理层和中央处理层；采集层用于采集动态视频和静态背景图片，并存储视频文件和图片文件；预处理层用于读取视频文件和图片文件，将视频文件中的每帧图像与图片文件进行差异化判别，得到运动影像文件，将运动影像文件存储并发送至中央处理层；中央处理层用于识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。本申请采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

Description

运动图像分层处理系统和方法

技术领域

本发明涉及运动图像数字化处理技术领域，尤其是涉及运动图像分层处理系统和方法。

背景技术

当前，对运动图像的处理一般集中在服务器或在终端，但如果将所有计算放在服务器，那么就需要将视频图像完整的上传到服务器，动态视频的数据量太大，对终端的数据存储和网络传输压力太大。而将所有计算放在终端，虽然可以上传数据量最小，但会加大终端的程序更新工作难度、数据管理难度和成本投入。

发明内容

有鉴于此，本发明的目的在于提供运动图像分层处理系统和方法，采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

第一方面，本发明实施例提供了运动图像分层处理系统，包括：采集层、预处理层和中央处理层；

所述采集层，用于采集动态视频和静态背景图片，并存储视频文件和图片文件；

所述预处理层，用于读取所述视频文件和所述图片文件，将所述视频文件中的每帧图像与所述图片文件进行差异化判别，得到运动影像文件，将所述运动影像文件存储并发送至所述中央处理层；

所述中央处理层，用于识别所述运动影像文件中的运动对象，并计算出所述运动对象的运动轨迹数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述采集层包括双目摄像头、第一存储模块；

所述双目摄像头用于采集所述动态视频和所述静态背景图片；

所述第一存储模块用于存储所述图片文件和按照时长进行截取的小文件格式的所述视频文件。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述预处理层包括判别模块、第二存储模块和发送模块；

所述判别模块用于读取所述视频文件和所述图片文件，将所述视频文件中的每帧图像与所述图片文件中进行逐个像素的差异化判别，得到相同像素部分和不同像素部分，并将所述不同像素部分生成所述运动影像文件；

所述第二存储模块用于存储所述运动影像文件，并删除已判别完成的所述视频文件；

所述发送模块用于将所述运动影像文件发送至所述中央处理层。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述中央处理层包括接收模块、创建模块、识别模块、计算模块和处理模块；

所述接收模块，用于接收所述预处理层发送的所述运动影像文件；

所述创建模块，用于创建所述运动影像文件中所述运动对象的参数样本；

所述识别模块，用于通过将所述参数样本与所述运动对象进行轮廓比对，来识别所述运动影像文件中的所述运动对象；

所述计算模块，用于根据所述双目摄像头的视差原理，计算得到所述运动对象的三维坐标；

所述处理模块，用于将所述三维坐标按照时间顺序连接起来，得到所述运动对象的所述运动轨迹数据。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述运动影像文件包括体现所述运动对象影像的连续视频帧。

本发明实施例提供了运动图像分层处理系统，包括采集层、预处理层和中央处理层；采集层用于采集动态视频和静态背景图片，并存储视频文件和图片文件；预处理层用于读取视频文件和图片文件，将视频文件中的每帧图像与图片文件进行差异化判别，得到运动影像文件，将运动影像文件存储并发送至中央处理层；中央处理层用于识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。本申请采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

第二方面，本发明实施例还提供运动图像分层处理方法，包括：

采集动态视频和静态背景图片，并存储视频文件和图片文件；

读取所述视频文件和所述图片文件，将每帧图像与所述图片文件进行差异化判别，得到运动影像文件，存储所述运动影像文件；

识别所述运动影像文件中的运动对象，并计算出所述运动对象的运动轨迹数据。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述采集动态视频和静态背景图片，并存储视频文件和图片文件包括：

采集所述动态视频和所述静态背景图片，并存储所述图片文件和按照时长进行截取的小文件格式的所述视频文件。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述读取所述视频文件和所述图片文件，将每帧图像与所述图片文件进行差异化判别，得到运动影像文件，存储所述运动影像文件包括：

读取所述视频文件和所述图片文件，将每帧图像与所述图片文件中进行逐个像素的差异化判别，得到相同像素部分和不同像素部分，并将所述不同像素部分生成所述运动影像文件；

存储所述运动影像文件，并删除已判别完成的所述视频文件。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述识别所述运动影像文件中的运动对象，并计算出所述运动对象的运动轨迹数据包括：

接收预处理层发送的所述运动影像文件；

创建所述运动影像文件中所述运动对象的参数样本；

通过将所述参数样本与所述运动对象进行轮廓比对，来识别所述运动影像文件中的所述运动对象；

根据双目摄像头的视差原理，计算得到所述运动对象的三维坐标；

将所述三维坐标按照时间顺序连接起来，得到所述运动对象的所述运动轨迹数据。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述运动影像文件包括体现所述运动对象影像的连续视频帧。

本发明实施例还提供了运动图像分层处理方法，包括采集动态视频和静态背景图片，并存储视频文件和图片文件；读取视频文件和图片文件，将的每帧图像与图片文件进行差异化判别，得到运动影像文件，存储运动影像文件；识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。本申请采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的运动图像分层处理系统的结构示意图；

图2为本发明实施例二提供的运动图像分层处理系统中采集层的结构示意图；

图3为本发明实施例二提供的运动图像分层处理系统中预处理层的结构示意图；

图4为本发明实施例二提供的运动图像分层处理系统中中央处理层的结构示意图；

图5为本发明实施例二提供的运动图像分层处理系统的场景应用示意图；

图6为本发明实施例三提供的运动图像分层处理方法流程图。

图标：10－采集层；20－预处理层；30－中央处理层；11－双目摄像头；12－第一存储模块；21－判别模块；22－第二存储模块；23－发送模块；31－接收模块；32－创建模块；33－识别模块；34－计算模块；35－处理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，运动图像的处理一般集中在服务器或在终端，但如果将所有计算放在服务器，那么就需要将视频图像完整的上传到服务器，动态视频的数据量太大，对终端的数据存储和网络传输压力太大。而将所有计算放在终端，虽然可以上传数据量最小，但会加大终端的程序更新工作难度、数据管理难度和成本投入。

基于此，本发明实施例提供的运动图像分层处理系统和方法，采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

为便于对本实施例进行理解，首先对本发明实施例所公开的运动图像分层处理系统进行详细介绍，

实施例一：

图1为本发明实施例提供的运动图像分层处理系统的结构示意图。

参照图1，运动图像分层处理系统，包括：采集层10、预处理层20和中央处理层30；

采集层10，用于采集动态视频和静态背景图片，并存储视频文件和图片文件；

预处理层20，用于读取视频文件和图片文件，将视频文件中的每帧图像与图片文件进行差异化判别，得到运动影像文件，将运动影像文件存储并发送至中央处理层30；

中央处理层30，用于识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。

具体地，本发明实施例基于特定场地背景下，对运动对象的运动轨迹进行识别和处理，通过分级处理方式对运动图像的处理，可兼顾运动数据的完整性和数据的传输高效性。

实施例二：

本发明实施例二提供的运动图像分层处理系统，包括：采集层10、预处理层20和中央处理层30；

采集层10，用于采集动态视频和静态背景图片，并存储视频文件和图片文件；

预处理层20，用于读取视频文件和图片文件，将视频文件中的每帧图像与图片文件进行差异化判别，得到运动影像文件，将运动影像文件存储并发送至中央处理层30；

中央处理层30，用于识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。

图2为本发明实施例提供的运动图像分层处理系统中采集层的结构示意图。

参照图2，采集层10包括双目摄像头11、第一存储模块12；

双目摄像头11用于采集动态视频和静态背景图片；

第一存储模块12用于存储图片文件和按照时长进行截取的小文件格式的视频文件。

这里，采集层10负责采集动态视频和静态背景图片；

具体地，当接收到特定指令(自动或手动)时，双目摄像头11拍摄一幅静态背景图片，并存储于第一存储模块12；

需要说明的是，还可通过对视频文件进行处理，得到静态背景图片；

具体地，先将每一帧视频的图像分离并去除运动物体的影像部分，即将运动物体所在处的像素位置置为空，再将图像剩余的静态影像部分相加，直至相加后图像的所有像素位置不为空，此时的图像为静态背景图像；

其中，按照时长进行截取视频文件，以小文件格式存储于第一存储模块12，便于存储；

具体地，应用第一存储模块12存储小格式的视频文件，有利于实现采集层10和预处理层20中判别模块21的同步处理。

图3为本发明实施例提供的运动图像分层处理系统中预处理层的结构示意图。

参照图3，预处理层20包括判别模块21、第二存储模块22和发送模块23；

判别模块21用于读取视频文件和图片文件，将视频文件中的每帧图像与图片文件中进行逐个像素的差异化判别，得到相同像素部分和不同像素部分，并将不同像素部分生成运动影像文件；

第二存储模块22用于存储运动影像文件，并删除已判别完成的视频文件；

发送模块23用于将运动影像文件发送至中央处理层30。

这里，判别模块21依据时间顺序来读取视频文件，对视频文件中连续的两帧图像进行差异化判别；

具体地，预处理层20负责对动态图像进行预处理，形成运动影像文件，以异步方式将运动影像文件上传到中央处理层30。

图4为本发明实施例提供的运动图像分层处理系统中中央处理层的结构示意图。

参照图4，中央处理层30包括接收模块31、创建模块32、识别模块33、计算模块34和处理模块35；

接收模块31，用于接收预处理层20发送的运动影像文件；

创建模块32，用于创建运动影像文件中运动对象的参数样本；

识别模块33，用于通过将参数样本与运动对象进行轮廓比对，来识别运动影像文件中的运动对象；

计算模块34，用于根据双目摄像头11的视差原理，计算得到运动对象的三维坐标；

处理模块35，用于将三维坐标按照时间顺序连接起来，得到运动对象的运动轨迹数据。

其中，中央处理层30负责将运动影像文件处理成运动轨迹数据；

这里，运动图像分层处理系统处理完成后的运动轨迹数据，可供运动场景数字合成系统使用。

进一步的，运动影像文件包括体现运动对象影像的连续视频帧。

具体地，可根据需要对连续视频帧进行设置，来表现为单色图片集或彩色图片集。

图5为本发明实施例二提供的运动图像分层处理系统的场景应用示意图。

参照图5，本发明实施例二提供的运动图像分层处理系统应用于固定场地的运动项目，同时拥有主动运动对象和被动运动对象。现场终端作为一个独立设备，一般固定放置在运动场地的上方，双目摄像头11的视界以运动场地范围为主，以降低背景噪声。

这里，采集层中双目摄像头11包括镜头A和镜头B，采集运动物体的动态视频和静态背景图片，将之存储于第一存储模块12；

预处理层中判别模块21读取视频文件和图片文件，并对运动物体的动态视频与静态背景图片进行差异化判别，生成运动影像文件，存储于第二存储模块22，并将运动影像文件经发送模块23发送至中央处理层30，其中，为了存储方便，节省内存，第二存储模块22将已经判别完成的视频文件进行删除；

中央处理层中接收模块31接收运动影像文件，利用创建模块32创建运动影像文件中的参数样本，并通过识别模块33将参数样本与运动对象进行轮廓比对，来识别运动影像文件中的运动对象，进而计算模块34根据双目摄像头11的视差原理，计算得到运动对象的三维坐标，处理模块35将三维坐标按照时间顺序连接起来，得到运动对象的运动轨迹数据，其中，将已识别完成的运动对象存储于创建模块32的参数样本库，可当作下次识别运动对象的参数样本。

具体地，运动图像分层处理系统包括服务器和现场终端两大子系统，包括采集层、预处理层、中央处理层三个层级。

其中，现场终端子系统包括采集层和预处理层，中央处理子系统可部署为网络服务器，终端和服务器之间通过无线或有线方式进行连接和通信。

这里，如果将所有计算放在服务器，那么就需要将视频图像完整的上传到服务器，此时由于动态视频的数据量太大，对终端的数据存储和网络传输压力太大；而将所有计算放在终端，虽然可以上传数据量最小，但是会造成以下不利影响：

第一点：对终端的处理性能要求太高。大规模应用时会造成成本成倍增加。

第二点：程序更新工作量大。考虑到针对不同运动类型的数据处理，算法的增加和改进将导致终端的程序更新和升级过于频繁。

第三点：终端的数据管理难度加大。针对不同运动类型有不同的数据处理算法，将所有算法和样本模型都放在终端，会产生较高的存储要求，同时冗余数据太多。如分类进行算法和样本模型配置，势必加大数据管理的难度。

因此，应用采集层、预处理层和中央处理层运动图像分层处理系统，可以较好地平衡终端、服务器的处理效率和网速的制约，在终端上不需要考虑具体的运动类型和算法处理逻辑，仅需要经过相同采集和预处理过程就可以获得足够的少量数据，再上传到服务器进行深度复杂计算。不仅减轻了终端的数据和计算压力，也减少了网络传送压力。

本发明提供了运动图像分层处理系统，包括采集层、预处理层和中央处理层；采集层用于采集动态视频和静态背景图片，并存储视频文件和图片文件；预处理层用于读取视频文件和图片文件，将视频文件中的每帧图像与图片文件进行差异化判别，得到运动影像文件，将运动影像文件存储并发送至中央处理层；中央处理层用于识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。本申请采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

实施例三

图6本发明实施例三提供的运动图像分层处理方法流程图。

参照图6，本发明实施例三提供的运动图像分层处理方法，包括以下步骤：

步骤S102，采集动态视频和静态背景图片，并存储视频文件和图片文件；

步骤S104，读取视频文件和图片文件，将每帧图像与图片文件进行差异化判别，得到运动影像文件，存储运动影像文件；

步骤S106，识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。

进一步的，步骤S102包括：

采集动态视频和静态背景图片，并存储图片文件和按照时长进行截取的小文件格式的视频文件。

进一步的，步骤S104包括：

读取视频文件和图片文件，将每帧图像与图片文件中进行逐个像素的差异化判别，得到相同像素部分和不同像素部分，并将不同像素部分生成运动影像文件；

存储运动影像文件，并删除已判别完成的视频文件。

进一步的，步骤S106包括：

接收预处理层发送的运动影像文件；

创建运动影像文件中运动对象的参数样本；

通过将参数样本与运动对象进行轮廓比对，来识别运动影像文件中的运动对象；

根据双目摄像头的视差原理，计算得到运动对象的三维坐标；

将三维坐标按照时间顺序连接起来，得到运动对象的运动轨迹数据。

进一步的，运动影像文件包括体现运动对象影像的连续视频帧。

本发明提供了运动图像分层处理方法，包括采集动态视频和静态背景图片，并存储视频文件和图片文件；读取视频文件和图片文件，将每帧图像与图片文件进行差异化判别，得到运动影像文件，存储运动影像文件；识别运动影像文件中的运动对象，并计算出运动对象的运动轨迹数据。本申请采用三层结构，有效地减轻终端数据的计算压力和网络传输压力。

本发明实施例提供的运动图像分层处理方法，与上述实施例提供的运动图像分层处理系统具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的运动图像分层处理系统和方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种运动图像分层处理系统，其特征在于，包括：采集层、预处理层和中央处理层；

所述采集层，用于采集动态视频和静态背景图片，并存储视频文件和图片文件；

所述预处理层，用于读取所述视频文件和所述图片文件，将所述视频文件中的每帧图像与所述图片文件进行差异化判别，得到运动影像文件，将所述运动影像文件存储并发送至所述中央处理层；

所述中央处理层，用于识别所述运动影像文件中的运动对象，并计算出所述运动对象的运动轨迹数据。

2.根据权利要求1所述的运动图像分层处理系统，其特征在于，所述采集层包括双目摄像头、第一存储模块；

所述双目摄像头用于采集所述动态视频和所述静态背景图片；

所述第一存储模块用于存储所述图片文件和按照时长进行截取的小文件格式的所述视频文件。

3.根据权利要求1所述的运动图像分层处理系统，其特征在于，所述预处理层包括判别模块、第二存储模块和发送模块；

所述判别模块用于读取所述视频文件和所述图片文件，将所述视频文件中的每帧图像与所述图片文件中进行逐个像素的差异化判别，得到相同像素部分和不同像素部分，并将所述不同像素部分生成所述运动影像文件；

所述第二存储模块用于存储所述运动影像文件，并删除已判别完成的所述视频文件；

所述发送模块用于将所述运动影像文件发送至所述中央处理层。

4.根据权利要求2所述的运动图像分层处理系统，其特征在于，所述中央处理层包括接收模块、创建模块、识别模块、计算模块和处理模块；

所述接收模块，用于接收所述预处理层发送的所述运动影像文件；

所述创建模块，用于创建所述运动影像文件中所述运动对象的参数样本；

所述识别模块，用于通过将所述参数样本与所述运动对象进行轮廓比对，来识别所述运动影像文件中的所述运动对象；

所述计算模块，用于根据所述双目摄像头的视差原理，计算得到所述运动对象的三维坐标；

所述处理模块，用于将所述三维坐标按照时间顺序连接起来，得到所述运动对象的所述运动轨迹数据。

5.根据权利要求4所述的运动图像分层处理系统，其特征在于，所述运动影像文件包括体现所述运动对象影像的连续视频帧。

6.一种运动图像分层处理方法，其特征在于，包括：

采集动态视频和静态背景图片，并存储视频文件和图片文件；

读取所述视频文件和所述图片文件，将每帧图像与所述图片文件进行差异化判别，得到运动影像文件，存储所述运动影像文件；

识别所述运动影像文件中的运动对象，并计算出所述运动对象的运动轨迹数据。

7.根据权利要求6所述的运动图像分层处理方法，其特征在于，所述采集动态视频和静态背景图片，并存储视频文件和图片文件包括：

采集所述动态视频和所述静态背景图片，并存储所述图片文件和按照时长进行截取的小文件格式的所述视频文件。

8.根据权利要求6所述的运动图像分层处理方法，其特征在于，所述读取所述视频文件和所述图片文件，将每帧图像与所述图片文件进行差异化判别，得到运动影像文件，存储所述运动影像文件包括：

读取所述视频文件和所述图片文件，将每帧图像与所述图片文件中进行逐个像素的差异化判别，得到相同像素部分和不同像素部分，并将所述不同像素部分生成所述运动影像文件；

存储所述运动影像文件，并删除已判别完成的所述视频文件。

9.根据权利要求6所述的运动图像分层处理方法，其特征在于，所述识别所述运动影像文件中的运动对象，并计算出所述运动对象的运动轨迹数据包括：

接收预处理层发送的所述运动影像文件；

创建所述运动影像文件中所述运动对象的参数样本；

通过将所述参数样本与所述运动对象进行轮廓比对，来识别所述运动影像文件中的所述运动对象；

根据双目摄像头的视差原理，计算得到所述运动对象的三维坐标；

将所述三维坐标按照时间顺序连接起来，得到所述运动对象的所述运动轨迹数据。

10.根据权利要求9所述的运动图像分层处理方法，其特征在于，所述运动影像文件包括体现所述运动对象影像的连续视频帧。