CN111343393A - 超高清视频切画方法 - Google Patents

Abstract

本发明涉及一种超高清视频切画方法，该方法包括定点切画、人工切画、智能切画三种切画方式中的一种或多种，可根据实际应用场景进行切换，本发明改变现有普遍的以单一方式对视频信号切画的操作和待处理视频信号普遍为4K的现状，保证用户能根据自身需求选择待处理视频信号大小、视频信号切画方式等，同时进一步确保其信号输出的实时性。

Description

超高清视频切画方法

技术领域

本发明涉及视频切画技术，具体涉及一种超高清视频切画方法。

背景技术

目前现存的高分辨率视频转低分辨率切画产品在一定程度上已经占有部分市场份额，但由于相关设备和技术的局限性，主要存在以下问题：

1)局限性大：基本没有超高清高分辨率视频切画处理设备，市面上可见的产品几乎都是4K转多路高清切画设备；

2)操作方面不便：目前各个公司上市的产品大多使用一台控制面板，以中断式方式操控切画框，即在控制面板操控一个切画框时，其他切画框无法被操作，无法实现多个切画框同时切画的操作；

3)跟踪不智能：虽然现有的一些设备中提供切画框跟踪人物并实时输出到监视器的功能，但其本质是在人或物上安装红外装置，由设备检测到红外装置并对该处切画，并不是真正的智能跟踪。

发明内容

本发明的目的在于为保证相关行业对于高分辨率视频信号切画的需要，改变现有普遍的以单一方式对视频信号切画的操作和待处理视频信号普遍为4K的现状，保证用户能根据自身需求选择待处理视频信号大小、视频信号切画方式等，同时进一步确保其信号输出的实时性，基于X86架构的切画系统采用一种超高清视频切画方法来对8K超高清视频信号进行处理的复合算法克服现有技术的不足。

本发明的目的是通过以下技术方案来实现的：

一种超高清视频切画方法，该方法包括：

1)定点切画

后台设置切画框位置，保持切画框在屏幕上的位置始终不变，通过监视器对切画框中的内容做稳定持续输出；

和或，

2)人工切画

后台选择输出信号所对应的监视器，确定切画框属性，同时在监视器端的各个监视器分别配备一个操作面板，通过所述操作面板对切画框进行操作，监看屏幕上的切画框随之动作，同时对监视器作对应输出；

和或，

3)智能切画

由计算机根据输入的视频，自动识别需要跟踪的主体，监看屏幕中切画框自动框出该主体和背景，并对该监视器作做实时对应输出。

以上三种切画方式可择一应用于系统中进行切画，各切画方式之间可彼此切换，或将三种切画方式全部开启，针对不同的监视器使用不同的切画方式。

进一步的，所述切画过程中的视频信号为一路8K摄像机或四路4K摄像机拍摄的内容，每路经由1组12G-SDI视频信号线输入到基于X86架构的算法工作站中进行处理。

进一步的，经处理器处理的8K信号或4路4K信号通过HDMI输出到监看屏幕时通过SDI将切画框中的4K和HD信号输出到对应监视器中。

进一步的，所述切画模式下，通过CUDA对输入的视频信号进行切画处理，初始化OpenGL并使用其API创建数据缓冲区，将缓冲区分享给CUDA，让CUDA映射共享资源获取设备指针后执行函数，再解除CUDA对共享缓冲区的映射，最后调用OpenGL API显示以实现OpenGL和CUDA交互；利用OpenGL将信号渲染并传输到8K监看屏幕；最终GPU使用GPUDirectRDMA技术将信号传输到板卡，并传输至各个监视器。

进一步的，所述智能切画利用帧间差分法和背景差分法融合运用，用以检测出视频中运动，利用目标跟踪算法对该被检测的运动主体进行跟踪。

进一步的，所述智能切画的具体步骤为：

当处理器接收到由摄像机传输的视频信号后，先利用帧间差分法，对视频图像中连续的两帧相减得到两帧图像亮度差的绝对值，并将其和阈值进行对比；

若大于阈值，则可分析出视频图像序列的运动特性，确定图像序列中的人、物运动；若小于阈值，则利用均值建模法对视频做背景差分，即在在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值，以此来确定人、物运动情况；

当使用帧间差分法和背景差分法结合的方式检测出视频画面中物体运动时利用KCF和相关滤波判别式目标跟踪方法，在每一个视频场景中更新使用脊回归训练好的目标检测器，利用周围区域的循环矩阵采集正负样本判断跟踪到的是目标还是周围的背景信息后，使用轮转矩阵对跟踪目标进行采集，同时使用快速傅里叶变化对算法进行加速计算，实现目标跟踪。

本发明的有益效果是：

1).本发明创新使用复合人工智能技术，对8K超高清视频中的人、物等多种主体进行识别，同时对场景中的动态变化识别和跟踪，并将识别到的内容对对应监视器输出，能够更为有效的提高同一场景中针对多个主体切画的效率。

2).本发明利用三种模式对8K视频进行切画处理，可以针对多种使用场景更好的匹配用户需求来选择定点、人工和智能三种切画模式，切画处理方法适应性更高。

3).相较于现存的4K转多路高清影像机，该算法提供8K转多路4K和多路高清的处理操作，使得算法的通用性进一步加强，更高的分辨率跨度范围也可以在更多领域的应用带来新的解决方案。

附图说明

图1为本发明系统示意图；

图2为定点切画系统框架图；

图3为人工切画系统框架图；

图4为智能切画系统框架图。

具体实施方式

下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下。

名词解释：

1)CUDA

CUDA是NVIDIA公司为图形处理单元(GPU)上的通用计算开发的并行计算平台和编程模型，开发人员可以使用CUDA并利用GPU显著加快计算应用程序的速度。在GPU加速的应用程序中，工作负载的顺序部分运行在CPU上(为单线程性能优化)，而计算密集的应用程序部分并行运行在数千个GPU内核上。当使用CUDA时，开发人员可以通过几个基本关键字的形式在流行语言编程中实现并行性。

2)OpenGL

OpenGL是用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口。它提供硬件接受器，而不是软件接受器，它意味着它可以访问图形卡，并提供质量保证，而不受CPU的限制。该工具通常用于二维和三维向量图形，并可在今天的每一个普通操作系统上查阅。

3)GPUDirect RDMA

RDMA是一种智能网卡与软件架构充分优化的远端内存直接告诉访问技术，通过在网卡上将RDMA协议固化与硬件，以及支持零复制网络技术和内核内存旁路技术这两种方式以达到高性能远程直接数据存取的目标。而GPUDirect RDMA技术，就是一台计算机GPU可以直接访问另一台计算机GPU内存技术。

基于上述技术基础，本发明提供一种基于X86架构的8K超高清信号的复合切画系统。使用户能够利用定点、人工和智能三种方式对8K超高清视频中所需要的内容进行切画处理。该系统由后台设置、摄像机输入、算法处理、屏幕监看和输出等各模块构成，其系统组成可参考图1所示。该系统提供了一种超高清视频切画方法，该方法包括：

1)定点切画

后台设置切画框位置，保持切画框在屏幕上的位置始终不变，通过监视器对切画框中的内容做稳定持续输出；其系统结构可参考图2所示，由输入相机、监看大屏、处理器、后台设置模块和4K监视器以及HD监视器组成，输入相机、监看大屏、后台设置模块和4K监视器以及HD监视器分别与处理器连接。

和或，

2)人工切画

后台选择输出信号所对应的监视器，确定切画框属性，同时在监视器端的各个监视器分别配备一个操作面板，通过操作面板对切画框进行操作，监看屏幕上的切画框随之动作，同时对监视器作对应输出；其系统结构可参考图3所示，由输入相机、监看大屏、处理器、后台设置模块和4K监视器以及HD监视器组成，其中各4K监视器以及HD监视器各配置有一个操作面板与处理器连接，用于完成对切画框的操作。

和或，

3)智能切画

由计算机根据输入的视频，自动识别需要跟踪的主体，监看屏幕中切画框自动框出该主体和背景，并对该监视器作做实时对应输出，其系统结构可参考图4所示，由输入相机、监看大屏、处理器、后台设置模块和4K监视器以及HD监视器组成，输入相机、监看大屏、后台设置模块和4K监视器以及HD监视器分别与处理器连接，其中处理器中集成了智能切画算法。切画模式下，通过CUDA对输入的视频信号进行切画处理，初始化OpenGL并使用其API创建数据缓冲区，将缓冲区分享给CUDA，让CUDA映射共享资源获取设备指针后执行函数，再解除CUDA对共享缓冲区的映射，最后调用OpenGL API显示以实现OpenGL和CUDA交互；利用OpenGL将信号渲染并传输到8K监看屏幕；最终GPU使用GPUDirect RDMA技术将信号传输到板卡，并传输至各个监视器。

一路8K摄像机或四路4K摄像机拍摄到的视频信号经由SDI视频信号线传输到基于X86架构的8K超高清切画系统的处理器，处理器利用GPUDirect RDMA技术将视频信号由板卡传输到GPU。当用户选择切画方式并操作时，根据用户设置和操作，OpenGL会在在收录的视频上渲染出切画框，并利用HDMI线将渲染处理后的视频传输到8K监看屏幕上；同时CUDA对切画框中的视频信号进行抓取拷贝从而实现切画处理，最终切出框中视频信号利用GPUDirect RDMA技术将信号传输到板卡，在通过SDI视频信号线传输至各个监视器。

以上三种切画方式可择一应用于系统中进行切画，各切画方式之间可彼此切换，或将三种切画方式全部开启，针对不同的监视器使用不同的切画方式。

作为一种优选实施例，智能切画利用帧间差分法和背景差分法融合运用，用以检测出视频中运动，利用目标跟踪算法对该被检测的运动主体进行跟踪。智能切画的具体步骤为：

当处理器接收到由摄像机传输的视频信号后，先利用帧间差分法，对视频图像中连续的两帧相减得到两帧图像亮度差的绝对值，并将其和阈值进行对比；

若大于阈值，则可分析出视频图像序列的运动特性，确定图像序列中的人、物运动；若小于阈值，则利用均值建模法对视频做背景差分，即在在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值，以此来确定人、物运动情况；

当使用帧间差分法和背景差分法结合的方式检测出视频画面中物体运动时利用KCF和相关滤波判别式目标跟踪方法，在每一个视频场景中更新使用脊回归训练好的目标检测器，利用周围区域的循环矩阵采集正负样本判断跟踪到的是目标还是周围的背景信息后，使用轮转矩阵对跟踪目标进行采集，同时使用快速傅里叶变化对算法进行加速计算，实现目标跟踪。

1)帧间差分法

帧间差分法通过对视频图像序列中连续的两帧作差分运算来获得运动目标轮廓的方法。它可以很好地适用于存在多个运动目标和摄像机移动的情况。当视频场景中出现异常的目标运动时，连续两帧之间会出现较显著的差别，算法利用两帧相减得到两帧图像亮度差的绝对值，用以判断其是否大于阈值，进一步可分析出视频或图像序列的运动特性，确定图像序列中有无物体运动。因为帧间差分法对帧间时间间隔较为依赖，若时间差不恰当则会造成识别的误差(帧间差过大可能会识别成两个不同的物体，帧间差过小可能会识别为未运动)，所以需要结合背景差分法共同对视频中的主体进行运动检测。

2)背景差分法

背景差分法是一种利用视频图像序列中的当前帧与其背景参考模型比较，用以检测运动物体的方法,性能主要依赖其相关的背景建模技术。

背景差分法在检测速度快的运动目标是较为准确且极易实现，其关键是背景图像的获取。由于静止背景是不易直接获得的，同时背景图像可能存在的动态变化，所以需要通过视频序列的帧间信息来进行背景重建，需要选择性的更新背景。

3)目标跟踪

利用图像特征和机器学习结合的方式进行判别类目标跟踪，当前帧以目标区域为正样本，背景区域为负样本，用机器学习来训练分类器，训练时使用背景信息，让分类器有效区分前景和背景，下一帧用训练好的分类器找最优区域，从而实现对目标的跟踪。

作为一种优选实施例，系统中的视频信号为一路8K摄像机或四路4K摄像机拍摄的内容，每路经由1组12G-SDI视频信号线输入到基于X86架构的算法工作站中进行处理。经处理器处理的8K信号或4路4K信号通过HDMI输出到监看屏幕时通过SDI将切画框中的4K和HD信号输出到对应监视器中。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种超高清视频切画方法，其特征在于，该方法包括：

1)定点切画

后台设置切画框位置，保持切画框在屏幕上的位置始终不变，通过监视器对切画框中的内容做稳定持续输出；

和或，

2)人工切画

后台选择输出信号所对应的监视器，确定切画框属性，同时在监视器端的各个监视器分别配备一个操作面板，通过所述操作面板对切画框进行操作，监看屏幕上的切画框随之动作，同时对监视器作对应输出；

和或，

3)智能切画

由计算机根据输入的视频，自动识别需要跟踪的主体，监看屏幕中切画框自动框出该主体和背景，并对该监视器作做实时对应输出。

2.根据权利要求1所述的超高清视频切画方法，其特征在于，所述切画过程中的视频信号为一路8K摄像机或四路4K摄像机拍摄的内容，每路经由1组12G-SDI视频信号线输入到基于X86架构的算法工作站中进行处理。

3.根据权利要求2所述的超高清视频切画方法，其特征在于，经处理器处理的8K信号或4路4K信号通过HDMI输出到监看屏幕时通过SDI将切画框中的4K和HD信号输出到对应监视器中。

4.根据权利要求1-3中任一项所述的超高清视频切画方法，其特征在于，所述切画模式下，通过CUDA对输入的视频信号进行切画处理，初始化OpenGL并使用其API创建数据缓冲区，将缓冲区分享给CUDA，让CUDA映射共享资源获取设备指针后执行函数，再解除CUDA对共享缓冲区的映射，最后调用OpenGL API显示以实现OpenGL和CUDA交互；利用OpenGL将信号渲染并传输到8K监看屏幕；最终GPU使用GPUDirect RDMA技术将信号传输到板卡，并传输至各个监视器。

5.根据权利要求4所述的超高清视频切画方法，其特征在于，所述智能切画利用帧间差分法和背景差分法融合运用，用以检测出视频中运动，利用目标跟踪算法对该被检测的运动主体进行跟踪。

6.根据权利要求5所述的超高清视频切画方法，其特征在于，所述智能切画的具体步骤为：

当处理器接收到由摄像机传输的视频信号后，先利用帧间差分法，对视频图像中连续的两帧相减得到两帧图像亮度差的绝对值，并将其和阈值进行对比；

若大于阈值，则可分析出视频图像序列的运动特性，确定图像序列中的人、物运动；若小于阈值，则利用均值建模法对视频做背景差分，即在在视频图像中取连续N帧，计算这N帧图像像素灰度值的平均值来作为背景图像的像素灰度值，以此来确定人、物运动情况；

当使用帧间差分法和背景差分法结合的方式检测出视频画面中物体运动时利用KCF和相关滤波判别式目标跟踪方法，在每一个视频场景中更新使用脊回归训练好的目标检测器，利用周围区域的循环矩阵采集正负样本判断跟踪到的是目标还是周围的背景信息后，使用轮转矩阵对跟踪目标进行采集，同时使用快速傅里叶变化对算法进行加速计算，实现目标跟踪。

Images