CN116156075A - 视频中目标相对运动预测方法、装置和计算机设备 - Google Patents

视频中目标相对运动预测方法、装置和计算机设备 Download PDF

Info

Publication number
CN116156075A
CN116156075A CN202111394225.6A CN202111394225A CN116156075A CN 116156075 A CN116156075 A CN 116156075A CN 202111394225 A CN202111394225 A CN 202111394225A CN 116156075 A CN116156075 A CN 116156075A
Authority
CN
China
Prior art keywords
video
optical flow
gradient
video sampling
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111394225.6A
Other languages
English (en)
Inventor
唐小林
龙良曲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202111394225.6A priority Critical patent/CN116156075A/zh
Publication of CN116156075A publication Critical patent/CN116156075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频中目标相对运动预测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法通过获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。本申请通过提取待分析视频数据中视频采样帧间的图像梯度与光流梯度，基于光流梯度结合图像梯度来确定目标的相对运动指标，可以有效过滤因为相机运动带来的像素位移，从而提高视频中目标相对运动预测准确性。

Description

视频中目标相对运动预测方法、装置和计算机设备
技术领域
本申请涉及视频处理技术领域，特别是涉及一种视频中目标相对运动预测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着视频拍摄技术的发展，出现了视频分析技术，视频分析，英文叫IVS(Intelligent Video System)，也有叫CA(Content analyse)，视频分析技术即通过使用计算机图像视觉分析技术，通过将场景中背景和目标分离进而分析并追踪在摄像机场景内出现的目标。例如通过视频分析技术对人类活动进行分析时，具体可以对可视的监视摄像机视频图像进行分析，从而对视频中的风、雨、雪、落叶、飞鸟、飘动的旗帜等多种背景的进行过滤，而后建立人类活动的模型，借助计算机的高速计算能力使用各种过滤器，排除监视场景中非人类的干扰因素，准确判断人类在视频监视图像中的各种活动。
目前的视频分析技术主要通过对视频采集设备所采集的视频数据进行处理，而当视频采集设备在拍摄视频时，如果视频采集设备处于运动状态，则可能由于视频采集设备的运动造成采集的视频内像素出现位移，从而影响视频分析过程中视频中目标相对运动预测的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效提高视频中目标相对运动预测准确性的视频中目标相对运动预测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种视频中目标相对运动预测方法。所述方法包括：
获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
在其中一个实施例中，所述光流数据包括相邻图像帧中像素点对应的水平方向运动量以及垂直方向运动量；
所述获取相邻视频采样帧的光流数据包括：
将所述视频采样帧转化为灰度图像；
对相邻视频采样帧进行光流计算处理，获取所述相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
在其中一个实施例中，所述获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度包括：
通过图像梯度算法计算所述视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模；
基于所述光流数据，通过图像梯度算法计算所述视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
在其中一个实施例中，所述根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标之前，还包括：
获取所述视频采样帧中的有效区域；
所述根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标包括：
基于所述有效区域，根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
在其中一个实施例中，所述获取所述视频采样帧中的有效区域包括：
获取所述视频采样帧对应的图像梯度的模，得到模的均值；
根据所述均值对所述视频采样帧进行过滤，获取所述视频采样帧中的有效区域。
在其中一个实施例中，所述根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标之后，还包括：
根据所述视频采样帧中目标的相对运动指标确定所述视频采样帧中目标的运动显著性；
基于所述运动显著性截取所述待分析视频数据中的目标片段。
第二方面，本申请还提供了一种视频中目标相对运动预测装置。所述装置包括：
视频采样模块，用于获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
目标识别模块，用于获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
梯度计算模块，用于获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
运动预测模块，用于根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
上述视频中目标相对运动预测方法、装置、计算机设备、存储介质和计算机程序产品，其中方法通过获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。本申请通过提取待分析视频数据中视频采样帧间的图像梯度与光流梯度，基于光流梯度结合图像梯度来确定目标的相对运动指标，可以有效过滤因为相机运动带来的像素位移，从而提高视频中目标相对运动预测准确性。
附图说明
图1为一个实施例中视频中目标相对运动预测方法的应用环境图；
图2为一个实施例中视频中目标相对运动预测方法的流程示意图；
图3为一个实施例中图2中步骤203的子流程示意图；
图4为一个实施例中获取视频采样帧中的有效区域步骤的流程示意图；
图5为一个实施例中视频中目标相对运动预测装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的视频中目标相对运动预测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102可以向服务器104发送待分析视频数据，已通过服务器104来进行视频内目标相对运动的预测分析。服务器104获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧；获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标；获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度；根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种视频中目标相对运动预测方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤201，获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧。
其中，待分析视频数据是本申请视频中目标相对运动预测分析的基础数据，待分析视频数据具体可以是指通过普通摄像机或全景摄像机中提取出的平面视频。待分析视频数据中包含多个不同的目标，本申请的视频中目标相对运动预测方法具体用于对视频中不同目标之间的相对运动状态进行估计。采样具体是指从待分析视频数据中截取出部分视频帧来进行分析，可以通过采样分段截取代表性的视频帧来进行视频中目标相对运动预测，保证预测准确率的同时提高预测过程的处理效率。
具体地，在进行视频中目标相对运动预测时，需要先获取分析的基础数据，即待分析视频数据。而后基于待分析数据的采样来获取视频采样帧。例如对长度为T秒的视频进行每秒M张图片的采样，得到MT张视频采样帧。
步骤203，获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标。
步骤205，获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度。
步骤207，根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
其中，光流(optical flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用，可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码，或者通过物体表面与边缘进行立体的测量等等。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。所以光流不仅包含了被观察物体的运动信息，而且还包含有关景物三维结构的丰富信息。本申请主要通过光流计算出每个像素的位移大小，图像梯度则是指把图像看成二维离散函数，而图像梯度则是这个二维离散函数的求导，对于光流梯度，具体是指先根据图像建立坐标系，而后在坐标系中分别对水平方向与竖直方向的光流计算梯度。相对运动指标具体包括不同目标之间的相对运动量。
具体地，由于拍摄内容的位移或者图像采集设备的运动，容易造成相邻两帧拍摄画面有所差异。而通过光流计算出每个像素的位移大小，是评估运动状态的最直接有效的信息。因此，可以在获取视频采样帧后，先计算出相邻的视频采样帧间的光流数据，同时还可以通过图像识别技术，识别出视频采样帧中的各个目标。而后获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度。基于梯度来辅助进行视频中目标的相对运动预测。而在计算出图像梯度以及光流梯度后，即可基于图像梯度以及光流梯度，以及图像帧中目标的位置计算出视频采样帧中目标的相对运动指标，完成视频中目标相对运动预测的完整流程。通过计算的光流梯度，可以在相对运动指标过程中，用视频采样帧中的目标的光流减去背景的光流，从而保证相对运动指标计算的准确性。
上述视频中目标相对运动预测方法，方法通过获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧；获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标；获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度；根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。本申请通过提取待分析视频数据中视频采样帧间的图像梯度与光流梯度，基于光流梯度结合图像梯度来确定目标的相对运动指标，可以有效过滤因为相机运动带来的像素位移，从而提高视频中目标相对运动预测准确性。
在一个实施例中，光流数据包括相邻图像帧中像素点对应的水平方向运动量以及垂直方向运动量。如图3所示，步骤203包括：
步骤302，将视频采样帧转化为灰度图像。
步骤304，对相邻视频采样帧进行光流计算处理，获取相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
其中，灰度图像又称灰阶图，通过把白色与黑色之间按对数关系分为若干等级，称为灰度。灰度分为256阶。
具体地，由于光流是对图像表面亮度模式运动的反应。因此可以先将视频采样帧转化为灰度图像，灰度图可以有效反映视频采样帧中像素点的亮度信息。而后对相邻视频采样帧进行光流计算处理。在其中一个实施例中，具体可以通过Horn-Schunck算法，来进行光流的计算，得到相邻视频采样帧中每个像素点的位移，例如对于位置在(i,j)处的像素点，水平方向的运动量表述为Fx(i,j)，垂直方向的运动量表述为Fy(i,j)。Horn-Schunck算法在光流基本约束方程的基础上附加了全局平滑假设，假设在整个图像上光流的变化是光滑的，即物体运动矢量是平滑的或只是缓慢变化的。在另外的实施例中，还可以通过Lucas-Kanade(LK)算法来进行光流的计算。本实施例中，通过将视频采样帧转化为灰度图，从而可以准确地对相邻视频采样帧进行光流计算处理，获取到相邻视频采样帧间像素点的光流数据。
在其中一个实施例中，步骤205包括：
通过图像梯度算法计算视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模。
基于光流数据，通过图像梯度算法计算视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
其中，图像梯度算法适用于计算数字图像梯度的一种算法。在其中一个实施例中，图像梯度算法具体可以通过索贝尔算子来实现，索贝尔算子是计算机视觉领域的一种重要处理方法。主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测。索贝尔算子是把图像中每个像素的上下左右四领域的灰度值加权差，在边缘处达到极值从而检测边缘。索贝尔算子主要用作边缘检测。在技术上，它是一离散性差分算子，用来运算图像亮度函数的梯度之近似值。在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量。索贝尔算子不但产生较好的检测效果，而且对噪声具有平滑抑制作用。在另外的实施例中，图像梯度算法还可以通过罗伯特算子或者拉普拉斯算子等边缘检测算子实现。本申请的方案中，主要通过图像梯度算法来进行图像梯度与光流梯度的计算。
具体地，在计算图像梯度时，可以通过不同的图像梯度算法来进行，可以用sobel算子Sx，计算视频采样帧水平方向梯度Gx，同时使用sobel算子Sy，计算视频采样帧竖直方向梯度Gy。其中，
Figure BDA0003369348820000081
当得到水平方向梯度Gx以及竖直方向梯度Gy之后，即可基于这两个梯度来计算视频采样帧对应图片梯度的模M，例如视频采样帧中点(i，j)的模：
Figure BDA0003369348820000091
而对于光流梯度，可以使用sobel算子Sx，Sy，计算水平方向光流在x，y方向的梯度
Figure BDA0003369348820000092
使用sobel算子Sx，Sy，计算垂直方向光流在x，y方向的梯度
Figure BDA0003369348820000093
同理的视频采样帧中点(i，j)的光流梯度的模：
Figure BDA0003369348820000094
本实施例中，通过获取图像梯度以及光流梯度，可以有效为后续过程中相对运动指标的计算过程进行铺垫，保证后续计算过程的准确性。
在其中一个实施例中，步骤207之前，还包括：获取视频采样帧中的有效区域。步骤207包括：基于的有效区域，根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
具体地，视频采样帧中可能存在部分平滑无特征点的区域，这部分区域内光流一般较不准确，因此这部分区域被称为无效区域。而除这些区域之外的区域则为有效区域。为了确保相对运动指标计算的准确性，需要先识别出视频采样帧中哪部分区域为有效区域，哪部分区域为无效区域。在确定有效区域后，根据有效区域内的根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。本实施例中，通过有效区域的识别，可以有效地提高相对运动指标预测的准确率。
在其中一个实施例中，如图4所示，获取视频采样帧中的有效区域包括：
步骤401，获取视频采样帧对应的图像梯度的模，得到模的均值。
步骤403，根据均值对视频采样帧进行过滤，获取视频采样帧中的有效区域。
具体地，在计算有效区域时，可以基于视频采样帧对应的模的均值来进行计算。先计算出视频采样帧对应的模的均值，而后将其作为识别有效区域与无效区域的阈值，来对视频采样帧进行过滤，确定出视频采样帧中的有效区域。首先计算出视频采样帧模的均值m，使用该值为阈值：
Figure BDA0003369348820000095
其中，H，W分别为视频采样帧的高度和宽度。M(i，j)为视频采样帧中点(i，j)的模。而后根据均值m来计算有效区域的mask，其中：
Figure BDA0003369348820000101
在确定有效区域的mask后，则可根据该有效区域的mask来进行相对运动指标的预测，例如对于一个目标Oi＝[x，y，w，h]表示目标最小外接矩阵的起始位置(x，y)以及宽度w和高度h。其对应的相对运动量为：
Figure BDA0003369348820000102
本实施例中，通过图像梯度的模的均值来进行视频采样帧的过滤，可以有效地过滤掉采样帧中的无效区域，有效地提高相对运动指标预测的准确率。
在其中一个实施例中，步骤207之后，还包括：根据视频采样帧中目标的相对运动指标确定视频采样帧中目标的运动显著性；基于运动显著性获取待分析视频数据中的目标视频片段。
其中，运动显著性主要用于体现被估量的目标与周围环境在运动方向和运动大小上存在的差异程度，差异越大越显著。
具体地，在确定目标的相对运动指标后，即可基于相对运动指标，来确定各个目标所对应的运动显著性。假设每个目标Oi的运动显著性为si，则
Figure BDA0003369348820000103
其中，exp为自然对数。通过上述公式，可以将运动显著性量化，被量化之后，运动显著性的结果si分布在[0，1]之间。而后，根据相邻视频帧间每个视频片段中各个目标最高的运动显著性，确定视频片段的运动显著性。根据截取出的视频片段的运动显著性，来对视频片段进行排列。而后挑选出运动显著性较高的若干个视频片段，作为用于展示精彩视频的目标视频片段。本实施例中，通过目标视频片段的选取可以有效实现待分析视频数据中，目标运动较为显著的精彩视频的截取。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频中目标相对运动预测方法的视频中目标相对运动预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频中目标相对运动预测装置实施例中的具体限定可以参见上文中对于视频中目标相对运动预测方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种视频中目标相对运动预测装置，包括：
视频采样模块502，用于获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧。
目标识别模块504，用于获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标。
梯度计算模块506，用于获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度。
运动预测模块508，用于根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在其中一个实施例中，光流数据包括相邻图像帧中像素点对应的水平方向运动量以及垂直方向运动量；目标识别模块504具体用于：将视频采样帧转化为灰度图像；对相邻视频采样帧进行光流计算处理，获取相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
在其中一个实施例中，梯度计算模块506具体用于：通过图像梯度算法计算视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模；基于光流数据，通过图像梯度算法计算视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
在其中一个实施例中，有效区域识别模块，用于获取视频采样帧中的有效区域；
运动预测模块508具体用于：基于有效区域，根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在其中一个实施例中，有效区域识别模块具体用于：获取视频采样帧对应的图像梯度的模，得到模的均值；根据均值对视频采样帧进行过滤，获取视频采样帧中的有效区域。
在其中一个实施例中，还包括片段截取模块，用于根据视频采样帧中目标的相对运动指标确定视频采样帧中目标的运动显著性；基于运动显著性获取待分析视频数据中的目标视频片段。
上述视频中目标相对运动预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频分析数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频中目标相对运动预测方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标；
获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度；
根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将视频采样帧转化为灰度图像；对相邻视频采样帧进行光流计算处理，获取相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过图像梯度算法计算视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模；基于光流数据，通过图像梯度算法计算视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取视频采样帧中的有效区域；基于的有效区域，根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取视频采样帧对应的图像梯度的模的均值；根据均值对视频采样帧进行过滤，获取视频采样帧中的有效区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据视频采样帧中目标的相对运动指标确定视频采样帧中目标的运动显著性；基于运动显著性获取待分析视频数据中的目标视频片段。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标；
获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度；
根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将视频采样帧转化为灰度图像；对相邻视频采样帧进行光流计算处理，获取相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过图像梯度算法计算视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模；基于光流数据，通过图像梯度算法计算视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
在一个实施例中，处理器执行计算机程序时还实现以下步骤获取视频采样帧中的有效区域；基于的有效区域，根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取视频采样帧对应的图像梯度的模的均值；根据均值对视频采样帧进行过滤，获取视频采样帧中的有效区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据视频采样帧中目标的相对运动指标确定视频采样帧中目标的运动显著性；基于运动显著性获取待分析视频数据中的目标视频片段。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待分析视频数据，对待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别视频采样帧中的目标；
获取视频采样帧对应的图像梯度，并基于光流数据，获取视频采样帧对应的光流梯度；
根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将视频采样帧转化为灰度图像；对相邻视频采样帧进行光流计算处理，获取相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过图像梯度算法计算视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模；基于光流数据，通过图像梯度算法计算视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
在一个实施例中，处理器执行计算机程序时还实现以下步骤获取视频采样帧中的有效区域；基于的有效区域，根据图像梯度以及光流梯度，确定视频采样帧中目标的相对运动指标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取视频采样帧对应的图像梯度的模的均值；根据均值对视频采样帧进行过滤，获取视频采样帧中的有效区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据视频采样帧中目标的相对运动指标确定视频采样帧中目标的运动显著性；基于运动显著性获取待分析视频数据中的目标视频片段。需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频中目标相对运动预测方法，其特征在于，所述方法包括：
获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
2.根据权利要求1所述的方法，其特征在于，所述光流数据包括相邻图像帧中像素点对应的水平方向运动量以及垂直方向运动量；
所述获取相邻视频采样帧的光流数据包括：
将所述视频采样帧转化为灰度图像；
对相邻视频采样帧进行光流计算处理，获取所述相邻视频采样帧间像素点对应的水平方向运动量以及垂直方向运动量。
3.根据权利要求1所述的方法，其特征在于，所述获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度包括：
通过图像梯度算法计算所述视频采样帧的水平方向梯度、垂直方向梯度以及梯度的模；
基于所述光流数据，通过图像梯度算法计算所述视频采样帧的水平方向光流梯度、垂直方向光流梯度以及光流梯度的模。
4.根据权利要求1所述的方法，其特征在于，所述根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标之前，还包括：
获取所述视频采样帧中的有效区域；
所述根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标包括：
基于所述有效区域，根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
5.根据权利要求4所述的方法，其特征在于，所述获取所述视频采样帧中的有效区域包括：
获取所述视频采样帧对应的图像梯度的模，得到所述模的均值；
根据所述均值对所述视频采样帧进行过滤，获取所述视频采样帧中的有效区域。
6.根据权利要求1所述的方法，其特征在于，所述根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标之后，还包括：
根据所述视频采样帧中目标的相对运动指标确定所述视频采样帧中目标的运动显著性；
基于所述运动显著性截取所述待分析视频数据中的目标片段。
7.一种视频中目标相对运动预测装置，其特征在于，所述装置包括：
视频采样模块，用于获取待分析视频数据，对所述待分析视频数据进行采样，获取视频采样帧；
目标识别模块，用于获取相邻视频采样帧的光流数据，并识别所述视频采样帧中的目标；
梯度计算模块，用于获取所述视频采样帧对应的图像梯度，并基于所述光流数据，获取所述视频采样帧对应的光流梯度；
运动预测模块，用于根据所述图像梯度以及所述光流梯度，确定所述视频采样帧中目标的相对运动指标。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111394225.6A 2021-11-23 2021-11-23 视频中目标相对运动预测方法、装置和计算机设备 Pending CN116156075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111394225.6A CN116156075A (zh) 2021-11-23 2021-11-23 视频中目标相对运动预测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111394225.6A CN116156075A (zh) 2021-11-23 2021-11-23 视频中目标相对运动预测方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN116156075A true CN116156075A (zh) 2023-05-23

Family

ID=86337639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111394225.6A Pending CN116156075A (zh) 2021-11-23 2021-11-23 视频中目标相对运动预测方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116156075A (zh)

Similar Documents

Publication Publication Date Title
US9536147B2 (en) Optical flow tracking method and apparatus
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
KR20150122715A (ko) 이미지 시퀀스에서 객체 오클루전의 판정
US8396285B2 (en) Estimating vanishing points in images
US20110091074A1 (en) Moving object detection method and moving object detection apparatus
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
US20170316570A1 (en) Image processing apparatus and method
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
CN111784658B (zh) 一种用于人脸图像的质量分析方法和系统
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN108647605B (zh) 一种结合全局颜色与局部结构特征的人眼凝视点提取方法
Hu et al. Feature-based real-time video stabilization for vehicle video recorder system
CN111583329B (zh) 增强现实眼镜显示方法、装置、电子设备和存储介质
US10223803B2 (en) Method for characterising a scene by computing 3D orientation
CN117408886A (zh) 气体图像增强方法、装置、电子装置和存储介质
CN111259702A (zh) 一种用户兴趣的估计方法及装置
CN116156075A (zh) 视频中目标相对运动预测方法、装置和计算机设备
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
Kröhnert Automatic waterline extraction from smartphone images
CN115546027A (zh) 图像缝合线确定方法、装置以及存储介质
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
CN113592801A (zh) 视频图像的条纹干扰检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination