CN111967403B - 视频移动区域确定方法、装置及电子设备 - Google Patents

视频移动区域确定方法、装置及电子设备 Download PDF

Info

Publication number
CN111967403B
CN111967403B CN202010839787.6A CN202010839787A CN111967403B CN 111967403 B CN111967403 B CN 111967403B CN 202010839787 A CN202010839787 A CN 202010839787A CN 111967403 B CN111967403 B CN 111967403B
Authority
CN
China
Prior art keywords
target
frame image
pixel
pixels
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010839787.6A
Other languages
English (en)
Other versions
CN111967403A (zh
Inventor
李马丁
章佳杰
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010839787.6A priority Critical patent/CN111967403B/zh
Publication of CN111967403A publication Critical patent/CN111967403A/zh
Application granted granted Critical
Publication of CN111967403B publication Critical patent/CN111967403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本公开关于一种视频移动区域确定方法、装置及电子设备，该方法包括：获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数；根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素；根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域。本公开能提高确定视频移动区域时的准确率，进而使得对视频中移动对象的检测能够更加准确。

Description

视频移动区域确定方法、装置及电子设备
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频移动区域检测方法、装置及电子设备。
背景技术
线上短视频中大多存在人或者物体的运动，而视频中正在移动的对象可以成为判断视频中某些片段或者区域是否重要的因素，因此，对视频中移动对象的检测至关重要。然而，由于线上视频数量非常多，相关技术中对视频中移动对象的检测不够准确。
发明内容
本公开提供一种一种视频移动区域检测方法、装置及电子设备，以至少解决相关技术中，对视频中移动对象的检测不够准确的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频移动区域检测方法，包括：
获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数；
根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素；
根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域。
根据本公开实施例的第二方面，提供一种视频移动区域检测装置，包括：
第一获取模块，被配置为执行获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数；
第一确定模块，被配置为执行根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素；
第二确定模块，被配置为执行根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的视频移动区域检测方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面所述的视频移动区域检测方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括：可执行指令，当所述可执行指令在计算机上运行时，使得计算机能够执行如第一方面所述的广告素材确定方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取第t+1帧图像中的每个像素的目标移动向量，并根据第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个相对于拍摄视频的摄像头存在移动的像素，并根据这N个相对于拍摄视频的摄像头存在移动的像素的显示区域，确定目标移动区域，能够实现根据像素相对于摄像头的移动量来确定移动区域，而非根据像素的绝对移动量确定移动区域，从而能够减小摄像头的移动对视频移动区域的确定所带来的影响，因此，能够提高确定视频移动区域时的准确率，进而使得对视频中移动对象的检测能够更加准确，且采用这种检测方法也能够提高对视频中移动对象的检测速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频移动区域检测方法的流程图。
图2是根据一示例性实施例示出的一种视频移动区域检测装置的框图。
图3是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频移动区域检测方法的流程图，该视频移动区域检测方法可以用于电子设备中。
此处，电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本实施例不作具体限定。
如图1所示，该视频移动区域检测方法包括以下步骤。
在步骤S11中，获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数。
本实施例中，上述第t+1帧图像中的每个像素的目标移动向量可以理解为：第t+1帧图像中的每个像素相对于第t帧图像中与其对应的像素所移动的方向和距离。
上述第t+1帧图像中的每个像素的目标移动向量可以通过一个或多个算法模型计算获得。此处，算法模型可以是稠密动作场(motion field)提取算法模型或光流算法模型，光流算法模型具体可以是多尺度光流算法模型。
在步骤S12中，根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素。
本实施例中，上述相对于拍摄所述视频的摄像头存在移动的像素具体可以是：相对于拍摄所述视频的摄像头的移动距离大于0的像素。
上述N个目标像素可以是所述第t+1帧图像中的部分目标像素，也可以是所述第t+1帧图像中的全部目标像素，也就是说，所述第t+1帧图像中的相对于拍摄所述视频的摄像头存在移动的像素的数量可以仅为N个，也可以大于N个。
实际应用时，上述步骤S12具体可以包括：
根据所述第t+1帧图像中的每个像素的目标移动向量，获取所述第t+1帧图像对应的摄像头的移动向量，所述摄像头的移动向量用于指示：在所述第t帧图像至所述第t+1帧图像拍摄时间内，拍摄所述视频的摄像头的移动方向和移动距离；
根据所述第t+1帧图像中的每个像素的目标移动向量与所述摄像头的移动向量，获取所述第t+1帧图像中的每个像素相对于所述摄像头的移动距离；
确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素。
其中，上述根据所述第t+1帧图像中的每个像素的目标移动向量，获取所述第t+1帧图像对应的摄像头的移动向量可以是：根据所述第t+1帧图像中的每个像素的目标移动向量和随机抽样一致性算法(Random Sample Consensus，RANSAC)模型，获取所述第t+1帧图像对应的摄像头的移动向量。
当所述第t+1帧图像对应的摄像头的移动向量，是根据所述第t+1帧图像中的每个像素的目标移动向量和RANSAC模型获取时，具体的获取过程可以如下：首先在第t+1帧图像中随机选择几个像素设定为内群，随后根据内群中的每个像素的目标移动向量计算拟合该内群的摄像头移动模型，再将其他未选到的像素的目标移动向量代入到刚刚建立的摄像头移动模型中，计算是否是内群，接着重复上述步骤，选出拟合损失最低的摄像头移动矩阵，以得到所述第t+1帧图像对应的摄像头的移动向量。
上述根据所述第t+1帧图像中的每个像素的目标移动向量与所述摄像头的移动向量，获取所述第t+1帧图像中的每个像素相对于所述摄像头的移动距离，具体可以是：获取所述第t+1帧图像中的每个像素的目标移动向量与所述摄像头的移动向量的差值的绝对值，得到所述第t+1帧图像中的每个像素相对于所述摄像头的移动距离。
在步骤S13中，根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域。
本实施例中，上述根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域，可以是将所述第t+1帧图像中的所述N个目标像素的显示区域的并集，确定为目标移动区域；也可以是在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的目标对象的显示区域的至少部分的情况下，确定包括所述目标对象的显示区域在内的目标移动区域。此处，目标对象可以动物或人等，所述N个目标像素的显示区域的并集可以理解为一个显示区域集合，该显示区域集合包括所述N个目标像素中的每一个像素的显示区域。
实际应用中，上述第t+1帧图像中的所述N个目标像素可以利用自适应的离群点检测方法筛选出来，具体来说，可以根据第t+1帧图像中的每个像素的目标移动距离获得移动距离图像，然后利用孤立森林算法来求取移动距离图像中的离群点，以得到第t+1帧图像中的所有的目标像素，最后从所有的目标像素中确定N个目标像素。此处，孤立森林算法的大致思想是：假设用一个随机超平面来切分数据空间(data space),切一次可以生成两个子空间(想象拿刀切蛋糕一分为二)，之后再继续用一个随机超平面来切割每个子空间，循环下去，直到每个子空间里面只有一个数据点为止；直观上来讲，可以发现那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很容易很早的就停到一个子空间了。
本实施例中，通过获取第t+1帧图像中的每个像素的目标移动向量，并根据第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个相对于拍摄视频的摄像头存在移动的像素，并根据这N个相对于拍摄视频的摄像头存在移动的像素的显示区域，确定目标移动区域，能够实现根据像素相对于摄像头的移动量来确定移动区域，而非根据像素的绝对移动量确定移动区域，从而能够减小摄像头的移动对视频移动区域的确定所带来的影响，因此，能够提高确定视频移动区域时的准确率，进而使得对视频中移动对象的检测能够更加准确，以及能够更好地应用于摄像头存在抖动或摄像头运动轨迹无规律等应用场景，且采用这种检测方法也能够提高对视频中移动对象的检测速度。
可选的，所述获取视频中的第t+1帧图像中的每个像素的目标移动向量，包括：
通过第一模型获取视频中的第t+1帧图像中的每个像素的第一移动向量，所述第一移动向量用于指示：所述像素相对于第t帧图像中与所述像素对应的像素的移动方向和移动距离；
确定所述第t+1帧图像中的所有的第一像素和所有的第二像素，所述第一像素为第一移动向量与预设向量的差值的绝对值大于或等于第一预设阈值的像素，所述第二像素为第一移动向量与所述预设向量的差值的绝对值小于所述第一预设阈值的像素；
通过第二模型获取每个所述第一像素的第二移动向量，所述第二模型与所述第一模型为不同的模型，所述第二移动向量用于指示：所述第一像素相对于第t帧图像中与所述第一像素对应的像素的移动方向和移动距离；
将每个所述第二像素的第一移动向量分别确定为每个所述第二像素的目标移动向量，且将每个所述第一像素的第二移动向量分别确定为每个所述第一像素的目标移动向量。
本实施例中，上述第一模型可以如下：
其中，u表示待求的第一移动向量，x表示像素在第t帧图像中位置，x+u’表示该像素在第t+1帧图像中的位置。具体的，当第一模型为该模型时，可以使用逆向卢卡斯-卡纳德(Lukas-Kanade，LK)方法求解该模型的最优化方程，以求得第一移动向量u。
上述预设向量以及上述第一预设阈值均可以根据需要设定。当某个像素的第一移动向量与预设向量的差值的绝对值大于或等于第一预设阈值时，可以代表该像素的第一移动向量与该像素的实际移动向量偏离较大，即可以代表该像素的第一移动向量的准确度较低；而当某个像素的第一移动向量与预设向量的差值的绝对值小于第一预设阈值时，可以代表该像素的第一移动向量与该像素的实际移动向量比较接近，即可以代表该像素的第一移动向量的准确度较高。
上述第二模型具体可以用于根据像素的图像灰度、梯度以及光滑性参数计算像素的第二移动向量，也就是说，第二模型的输出量可以是第二移动向量，而第二模型的输入量可以包括图像灰度、梯度以及光滑性参数。
由于通过第一模型获取视频中的第t+1帧图像中的每个像素的第一移动向量后，会将通过第一模型获取的第一移动向量中明显偏离正确答案的第一移动向量剔除，并会通过第二模型重新计算这些被剔除的第一移动向量所对应的每个像素的第二移动向量，然后将未被剔除的第一移动向量和重新计算获得的第二移动向量分别作为其对应像素的目标移动向量，从而能够提高目标移动向量的准确度。
可选的，所述目标像素为相对于所述摄像头存在移动且相对于所述摄像头的移动距离大于第二预设阈值的像素，所述第二预设阈值大于0。
本实施例中，上述相对于所述摄像头存在移动可以指：相对于所述摄像头的移动距离大于0。
鉴于相对于摄像头移动距离较小的部分是背景物体的可能性通常比较大，因而通过将目标像素设定为相对于所述摄像头存在移动且相对于所述摄像头的移动距离大于第二预设阈值的像素，第二预设阈值大于0，能够使得相对于摄像头移动距离较小的像素不会被确定为目标像素，从而能够减少所确定的目标移动区域中所包含的背景物体等冗余信息，进而能够便于得到和追踪视频中除背景物体外的移动物体的位置。
可选的，在所述根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域之前，所述视频移动区域检测方法还包括：
在所述第t+1帧图像中检测目标物体；或者，在所述第t帧图像中检测出目标物体的情况下，在所述第t+1帧图像中跟踪所述目标物体；
所述根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域，包括：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
本实施例中，上述目标物体可以是预先设置的物体集合中的任一元素，具体的，上述目标物体可以是人或动物等。
为了找出第t+1帧图像中的目标物体，可以直接在第t+1帧图像中检测目标物体，即直接对第t+1帧图像进行检测；也可以根据第t帧图像中检测出的目标物体，在第t+1帧图像中进行跟踪。采用前一种方式时，结果更加准确；采用后一种方式时，效率更高。
当在所述第t+1帧图像中检测目标物体时，所述第t+1帧图像可以称为检测帧；当在所述第t帧图像中检测出目标物体的情况下，在所述第t+1帧图像中跟踪所述目标物体时，所述第t+1帧图像可以称为跟踪帧，而所述第t帧图像则可以称为跟踪帧。
上述在所述第t+1帧图像中检测目标物体可以是：在所述第t+1帧图像上应用物体检测算法模型，以检测出所述第t+1帧图像中的目标物体。此处，物体检测算法模型可以是基于深度学习的YOLO模型；基于深度学习的YOLO模型将整张图像作为网络的输入，并在输出层通过回归物体包围盒的位置和其类别信息，具体来说，首先将图像分成若干网格，如果某个物体的中心落在网格中，则该网格就负责预测这个物体，每个网格要预测B个包围盒，而每个包围盒除了要回归自身位置之外，还需要预测物体分类置信度以及检测置信度。
上述在所述第t+1帧图像中跟踪所述目标物体可以是：通过追踪器，在所述第t+1帧图像中跟踪所述目标物体。此处，追踪器可以是基于相关滤波的追踪器，这种基于相关滤波的追踪器可以通过将空域信息转换至频域，迭代求解相关滤波核，从而得到下一帧中最接近检测目标的物体位置。
上述确定包括所述目标物体的显示区域在内的目标移动区域，可以是仅将所述目标物体的显示区域确定为目标移动区域，也可以是将所述第t+1帧图像中的所有的目标像素的显示区域以及所述目标物体的显示区域的并集确定为目标移动区域。
本实施方式，通过在所述第t+1帧图像中检测目标物体，或者，在所述第t帧图像中检测出目标物体的情况下，在所述第t+1帧图像中跟踪所述目标物体，并在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域，能够使确定的目标移动区域包括移动的目标物体的显示区域，从而能够便于得到和追踪视频中的移动物体的位置，这样，能够更好地适用于某些需要确定移动物体的场景，如根据移动物体确定视频中的精彩片段的应用场景。
可选的，在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域，包括：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的目标部分，且所述目标部分与所述目标物体的显示区域的比值大于或等于第三预设阈值的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
本实施例中，上述目标部分与所述目标物体的显示区域的比值可以指：目标部分的面积除以目标物体的整个显示区域的面积的商。上述第三预设阈值可以根据需要具体设定，如第三预设阈值可以设定为50％、60％或80％。
鉴于当所述N个目标像素的显示区域的并集仅包括目标物体的部分显示区域，且该部分显示区域占目标物体的全部显示区域的比例较小时，目标物体是背景的可能性比较大，因而通过在目标部分与所述目标物体的显示区域的比值大于或等于第三预设阈值的情况下，确定包括所述目标物体的显示区域在内的目标移动区域，从而能够减少所确定的目标移动区域中所包含的背景物体等冗余信息，进而能够便于得到和追踪视频中除背景物体外的移动物体的位置。
可选的，所述在所述第t+1帧图像中检测目标物体，包括：
获取所述第t+1帧图像中的第一物体的物体置信度，所述物体置信度用于指示所述第t+1帧图像中的第一物体为物体的可能性大小；
在所述物体置信度大于第四预设阈值的情况下，或者，在所述物体置信度小于或等于所述第四预设阈值且大于第五预设阈值，且所述第一物体为在所述第t帧图像中跟踪的物体的情况下，将所述第一物体确定为目标物体。
本实施例中，当第一物体的物体置信度大于第四预设阈值时，可以直接将第一物体确定为目标物体；而当第一物体的物体置信度小于或等于第四预设阈值且大于第五预设阈值时，且第一物体为第t帧图像中跟踪的物体时，也可以将第一物体确定为目标物体。
通过获取所述第t+1帧图像中的第一物体的物体置信度，在所述物体置信度大于第四预设阈值的情况下，或者，在所述物体置信度小于或等于所述第四预设阈值且大于第五预设阈值，且所述第一物体为在所述第t帧图像中跟踪的物体的情况下，将所述第一物体确定为目标物体，从而能够降低目标物体漏检和错检的几率。
图2是根据一示例性实施例示出的一种视频移动区域检测装置框图。参照图2，该视频移动区域检测装置200包括第一获取模块201、第一确定模块202和第二确定模块203。
该第一获取模块201，被配置为执行获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数；
该第一确定模块202，被配置为执行根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素；
该第二确定模块203，被配置为执行根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域。
可选的，所述第一获取模块201包括：
第一获取单元，被配置为执行通过第一模型获取视频中的第t+1帧图像中的每个像素的第一移动向量，所述第一移动向量用于指示：所述像素相对于第t帧图像中与所述像素对应的像素的移动方向和移动距离；
第一确定单元，被配置为执行确定所述第t+1帧图像中的所有的第一像素和所有的第二像素，所述第一像素为第一移动向量与预设向量的差值的绝对值大于或等于第一预设阈值的像素，所述第二像素为第一移动向量与所述预设向量的差值的绝对值小于所述第一预设阈值的像素；
第二获取单元，被配置为执行通过第二模型获取每个所述第一像素的第二移动向量，所述第二模型与所述第一模型为不同的模型，所述第二移动向量用于指示：所述第一像素相对于第t帧图像中与所述第一像素对应的像素的移动方向和移动距离；
第二确定单元，被配置为执行将每个所述第二像素的第一移动向量分别确定为每个所述第二像素的目标移动向量，且将每个所述第一像素的第二移动向量分别确定为每个所述第一像素的目标移动向量。
可选的，所述目标像素为相对于所述摄像头存在移动且相对于所述摄像头的移动距离大于第二预设阈值的像素，所述第二预设阈值大于0。
可选的，所述视频移动区域检测装置200还包括：
检测跟踪模块，被配置为执行在所述第t+1帧图像中检测目标物体；或者，在所述第t帧图像中检测出目标物体的情况下，在所述第t+1帧图像中跟踪所述目标物体；
所述第二确定模块203，被配置为执行：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
可选的，所述第二确定模块203，被配置为执行：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的目标部分，且所述目标部分与所述目标物体的显示区域的比值大于或等于第三预设阈值的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
可选的，所述检测跟踪模块包括：
第三获取单元，被配置为执行获取所述第t+1帧图像中的第一物体的物体置信度，所述物体置信度用于指示所述第t+1帧图像中的第一物体为物体的可能性大小；
第三确定单元，被配置为执行在所述物体置信度大于第四预设阈值的情况下，或者，在所述物体置信度小于或等于所述第四预设阈值且大于第五预设阈值，且所述第一物体为在所述第t帧图像中跟踪的物体的情况下，将所述第一物体确定为目标物体。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本实施例中的视频移动区域检测装置200，能够实现根据像素相对于摄像头的移动量来确定移动区域，而非根据像素的绝对移动量确定移动区域，从而能够减小摄像头的移动对视频移动区域的确定所带来的影响，因此，能够提高确定视频移动区域时的准确率，进而能够使对视频中移动对象的检测更加准确，以及能够更好地应用于摄像头存在抖动或摄像头运动轨迹无规律等应用场景，且采用这种检测方法也能够提高对视频中移动对象的检测速度。
图3是根据一示例性实施例示出的一种用于电子设备300的框图。如图3所示，所述电子设备300包括处理器301和用于存储所述处理器301可执行指令的存储器302。其中，所述处理器被配置为执行所述指令，以实现图1对应的方法实施例中所述的视频移动区域检测方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器302，上述指令可由电子设备300的处理器301执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种视频移动区域检测方法，其特征在于，包括：
获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数；
根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素；
根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域；
所述获取视频中的第t+1帧图像中的每个像素的目标移动向量，包括：
通过第一模型获取视频中的第t+1帧图像中的每个像素的第一移动向量，所述第一移动向量用于指示：所述像素相对于第t帧图像中与所述像素对应的像素的移动方向和移动距离；
确定所述第t+1帧图像中的所有的第一像素和所有的第二像素，所述第一像素为第一移动向量与预设向量的差值的绝对值大于或等于第一预设阈值的像素，所述第二像素为第一移动向量与所述预设向量的差值的绝对值小于所述第一预设阈值的像素；
通过第二模型获取每个所述第一像素的第二移动向量，所述第二模型与所述第一模型为不同的模型，所述第二移动向量用于指示：所述第一像素相对于第t帧图像中与所述第一像素对应的像素的移动方向和移动距离；
将每个所述第二像素的第一移动向量分别确定为每个所述第二像素的目标移动向量，且将每个所述第一像素的第二移动向量分别确定为每个所述第一像素的目标移动向量；
其中，所述第一模型为，u表示待求的第一移动向量，x表示像素在第t帧图像中位置，x+u′表示该像素在第t+1帧图像中的位置；
所述第二模型用于根据像素的图像灰度、梯度以及光滑性参数计算像素的第二移动向量。
2.根据权利要求1所述的视频移动区域检测方法，其特征在于，所述目标像素为相对于所述摄像头存在移动且相对于所述摄像头的移动距离大于第二预设阈值的像素，所述第二预设阈值大于0。
3.根据权利要求1所述的视频移动区域检测方法，其特征在于，在所述根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域之前，所述视频移动区域检测方法还包括：
在所述第t+1帧图像中检测目标物体；或者，在所述第t帧图像中检测出目标物体的情况下，在所述第t+1帧图像中跟踪所述目标物体；
所述根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域，包括：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
4.根据权利要求3所述的视频移动区域检测方法，其特征在于，在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域，包括：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的目标部分，且所述目标部分与所述目标物体的显示区域的比值大于或等于第三预设阈值的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
5.根据权利要求3所述的视频移动区域检测方法，其特征在于，所述在所述第t+1帧图像中检测目标物体，包括：
获取所述第t+1帧图像中的第一物体的物体置信度，所述物体置信度用于指示所述第t+1帧图像中的第一物体为物体的可能性大小；
在所述物体置信度大于第四预设阈值的情况下，或者，在所述物体置信度小于或等于所述第四预设阈值且大于第五预设阈值，且所述第一物体为在所述第t帧图像中跟踪的物体的情况下，将所述第一物体确定为目标物体。
6.一种视频移动区域检测装置，其特征在于，包括：
第一获取模块，被配置为执行获取视频中的第t+1帧图像中的每个像素的目标移动向量，每个像素的目标移动向量用于指示：所述像素相对于所述视频中的第t帧图像中与所述像素对应的像素的移动方向和移动距离，所述t为正整数；
第一确定模块，被配置为执行根据所述第t+1帧图像中的每个像素的目标移动向量，确定所述第t+1帧图像中的N个目标像素，所述N为正整数，所述目标像素为相对于拍摄所述视频的摄像头存在移动的像素；
第二确定模块，被配置为执行根据所述第t+1帧图像中的所述N个目标像素的显示区域，确定目标移动区域；
所述第一获取模块包括：
第一获取单元，被配置为执行通过第一模型获取视频中的第t+1帧图像中的每个像素的第一移动向量，所述第一移动向量用于指示：所述像素相对于第t帧图像中与所述像素对应的像素的移动方向和移动距离；
第一确定单元，被配置为执行确定所述第t+1帧图像中的所有的第一像素和所有的第二像素，所述第一像素为第一移动向量与预设向量的差值的绝对值大于或等于第一预设阈值的像素，所述第二像素为第一移动向量与所述预设向量的差值的绝对值小于所述第一预设阈值的像素；
第二获取单元，被配置为执行通过第二模型获取每个所述第一像素的第二移动向量，所述第二模型与所述第一模型为不同的模型，所述第二移动向量用于指示：所述第一像素相对于第t帧图像中与所述第一像素对应的像素的移动方向和移动距离；
第二确定单元，被配置为执行将每个所述第二像素的第一移动向量分别确定为每个所述第二像素的目标移动向量，且将每个所述第一像素的第二移动向量分别确定为每个所述第一像素的目标移动向量；
其中，所述第一模型为，u表示待求的第一移动向量，x表示像素在第t帧图像中位置，x+u′表示该像素在第t+1帧图像中的位置；
所述第二模型用于根据像素的图像灰度、梯度以及光滑性参数计算像素的第二移动向量。
7.根据权利要求6所述的视频移动区域检测装置，其特征在于，所述目标像素为相对于所述摄像头存在移动且相对于所述摄像头的移动距离大于第二预设阈值的像素，所述第二预设阈值大于0。
8.根据权利要求6所述的视频移动区域检测装置，其特征在于，所述视频移动区域检测装置还包括：
检测跟踪模块，被配置为执行在所述第t+1帧图像中检测目标物体；或者，在所述第t帧图像中检测出目标物体的情况下，在所述第t+1帧图像中跟踪所述目标物体；
所述第二确定模块，被配置为执行：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的至少部分的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
9.根据权利要求8所述的视频移动区域检测装置，其特征在于，所述第二确定模块，被配置为执行：
在所述第t+1帧图像中的所述N个目标像素的显示区域的并集包括所述第t+1帧图像中的所述目标物体的显示区域的目标部分，且所述目标部分与所述目标物体的显示区域的比值大于或等于第三预设阈值的情况下，确定包括所述目标物体的显示区域在内的目标移动区域。
10.根据权利要求8所述的视频移动区域检测装置，其特征在于，所述检测跟踪模块包括：
第三获取单元，被配置为执行获取所述第t+1帧图像中的第一物体的物体置信度，所述物体置信度用于指示所述第t+1帧图像中的第一物体为物体的可能性大小；
第三确定单元，被配置为执行在所述物体置信度大于第四预设阈值的情况下，或者，在所述物体置信度小于或等于所述第四预设阈值且大于第五预设阈值，且所述第一物体为在所述第t帧图像中跟踪的物体的情况下，将所述第一物体确定为目标物体。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的视频移动区域检测方法。
12.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的视频移动区域检测方法。
CN202010839787.6A 2020-08-19 2020-08-19 视频移动区域确定方法、装置及电子设备 Active CN111967403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010839787.6A CN111967403B (zh) 2020-08-19 2020-08-19 视频移动区域确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010839787.6A CN111967403B (zh) 2020-08-19 2020-08-19 视频移动区域确定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111967403A CN111967403A (zh) 2020-11-20
CN111967403B true CN111967403B (zh) 2024-03-12

Family

ID=73388747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010839787.6A Active CN111967403B (zh) 2020-08-19 2020-08-19 视频移动区域确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111967403B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770015B (zh) * 2020-12-29 2022-09-13 紫光展锐(重庆)科技有限公司 一种数据处理方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268900A (zh) * 2014-09-26 2015-01-07 中安消技术有限公司 一种运动目标检测方法及装置
CN108876810A (zh) * 2018-06-11 2018-11-23 江苏东大金智信息系统有限公司 视频摘要中利用图割算法进行运动目标检测的方法
WO2019237516A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111145151A (zh) * 2019-12-23 2020-05-12 维沃移动通信有限公司 一种运动区域确定方法及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268900A (zh) * 2014-09-26 2015-01-07 中安消技术有限公司 一种运动目标检测方法及装置
CN108876810A (zh) * 2018-06-11 2018-11-23 江苏东大金智信息系统有限公司 视频摘要中利用图割算法进行运动目标检测的方法
WO2019237516A1 (zh) * 2018-06-11 2019-12-19 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111145151A (zh) * 2019-12-23 2020-05-12 维沃移动通信有限公司 一种运动区域确定方法及电子设备

Also Published As

Publication number Publication date
CN111967403A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN107256225B (zh) 一种基于视频分析的热度图生成方法及装置
Cheng et al. Efficient salient region detection with soft image abstraction
CN107358149B (zh) 一种人体姿态检测方法和装置
US9846821B2 (en) Fast object detection method based on deformable part model (DPM)
Shafait et al. Fish identification from videos captured in uncontrolled underwater environments
US8462987B2 (en) Detecting multiple moving objects in crowded environments with coherent motion regions
US11636610B2 (en) Determining multiple camera positions from multiple videos
US7822275B2 (en) Method for detecting water regions in video
US20140169639A1 (en) Image Detection Method and Device
US10586115B2 (en) Information processing device, information processing method, and computer program product
CN110660102B (zh) 基于人工智能的说话人识别方法及装置、系统
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
CN112989962B (zh) 轨迹生成方法、装置、电子设备及存储介质
US20170091573A1 (en) Visual attention detector and visual attention detection method
Wang et al. Clutter-adaptive infrared small target detection in infrared maritime scenarios
CN107578424B (zh) 一种基于时空分类的动态背景差分检测方法、系统及装置
CN111967403B (zh) 视频移动区域确定方法、装置及电子设备
Luo et al. Saliency density maximization for object detection and localization
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
KR20190059083A (ko) 영상 분할 기반의 해양 상황 인식 장치 및 그 방법
US20220215650A1 (en) Information processing device, information processing method, and program recording medium
Nugroho et al. Comparison of deep learning-based object classification methods for detecting tomato ripeness
CN116343078A (zh) 基于视频sar的目标跟踪方法、系统及设备
CN114782494A (zh) 一种动态目标分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant