CN112364835A - 视频信息取帧方法、装置、设备及存储介质 - Google Patents

视频信息取帧方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112364835A
CN112364835A CN202011425514.3A CN202011425514A CN112364835A CN 112364835 A CN112364835 A CN 112364835A CN 202011425514 A CN202011425514 A CN 202011425514A CN 112364835 A CN112364835 A CN 112364835A
Authority
CN
China
Prior art keywords
frame
processed
sample
matching
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011425514.3A
Other languages
English (en)
Other versions
CN112364835B (zh
Inventor
曾山
康镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Polytechnic University
Original Assignee
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Polytechnic University filed Critical Wuhan Polytechnic University
Priority to CN202011425514.3A priority Critical patent/CN112364835B/zh
Publication of CN112364835A publication Critical patent/CN112364835A/zh
Application granted granted Critical
Publication of CN112364835B publication Critical patent/CN112364835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于多媒体技术领域,公开了一种视频信息取帧方法、装置、设备及存储介质。该方法包括:获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。由于本发明是通过先处理样本帧,根据样本帧确定取帧间隔,获得待处理帧,根据预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧的方式,相对于现有的直接通过计算两帧对应的像素差的模板匹配法获取目标帧的方式,本发明上述方式能够减少取帧时的计算量并可以更加准确、高效的获得目标帧。

Description

视频信息取帧方法、装置、设备及存储介质
技术领域
本发明涉及多媒体技术领域,尤其涉及一种视频信息取帧方法、装置、设备及存储介质。
背景技术
随着多媒体技术及计算机网络技术的迅速发展,多媒体已广泛地应用于多个领域,如公共信息业、广告、教育、医学、商业及娱乐等。然而,如何从视频中将需要的信息无损无冗余的提取出来,是当今计算机领域中一个重要的问题。传统的取帧方法都有各自的缺点,如通过计算两帧对应的像素差的模板匹配法,它对噪声和物体运动十分敏感,缺少鲁棒性。而对此不太敏感的直方图算法,也因丢失了颜色的位置信息,可能出现两幅图完全不一样但直方图却相同的情况,算法准确性差。基于边缘的方法虽然不会出现上述两种方法中的问题,但也会因图像分辨率过高,导致计算量较大,算法的效率低下,而且上述方法在提取模板中有不完整目标物时,效果也会很差,同时也无法解决提取帧中有相同目标物的问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种视频信息取帧方法、装置、设备及存储介质,旨在解决现有技术提取模板中目标物时计算量大、缺少鲁棒性的技术问题。
为实现上述目的,本发明提供了一种视频信息取帧方法,所述方法包括以下步骤:
获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;
根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;
通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。
优选地,所述根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧的步骤,包括:
调低所述样本帧的分辨率,获得调整后的样本帧,并将所述调整后的样本帧进行二值化,获得二值化后的样本帧;
剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧;
根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域;
对所述匹配模板和待匹配区域进行匹配,获得匹配结果;
根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧。
优选地,所述通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧的步骤,包括:
从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域;
根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配,获取匹配结果;
根据所述匹配结果获取所述待处理帧匹配模板和所述待处理帧待匹配区域的相似区域;
将所述待处理帧中所述相似区域上的第一预设方位的目标图像元素剔除,获取所述待处理帧对应的目标帧;
将所述下一帧中所述相似区域上的第二预设方位的目标图像元素剔除,获取所述下一帧对应的目标帧。
优选地,所述从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域的步骤,包括:
从所述待处理帧中选取第一预设宽度的区域图像作为待处理帧匹配模板;
从所述待处理帧相邻的下一帧中选取第二预设宽度的区域图像作为待处理帧待匹配区域,其中所述第二预设宽度大于所述第一预设宽度。
优选地,所述剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧的步骤,包括:
将所述二值化后的样本帧中像素值大于第一预设像素值的像素值作为目标图像元素;
根据所述目标图像元素建立初始图像模板;
将所述初始图像模板与所述二值化后的样本帧做点乘,以获得灰度样本帧。
优选地,所述根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域的步骤,包括:
获取所述灰度样本帧中的连通区域;
根据所述连通区域获取所述灰度样本帧中目标图像元素的位置信息;
根据所述位置信息确定匹配模板;
根据所述匹配模板的区域大小从与所述灰度样本帧相邻的下一帧中获取待匹配区域。
优选地,所述根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧的步骤,包括:
根据所述匹配结果获取所述匹配模板在所述灰度样本帧上移动的总路程和所述匹配模板成功匹配的次数;
获取所述灰度样本帧的宽度大小和预设百分比,通过以下公式确定所述取帧间隔数:
Figure BDA0002825368640000031
其中,P为所述取帧间隔数,t%为预设的百分比,w为所述灰度样本帧的宽度大小,S为所述匹配模板在所述灰度样本帧上移动的总路程,c为所述匹配模板成功匹配的次数,m为所述灰度样本帧的数量;
根据所述取帧间隔数和所述运动视频确定待处理帧。
此外,为实现上述目的,本发明还提供一种视频信息取帧装置,所述装置包括获取模块、确定待处理帧模块和预处理模块:
获取模块,用于获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;
确定待处理帧模块,用于根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;
预处理模块,用于通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。
此外,为实现上述目的,本发明还提出一种视频信息取帧设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频信息取帧程序,所述视频信息取帧程序配置为实现如上文所述的视频信息取帧方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有视频信息取帧程序,所述视频信息取帧程序被处理器执行时实现如上文所述的视频信息取帧方法的步骤。
本发明通过获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。由于本发明是通过先处理样本帧,根据样本帧确定取帧间隔,获得待处理帧,根据预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧的方式,相对于现有的直接通过计算两帧对应的像素差的模板匹配法获取目标帧的方式,本发明上述方式能够减少取帧时的计算量并可以更加准确、高效的获得目标帧。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视频信息取帧设备的结构示意图;
图2为本发明视频信息取帧方法第一实施例的流程示意图;
图3为本发明视频信息取帧方法第二实施例的流程示意图;
图4为本发明视频信息取帧方法第三实施例的流程示意图;
图5为具体实现时选取的待处理帧匹配模板和相似区域示意图;
图6为处理相似区域后的结果示意图;
图7为本发明视频信息取帧装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的视频信息取帧设备结构示意图。
如图1所示,该视频信息取帧设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对视频信息取帧设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及视频信息取帧程序。
在图1所示的视频信息取帧设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明视频信息取帧设备中的处理器1001、存储器1005可以设置在视频信息取帧设备中,所述视频信息取帧设备通过处理器1001调用存储器1005中存储的视频信息取帧程序,并执行本发明实施例提供的视频信息取帧方法。
基于上述视频信息取帧设备,本发明实施例提供了一种视频信息取帧方法,参照图2,图2为本发明视频信息取帧方法第一实施例的流程示意图。
本实施例中,所述视频信息取帧方法包括以下步骤:
步骤S10:获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧。
需要说明的是,本实施例的执行主体可以是一种具有网络通信以及程序运行的计算服务设备,例如手机、电脑、服务器、视频信息取帧设备等。以下以所述视频信息取帧设备为例,对本实施例及下述各实施例进行说明。
应理解的是,所述目标物可以是本实施例中预从所述运动视频中提取的目标物,在本实施例中,所述目标物的运动视频可以是将小麦放在传送带上移动时采集的运动视频,小麦即是本实施例中的目标物。所述预设数量可以是根据当前实现时的设备情况,视频信息等确定的取样数量,本实施例在此不加以限制,所述样本帧可以是从所述运动视频的总帧数中采集的预设数量的帧,作为样本帧。
在具体实施中,视频信息取帧设备获取目标物的运动视频,获取预设数量,从所述运动视频的总帧数中采集预设数量的帧,作为样本帧,所述采集预设数量的帧可以是从所述运动视频的总帧数的一半的位置开始采集,为了避免所述运动视频的开头和结尾目标物太少或图像噪音太多的问题,采集可以是连续采集,也可以是间隔预设帧数采集,本实施例在此不加以限制。
步骤S20:根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧。
需要说明的是,所述取帧间隔数可以是取帧时取出来的上一帧和下一帧中间隔的帧数,所述待处理帧可以是对其进行预处理后可以获得目标帧的帧,所述目标帧可以是从所述运动视频中提取出来的无损无冗余的有目标物的帧。
应理解的是,根据所述样本帧确定取帧间隔数可以是确定第一目标物在所述样本帧中第一次出现时对应的帧数与所述第一目标物在所述样本帧中最后一次出现时对应的帧数的帧数差加1作为所述取帧间隔数,例如,在运动员的运动视频中,一共有100帧图片,取前30帧作为样本帧,其中,第1帧出现的运动员在前20帧中都有出现,在所述样本帧的第21帧中没有出现,且第21帧中出现了第二名运动员,则所述取帧间隔数可以是20,根据所述取帧间隔数和所述运动视频确定待处理帧为第1、21、41、61和81帧。
在具体实施中,视频信息取帧设备将第一目标物在所述样本帧中第一次出现时对应的帧数与所述第一目标物在所述样本帧中最后一次出现时对应的帧数的帧数差加1作为所述取帧间隔数,获取所述运动视频的总帧数,根据所述总帧数和所述取帧间隔数确定待处理帧。
步骤S30:通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。
需要说明的是,所述序贯相似性检测算法(SSDA)是指图像匹配技术是根据已知的图像模块(模板图)在另一幅图像(搜索图)中寻找相应或相近模块的过程,SSDA通过人为设定一个固定阈值,及早地终止在不匹配位置上的计算,以此减小计算量,达到提高运算速度的目的。所述预设序贯相似性检测算法可以是在将所述序贯相似性检测算法中所述的模板图进行改进,达到减少计算量的目的,所述对模板图进行改进可以是将所述模板图进行二值化,获取所述模板图进行二值化后的连通区域,取所述模板图中的部分连通区域作为目标模板图用来在搜索图中进行匹配。本实施例中用来改进所述模板图以减少计算量的改进可以是其他方式,本实施例在此不加以限制。
应理解的是,所述预处理可以是通过预设序贯相似性检测算法获得所述待处理帧与所述待处理相邻的下一帧中的相似区域,对所述相似区域的目标物进行处理,使得到的每一帧目标帧中,目标物都完好无损。
在具体实施中,例如,待处理帧中的右边缘上有不完整的目标物,将所述不完整的目标物所在的连通区域作为模板图在所述待处理帧的下一帧中根据所述预设序贯相似性检测算法进行匹配,获取所述样本帧与所述样本帧相邻的下一帧中的相似区域,在所述样本帧中,将所述相似区域中右边缘不完整的目标物剔除,在所述样本帧相邻的下一帧中,将所述相似区域的非右边缘目标物剔除,此时,所述样本帧的右边缘和所述样本帧相邻的下一帧的左边缘已经处理完毕,根据相同的方法将所述样本帧的左边缘和所述样本帧相邻的下一帧的右边缘进行处理,即可得到所述目标帧。
本实施例获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。由于本发明是通过先处理样本帧,根据样本帧确定取帧间隔,获得待处理帧,根据预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧的方式,相对于现有的直接通过计算两帧对应的像素差的模板匹配法获取目标帧的方式,本发明上述方式能够减少取帧时的计算量并可以更加准确、高效的获得目标帧。
参考图3,图3为本发明视频信息取帧方法第二实施例的流程示意图。
基于上述第一实施例,在本实施例中,所述步骤S20包括:
步骤S201:调低所述样本帧的分辨率,获得调整后的样本帧,并将所述调整后的样本帧进行二值化,获得二值化后的样本帧。
需要说明的是,所述二值化(Image Binarization)就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果的过程。所述调低所述样本帧的分辨率可以采用双线性插值的方法调整所述样本帧的分辨率,所述双线性插值又称为双线性内插。在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在两个方向分别进行一次线性插值。所述将所述调整后的样本帧进行二值化可以是用Kittler算法或Otsu算法计算二值化阈值,根据所述二值化阈值对所述调整后的样本帧进行二值化。所述二值化阈值的确定也可以依据其他的二值化阈值获取方法,本实施例在此不加以限制。
应理解的是,在本实施例中,我们仅需要计算出目标物相对整幅图像移动的速度,从而计算出提取目标物所需要的间隔帧数,所以降低分辨率不仅不会影响结果,可以减少计算量,提高运行速度。而对图像进行处理,一般都需要预先对所述图像进行二值化,进行二值化后的图像可以有效的区分开背景与目标物,有利于本实施例的实施。
在具体实施中,视频信息取帧设备采用双线性插值的方法调低所述样本帧的分辨率,获得调整后的样本帧,获取二值化阈值,根据所述二值化阈值将所述调整后的样本帧进行二值化,获得二值化后的样本帧。
步骤S202:剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧。
需要说明的是,所述满足预设条件的目标图像元素可以是处在所述二值化后的样本帧的边缘上的目标物,因为在进行模板匹配时,不完整的目标物会影响匹配的精度,导致匹配错位的情况发生,所以在进行模板匹配前,需要先剔除样本帧边缘上不完整的目标物,具体的实现可以采用下述方法:确定二值化后的样本帧中的连通区域,判定所述二值化后的样本帧中像素点大于0的为目标物,得到所述二值化后的样本帧中的目标物的位置信息,剩下的均为背景,进而可以确定出处在所述二值化后的样本帧中边缘上的目标物,根据所述目标物的位置信息,建立一个像素值只有0或1的模板,在此模板上,我们设置需要剔除的目标物位置的像素点为0,其余位置为1,获得目标模板,将所述目标模板与所述二值化后的样本帧做点乘,即可将所述二值化后的样本帧中边缘处需要剔除的目标物剔除。
应理解的是,所述剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素也可以采用其他方式,例如,直接将所述二值化后的样本帧的边缘区域上的像素点设置为0等方法,本实施例在此不加以限制。
在具体实施中,所述视频信息取帧设备根据所述二值化后的样本帧中目标位的像素值和位置信息剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧。
步骤S203:根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域。
需要说明的是,图像匹配即是在搜索图中找到与模板图匹配的区域,在本实施例中,所述匹配模板可以是所述图像匹配中的模板图,所述待匹配区域可以是所述图像匹配中的搜索图。
应理解的是,所述根据所述灰度样本帧中的目标图像元素获取匹配模板可以采用下述方式,获取所述灰度样本帧的连通区域,获取预设的匹配模板的宽度值,根据所述连通区域边缘的位置信息,确定匹配模板的大小,例如,将灰度样本帧以左下角为(0,0)坐标值放在直角坐标系中,在一个连通区域中左上角的坐标为(10,80)、左下角的坐标为(9,10)则该从所述灰度样本帧中获取的匹配模板的纵坐标为10到80,该匹配模板的高为70,该匹配模板的宽为预设值,在具体实现中,所述匹配模板的宽可以根据实际场景自适应调整,也可以根据计算所述匹配模板高的方式确定,本实施例在次不加以限制,
应理解的是,获取待匹配区域的时候,目标物在所述灰度样本帧中不会运动太远,待匹配区域的大小设置的太大会影响匹配的速度,但是为了应对可能的移动带来的影响,选取时根据所述匹配模板在原有的基础上,向上向下都扩大了一些,这样在应对由抖动造成目标物错位的同时,也不会增加太多的计算量。
步骤S204:对所述匹配模板和待匹配区域进行匹配,获得匹配结果。
需要说明的是,所述对所述匹配模板和待匹配区域进行匹配可以是在所述待匹配区域中找到所述匹配模板在所述待匹配区域中的位置。
应理解的是,图像匹配算法可以有平均绝对差算法、绝对误差和算法、误差平方和算法、归一化积相关算法(NCC)和序贯相似性检测算法(SSDA)等。本实施中以所述序贯相似性检测算法进行说明,其中,所述序贯相似性检测算法的公式为:
Figure BDA0002825368640000101
其中,S(x,y)是所述待匹配区域,T(x,y)是所述匹配模板,Si,j是从所述待匹配区域中选取的用来与所述匹配模板进行匹配的子图,D(h)为第h次所选取的待匹配区域中的子图,T0为设定阈值,
Figure BDA0002825368640000102
为从所述待匹配区域中选取的子图的均值,计算方式如下:
Figure BDA0002825368640000103
Figure BDA0002825368640000104
为所述匹配模板的均值。计算方式如下:
Figure BDA0002825368640000105
在具体实施中,在所述匹配模板中随机选取不重复的像素点,计算与所述子图的绝对误差,将误差累加,当误差累加超过了T0时,记下累加次数H,所有子图的累加次数H用一个R(i,j)来表示。计算过程中,随机点的累加误差和超过了阈值后,则放弃当前子图转而对下一个子图进行计算。遍历完所有子图后,选取最大R值所对应的(i,j)子图作为匹配图像。
由于随机点累加值超过阈值T0后便结束当前子图的计算,所以不需要计算子图所有像素,大大提高了算法速度;为进一步提高速度,可以先进行粗配准,即隔行、隔离的选取子图,用上述算法进行粗糙的定位,然后再对定位的子图,用同样的方法求其8个领域子图的最大R值作为最终配准图像。这样可以有效的减少子图个数,减少计算量,提高计算速度。传统的SSDA没有对匹配模板和待匹配区域进行处理,本实施例在先前的操作中,已经优化了需要匹配的范围,同时减少了模板中不完整的目标物,提高了SSDA匹配算法的精度以及速度。
通过SSDA算法匹配得到了所述灰度样本帧中第n帧中的模板左上角坐标(X,Y)在第n+p帧中的位置(X1,Y1),由此,可得每个目标物隔p帧移动的像素距离s=X1-X,但实际匹配中仍会出现匹配错位的情况,因此,在本实施例中,获取预设的误差阈值A,规定若|Y-Y1|<A,则说明匹配成功。并将取出的所述灰度样本帧两两之间均进行上述操作,得到同一目标物在所述灰度样本帧中移动的总像素距离S,记录下成功匹配的次数c,
步骤S205:根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧。
需要说明的是,所述匹配结果可以是同一目标物在所述灰度样本帧中移动的总像素距离S和成功匹配的次数c。
应理解的是,在根据所述匹配结果确定取帧间隔数时,还需获取所述灰度样本帧的宽度大小、灰度样本帧的数量和预设百分比,所述预设百分比可以是预设的所述匹配模板在所述灰度样本帧中移动的宽度占所述灰度样本帧宽度的百分比,进而通过以下公式确定所述取帧间隔数:
Figure BDA0002825368640000111
其中,P为所述取帧间隔数,t%为预设的所述匹配模板在所述灰度样本帧中移动的宽度占所述灰度样本帧宽度的百分比,w为所述灰度样本帧的宽度大小,S为所述匹配模板在所述灰度样本帧上移动的总路程,c为所述匹配模板成功匹配的次数,m为所述灰度样本帧的数量。
在具体实现中,视频信息取帧设备根据所述匹配结果获取同一目标物在所述灰度样本帧中移动的总像素距离S和成功匹配的次数c,并获取所述灰度样本帧的宽度大小、灰度样本帧的数量和预设百分比,通过预设的公式计算出所述取帧间隔数,获取所述运动视频的总帧数,用所述总帧数除以所述取帧间隔数得出需要取出的待处理帧的数量,根据所述预设间隔数从所述总帧数中的第一帧开始取帧,获得所述待处理帧。
本实施例调低所述样本帧的分辨率,获得调整后的样本帧,并将所述调整后的样本帧进行二值化,获得二值化后的样本帧;剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧;根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域;对所述匹配模板和待匹配区域进行匹配,获得匹配结果;根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧。本实施例通过预先获取样本帧,对所述样本帧进行处理,获得取帧间隔数,根据所述运动视频的总帧数和所述取帧间隔数确定待处理帧,降低了所述待处理帧中的目标物的重复率,进而减少了处理所述待处理帧时的计算量。
参考图4,图4为本发明视频信息取帧方法第三实施例的流程示意图。
基于上述各实施例,在本实施例中,所述步骤S30,包括:
步骤S301:从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域。
需要说明的是,所述待处理帧匹配模板可以是从所述待处理帧中选取出来的用来与所述待处理帧相邻的下一帧中的待处理帧待匹配区域进行匹配的区域。其中,所述待处理帧匹配模板的高度的选取可以依据所述步骤S204中高度选取的方式进行选取,所述待处理帧匹配模板的宽度值可以根据具体实施中的目标物的大小设置预设宽度值w,例如,获取的预设的选取宽度为10,所述待处理帧右边的连通区域左上角的纵坐标为90,左下角的纵坐标为10,则选取的待处理帧匹配模板的高度为80,则所述待处理帧匹配模板就是在所述待处理帧的右边宽度为10,高度为80的长方形区域。所述待处理帧待匹配区域的选取可以为根据所述待处理帧匹配模板的大小,在所述待处理帧相邻的下一帧中左边选取宽度为W,高度为所述待处理帧匹配模板的高度适当扩大的区域作为所述待处理帧待匹配区域。
其中,获取待处理帧匹配模板和待处理帧待匹配区域之前需要对所述待处理帧进行调低分辨率和二值化的操作,所述调低分辨率可以依据步骤20中调低分辨率的方法,所述进行二值化可以是获取所述样本帧进行二值化的二值化阈值,获取所述样本帧进行二值化的二值化阈值的平均值,根据所述平均值对所述待处理帧进行二值化。
步骤S302:根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配,获取匹配结果。
需要说明的是,所述根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配可以依据所述步骤S204中对所述匹配模板和待匹配区域进行匹配的方式,本步骤不再详细说明,在根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配后,获得所述待处理帧匹配模板在所述待处理帧待匹配区域中匹配成功的位置信息。
步骤S303:根据所述匹配结果获取所述待处理帧匹配模板和所述待处理帧待匹配区域的相似区域。
需要说明的是,所述相似区域可以是在所述待处理帧和所述待处理帧相邻的下一帧中相似的区域。
应理解的是,根据所述匹配结果获取所述待处理帧匹配模板左上角坐标为(X,Y)的像素点在所述待处理帧待匹配区域中的坐标点(X1,Y1),判定待匹配区域中的横坐标点的坐标值加上所述待处理帧匹配模板的宽度为相似区域的宽度,例如,如图5所示,图5为具体实现时选取的待处理帧匹配模板和所述相似区域结果示意图。其中,10为所述待处理帧,20为选取出来的待处理帧匹配模板,30为与所述待处理帧相邻的下一帧,40为所述相似区域。
步骤S304:将所述待处理帧中所述相似区域上的第一预设方位的目标图像元素剔除,获取所述待处理帧对应的目标帧,将所述下一帧中所述相似区域上的第二预设方位的目标图像元素剔除,获取所述下一帧对应的目标帧。
需要说明的是,所述目标帧可以是根据本实施例的步骤获得的所述运动视频中目标物的无损无冗余的图像。
在具体实施中,获取根据步骤S303确定的相似区域Z1,Z2,其中,Z1为所述待处理帧中的相似区域,Z2为所述待处理帧相邻的下一帧中的相似区域,为了避免视频中目标物可能会产生微小的位移从而改变相对位置,将两块区域中的像素点对应相加,得到一块新的区域Z,将所述区域Z复制两份,得到Z3,Z4,将所述Z3,Z4的像素值设置为只有0和1,背景的地方为0,有目标物的位置为1,将Z3中处在右边缘上目标物的像素值设置为0,而在Z4中将处在非右边缘目标物的像素值设置为0,将Z3与所述Z1做点乘,消除Z1中右边缘上的不完整目标物,获取第一相似区域,将Z4与所述Z2做点乘,消除Z2中非右边缘上的目标物,获得第二相似区域,如图6所示,图6为处理所述相似区域后的结果示意图,其中,80为相似区域,70为所述相似区域剔除右边缘上的不完整目标物后的第一相似区域,90为所述相似区域剔除非右边缘上的目标物后的第二相似区域。
将从所述运动视频中取出来的所有待处理帧两两之间均进行上述操作,即可获得左右边缘均处理过的目标帧,其中,第一帧待处理帧的左边缘不需要进行处理,同理,最后一帧的待处理帧的右边缘不需要处理。
应理解的是,本实施例中的左或右等方向单位只是作为实施该实施例中的方向标示,并不用于限定本实施例的实施过程。
本实施例从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域;根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配,获取匹配结果;根据所述匹配结果获取所述待处理帧匹配模板和所述待处理帧待匹配区域的相似区域;将所述待处理帧中所述相似区域上的第一预设方位的目标图像元素剔除,获取所述待处理帧对应的目标帧;将所述下一帧中所述相似区域上的第二预设方位的目标图像元素剔除,获取所述下一帧对应的目标帧。本实施例通过获取待处理帧匹配模板和待处理帧待匹配区域,根据所述待处理帧匹配模板和待处理帧待匹配区域确定相似区域,根据所述相似区域处理所述待处理帧边缘上的不完整目标物,进而获得目标帧的方式。相对于现有技术中的直接通过计算两帧对应的像素差的模板匹配法获取目标帧的方式,本实施上述方式可以更加准确、高效的获得目标帧。
参照图7,图7为本发明视频信息取帧装置第一实施例的结构框图。
如图7所示,本发明实施例提出的视频信息取帧装置包括获取模块、确定待处理帧模块和预处理模块:
获取模块10,用于获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;
确定待处理帧模块20,用于根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;
预处理模块30,用于通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。
本实施例通过获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。由于本发明是通过先处理样本帧,根据样本帧确定取帧间隔,获得待处理帧,根据预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧的方式,相对于现有的直接通过计算两帧对应的像素差的模板匹配法获取目标帧的方式,本发明上述方式能够减少取帧时的计算量并可以更加准确、高效的获得目标帧。
基于本发明上述视频信息取帧装置第一实施例,提出本发明视频信息取帧装置的第二实施例。
在本实施例中,所述确定待处理帧模块20,还用于调低所述样本帧的分辨率,获得调整后的样本帧,并将所述调整后的样本帧进行二值化,获得二值化后的样本帧;剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧;根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域;对所述匹配模板和待匹配区域进行匹配,获得匹配结果;根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧。
进一步的,所述预处理模块30,还用于从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域;根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配,获取匹配结果;根据所述匹配结果获取所述待处理帧匹配模板和所述待处理帧待匹配区域的相似区域;将所述待处理帧中所述相似区域上的第一预设方位的目标图像元素剔除,获取所述待处理帧对应的目标帧;将所述下一帧中所述相似区域上的第二预设方位的目标图像元素剔除,获取所述下一帧对应的目标帧。
本发明视频信息取帧装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有视频信息取帧程序,所述视频信息取帧程序被处理器执行时实现如上文所述的视频信息取帧方法的步骤。
此外,本发明实施例还提出一种视频信息取帧设备,所述视频信息取帧设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频信息取帧程序,所述视频信息取帧程序被所述处理器执行时实现上文所述的视频信息取帧方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频信息取帧方法,其特征在于,所述视频信息取帧方法包括以下步骤:
获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;
根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;
通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。
2.如权利要求1所述的视频信息取帧方法,其特征在于,所述根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧的步骤,包括:
调低所述样本帧的分辨率,获得调整后的样本帧,并将所述调整后的样本帧进行二值化,获得二值化后的样本帧;
剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧;
根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域;
对所述匹配模板和待匹配区域进行匹配,获得匹配结果;
根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧。
3.如权利要求1所述的视频信息取帧方法,其特征在于,所述通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧的步骤,包括:
从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域;
根据预设序贯相似性检测算法对所述待处理帧匹配模板和所述待处理帧待匹配区域进行匹配,获取匹配结果;
根据所述匹配结果获取所述待处理帧匹配模板和所述待处理帧待匹配区域的相似区域;
将所述待处理帧中所述相似区域上的第一预设方位的目标图像元素剔除,获取所述待处理帧对应的目标帧;
将所述下一帧中所述相似区域上的第二预设方位的目标图像元素剔除,获取所述下一帧对应的目标帧。
4.如权利要求3所述的视频信息取帧方法,其特征在于,所述从所述待处理帧中获取待处理帧匹配模板,从所述待处理帧相邻的下一帧中获取待处理帧待匹配区域的步骤,包括:
从所述待处理帧中选取第一预设宽度的区域图像作为待处理帧匹配模板;
从所述待处理帧相邻的下一帧中选取第二预设宽度的区域图像作为待处理帧待匹配区域,其中所述第二预设宽度大于所述第一预设宽度。
5.如权利要求2所述的视频信息取帧方法,其特征在于,所述剔除所述二值化后的样本帧的边缘区域上满足预设条件的目标图像元素,获得灰度样本帧的步骤,包括:
将所述二值化后的样本帧中像素值大于第一预设像素值的像素值作为目标图像元素;
根据所述目标图像元素建立初始图像模板;
将所述初始图像模板与所述二值化后的样本帧做点乘,以获得灰度样本帧。
6.如权利要求2所述的视频信息取帧方法,其特征在于,所述根据所述灰度样本帧中的目标图像元素获取匹配模板,从与所述灰度样本帧相邻的下一帧中获取待匹配区域的步骤,包括:
获取所述灰度样本帧中的连通区域;
根据所述连通区域获取所述灰度样本帧中目标图像元素的位置信息;
根据所述位置信息确定匹配模板;
根据所述匹配模板的区域大小从与所述灰度样本帧相邻的下一帧中获取待匹配区域。
7.如权利要求2所述的视频信息取帧方法,其特征在于,所述根据所述匹配结果确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧的步骤,包括:
根据所述匹配结果获取所述匹配模板在所述灰度样本帧上移动的总路程和所述匹配模板成功匹配的次数;
获取所述灰度样本帧的宽度大小和预设百分比,通过以下公式确定所述取帧间隔数:
Figure FDA0002825368630000031
其中,P为所述取帧间隔数,t%为预设的百分比,w为所述灰度样本帧的宽度大小,S为所述匹配模板在所述灰度样本帧上移动的总路程,c为所述匹配模板成功匹配的次数,m为所述灰度样本帧的数量;
根据所述取帧间隔数和所述运动视频确定待处理帧。
8.一种视频信息取帧装置,其特征在于,所述视频信息取帧装置包括获取模块、确定待处理帧模块和预处理模块:
获取模块,用于获取目标物的运动视频,从所述运动视频中获取预设数量的样本帧;
确定待处理帧模块,用于根据所述样本帧确定取帧间隔数,并根据所述取帧间隔数和所述运动视频确定待处理帧;
预处理模块,用于通过预设序贯相似性检测算法对所述待处理帧进行预处理,获得目标帧。
9.一种视频信息取帧设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频信息取帧程序,所述视频信息取帧程序配置为实现如权利要求1至7中任一项所述的视频信息取帧方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有视频信息取帧程序,所述视频信息取帧程序被处理器执行时实现如权利要求1至7任一项所述的视频信息取帧方法的步骤。
CN202011425514.3A 2020-12-09 2020-12-09 视频信息取帧方法、装置、设备及存储介质 Active CN112364835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011425514.3A CN112364835B (zh) 2020-12-09 2020-12-09 视频信息取帧方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425514.3A CN112364835B (zh) 2020-12-09 2020-12-09 视频信息取帧方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112364835A true CN112364835A (zh) 2021-02-12
CN112364835B CN112364835B (zh) 2023-08-11

Family

ID=74535941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425514.3A Active CN112364835B (zh) 2020-12-09 2020-12-09 视频信息取帧方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112364835B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115107A (zh) * 2021-04-15 2021-07-13 深圳鸿祥源科技有限公司 一种基于5g网络的手持视频采集终端系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN111091077A (zh) * 2019-12-03 2020-05-01 华中科技大学 一种基于图像相关性和模板匹配的车速检测方法
CN111368786A (zh) * 2020-03-16 2020-07-03 平安科技(深圳)有限公司 动作区域提取方法、装置、设备及计算机可读存储介质
CN111611435A (zh) * 2020-04-01 2020-09-01 中国科学院深圳先进技术研究院 一种视频分类的方法、装置及存储介质
WO2020199479A1 (zh) * 2019-04-03 2020-10-08 平安科技(深圳)有限公司 一种人体动作的识别方法及设备
CN111931856A (zh) * 2020-08-14 2020-11-13 深圳市英威诺科技有限公司 视频分类方法和装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
WO2020199479A1 (zh) * 2019-04-03 2020-10-08 平安科技(深圳)有限公司 一种人体动作的识别方法及设备
CN111091077A (zh) * 2019-12-03 2020-05-01 华中科技大学 一种基于图像相关性和模板匹配的车速检测方法
CN111368786A (zh) * 2020-03-16 2020-07-03 平安科技(深圳)有限公司 动作区域提取方法、装置、设备及计算机可读存储介质
CN111611435A (zh) * 2020-04-01 2020-09-01 中国科学院深圳先进技术研究院 一种视频分类的方法、装置及存储介质
CN111931856A (zh) * 2020-08-14 2020-11-13 深圳市英威诺科技有限公司 视频分类方法和装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
窦菲 等: "基于OpenCV的道路视频分析系统", 计算机系统应用, vol. 26, no. 08, pages 94 - 98 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115107A (zh) * 2021-04-15 2021-07-13 深圳鸿祥源科技有限公司 一种基于5g网络的手持视频采集终端系统
CN113115107B (zh) * 2021-04-15 2021-12-28 深圳鸿祥源科技有限公司 一种基于5g网络的手持视频采集终端系统

Also Published As

Publication number Publication date
CN112364835B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
JP3338537B2 (ja) 画像傾き検出装置
EP3306562B1 (en) Image processing method and device
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
US7715628B2 (en) Precise grayscale character segmentation apparatus and method
CN108830133B (zh) 合同影像图片的识别方法、电子装置及可读存储介质
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
WO2009114967A1 (zh) 基于移动扫描的图像处理方法及装置
CN110399873A (zh) 身份证图像获取方法、装置、电子设备及存储介质
CN112507782A (zh) 文本图像的识别方法及装置
CN109508716B (zh) 一种图像文字的定位方法及装置
CN113052170A (zh) 一种无约束场景下的小目标车牌识别方法
CN114529715B (zh) 一种基于边缘提取的图像识别方法及系统
CN114494775A (zh) 视频切分方法、装置、设备及存储介质
CN113657370B (zh) 一种文字识别方法及其相关设备
CN112364835B (zh) 视频信息取帧方法、装置、设备及存储介质
CN113052162B (zh) 一种文本识别方法、装置、可读存储介质及计算设备
CN112818983B (zh) 一种利用图片相识度判断字符倒置的方法
CN113538500A (zh) 图像分割方法、装置、电子设备和存储介质
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN111008987B (zh) 基于灰色背景中边缘图像提取方法、装置及可读存储介质
CN110705568B (zh) 一种图像特征点提取的优化方法
CN116030472A (zh) 文字坐标确定方法及装置
CN115223173A (zh) 对象识别方法、装置、电子设备及存储介质
CN113112531B (zh) 一种图像匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant