CN104123716A - 检测图像稳定性的方法、装置和终端 - Google Patents

检测图像稳定性的方法、装置和终端 Download PDF

Info

Publication number
CN104123716A
CN104123716A CN201310156199.2A CN201310156199A CN104123716A CN 104123716 A CN104123716 A CN 104123716A CN 201310156199 A CN201310156199 A CN 201310156199A CN 104123716 A CN104123716 A CN 104123716A
Authority
CN
China
Prior art keywords
field picture
angle point
regions
existence
description vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310156199.2A
Other languages
English (en)
Other versions
CN104123716B (zh
Inventor
丁剑
刘骁
刘海龙
陈波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310156199.2A priority Critical patent/CN104123716B/zh
Priority to PCT/CN2013/085549 priority patent/WO2014176878A1/en
Priority to US14/281,387 priority patent/US9317770B2/en
Publication of CN104123716A publication Critical patent/CN104123716A/zh
Application granted granted Critical
Publication of CN104123716B publication Critical patent/CN104123716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Abstract

本发明公开了一种检测图像稳定性的方法、装置和终端,属于图像处理技术领域。所述方法包括:获取连续的N帧图像,所述N为大于0的整数;对于获取的每一帧图像,检测得到其中的角点,将所述图像划分为多个区域并记录各个区域内角点的分布情况,以得到所述图像的描述向量;用得到的N帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目;根据所述N帧图像内角点的存在状态发生变化的区域数目确定所述图像是否稳定。所述装置包括:获取模块、处理模块、计算模块和确定模块。所述终端包括所述装置。本发明降低了图像稳定性检测的局限性,扩大了使用范围,提高了图像稳定性检测的准确性。

Description

检测图像稳定性的方法、装置和终端
技术领域
本发明涉及图像处理技术领域,特别涉及一种检测图像稳定性的方法、装置和终端。
背景技术
在图像处理过程中,通常需要对图像的稳定性进行检测。图像稳定性是指图像中包含有合法物体,且清晰度处于允许范围内,该清晰度通常可以从对焦、是否有遮挡、图像流晃动幅度等方面来衡量。目前,有两种方法对图像的稳定性进行检测。一种方法是基于终端本身所具有的硬件器件进行检测,如目前较多智能手机上采用的陀螺仪,根据机械晃动等硬件特性来判断图像是否稳定,当机械晃动小于某一设定的阈值时,则判定图像稳定。另一种方法是基于图像中像素点的像素值的变化进行检测,对于当前帧图像中的某个像素点,获取其像素值,并在下一帧图像中判断指定区域内是否存在相同像素值的像素点,如果存在,则确定该像素点未移动,以此类推,根据图像中各个像素点的移动情况确定出图像的稳定性。
但是,上述基于硬件器件进行检测的方法,会对硬件环境过分依赖,使用场合受到比较大的限制,如果终端中并未配置有陀螺仪等类似的器件,则无法使用这种方法完成检测。上述基于像素点的像素值进行检测的方法,会存在误判的情况,如当终端的图像摄取区域内不存在任何目标、图像摄取区域被障碍物完全遮挡或对焦不准时,根据像素点的像素值进行判断均会判定为图像处于静止状态,检测的准确性不高。
发明内容
为了解决图像稳定性检测的局限性以及准确性不高的技术问题,本发明提供了一种检测图像稳定性的方法、装置和终端。所述技术方案如下:
一方面,提供了一种检测图像稳定性的方法,包括:
获取连续的N帧图像,所述N为大于0的整数;
检测所述N帧图像中每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;
根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目;
根据所述N帧图像内角点的存在状态发生变化的区域数目确定所述N帧图像是否稳定。
另一方面,提供了一种检测图像稳定性的装置,包括:
获取模块,用于获取连续的N帧图像,所述N为大于0的整数;
处理模块,用于检测所述N帧图像中每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;
计算模块,用于根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目;
确定模块,用于根据所述N帧图像内角点的存在状态发生变化的区域数目确定所述N帧图像是否稳定。
又一方面,提供了一种终端,包括如上所述的检测图像稳定性的装置。
本发明提供的技术方案带来的有益效果是:通过获取连续的N帧图像,检测每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,并根据该区域数目确定所述N帧图像是否稳定,无需依赖硬件器件进行检测,降低了图像稳定性检测的局限性,扩大了使用范围,而且,基于角点在图像中的分布变化进行检测,与基于像素点的像素值进行检测相比,提高了图像稳定性检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的终端进行图像稳定性检测的示意图;
图2是本发明实施例1提供的检测图像稳定性的方法流程图;
图3是本发明实施例2提供的检测图像稳定性的方法流程图;
图4是本发明实施例3提供的检测图像稳定性的方法流程图;
图5是本发明实施例3提供的对图像进行区域划分的示意图;
图6是本发明实施例4提供的检测图像稳定性的装置结构图之一;
图7是本发明实施例4提供的检测图像稳定性的装置结构图之二。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例涉及图像稳定性的检测,应用于终端中,所述终端是指具有摄取图像功能的终端,稳定性检测就是对摄取的图像是否稳定进行检测。通过检测确定图像稳定之后,还可以对该图像做进一步的处理,执行其它应用等。其中,所述终端包括但不限于:手机、平板电脑、拍照设备或摄像设备等等。例如,参见图1,为在终端中进行图像稳定性检测的示意图,该终端中运行有一个检测图像稳定性的装置,可以实现图像的稳定性检测。所述摄取包括但不限于:拍照或摄像等等。所述其它应用包括但不限于:搜索图像、保存图像、发送图像、分享图像等等。
实施例1
参见图2,本实施例提供了一种检测图像稳定性的方法,包括:
101:获取连续的N帧图像,所述N为大于0的整数;
102:检测所述N帧图像中每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;
103:根据每帧图像的描述向量计算出该N帧图像内角点的存在状态发生变化的区域数目;
104:根据该N帧图像内角点的存在状态发生变化的区域数目确定该N帧图像是否稳定。
需要指出的是,本发明各个实施例涉及的所述N帧图像是否稳定,是指一组连续的帧图像是否稳定,而不是指某一帧图像自身是否稳定,下文不再一一声明。
本实施例中,获取的N帧图像可以为任意连续的N帧图像,并且,所述N的大小也可以根据需要设定,如设置N为3或5等等,本实施例对此不做具体限定。
角点是一类具有丰富纹理信息的图像描述子,它可以描述图像中突出的部分,它更强调目标的存在性。检测角点的算法有多种,如FAST角点检测算法、Kitchen-Rosenfeld角点检测算法、Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法等等,本实施例对此也不做具体限定。为了提高计算速度,优选地,可以采用目前计算速度最快的FAST角点检测算法来进行角点检测。
结合上述方法,在第一种实施方式下,将所述每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量,包括:
划分每帧图像得到M个区域,记录该M个区域中的每个区域内是否存在角点,得到长度为M的每帧图像的描述向量,所述描述向量代表了所述M个区域中角点的存在状态,其中,该M为大于1的整数。
优选地,所述M个区域为大小均相等的区域。
结合上述方法,在第二种实施方式下,根据每帧图像的描述向量计算出该N帧图像内角点的存在状态发生变化的区域数目,包括:
对该N帧图像中的每两个相邻帧图像的描述向量进行比较,并统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目,以得到该N帧图像内角点的存在状态发生变化的区域数目。
优选地,所述统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目具体为:将得到的所有角点的存在状态发生变化的区域数目相加得到总和,将该总和作为该N帧图像内角点的存在状态发生变化的区域数目。
结合上述方法,在第三种实施方式下,根据该N帧图像内角点的存在状态发生变化的区域数目确定该N帧图像是否稳定,包括:
将该N帧图像内角点的存在状态发生变化的区域数目与预设的阈值进行比较;
如果该区域数目小于该阈值,则确定该N帧图像稳定;
如果该区域数目大于或等于该阈值,则确定该N帧图像不稳定。
其中,所述预设的阈值可以根据需要进行设置以及调整,本实施例对此不做具体限定。
结合上述第一种实施方式,在第四种实施方式下,记录该M个区域中的每个区域内是否存在角点,得到长度为M的每帧图像的描述向量,包括:
对于该M个区域中的每个区域,如果存在角点,则记录为1,如果不存在角点,则记录为0,得到长度为M的每帧图像的描述向量,该描述向量的方向为M个区域的记录顺序;
相应地,根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,包括:
根据得到的每帧图像的描述向量,按照如下公式计算得到该N帧图像内角点的存在状态发生变化的区域数目:
S = Σ i = 1 N - 1 xor ( v i , v i + 1 )
其中,S为该N帧图像内角点的存在状态发生变化的区域数目,xor(·,·)为二进制流的异或运算,vi为第i帧图像的描述向量,vi+1为第i+1帧图像的描述向量,i为整数且i=1,…,N-1,∑为对异或结果中不同的位的个数求和,即对异或结果中包含二进制1的个数求和。
本实施例提供的上述方法,通过获取连续的N帧图像,检测每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,并根据该区域数目确定所述N帧图像是否稳定,无需依赖陀螺仪等硬件进行检测,降低了图像稳定性检测的局限性,扩大了使用范围,而且,基于角点在图像中的分布变化进行检测,与基于像素点的像素值进行检测相比,提高了图像稳定性检测的准确性。
实施例2
参见图3,本实施例提供了一种检测图像稳定性的方法,包括:
201:获取连续的N帧图像,所述N为大于0的整数;
其中,获取的N帧图像可以为任意连续的N帧图像,并且,所述N的大小也可以根据需要设定,如设置N为3或5等等,本实施例对此不做具体限定。
202:检测所述N帧图像中每帧图像的角点,将每帧图像划分为M个区域,记录该M个区域中的每个区域内是否存在角点,得到每帧图像的描述向量,该描述向量的长度为M,且该描述向量代表了所述M个区域中角点的存在状态,所述M为大于1的整数;
其中,检测角点的算法有多种,如FAST角点检测算法、Kitchen-Rosenfeld角点检测算法、Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法等等,本实施例对此也不做具体限定。为了提高计算速度,优选地,可以采用目前计算速度最快的FAST角点检测算法来进行角点检测。
本实施例中,划分得到的M个区域的形状均相同,优选地,可以划分得到M个正方形区域,当然,在其它实施方式下,也可以划分得到M个长方形、M个三角形、M个扇形、M个平行四边形、M个六边形等等,本实施例对此不做具体限定。另外,优选地,所述M个区域为大小均相等的区域,如在较佳实施方式下,将一个图像划分得到M个大小均相等的正方形区域。
其中,记录该M个区域中的每个区域内是否存在角点时,是按照相同的顺序进行记录的,优选地,可以按照该M个区域的序号依次进行记录,该M个区域的序号为划分区域时得到的,如M个正方形区域其序号的顺序为从左到右、从上到下,因此,记录区域内是否存在角点时也按照从左到右、从上到下的顺序依次记录每个区域内是否存在角点,从而可以得到一个长度为M的描述向量。
203:对该N帧图像中的每两个相邻帧图像的描述向量进行比较,并统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目,得到该N帧图像内角点的存在状态发生变化的区域数目;
优选地,所述统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目具体为:将得到的所有角点的存在状态发生变化的区域数目相加得到总和,将该总和作为该N帧图像内角点的存在状态发生变化的区域数目。
本实施例中,对于相邻的两帧图像而言,如果M个区域中的某一个区域内,前一帧图像存在角点而后一帧图像不存在角点,或者前一帧图像不存在角点而后一帧图像存在角点,则认为该区域角点的存在状态发生了变化。角点存在状态的变化反映了图像的稳定性,如果图像中发生角点存在状态变化的区域越多,表明该图像越不稳定;相反地,如果图像中发生角点存在状态变化的区域越少,表明该图像越稳定。通常,当一段视频处于静止状态时,则无角点存在状态变化,此时的图像最稳定;当一段视频处于运动状态、或者发生障碍物遮挡、或者焦距发生变化等场景下,图像中的角点存在状态都会发生变化,因而会影响图像的稳定性。所以,基于角点的分布变化状况进行图像的稳定性检测,能够适用各种场景下的图像稳定性检测,可以提高检测的准确性,降低误判的可能。
204:将该N帧图像内角点的存在状态发生变化的区域数目与预设的阈值进行比较;
其中,所述预设的阈值可以根据需要进行设置以及调整,本实施例对此不做具体限定。
205:如果该N帧图像内角点的存在状态发生变化的区域数目小于该阈值,则确定该N帧图像稳定;如果该N帧图像内角点的存在状态发生变化的区域数目大于或等于该阈值,则确定该N帧图像不稳定。
本实施例提供的上述方法,通过获取连续的N帧图像,检测每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,并根据该区域数目确定所述N帧图像是否稳定,无需依赖硬件器件进行检测,降低了图像稳定性检测的局限性,扩大了使用范围,而且,基于角点在图像中的分布变化进行检测,与基于像素点的像素值进行检测相比,提高了图像稳定性检测的准确性。
实施例3
参见图4,本实施例提供了一种检测图像稳定性的方法,包括:
301:获取连续的N帧图像,所述N为大于0的整数;
本实施例中,获取的N帧图像可以为任意连续的N帧图像,并且,所述N的大小也可以根据需要设定,如设置N为3或5等等,本实施例对此不做具体限定。
302:检测所述N帧图像中每帧图像的角点,将每帧图像划分为M个区域,对于该M个区域中的每个区域,如果存在角点,则记录为1,如果不存在角点,则记录为0,得到长度为M的每帧图像的描述向量v,该描述向量代表了所述M个区域中角点的存在状态,其中,该M为大于1的整数;
其中,每一帧图像可以得到一个描述向量,N帧图像可以得到N个描述向量,具体地,可以表示为描述向量流v1,v2,...vN
检测角点的算法有多种,如FAST角点检测算法、Kitchen-Rosenfeld角点检测算法、Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法等等,本实施例对此也不做具体限定。为了提高计算速度,优选地,可以采用目前计算速度最快的FAST角点检测算法来进行角点检测。
本实施例中,划分得到的M个区域的形状均相同,优选地,可以划分得到M个正方形区域,当然,在其它实施方式下,也可以划分得到M个长方形、M个三角形、M个扇形、M个平行四边形、M个六边形等等,本实施例对此不做具体限定。另外,优选地,所述M个区域为大小均相等的区域,如在较佳实施方式下,将一个图像划分得到M个大小均相等的正方形区域。
参见图5,为本实施例提供的将图像划分为区域的示意图。其中,将一组图像中的每帧图像划分为形状相同、大小相同的正方形区域,图中的黑点表示检测得到的角点,下方的二进制流表示记录该帧图像的各个区域内是否存在角点所得到的描述向量,1表示对应的区域内存在角点,0表示对应的区域内不存在角点。
其中,记录该M个区域中的每个区域内是否存在角点时,是按照相同的顺序进行记录的,优选地,可以按照该M个区域的序号依次进行记录,该M个区域的序号为划分区域时得到的,如M个正方形区域,其序号的顺序为从左到右、从上到下,因此,记录角点时也按照从左到右、从上到下的顺序依次记录每个区域内是否存在角点,从而可以得到一个长度为M的描述向量。
303:根据得到的每帧图像的描述向量,按照预设的如下公式计算得到该N帧图像内角点的存在状态发生变化的区域数目:
S = Σ i = 1 N - 1 xor ( v i , v i + 1 )
其中,S为该N帧图像内角点的存在状态发生变化的区域数目,xor(·,·)为二进制流的异或运算,vi为第i帧图像的描述向量,vi+1为第i+1帧图像的描述向量,i为整数且i=1,…,N-1,∑为对异或结果中不同的位的个数求和,即对异或结果中包含二进制1的个数求和。
所述二进制流的异或运算是指两个二进制流将相同位上的数做异或运算,如第一个二进制流的第1位为1,第二个二进制流的第1位为0,则在第1位上异或之后得到1,表明与该第1位对应的区域内角点的存在状态发生变化;第一个二进制流的第2位为1,第二个二进制流的第2位也为1,则在第2位上异或之后得到0,表明与该第2位对应的区域内角点存在状态未发生变化。在得到N-1个异或运算的结果之后,进行求和运算,可以得到异或结果为1的总数,即得到该N帧图像内角点的存在状态发生变化的区域数目。
例如,获取连续的5帧图像,得到对应的五个描述向量分别为:v1=01100101,v2=01101101,v3=01101100,v4=00101110,v5=01101011,分别对v1和v2进行异或得到00001000,其中不同的位的个数是1,即异或结果中包含一个二进制1;对v2和v3进行异或得到00000001,其中不同的位的个数是1,即异或结果中包含一个二进制1;对v3和v4进行异或得到01000010,其中不同的位的个数是2,即异或结果中包含两个二进制1;对v4和v5进行异或得到01000101,其中不同的位的个数是3,即异或结果中包含三个二进制1;然后对得到的4个异或结果中不同位的个数求和,即1+1+2+3=7,得到该五帧图像内角点的存在状态发生变化的区域数目为7。
本实施例中,对于相邻的两帧图像而言,如果M个区域中的某一个区域内前一帧图像存在角点而后一帧图像不存在角点,或者前一帧图像不存在角点而后一帧图像存在角点,则认为该区域角点的存在状态发生了变化。角点存在状态的变化反映了图像的稳定性,如果图像中发生角点存在状态变化的区域越多,表明该图像越不稳定;相反地,如果图像中发生角点存在状态变化的区域越少,表明该图像越稳定。通常,当一段视频处于静止状态时,则无角点存在状态变化,此时的图像最稳定;当一段视频处于运动状态、或者发生障碍物遮挡、或者焦距发生变化等场景下,图像中的角点存在状态都会发生变化,因而会影响图像的稳定性。所以,基于角点的分布变化状况进行图像的稳定性检测,能够适用各种场景下的图像稳定性检测,可以提高检测的准确性,降低误判的可能。
304:将该N帧图像内角点的存在状态发生变化的区域数目与预设的阈值进行比较;
其中,所述预设的阈值可以根据需要进行设置以及调整,本实施例对此不做具体限定。
305:如果该N帧图像内角点的存在状态发生变化的区域数目小于该阈值,则确定该N帧图像稳定;如果该N帧图像内角点的存在状态发生变化的区域数目大于或等于该阈值,则确定该N帧图像不稳定。
本实施例提供的上述方法,通过获取连续的N帧图像,检测每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,并根据该区域数目确定所述N帧图像是否稳定,无需依赖硬件器件进行检测,降低了图像稳定性检测的局限性,扩大了使用范围,而且,基于角点在图像中的分布变化进行检测,与基于像素点的像素值进行检测相比,提高了图像稳定性检测的准确性。
值得一提的是,上述各个实施例提供的检测图像稳定性的方法,可以用于各种与图像有关的应用中,如搜索图像之前的预处理过程,发送图像之前的图像获取过程、图像识别过程等等。下面以微信应用中的“扫一扫”功能为例进行具体说明。用户在终端中打开微信应用,启用“扫一扫”功能,然后将终端的摄像头对准扫描目标,该功能会对当前摄取的图像执行上述图像稳定性检测流程,在最终确定稳定的图像后,自动将该图像发送至网络侧的服务器,以获取该图像内的目标的相关信息。例如,用户看到一个目标如一本书,想在网络上搜索该目标的相关信息如价格等,则通过微信应用中的上述功能,获取到该目标的稳定的图像后发送至网络侧,从而进行相关信息的搜索,可以轻松地获取该目标的相关信息,与用户自己拍照然后在网络上进行搜索相比,更方便更快捷。
可以看出,通过图像稳定性的检测,能够得到清晰、含有目标、用户对准动作完成的图像,图像的质量更接近理想状态,为后续处理提供了可靠的保证,而且,当用户将摄像头对准拍摄目标时,图像流也会呈现稳定的状态,界面显示也更加流畅,提升了界面展示效果。
实施例4
参见图6,本实施例提供了一种检测图像稳定性的装置,包括:
获取模块501,用于获取连续的N帧图像,该N为大于0的整数;
处理模块502,用于检测所述N帧图像中每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;
计算模块503,用于根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目;
确定模块504,用于根据该N帧图像内角点的存在状态发生变化的区域数目确定该N帧图像是否稳定。
其中,获取的连续的N帧图像可以为任意连续的N帧图像,并且,所述N的大小也可以根据需要设定,如设置N为3或5等等,本实施例对此不做具体限定。
参见图7,结合上述装置,在第一种实施方式下,处理模块502包括:
处理单元502a,用于检测所述N帧图像中每帧图像的角点,将每帧图像划分为M个区域,记录该M个区域中的每个区域内是否存在角点,得到长度为M的每帧图像的描述向量,所述描述向量代表了所述M个区域中角点的存在状态,其中,该M为大于1的整数。
其中,检测角点的算法有多种,如FAST角点检测算法、Kitchen-Rosenfeld角点检测算法、Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法等等,本实施例对此也不做具体限定。为了提高计算速度,优选地,可以采用目前计算速度最快的FAST角点检测算法来进行角点检测。
本实施例中,划分得到的M个区域的形状均相同,优选地,可以划分得到M个正方形区域,当然,在其它实施方式下,也可以划分得到M个长方形、M个三角形、M个扇形、M个平行四边形、M个六边形等等,本实施例对此不做具体限定。另外,优选地,所述M个区域为大小均相等的区域,如在较佳实施方式下,将一个图像划分得到M个大小均相等的正方形区域。
其中,记录该M个区域中的每个区域内是否存在角点时,是按照相同的顺序进行记录的,优选地,可以按照该M个区域的序号依次进行记录,该M个区域的序号为划分区域时得到的,如M个正方形区域其序号的顺序为从左到右、从上到下,因此,记录区域内是否存在角点时也按照从左到右、从上到下的顺序依次记录每个区域内是否存在角点,从而可以得到一个长度为M的描述向量。
结合上述装置,在第二种实施方式下,计算模块503包括:
计算单元503a,用于对该N帧图像中的每两个相邻帧图像的描述向量进行比较,并统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目,得到该N帧图像内角点的存在状态发生变化的区域数目。
优选地,所述统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目具体为:将得到的所有角点的存在状态发生变化的区域数目相加得到总和,将该总和作为该N帧图像内角点的存在状态发生变化的区域数目。
本实施例中,对于相邻的两帧图像而言,如果M个区域中的某一个区域内,前一帧图像存在角点而后一帧图像不存在角点,或者前一帧图像不存在角点而后一帧图像存在角点,则认为该区域角点的存在状态发生了变化。角点存在状态的变化反映了图像的稳定性,如果图像中发生角点存在状态变化的区域越多,表明该图像越不稳定;相反地,如果图像中发生角点存在状态变化的区域越少,表明该图像越稳定。通常,当一段视频处于静止状态时,则无角点存在状态变化,此时的图像最稳定;当一段视频处于运动状态、或者发生障碍物遮挡、或者焦距发生变化等场景下,图像中的角点存在状态都会发生变化,因而会影响图像的稳定性。所以,基于角点的分布变化状况进行图像的稳定性检测,能够适用各种场景下的图像稳定性检测,可以提高检测的准确性,降低误判的可能。
结合上述装置,在第三种实施方式下,确定模块504包括:
比较单元504a,用于将该N帧图像内角点的存在状态发生变化的区域数目与预设的阈值进行比较;
确定单元504b,用于如果该区域数目小于该阈值,则确定该N帧图像稳定;如果该区域数目大于或等于该阈值,则确定该N帧图像不稳定。
其中,所述预设的阈值可以根据需要进行设置以及调整,本实施例对此不做具体限定。
结合上述第一种实施方式,在第四种实施方式下,处理单元502a用于:
检测所述N帧图像中每帧图像的角点,将每帧图像划分为M个区域,对于该M个区域中的每个区域,如果存在角点,则记录为1,如果不存在角点,则记录为0,得到长度为M的每帧图像的描述向量,所述描述向量代表了所述M个区域中角点的存在状态,其中,该M为大于1的整数;
计算模块503用于:
根据得到的每帧图像的描述向量,按照如下公式计算得到该N帧图像内角点的存在状态发生变化的区域数目:
S = Σ i = 1 N - 1 xor ( v i , v i + 1 )
其中,S为该N帧图像内角点的存在状态发生变化的区域数目,xor(·,·)为二进制流的异或运算,vi为第i帧图像的描述向量,vi+1为第i+1帧图像的描述向量,i为整数且i=1,…,N-1,∑为对异或结果中不同的位的个数求和,即对异或结果中包含的二进制1的个数求和。
本实施例提供的上述装置可以执行上述任一方法实施例中提供的方法,详细过程见方法实施例中的描述,此处不赘述。所述装置可以应用于终端中,该终端包括但不限于:手机、平板电脑等等。
本实施例提供的上述装置,通过获取连续的N帧图像,检测每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,并根据该区域数目确定所述N帧图像是否稳定,无需依赖硬件器件进行检测,降低了图像稳定性检测的局限性,扩大了使用范围,而且,基于角点在图像中的分布变化进行检测,与基于像素点的像素值进行检测相比,提高了图像稳定性检测的准确性。
实施例5
本实施例提供了一种终端,包括如实施例4中所述的任一实施方式下的检测图像稳定性的装置,该装置的具体功能均与实施例4中的描述相同,此处不赘述。
即本实施例提供的所述终端可以执行上述任一方法实施例中提供的方法,详细过程见方法实施例中的描述,此处不赘述。所述终端包括但不限于:手机、平板电脑等等,本实施例对此不做具体限定。
本实施例提供的上述终端,通过获取连续的N帧图像,检测每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,并根据该区域数目确定所述N帧图像是否稳定,无需依赖硬件器件进行检测,降低了图像稳定性检测的局限性,扩大了使用范围,而且,基于角点在图像中的分布变化进行检测,与基于像素点的像素值进行检测相比,提高了图像稳定性检测的准确性。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种检测图像稳定性的方法,其特征在于,所述方法包括:
获取连续的N帧图像,所述N为大于0的整数;
检测所述N帧图像中每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;
根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目;
根据所述N帧图像内角点的存在状态发生变化的区域数目确定所述N帧图像是否稳定。
2.根据权利要求1所述的方法,其特征在于,将所述每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量,包括:
划分所述每帧图像得到M个区域,记录所述M个区域中的每个区域内是否存在角点,得到长度为M的所述每帧图像的描述向量,所述描述向量代表了所述M个区域中角点的存在状态,其中,所述M为大于1的整数。
3.根据权利要求1所述的方法,其特征在于,根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,包括:
对所述N帧图像中的每两个相邻帧图像的描述向量进行比较,并统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目,以得到所述N帧图像内角点的存在状态发生变化的区域数目。
4.根据权利要求1所述的方法,其特征在于,根据所述N帧图像内角点的存在状态发生变化的区域数目确定所述N帧图像是否稳定,包括:
将所述N帧图像内角点的存在状态发生变化的区域数目与预设的阈值进行比较;
如果所述区域数目小于所述阈值,则确定所述N帧图像稳定;
如果所述区域数目大于或等于所述阈值,则确定所述N帧图像不稳定。
5.根据权利要求2所述的方法,其特征在于,记录所述M个区域中的每个区域内是否存在角点,得到长度为M的所述每帧图像的描述向量,包括:
对于所述M个区域中的每个区域,如果存在角点,则记录为1,如果不存在角点,则记录为0,得到长度为M的所述每帧图像的描述向量;
相应地,根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目,包括:
根据得到的所述每帧图像的描述向量,按照如下公式计算得到所述N帧图像内角点的存在状态发生变化的区域数目:
S = Σ i = 1 N - 1 xor ( v i , v i + 1 )
其中,S为所述N帧图像内角点的存在状态发生变化的区域数目,xor(·,·)为二进制流的异或运算,vi为第i帧图像的描述向量,vi+1为第i+1帧图像的描述向量,i为整数且i=1,…,N-1。
6.一种检测图像稳定性的装置,其特征在于,所述装置包括:
获取模块,用于获取连续的N帧图像,所述N为大于0的整数;
处理模块,用于检测所述N帧图像中每帧图像的角点,将每帧图像划分为多个区域并记录各个区域内角点的分布情况,以得到每帧图像的描述向量;
计算模块,用于根据所述每帧图像的描述向量计算出所述N帧图像内角点的存在状态发生变化的区域数目;
确定模块,用于根据所述N帧图像内角点的存在状态发生变化的区域数目确定所述N帧图像是否稳定。
7.根据权利要求6所述的装置,其特征在于,所述处理模块包括:
处理单元,用于检测所述N帧图像中每帧图像的角点,将每帧图像划分为M个区域,记录所述M个区域中的每个区域内是否存在角点,得到长度为M的所述每帧图像的描述向量,所述描述向量代表了所述M个区域中角点的存在状态,其中,所述M为大于1的整数。
8.根据权利要求6所述的装置,其特征在于,所述计算模块包括:
计算单元,用于对所述N帧图像中的每两个相邻帧图像的描述向量进行比较,并统计每两个相邻帧图像之间角点的存在状态发生变化的区域数目,以得到所述N帧图像内角点的存在状态发生变化的区域数目。
9.根据权利要求6所述的装置,其特征在于,所述确定模块包括:
比较单元,用于将所述N帧图像内角点的存在状态发生变化的区域数目与预设的阈值进行比较;
确定单元,用于如果所述区域数目小于所述阈值,则确定所述N帧图像稳定;如果所述区域数目大于或等于所述阈值,则确定所述N帧图像不稳定。
10.根据权利要求7所述的装置,其特征在于,
所述处理单元用于:
检测所述N帧图像中每帧图像的角点,将每帧图像划分为M个区域,对于所述M个区域中的每个区域,如果存在角点,则记录为1,如果不存在角点,则记录为0,得到长度为M的所述每帧图像的描述向量,所述描述向量代表了所述M个区域中角点的存在状态,其中,所述M为大于1的整数;
所述计算模块用于:
根据得到的所述每帧图像的描述向量,按照如下公式计算得到所述N帧图像内角点的存在状态发生变化的区域数目:
S = Σ i = 1 N - 1 xor ( v i , v i + 1 )
其中,S为所述N帧图像内角点的存在状态发生变化的区域数目,xor(·,·)为二进制流的异或运算,vi为第i帧图像的描述向量,vi+1为第i+1帧图像的描述向量,i为整数且i=1,…,N-1。
11.一种终端,其特征在于,所述终端包括如权利要求6至10任一项所述的检测图像稳定性的装置。
CN201310156199.2A 2013-04-28 2013-04-28 检测图像稳定性的方法、装置和终端 Active CN104123716B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310156199.2A CN104123716B (zh) 2013-04-28 2013-04-28 检测图像稳定性的方法、装置和终端
PCT/CN2013/085549 WO2014176878A1 (en) 2013-04-28 2013-10-21 Method, apparatus and terminal for detecting image stability
US14/281,387 US9317770B2 (en) 2013-04-28 2014-05-19 Method, apparatus and terminal for detecting image stability

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310156199.2A CN104123716B (zh) 2013-04-28 2013-04-28 检测图像稳定性的方法、装置和终端

Publications (2)

Publication Number Publication Date
CN104123716A true CN104123716A (zh) 2014-10-29
CN104123716B CN104123716B (zh) 2016-08-10

Family

ID=51769115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310156199.2A Active CN104123716B (zh) 2013-04-28 2013-04-28 检测图像稳定性的方法、装置和终端

Country Status (2)

Country Link
CN (1) CN104123716B (zh)
WO (1) WO2014176878A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902265A (zh) * 2015-05-22 2015-09-09 深圳市赛为智能股份有限公司 一种基于背景边缘模型的摄像机异常检测方法及系统
CN106231297A (zh) * 2016-08-29 2016-12-14 深圳天珑无线科技有限公司 摄像头的检测方法及装置
WO2018219275A1 (zh) * 2017-05-31 2018-12-06 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691721B (zh) * 2021-07-28 2023-07-18 浙江大华技术股份有限公司 一种缩时摄影视频的合成方法、装置、计算机设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144955A1 (en) * 2005-12-09 2008-06-19 Barinder Singh Rai Efficient Detection of Camera Shake
CN101404030A (zh) * 2008-11-05 2009-04-08 中国科学院计算技术研究所 一种视频中周期性结构片段检测的方法及系统
KR20090078274A (ko) * 2008-01-14 2009-07-17 전남대학교산학협력단 움직임 벡터 탐색방법 및 장치
CN102055884A (zh) * 2009-11-09 2011-05-11 深圳市朗驰欣创科技有限公司 一种视频图像的稳像控制方法、系统及视频分析系统
CN102222348A (zh) * 2011-06-28 2011-10-19 南京大学 一种三维目标运动矢量计算方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69128163T2 (de) * 1990-03-30 1998-06-18 Sanyo Electric Co Bildaufnahmevorrichtung mit einer Kamera-Erschütterungsdetektionsfunktion
WO2012063469A1 (ja) * 2010-11-11 2012-05-18 パナソニック株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144955A1 (en) * 2005-12-09 2008-06-19 Barinder Singh Rai Efficient Detection of Camera Shake
KR20090078274A (ko) * 2008-01-14 2009-07-17 전남대학교산학협력단 움직임 벡터 탐색방법 및 장치
CN101404030A (zh) * 2008-11-05 2009-04-08 中国科学院计算技术研究所 一种视频中周期性结构片段检测的方法及系统
CN102055884A (zh) * 2009-11-09 2011-05-11 深圳市朗驰欣创科技有限公司 一种视频图像的稳像控制方法、系统及视频分析系统
CN102222348A (zh) * 2011-06-28 2011-10-19 南京大学 一种三维目标运动矢量计算方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902265A (zh) * 2015-05-22 2015-09-09 深圳市赛为智能股份有限公司 一种基于背景边缘模型的摄像机异常检测方法及系统
CN104902265B (zh) * 2015-05-22 2017-04-05 深圳市赛为智能股份有限公司 一种基于背景边缘模型的摄像机异常检测方法及系统
CN106231297A (zh) * 2016-08-29 2016-12-14 深圳天珑无线科技有限公司 摄像头的检测方法及装置
WO2018219275A1 (zh) * 2017-05-31 2018-12-06 Oppo广东移动通信有限公司 对焦方法、装置、计算机可读存储介质和移动终端

Also Published As

Publication number Publication date
WO2014176878A1 (en) 2014-11-06
CN104123716B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
US11423695B2 (en) Face location tracking method, apparatus, and electronic device
US9361512B2 (en) Identification of a gesture
KR20190139262A (ko) 차량 손실 평가 이미지를 획득하기 위한 방법과 장치, 서버 및 단말기 디바이스
US7860343B2 (en) Constructing image panorama using frame selection
CN109313799B (zh) 图像处理方法及设备
CN106663196B (zh) 用于识别主体的方法、系统和计算机可读存储介质
US9275275B2 (en) Object tracking in a video stream
CN104301596A (zh) 一种视频处理方法及装置
CN112511767B (zh) 一种视频拼接方法及设备、存储介质
CN109711241B (zh) 物体检测方法、装置与电子设备
CN107087121A (zh) 一种基于运动检测的自动导播方法及装置
EP3115935A1 (en) A method, apparatus, computer program and system for image analysis
CN109783680B (zh) 图像推送方法、图像获取方法、装置及图像处理系统
CN104123716A (zh) 检测图像稳定性的方法、装置和终端
US20190355104A1 (en) Image Correction Method and Apparatus
US9317770B2 (en) Method, apparatus and terminal for detecting image stability
CN114222065B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
US9898828B2 (en) Methods and systems for determining frames and photo composition within multiple frames
JP2000011134A (ja) 移動量検出装置及びその方法
JP2889410B2 (ja) 画像認識装置
JP4571115B2 (ja) 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
US11617024B2 (en) Dual camera regions of interest display
CN107507224B (zh) 运动物体检测方法、装置、介质及计算设备
JP3263794B2 (ja) 画像処理装置
CN117876427A (zh) 文本跟踪方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180910

Address after: 100191 Beijing Haidian District Zhichun Road 49 No. 3 West 309

Patentee after: Tencent cloud computing (Beijing) limited liability company

Address before: 518000 East 403 room, Sai Ge science and Technology Park, Futian District Zhenxing Road, Shenzhen, Guangdong, China, 2

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.