CN114125266B - 摄像装置的转动检测方法、装置、设备、介质及程序产品 - Google Patents
摄像装置的转动检测方法、装置、设备、介质及程序产品 Download PDFInfo
- Publication number
- CN114125266B CN114125266B CN202111222801.9A CN202111222801A CN114125266B CN 114125266 B CN114125266 B CN 114125266B CN 202111222801 A CN202111222801 A CN 202111222801A CN 114125266 B CN114125266 B CN 114125266B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- state
- pickup device
- moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 167
- 230000000737 periodic effect Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000010244 region-of-interest analysis Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000010191 image analysis Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供了一种摄像装置的转动检测方法、装置、设备、介质及程序产品,所述方法包括:所述方法包括:所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像;其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动;确定所述摄像装置所对应的累计抖动次数;根据所述累计抖动次数,确定所述摄像装置是否发生转动。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种摄像装置的转动检测方法、装置、设备、介质及程序产品。
背景技术
随着图像处理技术的不断发展,图像处理技术应用到越来越多的领域中,例如,可以应用到城市管理中,可以利用图像处理技术对道路、车辆、行人等进行分析识别,具体而言,是利用摄像装置拍摄视频图像,之后,对视频图像中的特定图像区域进行分析,得到该特定图像区域的分析结果。其中,在这个过程中,往往需要按照一定的规则画好视频图像中的ROI(region of interest,感兴趣区域)区域,该ROI区域用于框选出视频图像中的特定图像区域,之后,对ROI区域进行图像分析。其中,ROI区域一般不变,每当来一个新的视频图像,便会通过这个固定的ROI区域框选出视频图像中的图像区域以进行分析。
其中,一般是固定摄像装置的机位,在固定的角度下拍摄视频图像,但是如果一旦摄像装置发生转动,即从固定的角度偏离,则ROI区域所框选出的图像区域便发生变化,此种情况下,所分析的内容将是不准确的,因而,需要判断摄像装置是否转动。
相关技术中,一般是使用OpenCV基于图像特征点来判断摄像装置是否转动,即判断摄像装置前后所拍摄的两张视频图像的图像内容是否匹配,但是此种方式的准确性仍然不高,会导致对摄像装置的转动的误判,在实际业务中,多次发生对摄像装置的误判导致的图像分析异常,不得不耗费大量的人工去进行异常恢复,导致图像分析效率较低。
发明内容
鉴于上述问题,提出了本申请实施例的一种摄像装置的转动检测方法、装置、设备及介质,以便克服上述问题或者至少部分地解决上述问题。
为了解决上述问题,本申请的第一方面,公开了一种摄像装置的转动检测方法,所述方法包括:
所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像;其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;
对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动;
确定所述摄像装置所对应的累计抖动次数;
根据所述累计抖动次数,确定所述摄像装置是否发生转动。
可选地,根据所述累计抖动次数,确定所述摄像装置是否发生转动,包括:
在所述累计抖动次数达到所述第一目标阈值时,确定所述摄像装置发生转动;
在所述累计抖动次数不大于第二目标阈值时,确定所述摄像装置未发生转动;
其中,所述第二目标阈值小于所述第一目标阈值。
可选地,若确定所述摄像装置发生转动;所述方法还包括:
将所缓存的所述摄像装置的状态更新为转动状态。
可选地,若确定所述摄像装置未发生转动,所述方法还包括:
读取所缓存的所述摄像装置的状态;
在所缓存的所述摄像装置的状态为转动状态时,将所缓存的所述摄像装置的状态更新为未转动状态。
可选地,所述方法还包括:
在当前时刻达到所述摄像装置执行定时检测任务的目标时刻时,获得所述摄像装置在所述目标时刻拍摄的第二目标图像;
对所述第二目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和/或所缓存的第二参考图像进行更新;其中,所述第二参考图像为:所述摄像装置处于未转动状态下拍摄的包含所述初始化感兴趣区域的图像。
可选地,根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第二参考图像进行更新,包括:
若所述摄像装置在所述目标时刻未发生抖动,且所缓存的所述摄像装置的状态为非转动状态,将所缓存的第二参考图像更新为所述摄像装置在所述目标时刻拍摄的图像。
可选地,根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和所缓存的第二参考图像进行更新,包括:
若所述摄像装置在所述目标时刻发生抖动,且所缓存的所述摄像装置的状态为转动状态,从缓存中读取所述第二目标图像所对应的第二参考图像;
对所述第二目标图像和所述第二参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,将所缓存的第二参考图像和所缓存的第一参考图像均更新为所述摄像装置在所述目标时刻拍摄的图像。
可选地,若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,所述方法还包括:
将所缓存的所述摄像装置的状态更新为未转动状态;
将所述累计抖动次数清零。
所述累计抖动次数是按照以下步骤确定的:
在初始时刻,将所述累计抖动次数初始化为零;
在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时发生抖动,则将所述累计抖动次数加一;若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计抖动次数减一;
在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计次数减一。
可选地,所述方法还包括:
获得所述摄像装置在初始时刻拍摄的包含初始化感兴趣区域的初始图像,将所述初始图像确定为初始时刻的第一参考图像并缓存;
在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像;
在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像。
可选地,所述方法还包括:
在感兴趣区域解析任务的执行时刻,读取所缓存的所述摄像装置的状态,所述感兴趣区域解析任务用于对所述摄像装置拍摄的待检测图像中,所述初始化感兴趣区域所框选的局部图像进行解析;
在所述摄像装置的状态为转动状态的情况下,停止执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务;
在所述摄像装置的状态为未转动状态的情况下,执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务。
本申请实施例的第二方面,公开了一种摄像装置的转动检测装置,包括:
第一图像获得模块,用于所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像;其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;
第一匹配模块,用于对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动;
次数确定模块,用于确定所述摄像装置所对应的累计抖动次数;
转动确定模块,用于根据所述累计抖动次数,确定所述摄像装置是否发生转动。
本申请实施例的第三方面,还公开了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行如本申请第一方面实施例所述的摄像装置的转动检测方法。
本申请实施例的第四方面,还公开了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如本申请第一方面实施例所述的摄像装置的转动检测方法。
本申请实施例的第五方面,还公开了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现如第一方面实施例所述的摄像装置的转动检测方法。
本申请实施例包括以下优点:
在本申请实施例中,在执行周期性检测任务时,获得摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取第一目标图像所对应的第一参考图像;其中,第一参考图像为摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;之后,对第一目标图像和第一参考图像进行特征点匹配,以确定摄像装置在拍摄第一目标图像时是否发生抖动;接着,确定摄像装置所对应的累计抖动次数;之后,根据累计抖动次数,确定摄像装置是否发生转动。
由于以摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像作为第一参考图像,并将该第一参考图像与周期性拍摄的第一目标图像进行比对以确定摄像装置在每个周期时刻是否发生抖动,之后,根据累计记录的累计抖动次数,确定摄像装置是否发生转动。由于是根据累计抖动次数去判断摄像装置是否发生转动,这样,参考了摄像装置在一段时间内的状态,可以理解的是,累计抖动次数较多,则摄像装置发生转动的可能性越高,因而,根据累计抖动次数确定摄像装置是否发生转动,可以提高检测的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中的应用ROI区域进行检测的过程示意图
图2是本申请实施例中本申请的摄像装置的转动检测方法的步骤流程图;
图3是本申请实施中进行定时检测任务的步骤流程图;
图4是本申请实施中周期性检测任务的执行流程示意图;
图5是本申请实施中定时检测任务的执行流程示意图;
图6是本申请实施中一种摄像装置的转动检测装置的结构框图;
图7是本申请实施例中的一种电子设备的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,使用OpenCV基于图像特征点来判断摄像装置是否抖动的方式,存在准确性不高的问题,具体表现在以下方面:一方面,只要画面比对不成功,就会判断摄像装置转动了。另一方面,画面比对不成功的原因是多方面的,例如,球机的偶尔画面大部分画面被移动的物体挡住了,会比对不成功;随着白天到晚上光线的变化较大,也会导致比对不成功;晚上偶尔一次的远光灯事件,也会导致比对不成功。例如,画面也受季节性天气的影响,有雾的情况或有雨的情况,会导致比对不成功。
有鉴于此,本申请提出一种摄像装置的转动检测方法,具体构思是:周期性对摄像装置当前拍摄的图像与参考图像进行比对,参考图像是摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像,进而根据比对结果周期性确定摄像装置是否发生转动,接着,根据累计的摄像装置被判断为抖动的累计抖动次数,判断摄像装置是否发生转动。由于是根据累计抖动次数去判断摄像装置是否发生转动,这样,参考了摄像装置在一段时间内的状态,可以理解的是,累计抖动次数较多,则摄像装置发生转动的可能性越高,因而,根据累计抖动次数确定摄像装置是否发生转动,可以提高检测的准确性。
首先,为方便理解本申请的技术方案,对本申请涉及的基于ROI区域的图像处理进行介绍。参照图1所示,示出了本申请的应用ROI区域进行检测的过程示意图。
如图1所示,左侧图像和右侧图像均包括位于下层的实景图像以及在实景图像上的图形框,该图形框在实景图像上框选出的图像区域即为ROI区域,图形框所在位置和形状是提前绘制好的,一般不会随着时间的变化而变化。其中,左侧图像中的实景图像是在A时刻所拍摄的,而右侧图像中的实景图像是在B时刻所拍摄的,可见,两种实景图像是有细微差异的,当这个差异很细微时,图形框所框选的图像区域的画面内容差异也不大,因此可以实现图像分析。
但是,当实景图像之间的差异很大,例如,左侧实景图像和右侧实景图像之间存在较大的差异时,则图形框所框选的图像区域的画面内容差异也很大,如再进行图像分析,则会出现错误的分析结果。
可以理解的是,当实景图像之间的差异很大时,表示摄像装置发生了抖动,该抖动可以是指摄像装置从设定的固定机位(角度和位置)偏移较大的幅度,导致拍摄的画面与在固定机位上拍摄的画面差异很大。本申请所讨论的进行准确度较高的摄像装置的抖动检测,就是为了准确检测出摄像装置发生抖动的情况,以便停止图像分析。
参照图2所示,示出了本申请的摄像装置的转动检测方法的步骤流程图,如图2所示,本申请实施例的方法可以应用于与摄像装置通信链接的智能设备或服务器上,具体可以包括以下步骤:
步骤S201:所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像。
其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像。
本实施例中,可以为摄像装置绑定周期性检测任务,周期性检测任务是指每隔预设时间便执行一次图像比,以确定摄像装置是否抖动的任务。具体地,每个预设时间便可以获得摄像装置在当前时刻所拍摄的第一目标图像。由于需要进行图像比对,第一目标图像是摄像装置当前时刻所拍摄的,则需要获得与第一目标图像对应的第一参考图像。
其中,第一参考图像是指摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像,初始化感兴趣区域是指需要进行图像分析的区域,一般是在摄像装置开机时,固定摄像装置的机位到指定机位时,所拍摄的图像中便包括了初始化感兴趣区域。
如图1所示,初始化感兴趣区域即为图形框所框线出的区域,也就是说,第一参考图像是包含了初始化感兴趣区域的图像,当该第一参考图像包含了初始化感兴趣区域的图像时,便表示该第一参考图像是摄像装置在指定机位未发生抖动时所拍摄的图像。
步骤S202:对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动。
本实施例中,可以提取第一目标图像中的多个特征点,以及多个特征点在第一目标图像中的位置,同样地,也可以提取第一参考图像中的多个特征点,以及多个特征点在第一参考图像中的位置。
其中,在对第一目标图像和第一参考图像进行特征点匹配时,可以将第一目标图像中的多个特征点以及其在第一目标图像中的位置,与第一参考图像中的多个特征点以及其在第一参考图像中的位置进行比对,根据比对成功的特征点的数量,以及比对成功的特征点在第一目标图像和第一参考图像中的位置差异,确定第一参考图像和第一目标图像是否匹配。
具体而言,在比对成功的特征点的数量大于预设阈值,且比对成功的特征点的位置差异小于预设差异阈值时,可以认为第一参考图像和第一目标图像是匹配的。
实际中,在第一参考图像和第一目标图像匹配的情况下,表示第一目标图像与第一参考图像的内容差异不大,可以表征摄像装置在拍摄第一目标图像时是未发生抖动的;在第一参考图像和第一目标图像不匹配的情况下,表示第一目标图像与第一参考图像的内容差异较大,可以表征摄像装置在拍摄第一目标图像时发生了抖动。
步骤S203:确定所述摄像装置所对应的累计抖动次数。
本实施例中,在周期性检测任务中的每个执行时刻,当每确定所拍摄的第一目标图像和第一参考图像是匹配的,则会计数。其中,累计抖动次数可以理解为是在当前时刻以及当前时刻之前确定出的摄像装置发生抖动的累计次数。
步骤S204:根据所述累计抖动次数,确定所述摄像装置是否发生转动。
本实施例中,由于累计抖动次数可以反映摄像装置在一段时间内被判断为发生抖动的累计次数,累计次数越高,则摄像装置实际发生转动的概率越高,因而可以根据累计抖动次数,确定摄像装置是否发生转动。
当然,在一些实施例中,可以通过设定累计抖动次数阈值的方式,确定摄像装置是否发生转动。本实施例中,抖动可以理解为是摄像装置上下或左右发生颤动,而转动可以理解为是摄像装置相对初始位置发生了较大的位移,当被判断为抖动次数较多时,可以确定摄像装置相对初始位置发生了较大的位移,即,确定摄像装置发生了转动。因而,可以根据累计抖动次数确定摄像装置是否发生转动。
采用本申请实施例的技术方案,由于以摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像作为第一参考图像,并将该第一参考图像与周期性拍摄的第一目标图像进行比对以确定摄像装置在每个周期时刻是否发生抖动,之后,根据累计记录的累计抖动次数,确定摄像装置是否发生转动。
由于是根据累计抖动次数去判断摄像装置是否发生转动,具体来说是参考了摄像装置在一段时间内的状态,一方面,避免了只要画面比对不成功,就判断摄像装置抖动所导致的误判,从而可以提高检测的准确性。另一方面,就避免了画面偶尔被物体挡住、远关灯、光线等导致的画面偶尔比对不上,便确定摄像装置发生抖动的误判。由于累计抖动次数较多,摄像装置发生抖动的可能性越高,从而提高了确定摄像装置发生抖动的准确性。
由于本申请实施例中是根据累计抖动次数,确定所述摄像装置是否发生转动,则实际中,可以通过设置阈值的方式,确定摄像装置是否发生转动。在一种实施方式中,在所述累计抖动次数达到所述第一目标阈值时,确定所述摄像装置发生转动;在所述累计抖动次数不大于第二目标阈值时,确定所述摄像装置未发生转动;其中,所述第二目标阈值小于所述第一目标阈值。
本实施例中,在周期性检测任务的某一执行时刻,在当次的执行任务完成后,确定判断摄像装置是发生抖动的累计抖动次数达到第一目标阈值时,便会确定摄像装置发生转动,此时,可以将所缓存的所述摄像装置的状态更新为转动状态。
其中,缓存的摄像装置的状态可以是指在数据库中存储的摄像装置的状态,则可以在数据库中将摄像装置的状态更新为转动状态。其中,数据库中存储有摄像装置的状态信息、装置信息等。
一般而言,当累计抖动次数达到第一目标阈值时,周期性检测任务仍然是持续在运行的,也就是说,还会在每一个执行时刻根据当前所拍摄的目标图像和参考图像进行特征点匹配,继续判断摄像装置是否发生抖动,若后续判断出摄像装置发生了抖动,则不会增加累计抖动次数,若后续判断出摄像装置未发生抖动,则会在当前累积抖动次数(即第一目标阈值)的基础上递减。
此种情况下,若累计抖动次数不大于第二目标阈值时,则确定摄像装置未发生抖动。具体地,当累计抖动次数达到第一目标阈值,确定摄像装置抖动之后,周期性检测任务持续运行,后续当累计抖动次数小于或等于第二目标阈值时,则会确定摄像装置后续又未发生抖动,即表示摄像装置恢复到指定机位,从而会在数据库中将摄像装置的状态更新为未转动状态。
采用本实施方式的技术方案,由于设定了第一目标阈值和第二目标阈值,当周期性检测任务在运行过程中,首次检测到累计抖动次数达到第二目标阈值时,仍然确定摄像装置是未抖动的,当累计抖动次数首次达到第一目标阈值时,则确定摄像装置发生抖动,从而更改数据库中摄像装置的状态为转动状态,周期性检测任务持续运行,累计抖动次数可以不再累加,当后续续判断出摄像装置未发生抖动,累计抖动次数会在第一目标阈值的基础上减少,当减少到第二目标阈值时,则在数据库中将摄像装置的状态更新为未转动状态,从而可以在摄像装置的状态被处于转动状态时,可以通过持续运行的周期性检测任务,快速恢复摄像装置的状态为未转动状态,从而快速恢复对感兴趣区域的图像的分析任务,以提高图像分析任务的效率。
在又一种实施方式中,若确定所述摄像装置未发生转动,则还可以读取所缓存的所述摄像装置的状态;并在所缓存的所述摄像装置的状态为转动状态时,将所缓存的所述摄像装置的状态更新为未转动状态。
其中,在累计抖动次数未达到第二目标阈值时,是确定摄像装置未发生转动的,如此,可以先读取摄像装置的状态,若存储的摄像装置的状态是转动状态,则更新存储的摄像装置的状态为未转动状态,以恢复对感兴趣区域的图像的分析任务。
当然,若存储的摄像装置的状态是未转动状态,则无需更新存储的摄像装置的状态。
在一种实施例中,可以对感兴趣区域所框选的局部图像进行图像分析,具体地,可以在感兴趣区域解析任务的执行时刻,读取所缓存的所述摄像装置的状态,所述感兴趣区域解析任务用于对所述摄像装置拍摄的待检测图像中,所述初始化感兴趣区域所框选的局部图像进行解析。
实际中,感兴趣区域解析任务也可以是周期性的任务,即每隔指定时间便会对摄像装置所拍摄的图像中感兴趣区域框选的局部图像进行解析,并输出解析结果。
其中,解析可以是指行人识别、物体分类等解析,本申请对此不做限定,在一种实施方式中,可以利用神经网络对中感兴趣区域框选的局部图像进行解析,以得到解析结果。
其中,在所述摄像装置的状态为转动状态的情况下,停止执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务。
其中,在所述摄像装置的状态为未转动状态的情况下,执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务。
本实施例中,在每个感兴趣区域解析任务的执行时刻,均可以从读取当前存储的摄像装置的状态。在当前存储的摄像装置的状态为转动状态时,表征摄像装置当前转动了,其拍摄的图像中被感兴趣区域所框选的局部图像并不是需要被解析的图像,因而会停止感兴趣区域解析任务。在当前存储的摄像装置的状态为未转动状态时,表征摄像装置当前拍摄的图像是在未转动的情况下拍摄的,其拍摄的图像中被感兴趣区域所框选的局部图像是需要被解析的图像,因而会执行感兴趣区域解析任务。
采用此种实施方式时,由于在存储的摄像装置的状态为未转动状态时,才执行感兴趣区域解析任务,而在储的摄像装置的状态为转动状态时,便停止感兴趣区域解析任务,从而避免无论何种状态都持续执行感兴趣区域解析任务所导致的解析资源浪费,解析结果错误的问题。
在一种实施例中,摄像装置除绑定周期性检测任务外,还可以绑定定时检测任务,该定时检测任务的执行时间间隔大于周期性检测任务的执行时间间隔,该定时检测任务可以用于更新周期性检测任务所依据的第一参考图像,也可以用于对存储的摄像装置的状态进行异常恢复。
参照图3所示,示出了进行定时检测任务的步骤流程图,如图3所示,具体可以包括以下步骤:
步骤S301:在当前时刻达到所述摄像装置执行定时检测任务的目标时刻时,获得所述摄像装置在所述目标时刻拍摄的第二目标图像。
具体实施时,定时检测任务可以每天执行一次,目标时刻是定时检测任务的执行时刻,其可以根据需求设定,例如,设定为下午一点,周期性检测任务可以每分钟执行一次。在到达定时检测任务的目标时刻时,便开启定时检测任务,从而获得摄像装置在目标时刻拍摄的第二目标图像。
步骤S302:对所述第二目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动。
如上述实施例中步骤S202所述,可以将第二目标图像和第一参考图像进行特征点匹配,此时,第一参考图像是周期性检测任务在该目标时刻所对应的参考图像。
其中,匹配的过程可以如上述实施例步骤S202所述,在此不再赘述。
步骤S303:根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和/或所缓存的第二参考图像进行更新。
其中,所述第二参考图像为:所述摄像装置处于未转动状态下拍摄的包含所述初始化感兴趣区域的图像。
具体实施时,在得到摄像装置在所述目标时刻是否发生抖动的结果时,可以根据该结果和当前缓存的摄像装置的状态,对第一参考图像进行更新,或者,对第二参考图像进行更新,或者,对第一参考图像和第二参考图像进行更新。
其中,第二参考图像可以是指在摄像装置在开机,且固定摄像装置的机位到指定机位时,所拍摄的图像,该图像是包括感兴趣区域的,可以称为初始图像;实际中,初始图像可以作为第一参考图像和第二参考图像。
实际中,第一参考图像用于周期性检测任务中,可以在每判断一次摄像装置未抖动时,便被更新,第二参考图像可以用于定时检测任务中,在定时检测任务的执行时刻确定是否对其进行更新。
下面,对定时检测任务的具体过程进行详细说明。
其中,可以根据第二目标图像和第一参考图像的比对结果以及存储的摄像机的状态,对第二参考图像进行更新,具体过程如下:
在所述摄像装置在所述目标时刻未发生抖动,且所缓存的所述摄像装置的状态为非转动状态的情况下,将所缓存的第二参考图像更新为所述摄像装置在所述目标时刻拍摄的图像。
其中,根据第二目标图像和第一参考图像的比对结果,可以确定摄像装置在目标时刻是否发生抖动,第一参考图像和第二目标图像是匹配的,则可以确定摄像装置在目标时刻未发生抖动,若所缓存的摄像装置的状态是非转动状态,表示周期性检测任务和定时检测任务的检测结果是一致的,因而摄像装置的实际状态是未转动的。则此种情况下,可以将第二目标图像作为第二参考图像,也就是将第二参考图像更新为摄像装置在目标时刻拍摄的图像,从而可以将第二参考图像更新为摄像装置在定时检测任务的执行时刻所拍摄的图像。
当然,若第一参考图像和第二目标图像是匹配的,而所缓存的摄像装置的状态是转动状态,表示摄像装置的实际状态却是转动的,是与目标时刻的判断相反的,即周期性检测任务和定时检测任务的检测结果是不一致的,此种情况下,不会对第二参考图像进行更新。
其中,可以根据第二目标图像和第一参考图像的比对结果以及存储的摄像机的状态,对第二参考图像和第一参考图像进行更新,具体过程如下:
首先,若所述摄像装置在所述目标时刻发生抖动,且所缓存的所述摄像装置的状态为转动状态,从缓存中读取所述第二目标图像所对应的第二参考图像。
此种情况下,目标时刻的判断结果与存储的摄像装置的状态是一致的,即周期性检测任务和定时检测任务的检测结果是一致的结果,则会继续将第二目标图像和第二参考图像进行匹配,其中,将第二目标图像和第二参考图像进行匹配,是为了应对画面内容出现的特殊场景而导致转动状态的误判的情况的。
例如,以对某一街道拍摄图像,以确定是否存在占道经营为例,在周期性检测任务中,拍摄的街道图像中正好路过了公交车,感兴趣区域框选的画面被公交车遮挡,然而此图像恰好作为了第一参考图像,则在周期性检测任务的后续执行时刻所拍摄的图像均与该第一参考图像匹配不上(表现在两幅图像的特征点对不上),导致摄像装置多次判断为抖动,最终使得摄像装置的状态被设置为转动状态。此种情况下,进入到定时检测任务时,定时检测任务所拍摄的第二目标图像也是与第一参考图像匹配不上的,然而,实际情况是:摄像装置并未抖动,只是误判了。
因此,为避免示例中因画面内容被大幅遮挡出现的误判,可以将第二目标图像与摄像装置开机时初始化的第二参考图像进行比对。
接着,对所述第二目标图像和所述第二参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动。
其中,对第二目标图像和第二参考图像进行特征点匹配的过程,如上述实施例步骤S202所述,在此不再赘述。
之后,若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,将所缓存的第二参考图像和所缓存的第一参考图像均更新为所述摄像装置在所述目标时刻拍摄的图像。
本实施例中,在第二目标图像和第二参考图像的匹配结果为匹配时,则判断摄像装置在目标时刻未发生抖动,如上述示例所述,此种情况表示目标时刻拍摄的图像与摄像装置被初始化时拍摄的图像之间差异较小,则表征摄像装置在实际中是未发生转动的,则可以将缓存的第二参考图像和所缓存的第一参考图像均更新为目标时刻拍摄的图像,即将第二目标图像作为第二参考图像和所缓存的第一参考图像,实现了对第一参考图像和第二参考图像的再次初始化。
在第二目标图像和第二参考图像的匹配结果为匹配时,判断摄像装置在目标时刻未发生抖动,由于此种情况下,缓存的摄像装置的状态是转动状态,在一种实施例中,可以将缓存的摄像装置的状态由转动状态更新为未转动状态。
当然,在第二目标图像与第二参考图像进行特征匹配的匹配结果指示像装置在目标时刻未发生抖动的情况下,除将缓存的摄像装置的状态更新为未转动状态外,还可以将累计抖动次数清零,从而实现对周期性检测任务的初始化。
在一种实施例中,由于周期性检测任务是依据第一参考图像进行比对的,如上所述,第一参考图像在周期性检测任务中也会被动态更新,以应对特殊场景下(如雨天、闪光灯、光线变化)的画面变化,从而提高画面比对的准确性。具体的,可以先获得所述摄像装置在初始时刻拍摄的包含初始化感兴趣区域的初始图像,将所述初始图像确定为初始时刻的第一参考图像并缓存。
其中,在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像。
具体实施时,由于周期性检测任务的每个执行时刻,都会将该执行时刻摄像装置拍摄的图像与缓存的第一参考图像进行特征点匹配,若匹配成功,一方面判断摄像装置未抖动,另一方面,会将缓存的第一参考图像更新为在该执行时刻所拍摄的图像,从而实现第一参考图像被动态更新。
其中,在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像。
具体实施时,定时检测任务执行的时间间隔与周期性检测任务的执行时间间隔是不同的,在定时检测任务的执行时刻,一方面会将摄像装置在执行时刻所拍摄的图像与缓存的第一参考图像比对,另一方面会读取缓存的摄像装置的状态,接着,根据图像匹配结果确定摄像装置在该执行时刻是否发生抖动。
若确定在该执行时刻未发生抖动,但是所缓存的所述摄像装置的状态为转动状态,即又出现了定时检测任务的结果与周期性检测任务的结果不一致的情况,很有可能是出现了误判。
实际中,为纠正定时检测任务的结果是未抖动,而周期性检测任务的结果是转动的问题,本实施例中,可以将所缓存的第一参考图像更新为摄像装置在该时刻拍摄的图像,也就是说,将周期性检测任务所缓存的第一参考图像更新为第二目标图像,从而改变周期性检测任务的后续执行时刻所依据的第一参考图像,由于第一参考图像被更新,使得可以使周期性检测任务从异常的判断状态脱离出来。
相应地,为了实现摄像装置的异常恢复,及摄像装置从转动状态恢复到指定机位时,可以实时跟随摄像装置的状态变化。在定时检测任务和周期性检测任务同时存在的情况下,对累计抖动次数的累计过程进行说明,具体地,可以在初始时刻,将所述累计抖动次数初始化为零。
其中,在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时发生抖动,则将所述累计抖动次数加一;若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计抖动次数减一。
本实施例中,周期性检测任务的每个执行时刻,都会将摄像装置在该执行时刻所拍摄的第一目标图像和第一参考图像进行比对,以判断摄像装置在该执行时刻是否发生抖动,其中,若判断是发生抖动的,则累计抖动次数加一,若判断是未发生抖动的,则累计抖动次数会减一。
如上实施例所述,判断是未发生抖动的,还可以将第一参考图像更新为在该执行时刻所拍摄的图像,从而实现第一参考图像的动态更新。
其中,在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计次数减一。
本实施例中,定时检测任务的每个执行时刻,会将摄像装置在该执行时刻所拍摄的第二目标图像和周期性检测任务当前缓存的第一参考图像进行比对,以判断摄像装置在该执行时刻是否发生抖动,其中,若判断是未发生抖动的,且缓存的摄像装置的状态为转动状态,即定时检测任务的检测结果是未抖动,而周期性检测任务的检测结果是转动,此种情况下,周期性检测任务大概率出现了异常,为使周期性检测任务脱困,会将累计次数减一,同时将周期性检测任务中的第一参考图像更新为第二目标图像。
其中,对周期性检测任务的脱离过程可以如下示例所述:
假设更新后的第一参考图像为图像1,当前周期性检测任务的累计抖动次数是5,在周期性检测任务的五个连续的执行时刻,分别拍摄到图像2、图像3、图像4、图像5和图像6,先将图像2与图像1比对,如果是匹配的,则累计抖动次数会减1,第一参考图像又被更新为图像2,将图像3与图像2比对,如果是匹配的,则累计抖动次数又会减1,以此类推,假设每一次匹配都的匹配成功的,则累计抖动次数会被逐渐减至0,从而会将缓存的摄像装置的状态更新为未转动状态,实现判断出的摄像装置的状态与真实的状态是一致的,进而使得周期性检测任务脱离了异常。
参照图4和图5所示,图4示出了周期性检测任务的执行流程示意图,图5示出了定时检测任务的执行流程示意图。
结合图4和图5所示,以摄像装置为球机为例,对本申请的摄像装置的转动检测方法进行完整的示例说明。
S1,添加检测任务:首先开启球机,在开启计算机视觉的区域解析任务(基于ROI分析人、车等的行为时,如城市管理中的机动车乱停放、店外经营、占道经营、非机动车乱停放等)的时候,将球机的当前画面保存为第一、二参考图像,将球机的相关信息保存至缓存中,进行计数器的初始化;动态创建周期性检测任务与定时检测任务。
其中,若该球机的检测任务中具有一些历史的检测任务,则会先移除历史的检测任务,之后,再添加周期性检测任务与定时检测任务。
将第一、二参考图像转换为base64字符串,存储至关系型数据库。
S2:执行周期性检测任务,参照图4所示,该周期性检测任务执行逻辑如下,每间隔1分钟执行以下步骤:
第一步:获取第一参考图像与球机拍摄到当前画面进行比对。
第二步:根据第一步比对的结果,若结果为不匹配,则进行第三步,否则直接进行第五步。
第三步:记录异常匹配数据,计数器加一,其中,计数器的累积计数不大于N,N为上述的第一目标阈值。
第四步:判断异常计数器是否大于等于N,如果大于等于N则在关系数据库中更新球机的状态为转动,否则结束。
第五步:异常计数器减一,异常计数器不能小于零,并将第一参考图像更新为当前画面。
第六步:若异常计数器小于M且球机当前状态为转动则更新设备为正常,否则结束,M即为第二目标阈值,
以上六步是球机周期性检测任务执行逻辑。其中,第四步是球机变为转动状态的逻辑,第六步是球机恢复后状态变为正常的逻辑。其中M大于零小于N,当异常计数器为N时则确定球机抖动,当异常计数器从N降到M,球机恢复,引入渐进法机制可以提高检测准确率、快速恢复业务的能力。
S3:定时检测任务,每日检测执行每天执行一次,参照图5所示,到执行时刻时的执行步骤如下:
第一步:读取数据库中该球机的当前状态,若球机状态为正常则进行第二步,否则进行第三步。
第二步:将当前的第一参考图像与球机当前画面进行比对,如果比对结果为匹配,则更新第二参考图像为当前画面,否则记录本次比对信息。
第三步:将当前的第一参考图像与当前画面进行比对,如果比对结果为匹配,则异常计数器减一。
第四步:如果第三步的比对结果为不匹配,则获取第二参考图像与当前画面进行比对,如果此时比对结果为匹配,则将当前画面更新为第一、二参考图像,将当前设备状态更新为正常,异常计数器清零,即实现两种检测任务的初始化。
以上四步是球机定时检测任务执行逻辑。其中,第二步是球机第二参考图像每日更新策略,解决因天气、季节变化引起的基准画面不准确问题。第四步是解决由于第一参考图像异常导致的球机状态检测不准确的问题,具有自我调节自我恢复参考图像信息能力、提升球机状态检测准确率。
S4:移除检测任务,即移除该球机周期性检测任务与定时检测任务,删除该球机的计数器相关辅助信息,从关系型数据库库中删除该路球机参考图像信息。
S1与S4作为每路球机的任务管理执行单元,S2与S3作为每路球机检测任务核心逻辑。S2具备检测球机状态的能力,同时具备球机归位后检测设备自动恢复的能力;S3具备每日更新基准画面、基准画面异常自动恢复机制。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图6所示,示出了本申请实施例的一种摄像装置的转动检测装置的结构框图,如图6所示,本申请实施例的装置可以应用于与摄像装置通信链接的智能设备或服务器上,所述装置具体可以包括以下模块:
第一图像获得模块601,用于所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像;其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;
匹配模块602,用于对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动;
次数确定模块603,用于确定所述摄像装置所对应的累计抖动次数;
转动确定模块604,用于根据所述累计抖动次数,确定所述摄像装置是否发生转动。
可选地,所述转动确定模块,包括:
第一确定单元,用于在所述累计抖动次数达到所述第一目标阈值时,确定所述摄像装置发生转动;
第二确定单元,用于在所述累计抖动次数不大于第二目标阈值时,确定所述摄像装置未发生转动;
其中,所述第二目标阈值小于所述第一目标阈值。
可选地,所述装置还包括:
第一状态更新模块,用于若确定所述摄像装置发生转动,将所缓存的所述摄像装置的状态更新为转动状态。
可选地,所述装置还包括:
第二状态更新模块,用于若确定所述摄像装置未发生转动,读取所缓存的所述摄像装置的状态;并在所缓存的所述摄像装置的状态为转动状态时,将所缓存的所述摄像装置的状态更新为未转动状态。
可选地,所述装置还包括:
第二图像获得模块,用于在当前时刻达到所述摄像装置执行定时检测任务的目标时刻时,获得所述摄像装置在所述目标时刻拍摄的第二目标图像;
第二匹配模块,用于对所述第二目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
更新模块,用于根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和/或所缓存的第二参考图像进行更新;其中,所述第二参考图像为:所述摄像装置处于未转动状态下拍摄的包含所述初始化感兴趣区域的图像。
可选地,更新模块,具体用于若所述摄像装置在所述目标时刻未发生抖动,且所缓存的所述摄像装置的状态为非转动状态,将所缓存的第二参考图像更新为所述摄像装置在所述目标时刻拍摄的图像。
可选地,更新模块,具体包括以下单元:
图像读取单元,用于若所述摄像装置在所述目标时刻发生抖动,且所缓存的所述摄像装置的状态为转动状态,从缓存中读取所述第二目标图像所对应的第二参考图像;
匹配单元,用于对所述第二目标图像和所述第二参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
图像更新单元,用于若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,将所缓存的第二参考图像和所缓存的第一参考图像均更新为所述摄像装置在所述目标时刻拍摄的图像。
可选地,所述装置还包括:
第三状态更新模块,用于若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,将所缓存的所述摄像装置的状态更新为未转动状态;
清零模块,用于将所述累计抖动次数清零。
可选地,所述装置还包括计数模块,所述计数模块用于累计抖动次数,具体包括:
初始化单元,用于在初始时刻,将所述累计抖动次数初始化为零;
第一计数单元,用于在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时发生抖动,则将所述累计抖动次数加一;若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计抖动次数减一;
第二计数单元,用于在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计次数减一。
可选地,所述装置还包括:
图像初始化模块,用于获得所述摄像装置在初始时刻拍摄的包含初始化感兴趣区域的初始图像,将所述初始图像确定为初始时刻的第一参考图像并缓存;
第一初始化图像更新模块,用于在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像;
第二初始化图像更新模块,用于在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像。
可选地,所述装置还包括:
状态读取模块,用于在感兴趣区域解析任务的执行时刻,读取所缓存的所述摄像装置的状态,所述感兴趣区域解析任务用于对所述摄像装置拍摄的待检测图像中,所述初始化感兴趣区域所框选的局部图像进行解析;
任务停止模块,用于在所述摄像装置的状态为转动状态的情况下,停止执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务;
任务执行模块,用于在所述摄像装置的状态为未转动状态的情况下,执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务。
需要说明的是,装置实施例与方法实施例相近,故描述的较为简单,相关之处参见方法实施例即可。
本申请实施例还提供了一种电子设备,该电子设备可以用于执行摄像装置的转动检测方法,可以包括存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序,所述处理器702被配置为执行所述的摄像装置的转动检测方法。
如图7所示,示出了本申请实施例的一种电子设备的示意图,在一实施例中,该电子设备完整的可以包括输入装置703、输出装置704以及图像采集装置705,其中,在执行本申请实施例的图像处理方法时,图像采集装置705可以采集目标图像,接着输入装置703可以获得图像采集装置705采集的目标图像,该目标图像可以由处理器702进行处理,以对待处理图像进行实例分割,输出装置704可以输出对目标图像进行处理的结果。
当然,在一实施例中,存储器701可以包括易失性存储器和非易失性存储器,其中,易失性存储器可以理解为是随机存取记忆体,用来存储和保存数据的。非易失性存储器是指当电流关掉后,所存储的数据不会消失的电脑存储器,当然,本申请的图像处理方法的计算机程序可以存储在易失性存储器和非易失性存储器中,或者存在二者中的任意一个中。
本申请实施例还提供了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如本申请实施例所述的摄像装置的转动检测方法。
本申请实施例还公开了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现如本申请实施例所述的摄像装置的转动检测方法。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种摄像装置的转动检测方法、装置、设备、介质及程序产品进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种摄像装置的转动检测方法,其特征在于,所述方法包括:
所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像;其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;
对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动;
确定所述摄像装置所对应的累计抖动次数;
根据所述累计抖动次数,确定所述摄像装置是否发生转动;
其中,根据所述累计抖动次数,确定所述摄像装置是否发生转动,包括:
在所述累计抖动次数达到第一目标阈值时,确定所述摄像装置发生转动;
在所述累计抖动次数不大于第二目标阈值时,确定所述摄像装置未发生转动;
其中,所述第二目标阈值小于所述第一目标阈值;
在当前时刻达到所述摄像装置执行定时检测任务的目标时刻时,获得所述摄像装置在所述目标时刻拍摄的第二目标图像;所述定时检测任务的执行时间间隔大于所述周期性检测任务的执行时间间隔;
对所述第二目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和/或所缓存的第二参考图像进行更新;其中,所述第二参考图像为:所述摄像装置处于未转动状态下拍摄的包含所述初始化感兴趣区域的图像。
2.根据权利要求1所述的方法,其特征在于,若确定所述摄像装置发生转动;所述方法还包括:
将所缓存的所述摄像装置的状态更新为转动状态。
3.根据权利要求1所述的方法,其特征在于,若确定所述摄像装置未发生转动,所述方法还包括:
读取所缓存的所述摄像装置的状态;
在所缓存的所述摄像装置的状态为转动状态时,将所缓存的所述摄像装置的状态更新为未转动状态。
4.根据权利要求1所述的方法,其特征在于,根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第二参考图像进行更新,包括:
若所述摄像装置在所述目标时刻未发生抖动,且所缓存的所述摄像装置的状态为非转动状态,将所缓存的第二参考图像更新为所述摄像装置在所述目标时刻拍摄的图像。
5.根据权利要求1所述的方法,其特征在于,根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和所缓存的第二参考图像进行更新,包括:
若所述摄像装置在所述目标时刻发生抖动,且所缓存的所述摄像装置的状态为转动状态,从缓存中读取所述第二目标图像所对应的第二参考图像;
对所述第二目标图像和所述第二参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,将所缓存的第二参考图像和所缓存的第一参考图像均更新为所述摄像装置在所述目标时刻拍摄的图像。
6.如权利要求5所述的方法,其特征在于,若所述第二目标图像与所述第二参考图像进行特征匹配的匹配结果指示,所述摄像装置在所述目标时刻未发生抖动,所述方法还包括:
将所缓存的所述摄像装置的状态更新为未转动状态;
将所述累计抖动次数清零。
7.根据权利要求3-6任一所述的方法,其特征在于,所述累计抖动次数是按照以下步骤确定的:
在初始时刻,将所述累计抖动次数初始化为零;
在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时发生抖动,则将所述累计抖动次数加一;若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计抖动次数减一;
在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所述累计抖动次数减一。
8.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获得所述摄像装置在初始时刻拍摄的包含初始化感兴趣区域的初始图像,将所述初始图像确定为初始时刻的第一参考图像并缓存;
在所述初始时刻之后所述周期性检测任务的每个执行时刻:若该时刻的特征点匹配结果表明所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像;
在所述初始时刻之后所述定时检测任务的每个执行时刻:若所缓存的所述摄像装置的状态为转动状态,且所述摄像装置在该时刻拍摄时未发生抖动,则将所缓存的第一参考图像更新为所述摄像装置在该时刻拍摄的图像。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在感兴趣区域解析任务的执行时刻,读取所缓存的所述摄像装置的状态,所述感兴趣区域解析任务用于对所述摄像装置拍摄的待检测图像中,所述初始化感兴趣区域所框选的局部图像进行解析;
在所述摄像装置的状态为转动状态的情况下,停止执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务;
在所述摄像装置的状态为未转动状态的情况下,执行对所述摄像装置拍摄的待检测图像进行感兴趣区域解析任务。
10.一种摄像装置的转动检测装置,其特征在于,包括:
第一图像获得模块,用于所述摄像装置在执行周期性检测任务时,获得所述摄像装置在当前时刻拍摄的第一目标图像,并从缓存中读取所述第一目标图像所对应的第一参考图像;其中,所述第一参考图像为:所述摄像装置在未发生抖动的时刻拍摄的包含初始化感兴趣区域的图像;
第一匹配模块,用于对所述第一目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在拍摄所述第一目标图像时是否发生抖动;
次数确定模块,用于确定所述摄像装置所对应的累计抖动次数;
转动确定模块,用于根据所述累计抖动次数,确定所述摄像装置是否发生转动;
其中,根据所述累计抖动次数,确定所述摄像装置是否发生转动,包括:
在所述累计抖动次数达到第一目标阈值时,确定所述摄像装置发生转动;
在所述累计抖动次数不大于第二目标阈值时,确定所述摄像装置未发生转动;
其中,所述第二目标阈值小于所述第一目标阈值;
第二图像获得模块,用于在当前时刻达到所述摄像装置执行定时检测任务的目标时刻时,获得所述摄像装置在所述目标时刻拍摄的第二目标图像;所述定时检测任务的执行时间间隔大于所述周期性检测任务的执行时间间隔;
第二匹配模块,用于对所述第二目标图像和所述第一参考图像进行特征点匹配,以确定所述摄像装置在所述目标时刻是否发生抖动;
更新模块,用于根据所确定的所述摄像装置在所述目标时刻是否发生抖动,以及所缓存的所述摄像装置的状态,对所缓存的第一参考图像和/或所缓存的第二参考图像进行更新;其中,所述第二参考图像为:所述摄像装置处于未转动状态下拍摄的包含所述初始化感兴趣区域的图像。
11.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如权利要求1-9任一所述的摄像装置的转动检测方法。
12.一种计算机可读存储介质,其特征在于,其存储的计算机程序使得处理器执行如权利要求1-9任一所述的摄像装置的转动检测方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现如权利要求1-9任一项所述的摄像装置的转动检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111222801.9A CN114125266B (zh) | 2021-10-20 | 2021-10-20 | 摄像装置的转动检测方法、装置、设备、介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111222801.9A CN114125266B (zh) | 2021-10-20 | 2021-10-20 | 摄像装置的转动检测方法、装置、设备、介质及程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114125266A CN114125266A (zh) | 2022-03-01 |
CN114125266B true CN114125266B (zh) | 2024-04-09 |
Family
ID=80376121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111222801.9A Active CN114125266B (zh) | 2021-10-20 | 2021-10-20 | 摄像装置的转动检测方法、装置、设备、介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114125266B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108111761A (zh) * | 2017-12-27 | 2018-06-01 | 努比亚技术有限公司 | 一种防抖处理方法、终端和计算机可读存储介质 |
CN108156362A (zh) * | 2016-12-02 | 2018-06-12 | 杭州海康威视数字技术股份有限公司 | 一种摄像机的防抖方法及摄像机 |
CN109361853A (zh) * | 2018-10-22 | 2019-02-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110300263A (zh) * | 2019-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 陀螺仪处理方法和装置、电子设备、计算机可读存储介质 |
EP3614661A1 (en) * | 2018-08-22 | 2020-02-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, image processing apparatus, electronic device and storage medium |
CN111263072A (zh) * | 2020-02-26 | 2020-06-09 | Oppo广东移动通信有限公司 | 一种拍摄控制方法、装置及计算机可读存储介质 |
CN112040219A (zh) * | 2020-07-28 | 2020-12-04 | 北京旷视科技有限公司 | 相机画面检测方法、装置、电子设备及可读存储介质 |
CN112272271A (zh) * | 2020-09-30 | 2021-01-26 | 富盛科技股份有限公司 | 一种摄像机控制方法和装置 |
CN112969014A (zh) * | 2021-02-08 | 2021-06-15 | 维沃移动通信有限公司 | 摄像装置和电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4872797B2 (ja) * | 2007-05-18 | 2012-02-08 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
WO2021048963A1 (ja) * | 2019-09-11 | 2021-03-18 | オリンパス株式会社 | 撮像装置および撮像装置の制御方法 |
-
2021
- 2021-10-20 CN CN202111222801.9A patent/CN114125266B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108156362A (zh) * | 2016-12-02 | 2018-06-12 | 杭州海康威视数字技术股份有限公司 | 一种摄像机的防抖方法及摄像机 |
CN108111761A (zh) * | 2017-12-27 | 2018-06-01 | 努比亚技术有限公司 | 一种防抖处理方法、终端和计算机可读存储介质 |
EP3614661A1 (en) * | 2018-08-22 | 2020-02-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, image processing apparatus, electronic device and storage medium |
CN109361853A (zh) * | 2018-10-22 | 2019-02-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110300263A (zh) * | 2019-06-28 | 2019-10-01 | Oppo广东移动通信有限公司 | 陀螺仪处理方法和装置、电子设备、计算机可读存储介质 |
CN111263072A (zh) * | 2020-02-26 | 2020-06-09 | Oppo广东移动通信有限公司 | 一种拍摄控制方法、装置及计算机可读存储介质 |
WO2021169686A1 (zh) * | 2020-02-26 | 2021-09-02 | Oppo广东移动通信有限公司 | 一种拍摄控制方法、装置及计算机可读存储介质 |
CN112040219A (zh) * | 2020-07-28 | 2020-12-04 | 北京旷视科技有限公司 | 相机画面检测方法、装置、电子设备及可读存储介质 |
CN112272271A (zh) * | 2020-09-30 | 2021-01-26 | 富盛科技股份有限公司 | 一种摄像机控制方法和装置 |
CN112969014A (zh) * | 2021-02-08 | 2021-06-15 | 维沃移动通信有限公司 | 摄像装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114125266A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9323991B2 (en) | Method and system for video-based vehicle tracking adaptable to traffic conditions | |
US20060245618A1 (en) | Motion detection in a video stream | |
US20110116682A1 (en) | Object detection method and system | |
CN112040219B (zh) | 相机画面检测方法、装置、电子设备及可读存储介质 | |
CN111523368B (zh) | 信息处理装置、服务器以及交通管理系统 | |
CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
CN113205692B (zh) | 一种路侧停车泊位异常变动的自动识别方法 | |
US10628681B2 (en) | Method, device, and non-transitory computer readable medium for searching video event | |
CN114724131A (zh) | 一种车辆追踪方法、装置、电子设备及存储介质 | |
CN115171034A (zh) | 道路异物检测方法、场景中异物检测方法及装置 | |
CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
JP4025007B2 (ja) | 踏切障害物検知装置 | |
CN114125266B (zh) | 摄像装置的转动检测方法、装置、设备、介质及程序产品 | |
CN113869258A (zh) | 交通事件检测方法、装置、电子设备及可读存储介质 | |
CN112232441B (zh) | 违章停车判断方法、系统、计算机设备及存储介质 | |
CN107564031A (zh) | 基于反馈背景提取的城市交通场景前景目标检测方法 | |
US10194072B2 (en) | Method and apparatus for remote detection of focus hunt | |
JP2002150295A (ja) | 物体検出方法及び物体検出装置 | |
CN116152691A (zh) | 图像检测方法、装置、设备和存储介质 | |
CN114067242A (zh) | 一种自动检测垃圾乱投放行为的方法、装置和电子设备 | |
CN111860050B (zh) | 一种基于图像帧的回环检测方法及装置、车载终端 | |
EP2570962A1 (en) | Video analysis | |
CN117893989B (zh) | 一种基于全景行车记录仪的时序画面追溯方法及系统 | |
CN118506233A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
Odone | Experiments on a license plate recognition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |