CN113239937A - 镜头偏移检测方法、装置、电子设备及可读存储介质 - Google Patents

镜头偏移检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113239937A
CN113239937A CN202110503166.5A CN202110503166A CN113239937A CN 113239937 A CN113239937 A CN 113239937A CN 202110503166 A CN202110503166 A CN 202110503166A CN 113239937 A CN113239937 A CN 113239937A
Authority
CN
China
Prior art keywords
images
lens
image
detected
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110503166.5A
Other languages
English (en)
Inventor
黄家水
徐华泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Chuangxin Qizhi Technology Group Co ltd
Original Assignee
Qingdao Chuangxin Qizhi Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Chuangxin Qizhi Technology Group Co ltd filed Critical Qingdao Chuangxin Qizhi Technology Group Co ltd
Priority to CN202110503166.5A priority Critical patent/CN113239937A/zh
Publication of CN113239937A publication Critical patent/CN113239937A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明涉及一种镜头偏移检测方法、装置、电子设备及可读存储介质，属于检测领域。该方法包括：获取待检测镜头在不同的时间点所拍摄的多张图像；将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；根据所述多个特征向量，确定所述待检测镜头是否发生偏移。通过该方法，可以提高检测的准确性。

Description

镜头偏移检测方法、装置、电子设备及可读存储介质
技术领域
本申请属于图像处理领域，具体涉及一种镜头偏移检测方法、装置、电子设备及可读存储介质。
背景技术
在视频安防监控领域，例如在贵重物品的安防监控场景、工厂/园区的固定入口监控场景等，通常需要预先设定好摄像机的位置和角度，从而保证待监控内容一直处于监测区域内。
然而由于各种人为因素和环境因素，摄像机容易偏移预先设定好的位置或角度，导致实际拍摄画面与监测区域不匹配，这时安防监控系统就容易产生误报和漏报现象。因此，在一些应用场景，有检测摄像头的镜头在前后两个之间点之间是否发生偏移的需求。
在现有技术中，通常采用人工巡检或传统机器学习的方式来检测镜头是否发生偏移。
其中，人工巡检这种方式存在效率低，且成本高的问题；传统机器学习的方式通过提取监控视频图像的SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征来检测镜头是否发生偏移，由于SIFT特征对于场景的适应能力较低，且监控场景复杂多变，因此，传统机器学习的方式容易出现误报和漏报的情况。
发明内容
有鉴于此，本申请的目的在于提供一种镜头偏移检测方法、装置、电子设备及可读存储介质，可以在保证效率的前提下，提高检测的准确性。
本申请的实施例是这样实现的：
第一方面，本申请实施例提供一种镜头偏移检测方法，所述方法包括：获取待检测镜头在不同的时间点所拍摄的多张图像；将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
在上述过程中，由于是通过卷积神经网络模型对图像进行特征提取，相应的，得到的特征向量为深度图像特征向量。又由于深度图像特征对环境的适应能力强于SIFT特征，那么对于在恶劣环境下所拍摄得到的劣质图像而言，与其对应的SIFT特征所包括的有效信息少于深度图像特征所包括的有效信息，相应的，基于SIFT特征进行偏移检测所得到的结果的准确度也低于基于深度图像特征进行偏移检测所得到的结果的准确度，因此，通过本方案，可以避免由于环境的复杂多变性对检测结果的影响，从而提高镜头偏移检测的准确性。
结合第一方面实施例，在一种可能的实施方式中，所述多张图像包括基准图像以及一张比较图像，所述基准图像的拍摄时间点早于所述比较图像的拍摄时间点，与所述基准图像对应的特征向量为基准特征向量，与所述比较图像对应的特征向量为比较特征向量；所述根据所述多个特征向量，确定所述待检测镜头是否发生偏移，包括：计算所述比较特征向量与每个所述基准特征向量之间的差异性值；当所述差异性值的最大值大于预设阈值时，确定所述待检测镜头在所述比较图像的拍摄时间点发生偏移。
结合第一方面实施例，在一种可能的实施方式中，所述计算所述比较特征向量与每个所述基准特征向量之间的差异性值，包括：根据公式
Figure BDA0003056022270000031
计算得到所述比较特征向量X与所述基准特征向量Y之间的差异性值；其中，dX,Y为所述差异性值，
Figure BDA0003056022270000032
为所述比较特征向量X的均值，
Figure BDA0003056022270000033
为所述基准特征向量Y的均值，变量i的取值范围为1-256。
结合第一方面实施例，在一种可能的实施方式中，所述多张图像包括基准图像以及一张比较图像，所述获取待检测镜头在不同的时间点所拍摄的多张图像，包括：获取由所述待检测镜头所拍摄的图像序列；抽取所述图像序列中的任意时间点所对应的图像，并将其确定为所述比较图像；抽取所述任意时间点的前三帧图像，并将其确定为所述基准图像。
在本实施例中，可以通过抽取多帧基准图像的方式，避免偶然误差，进而可以提高检测的准确性。
结合第一方面实施例，在一种可能的实施方式中，在所述将所述多张图像分别输入卷积神经网络模型进行特征提取之前，所述方法还包括：对所述多张图像进行预处理，所述预处理用于降低所述多张图像中的干扰因素；
相应的，所述将所述多张图像分别输入卷积神经网络模型进行特征提取，包括：将经过所述预处理后得到的多张图像分别输入所述卷积神经网络模型进行特征提取。
在本实施例中，通过预处理的方式，可以减少环境因素对检测结果的影响，进而可以提高检测的准确性。
结合第一方面实施例，在一种可能的实施方式中，所述预处理包括以下操作中的至少一项：将所述多张图像的像素值分别进行归一化处理、将所述多张图像的尺寸调整到预设尺寸。
结合第一方面实施例，在一种可能的实施方式中，所述待检测镜头用于拍摄固定场景。
第二方面，本申请实施例提供一种镜头偏移检测装置，所述装置包括：获取模块、提取模块以及确定模块。
获取模块，用于获取待检测镜头在不同的时间点所拍摄的多张图像；
提取模块，用于将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；
确定模块，用于根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
结合第二方面实施例，在一种可能的实施方式中，所述多张图像包括基准图像以及一张比较图像，所述基准图像的拍摄时间点早于所述比较图像的拍摄时间点，与所述基准图像对应的特征向量为基准特征向量，与所述比较图像对应的特征向量为比较特征向量；所述确定模块，用于计算所述比较特征向量与每个所述基准特征向量之间的差异性值；当所述差异性值的最大值大于预设阈值时，确定所述待检测镜头在所述比较图像的拍摄时间点发生偏移。
结合第二方面实施例，在一种可能的实施方式中，所述多张图像包括基准图像以及一张比较图像；所述确定模块，用于所述获取待检测镜头在不同的时间点所拍摄的多张图像，包括：获取由所述待检测镜头所拍摄的图像序列；抽取所述图像序列中的任意时间点所对应的图像，并将其确定为所述比较图像；抽取所述任意时间点的前三帧图像，并将其确定为所述基准图像。
结合第二方面实施例，在一种可能的实施方式中，所述确定模块，用于根据公式
Figure BDA0003056022270000041
计算得到所述比较特征向量X与所述基准特征向量Y之间的差异性值；
其中，dX,Y为所述差异性值，
Figure BDA0003056022270000051
为所述比较特征向量X的均值，
Figure BDA0003056022270000052
为所述基准特征向量Y的均值，变量i的取值范围为1-256。
结合第二方面实施例，在一种可能的实施方式中，所述装置还包括预处理模块，用于对所述多张图像进行预处理，所述预处理用于降低所述多张图像中的干扰因素；
相应的，所述提取模块，用于将经过所述预处理后得到的多张图像分别输入所述卷积神经网络模型进行特征提取。
结合第二方面实施例，在一种可能的实施方式中，所述预处理包括以下操作中的至少一项：将所述多张图像的像素值分别进行归一化处理、将所述多张图像的尺寸调整到预设尺寸。
结合第二方面实施例，在一种可能的实施方式中，所述待检测镜头用于拍摄固定场景。
第三方面，本申请实施例还提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器用于存储程序；所述处理器调用存储于所述存储器中的程序，以执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
第四方面，本申请实施例还提供一种非易失性计算机可读取存储介质(以下简称可读存储介质)，其上存储有计算机程序，所述计算机程序被计算机运行时执行上述第一方面实施例和/或结合第一方面实施例的任一种可能的实施方式提供的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。
图1示出本申请实施例提供的一种镜头偏移检测方法的流程图。
图2示出本申请实施例提供的一种卷积神经网络模型的结构示意图。
图3示出本申请实施例提供的一种镜头偏移检测装置的结构框图。
图4示出本申请实施例提供的一种电子设备的结构示意图。
图标：100-电子设备；110-处理器；120-存储器；400-镜头偏移检测装置；410-获取模块；420-提取模块；430-确定模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
此外，针对现有技术中的镜头偏移检测方案所存在的缺陷(效率低或检测结果的准确性低)均是申请人在经过实践并仔细研究后得出的结果，因此，上述缺陷的发现过程以及在下文中本申请实施例针对上述缺陷所提出的解决方案，都应该被认定为是申请人对本申请做出的贡献。
为了解决上述问题，本申请实施例提供一种镜头偏移检测方法、装置、电子设备及可读存储介质，可以提高检测的准确性。
该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。
首先，针对本申请所提供的镜头偏移检测方法进行介绍。
请参照图1，本申请实施例提供一种镜头偏移检测方法，包括以下步骤。
下面将结合图2对其所包含的步骤进行说明。
步骤S110：获取待检测镜头在不同的时间点所拍摄的多张图像。
步骤S120：将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量。
步骤S130：根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
在本申请实施例中，摄像机的安装位置以及安装角度固定，从而保证摄像机的监测区域固定，进而可以对固定场景内的目标进行监控。
其中，若摄像机的镜头发生偏移，则将会导致监测区域发生变化，进而导致无法监控到目标，因此，有必要对摄像机的镜头是否发生偏移进行检测。
在本申请实施例中，可以通过获取待检测镜头在不同时间点所拍摄的多张图像来确定待检测镜头是否发生偏移，进而可以避免采用人工巡检的方式，因此，通过本实施例所提供的方法来对镜头进行检测可以提高检测效率。
具体的，在本申请实施例中，主要通过将待检测镜头在不同时间点所拍摄的多张图像输入到卷积神经网络模型进行特征提取，得到多个特征向量，然后通过比较各个特征向量之间的差异度，从而判断待检测镜头是否发生了偏移。
在上述过程中，由于是通过卷积神经网络模型对图像进行特征提取，相应的，得到的特征向量为深度图像特征向量。又由于深度图像特征对环境的适应能力强于SIFT特征，那么对于在恶劣环境下所拍摄得到的劣质图像而言，与其对应的SIFT特征所包括的有效信息少于深度图像特征所包括的有效信息，相应的，基于SIFT特征进行偏移检测所得到的结果的准确度也低于基于深度图像特征进行偏移检测所得到的结果的准确度，因此，通过本方案，可以避免由于环境的复杂多变性对检测结果的影响，从而提高镜头偏移检测的准确性。
下面将针对各个步骤的具体实施细节进行详细介绍。
步骤S110：获取待检测镜头在不同的时间点所拍摄的多张图像。
在一些实施方式中，待检测摄像头可以处于单帧图像拍摄状态。此时，可以预先为待检测镜头设置对应的拍摄策略，以使得待检测镜头每隔预设时间段拍摄一张图像，从而使得待检测镜头可以输出不同时间点所拍摄的多张图像。
在一些实施方式中，待检测摄像头也可以一直处于视频录制状态。此时，检测摄像头所拍摄的内容为图像序列。在这种实施方式中，可以获取该图像序列，并从中抽取多个任意时间点所对应的图像，从而得到多张图像。
在一些实施方式中，在上述多张图像中包括基准图像以及一张比较图像。
其中，比较图像为随机确定的一张图像。当然，在一些实施方式中，也可以将多张图像中，其拍摄时间点距离当前时间点最近的图像确定为比较图像。
基准图像则用于与比较图像进行差异性值比较，并根据比较结果确定待检测摄像头是否发生偏移。一般情况下，基准图像的拍摄时间点早于比较图像的拍摄时间点。
在一些实施方式中，基准图像的数量可以为1。
在另一些实施方式中，基准图像的数量也可以为多张。在这种实施方式下，是将多张基准图像分别与比较图像进行差异性值比较，并根据多张基准图像与比较图像的比较结果综合确定待检测摄像头是否发生偏移，以此来减少因为偶然误差所带来的检测偏差，进而可以提高检测结果的准确性。
例如，在一些实施方式中，包括3张基准图像，且待检测镜头拍摄得到图像序列。在这种实施方式中，可以在获取图像序列后，抽取图像序列中的任意时间点A所对应的图像，并将其确定为比较图像；然后再抽取该任意时间点A的前三帧图像，并将其确定为基准图像。
步骤S120：将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量。
在得到多张图像后，为了提取各张图像的特征向量，可以将各张图像分别输入到卷积神经网络模型中进行特征提取，从而得到对应的特征向量。
可选的，卷积神经网络模型可以采用ResNet18卷积神经网络模型。
具体的，ResNet18卷积神经网络模型可以如图2所示的，包括17个卷积层Conv、1个平均池化层Average Pool以及1个全连接层FC。当然，图2仅为针对ResNet18卷积神经网络模型的一种举例，可以理解，在实际情况中，可以根据业务需求，调整ResNet18卷积神经网络模型的结构。
其中，每个卷积层Conv的卷积核尺寸均相同，例如如图2所示的3×3。
所有卷积层Conv的输出通道数以及步长不完全相同。
例如在图2中，第一个卷积层的输出通道数为64，步长为2；第二个卷积层的输出通道数为64，步长为2；第三个卷积层的输出通道数为64，步长为1；第四个卷积层的输出通道数为64，步长为1；第五个卷积层的输出通道数为64，步长为1；第六个卷积层的输出通道数为128，步长为2；第七个卷积层的输出通道数为128，步长为1；第八个卷积层的输出通道数为128，步长为1；第九个卷积层的输出通道数为128，步长为1；第十个卷积层的输出通道数为256，步长为2；第十一个卷积层的输出通道数为256，步长为1；第十二个卷积层的输出通道数为256，步长为1；第十三个卷积层的输出通道数为256，步长为1；第十四个卷积层的输出通道数为512，步长为2；第十五个卷积层的输出通道数为512，步长为1；第十六个卷积层的输出通道数为512，步长为1；第十七个卷积层的输出通道数为512，步长为1。
当然，在一些实施方式中，为了避免干扰因素对检测结果的影响，还可以在将各张图像输入到卷积神经网络模型进行特征提取之前，还可以对图像进行预处理，从而减少环境因素对检测结果的影响。
可选的，预处理包括但不限于以下操作中的至少一项：将每张图像的像素值分别进行归一化处理、将每张图像的尺寸调整到预设尺寸。
其中，假设图像为I∈Rh×w×3，h、w、3分别表示图像的长、宽、通道数。
在将每张图像的尺寸调整到预设尺寸时，可以通过opencv(计算机视觉库)等工具对图像进行下采样，从而将图像调整到预设尺寸。其中，预设尺寸可以为224×224×3。
在进行归一化处理时，可以将图像的每个像素值除以255，以便将像素值从0-255范围归一化到0-1范围，进而得到归一化后的图像I∈R224×224×3。
在对多张图像进行预处理后，相应的，将经过预处理后得到的多张图像分别输入卷积神经网络模型进行特征提取，从而得到与各张图像对应的特征向量。
步骤S130：根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
在本申请中，是通过计算各个特征向量之间的差异性值来确定待检测镜头是否发生偏移。
可选的，针对任意两个特征向量，可以根据公式
Figure BDA0003056022270000111
计算得到两个特征向量之间的差异性值。
其中，dX,Y为两个特征向量之间的差异性值，
Figure BDA0003056022270000112
为比较特征向量X的均值，
Figure BDA0003056022270000113
为基准特征向量Y的均值，变量i的取值范围为1-256。
其中，若两个特征向量之间的差异性值大于预设阈值(例如0.5)时，则说明待检测镜头发生了偏移。
此外，若获取到的多张图像的数量大于2，在这种实施方式中，得到多个差异性值。此时，当多个差异性值中，最大的差异性值大于预设阈值时，可以确定待检测镜头发生了偏移。
当然，在一些实施方式中，在获取到的多张图像中包括比较图像以及基准图像时，在计算差异性值时，是分别计算比较图像所对应的比较特征向量与各个基准图像所对应的基准特征向量之间的差异性值。
与前文类似的，可以根据公式
Figure BDA0003056022270000121
计算得到比较特征向量X与基准特征向量Y之间的差异性值。
其中，dX,Y为差异性值，
Figure BDA0003056022270000122
为比较特征向量X的均值，
Figure BDA0003056022270000123
为基准特征向量Y的均值，变量i的取值范围为1-256。
此时，当差异性值中的最大值(此时有多张基准图像)或者当差异性值(此时有一张基准图像)大于预设阈值时，即可以确定待检测镜头在比较图像的拍摄时间点发生了偏移。
假设获取的多张图像中，包括一张比较图像It以及三张基准图像，分别为It-3、It-2、It-1。
针对图像It，与其对应的比较特征向量为Ft∈R256，其中，256表征特征向量的维度数，t表征图像的拍摄时间点。
针对图像It-3、It-2、It-1，与其对应的基准特征向量分别为Ft-3∈R256、Rt-2∈R256、Ft-1∈R256。
相应的，按照上述过程，可以得到三个差异性值，分别为dt，t-3、dt，t-2、dt，t-1。其中，若dt，t-3、dt，t-2、dt，t-1中的最大值大于预设阈值(如0.5)，则表示待检测镜头在t时刻发生了偏移，反之则表示待检测镜头在t时刻处于正常状态。
本申请实施例所提供的一种镜头偏移检测方法，获取待检测镜头在不同的时间点所拍摄的多张图像；将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；根据所述多个特征向量，确定所述待检测镜头是否发生偏移。在上述过程中，由于是通过卷积神经网络模型对图像进行特征提取，相应的，得到的特征向量为深度图像特征向量。又由于深度图像特征对环境的适应能力强于SIFT特征，那么对于在恶劣环境下所拍摄得到的劣质图像而言，与其对应的SIFT特征所包括的有效信息少于深度图像特征所包括的有效信息，相应的，基于SIFT特征进行偏移检测所得到的结果的准确度也低于基于深度图像特征进行偏移检测所得到的结果的准确度，因此，通过本方案，可以避免由于环境的复杂多变性对检测结果的影响，从而提高镜头偏移检测的准确性。
如图3所示，本申请实施例还提供一种镜头偏移检测装置400，镜头偏移检测装置400可以包括：获取模块410、提取模块420以及确定模块430。
获取模块410，用于获取待检测镜头在不同的时间点所拍摄的多张图像；
提取模块420，用于将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；
确定模块430，用于根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
在一种可能的实施方式中，所述多张图像包括基准图像以及一张比较图像，所述基准图像的拍摄时间点早于所述比较图像的拍摄时间点，与所述基准图像对应的特征向量为基准特征向量，与所述比较图像对应的特征向量为比较特征向量；所述确定模块430，用于计算所述比较特征向量与每个所述基准特征向量之间的差异性值；当所述差异性值的最大值大于预设阈值时，确定所述待检测镜头在所述比较图像的拍摄时间点发生偏移。
在一种可能的实施方式中，所述多张图像包括基准图像以及一张比较图像；所述确定模块430，用于所述获取待检测镜头在不同的时间点所拍摄的多张图像，包括：获取由所述待检测镜头所拍摄的图像序列；抽取所述图像序列中的任意时间点所对应的图像，并将其确定为所述比较图像；抽取所述任意时间点的前三帧图像，并将其确定为所述基准图像。
在一种可能的实施方式中，所述确定模块430，用于根据公式
Figure BDA0003056022270000141
计算得到所述比较特征向量X与所述基准特征向量Y之间的差异性值；
其中，dX,Y为所述差异性值，
Figure BDA0003056022270000142
为所述比较特征向量X的均值，
Figure BDA0003056022270000143
为所述基准特征向量Y的均值，变量i的取值范围为1-256。
在一种可能的实施方式中，所述装置还包括预处理模块，用于对所述多张图像进行预处理，所述预处理用于降低所述多张图像中的干扰因素；
相应的，所述提取模块420，用于将经过所述预处理后得到的多张图像分别输入所述卷积神经网络模型进行特征提取。
在一种可能的实施方式中，所述预处理包括以下操作中的至少一项：将所述多张图像的像素值分别进行归一化处理、将所述多张图像的尺寸调整到预设尺寸。
在一种可能的实施方式中，所述待检测镜头用于拍摄固定场景。
本申请实施例所提供的镜头偏移检测装置400，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
此外，本申请实施例还提供一种可读存储介质，该可读存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行如上述的镜头偏移检测方法所包含的步骤。
此外，请参照图4，本申请实施例还提供一种用于实现本申请实施例的镜头偏移检测方法、装置的电子设备100。
电子设备100可以是具备计算能力的任意设备。可选的，电子设备100，可以是，但不限于个人电脑(Personal computer，PC)、智能手机、平板电脑、移动上网设备(MobileInternet Device，MID)、个人数字助理、服务器等设备。其中，服务器可以是，但不限于网络服务器、数据库服务器、云端服务器等。
其中，电子设备100可以包括：处理器110、存储器120。
应当注意，图4所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备100也可以具有其他组件和结构。例如，在一些情况下，电子设备100还可以包括显示屏，用于显示检测结果。
处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，处理器110、存储器120以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
存储器120用于存储程序，例如存储有前文出现的镜头偏移检测方法对应的程序或者前文出现的镜头偏移检测装置。可选的，当存储器120内存储有镜头偏移检测装置时，镜头偏移检测装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。
可选的，镜头偏移检测装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system，OS)中。
处理器110用于执行存储器120中存储的可执行模块，例如镜头偏移检测装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后，可以执行计算机程序，例如执行：获取待检测镜头在不同的时间点所拍摄的多张图像；将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
当然，本申请任一实施例所揭示的方法都可以应用于处理器110中，或者由处理器110实现。
综上所述，本发明实施例提出的镜头偏移检测方法、装置、电子设备及可读存储介质，获取待检测镜头在不同的时间点所拍摄的多张图像；将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
在上述过程中，由于是通过卷积神经网络模型对图像进行特征提取，相应的，得到的特征向量为深度图像特征向量。又由于深度图像特征对环境的适应能力强于SIFT特征，那么对于在恶劣环境下所拍摄得到的劣质图像而言，与其对应的SIFT特征所包括的有效信息少于深度图像特征所包括的有效信息，相应的，基于SIFT特征进行偏移检测所得到的结果的准确度也低于基于深度图像特征进行偏移检测所得到的结果的准确度，因此，通过本方案，可以避免由于环境的复杂多变性对检测结果的影响，从而提高镜头偏移检测的准确性。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种镜头偏移检测方法，其特征在于，所述方法包括：
获取待检测镜头在不同的时间点所拍摄的多张图像；
将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；
根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
2.根据权利要求1所述的方法，其特征在于，所述多张图像包括基准图像以及一张比较图像，所述基准图像的拍摄时间点早于所述比较图像的拍摄时间点，与所述基准图像对应的特征向量为基准特征向量，与所述比较图像对应的特征向量为比较特征向量；所述根据所述多个特征向量，确定所述待检测镜头是否发生偏移，包括：
计算所述比较特征向量与每个所述基准特征向量之间的差异性值；
当所述差异性值的最大值大于预设阈值时，确定所述待检测镜头在所述比较图像的拍摄时间点发生偏移。
3.根据权利要求2所述的方法，其特征在于，所述计算所述比较特征向量与每个所述基准特征向量之间的差异性值，包括：
根据公式
Figure FDA0003056022260000011
计算得到所述比较特征向量X与所述基准特征向量Y之间的差异性值；
其中，dX,Y为所述差异性值，
Figure FDA0003056022260000012
为所述比较特征向量X的均值，
Figure FDA0003056022260000013
为所述基准特征向量Y的均值，变量i的取值范围为1-256。
4.根据权利要求1所述的方法，其特征在于，所述多张图像包括基准图像以及一张比较图像；所述获取待检测镜头在不同的时间点所拍摄的多张图像，包括：
获取由所述待检测镜头所拍摄的图像序列；
抽取所述图像序列中的任意时间点所对应的图像，并将其确定为所述比较图像；
抽取所述任意时间点的前三帧图像，并将其确定为所述基准图像。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述将所述多张图像分别输入卷积神经网络模型进行特征提取之前，所述方法还包括：
对所述多张图像进行预处理，所述预处理用于降低所述多张图像中的干扰因素；
相应的，所述将所述多张图像分别输入卷积神经网络模型进行特征提取，包括：
将经过所述预处理后得到的多张图像分别输入所述卷积神经网络模型进行特征提取。
6.根据权利要求5所述的方法，其特征在于，所述预处理包括以下操作中的至少一项：
将所述多张图像的像素值分别进行归一化处理、将所述多张图像的尺寸调整到预设尺寸。
7.根据权利要求1所述的方法，其特征在于，所述待检测镜头用于拍摄固定场景。
8.一种镜头偏移检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测镜头在不同的时间点所拍摄的多张图像；
提取模块，用于将所述多张图像分别输入卷积神经网络模型进行特征提取，得到多个特征向量；
确定模块，用于根据所述多个特征向量，确定所述待检测镜头是否发生偏移。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；
所述存储器用于存储程序；
所述处理器调用存储于所述存储器中的程序，以执行如权利要求1-7中任一项所述的方法。
10.一种可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-7中任一项所述的方法。
CN202110503166.5A 2021-05-08 2021-05-08 镜头偏移检测方法、装置、电子设备及可读存储介质 Withdrawn CN113239937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110503166.5A CN113239937A (zh) 2021-05-08 2021-05-08 镜头偏移检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110503166.5A CN113239937A (zh) 2021-05-08 2021-05-08 镜头偏移检测方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113239937A true CN113239937A (zh) 2021-08-10

Family

ID=77132989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110503166.5A Withdrawn CN113239937A (zh) 2021-05-08 2021-05-08 镜头偏移检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113239937A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794875A (zh) * 2021-11-15 2021-12-14 浪潮软件股份有限公司 一种重大项目现场视频偏移智能巡检的方法及装置
CN114713531A (zh) * 2022-04-25 2022-07-08 深圳智优停科技有限公司 卷积神经网络训练方法、镜头脏污类型判断方法、镜头雨刷控制方法、存储介质及拍摄系统
CN116156149A (zh) * 2022-12-05 2023-05-23 镕铭微电子(济南)有限公司 一种用于检测摄像头移动的检测方法及装置
CN117291875A (zh) * 2023-09-05 2023-12-26 北京智芯微电子科技有限公司 镜头的偏移检测方法、装置、计算机设备、芯片和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113794875A (zh) * 2021-11-15 2021-12-14 浪潮软件股份有限公司 一种重大项目现场视频偏移智能巡检的方法及装置
CN114713531A (zh) * 2022-04-25 2022-07-08 深圳智优停科技有限公司 卷积神经网络训练方法、镜头脏污类型判断方法、镜头雨刷控制方法、存储介质及拍摄系统
CN116156149A (zh) * 2022-12-05 2023-05-23 镕铭微电子(济南)有限公司 一种用于检测摄像头移动的检测方法及装置
CN116156149B (zh) * 2022-12-05 2024-03-08 镕铭微电子(济南)有限公司 一种用于检测摄像头移动的检测方法及装置
CN117291875A (zh) * 2023-09-05 2023-12-26 北京智芯微电子科技有限公司 镜头的偏移检测方法、装置、计算机设备、芯片和介质

Similar Documents

Publication Publication Date Title
CN113239937A (zh) 镜头偏移检测方法、装置、电子设备及可读存储介质
CN109325933B (zh) 一种翻拍图像识别方法及装置
US9008366B1 (en) Bio-inspired method of ground object cueing in airborne motion imagery
CN108241645B (zh) 图像处理方法及装置
US10397472B2 (en) Automatic detection of panoramic gestures
CN101840578B (zh) 摄像装置及其动态侦测方法
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
CN112434612A (zh) 吸烟检测方法、装置、电子设备及计算机可读存储介质
US20110085026A1 (en) Detection method and detection system of moving object
US9094617B2 (en) Methods and systems for real-time image-capture feedback
CN116152166A (zh) 基于特征相关性的缺陷检测方法及相关装置
KR101395666B1 (ko) 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법
CN112488072A (zh) 一种人脸样本集获取方法、系统及设备
US10916016B2 (en) Image processing apparatus and method and monitoring system
CN112330618A (zh) 图像偏移检测方法、设备及存储介质
US10282633B2 (en) Cross-asset media analysis and processing
US10147199B2 (en) Method and apparatus for determining an orientation of a video
CN116208842A (zh) 视频处理方法、装置、设备和计算机可读存储介质
JP4627711B2 (ja) 動き領域検出システム、動き領域検出方法、及び動き領域検出プログラム
CN113628192A (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
CN111814565A (zh) 一种目标检测方法和装置
CN113706429B (zh) 图像处理方法、装置、电子设备和存储介质
JP6598943B2 (ja) 画像処理装置および方法並びに監視システム
CN110300253B (zh) 图像处理装置和方法及存储指令的存储介质
CN106603886B (zh) 一种视频场景区分方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210810