CN116074641B - 基于mosse算法的监控设备点位图像矫正方法及系统 - Google Patents

基于mosse算法的监控设备点位图像矫正方法及系统 Download PDF

Info

Publication number
CN116074641B
CN116074641B CN202310205065.9A CN202310205065A CN116074641B CN 116074641 B CN116074641 B CN 116074641B CN 202310205065 A CN202310205065 A CN 202310205065A CN 116074641 B CN116074641 B CN 116074641B
Authority
CN
China
Prior art keywords
image
offset
matrix
representing
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310205065.9A
Other languages
English (en)
Other versions
CN116074641A (zh
Inventor
张天
付铭明
侯朝阳
肖洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senscape Technologies Beijing Co ltd
Original Assignee
Senscape Technologies Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senscape Technologies Beijing Co ltd filed Critical Senscape Technologies Beijing Co ltd
Priority to CN202310205065.9A priority Critical patent/CN116074641B/zh
Publication of CN116074641A publication Critical patent/CN116074641A/zh
Application granted granted Critical
Publication of CN116074641B publication Critical patent/CN116074641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Abstract

本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法及系统，基于MOSSE算法的监控设备点位图像矫正方法包括：S1：采集监控设备中镜头点位的初始图像
Figure ZY_2
，并构建点位库；S2：获取镜头预设运动中点位的图像
Figure ZY_8
；S3：基于MOSSE算法计算同一点位处图像
Figure ZY_9
与初始图像
Figure ZY_4
之间偏移量
Figure ZY_5
及
Figure ZY_11
，其中
Figure ZY_12
为X轴方向的偏移量，
Figure ZY_1
为Y轴方向的偏移量；S4：基于偏移量
Figure ZY_6
及
Figure ZY_10
，调整镜头的点位位置，并获取该点位处的图像
Figure ZY_13
；S5：循环步骤S3及S4；S6：当满足终止条件时，将点位库中初始图像
Figure ZY_3
替换为步骤S4中的图像
Figure ZY_7
，并更新对应的点位位置，以解决摄像机分时段对固定定点进行拍摄的过程中，因点位图像偏移导致无法对目标物体进行准确监控的技术问题。

Description

基于MOSSE算法的监控设备点位图像矫正方法及系统
技术领域
本申请涉及摄像机点位图像偏移识别技术领域，具体涉及一种基于MOSSE算法的监控设备点位图像矫正方法及系统。
背景技术
在机房、实验室、车库等场所，为监控特殊设备或重要物品需安装摄像机等监控设备，以实时监控是否出现异常情况。摄像机被安装至监控场所时，需要设置摄像机拍摄的固定点位，从而分不同时段对固定定点进行拍摄。即摄像机的壳体被固定安装至监控场所内，摄像机的镜头可以按照预先设计的路线进行往复循环运动，从而对监控场所内的设备、物品等目标物进行监控。
由于不同摄像机的灵敏度存在差异，摄像机拍摄的某一固定点位处图像会与上次该点位处图像存在一定的偏移。并且随着摄像机的拍摄次数增加，同一点位处图像因移动导致的偏移越大，图像的偏移增大会使得需要检测的目标差异偏移越多，最坏可能导致摄像机拍摄的画面中目标物体逐步消失。
发明内容
本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法及系统，以解决摄像机分时段对固定定点进行拍摄的过程中，因点位图像偏移导致无法对目标物体进行准确监控的技术问题。
本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法，包括：
S1：采集监控设备中镜头点位的初始图像
Figure SMS_1
，并构建点位库；
S2：获取镜头预设运动中点位的图像
Figure SMS_2
；
S3：基于MOSSE算法计算同一点位处图像
Figure SMS_3
与初始图像/>
Figure SMS_4
之间偏移量/>
Figure SMS_5
及
Figure SMS_6
，其中/>
Figure SMS_7
为X轴方向的偏移量，/>
Figure SMS_8
为Y轴方向的偏移量；
S4：基于偏移量
Figure SMS_9
及/>
Figure SMS_10
，调整镜头的点位位置，并获取该点位处的图像/>
Figure SMS_11
；
S5：循环步骤S3及S4；
S6：当满足终止条件时，将点位库中初始图像
Figure SMS_12
替换为步骤S4中的图像/>
Figure SMS_13
，并更新对应的点位位置。
可选的，所述终止条件为：
Figure SMS_14
，其中，/>
Figure SMS_15
为X方向的偏移量，/>
Figure SMS_16
为Y方向的偏移量，/>
Figure SMS_17
为X方向预设的像素差阈值，/>
Figure SMS_18
为Y方向预设的像素差阈值；或者
循环次数超过一阈值。
可选的，所述基于MOSSE算法计算同一点位处图像
Figure SMS_19
与初始图像/>
Figure SMS_20
之间偏移量/>
Figure SMS_21
及/>
Figure SMS_22
的步骤包括：
基于初始图像
Figure SMS_23
以及图像/>
Figure SMS_24
，提取灰度特征/>
Figure SMS_25
以及/>
Figure SMS_26
：/>
Figure SMS_27
；/>
Figure SMS_28
；
Figure SMS_29
；/>
Figure SMS_30
；
其中，
Figure SMS_33
表示初始图像/>
Figure SMS_34
的灰度特征，/>
Figure SMS_35
表示图像/>
Figure SMS_31
的灰度特征，gray(x)表示对图像做灰度变化，ftd(x)表示对矩阵做傅里叶变化，/>
Figure SMS_36
表示初始图像/>
Figure SMS_37
的像素，/>
Figure SMS_38
表示图像/>
Figure SMS_32
的像素；
将初始图像
Figure SMS_39
的灰度图与图像/>
Figure SMS_40
的灰度图相乘，并转换至傅里叶空间；
针对矩阵进行傅里叶的中心化偏移：
Figure SMS_41
；
其中
Figure SMS_42
表示傅里叶的中心化偏移，/>
Figure SMS_43
表示对矩阵的傅里叶逆变换运算；
获取矩阵最大值的位置
Figure SMS_44
以及/>
Figure SMS_45
：
Figure SMS_46
；
其中，maxloc(x)表示找到矩阵对应最大值的位置，
Figure SMS_47
表示一矩阵；
计算图像位置的偏移量
Figure SMS_48
以及/>
Figure SMS_49
：
Figure SMS_50
；
Figure SMS_51
；
其中，
Figure SMS_52
表示矩阵X方向最大值的位置，/>
Figure SMS_53
表示矩阵Y方向最大值的位置，矩阵的大小为/>
Figure SMS_54
，/>
Figure SMS_55
表示矩阵的行数，/>
Figure SMS_56
表示矩阵的列数。
可选的，所述针对矩阵进行傅里叶的中心化偏移步骤之后，所述获取矩阵最大值的位置
Figure SMS_57
以及/>
Figure SMS_58
步骤之前，还包括步骤：
基于中心化偏移后的矩阵进行数据转换：
Figure SMS_59
；
其中，
Figure SMS_63
表示中心化偏移后的矩阵，/>
Figure SMS_64
表示数据转换后的矩阵，ftd(x)表示对矩阵做傅里叶变化，/>
Figure SMS_66
表示/>
Figure SMS_62
，/>
Figure SMS_69
表示初始图像/>
Figure SMS_70
的灰度特征，/>
Figure SMS_71
表示/>
Figure SMS_61
，/>
Figure SMS_65
表示图像/>
Figure SMS_67
的灰度特征，w表示/>
Figure SMS_68
或/>
Figure SMS_60
的宽度，h表示/>
Figure SMS_72
或/>
Figure SMS_73
的高度，/>
Figure SMS_74
=0.2，为一常数；
基于高斯相关法，获取傅里叶高斯矩阵
Figure SMS_75
：
Figure SMS_76
；
其中，
Figure SMS_77
表示对矩阵进行傅里叶变换，P表示（0,1）之间的高斯矩阵；
基于高斯矩阵与目标矩阵的交叉相关，获取一矩阵
Figure SMS_78
。
可选的，步骤S6之后还包括步骤：
S7：基于偏移量计算的准确率，优化MOSSE算法的计算。
可选的，步骤S7包括以下步骤：
利用软件工具计算初始图像
Figure SMS_79
以及图像/>
Figure SMS_80
内主要目标的像素值差距；
获取图像中主要目标在X方向以及Y方向的平均像素差
Figure SMS_81
、/>
Figure SMS_82
；
计算平均像素差与偏移量的差距值
Figure SMS_83
：/>
Figure SMS_84
；
其中，
Figure SMS_85
为X轴方向的偏移量，/>
Figure SMS_86
为Y轴方向的偏移量，/>
Figure SMS_87
为X轴方向的平均像素差，
Figure SMS_88
为Y轴方向的平均像素差；
计算偏移量差距的准确率pre：
Figure SMS_89
；
其中，
Figure SMS_90
表示满足预设像素阈值d的图像数量，d的范围为[0, M*N]，/>
Figure SMS_91
表示矩阵的行数，/>
Figure SMS_92
表示矩阵的列数，total表示图像总数量。
可选的，所述计算平均像素差与偏移量的差距步骤之后，所述计算偏移量差距的准确率步骤之前，还包括步骤：
设置容忍度ro，所述容忍度为计算的差距值占整个图像的比例：
Figure SMS_93
；
其中，d表示预设的像素差阈值，矩阵的大小为
Figure SMS_94
，/>
Figure SMS_95
表示矩阵的行数，/>
Figure SMS_96
表示矩阵的列数。
可选的，所述镜头的预设运动为往复运动。
相应的，本申请还提供一种电子设备，其包括存储器以及处理器，存储器用于存储可执行程序代码；处理器连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行前述任一项所述的基于MOSSE算法的监控设备点位图像矫正方法。
相应的，本申请还提供一种基于MOSSE算法的监控设备点位图像矫正系统，其包括一种电子设备，所述电子设备为前述的电子设备。
本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法及系统，基于MOSSE算法的监控设备点位图像矫正方法可以采集点位初始的图像数据保存至摄像机的点位库中，通过比较点位库中的图像数据与下一次拍摄点位处的图像，以获得该点位处的图像偏移量，基于计算的偏移量可以指导摄像机的镜头运动，将调整后的图像数据与点位库中的图像数据进行比较，再次调整摄像机的运动，直至满足终止条件时，将点位库中初始图像
Figure SMS_97
替换为调整后的图像/>
Figure SMS_98
，并更新对应的点位位置，使得摄像机分时段对固定点位进行拍摄时，图像的偏移量较小，以保证目标物体始终位于拍摄画面中，提高摄像机监控时的准确性。
同时，摄像机分时段拍摄时，可以针对往复运动中各个点位处的图像进行实时调整，从而可以实时纠正摄像机镜头的偏移，以保证摄像机对于目标物体的监控过程更加精准、高效。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的基于MOSSE算法的监控设备点位图像矫正方法的流程示意图；
图2是本申请提供的基于MOSSE算法的监控设备点位图像矫正方法中步骤S3的流程示意图；
图3是本申请提供的基于MOSSE算法的监控设备点位图像矫正方法中步骤S7的流程示意图；
图4是本申请提供的基于MOSSE算法的监控设备点位图像矫正方法中准确率与容忍度的关联性示意图；
图5a是本申请提供的基于MOSSE算法的监控设备点位图像矫正方法中步骤S72中图像A的示意图；
图5b是本申请提供的基于MOSSE算法的监控设备点位图像矫正方法中步骤S72中图像B的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。此外，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。在本申请中，在未作相反说明的情况下，使用的方位词如“上”、“下”、“左”、“右”通常是指装置实际使用或工作状态下的上、下、左和右，具体为附图中的图面方向。
本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法及系统，以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对本申请实施例优选顺序的限定。且在以下实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
请参阅图1-图3，本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法，其主要用于解决监控场所内的监控设备按照预设路线监控的过程中，对于某一固定点位的拍摄图像与上次同一点位处的拍摄图像存在偏移的问题。上述监控设备包括摄像机等硬件，固定在监控场所内的摄像机利用往复运动的镜头对目标物体进行实时监控，从而解决现有技术中固定时间对摄像机的图像偏移纠正的问题。
基于MOSSE算法的监控设备点位图像矫正方法，具体包括以下步骤：
S1、采集监控设备中镜头点位的初始图像
Figure SMS_99
，并构建点位库；
固定安装至监控场所内的摄像机可以对目标物体进行监控，为覆盖较大的监控面积，摄像机中的镜头可以沿预设的路径进行多角度转动，使得摄像机能够分时段对固定定点进行拍摄。
当摄像机的镜头运动至不同的角度时，摄像机能够对监控场所内的不同位置进行拍摄，从而获取多个图像数据。摄像机通过拍摄采集该点位处的图像数据，并作为初始图像
Figure SMS_100
；同时基于镜头的运动轨迹，可以采集多张初始图像/>
Figure SMS_101
，并可以利用多个初始图像
Figure SMS_102
构建成一点位库。/>
S2：获取镜头预设运动中点位的图像
Figure SMS_103
；
镜头沿预设路径首次拍摄过程中，可以采集多个初始图像
Figure SMS_104
，而后镜头沿上述预设路径往复运动，从而对监控场所内的目标物体进行多角度实时监控。镜头在转动的过程中能够按照初始图像/>
Figure SMS_105
对应的固定点位进行拍摄，从而对应地获取图像/>
Figure SMS_106
。在镜头的单次运动中，图像/>
Figure SMS_107
与点位库中的初始图像/>
Figure SMS_108
相互对应，为固定点位不同时段的图像数据。
S3：基于MOSSE算法计算同一点位处图像
Figure SMS_109
与初始图像/>
Figure SMS_110
之间偏移量/>
Figure SMS_111
及
Figure SMS_112
，其中/>
Figure SMS_113
为X轴方向的偏移量，/>
Figure SMS_114
为Y轴方向的偏移量；
由于不同摄像机的灵敏度存在差异，使得镜头在多次往复运动中的图像数据以及原始的图像数据具有一定的差异，即运动中获取的图像与点位库中的图像存在一定偏移，不同次运动中获取的图像也存在一定的偏移。固定点位的不同时段的图像存在偏移，会导致监控的目标物体差异偏移较多，甚至可能导致摄像机的拍摄画面中目标物体逐步消失。
利用MOSSE算法计算同一点位处图像
Figure SMS_115
与初始图像/>
Figure SMS_116
之间的偏移量/>
Figure SMS_117
及/>
Figure SMS_118
，以便于基于上述偏移量实时调整镜头的拍摄角度，使得被监控的目标物体的偏移较小。
MOSSE算法的基本思想：首先根据第一帧图像框选的目标构建一个响应，该响应在所绘制的目标框的中心处的响应值最大，向四周缓慢衰减（二维高斯分布）。然后我们希望找到一个滤波器使得图像和这个滤波器进行相关运算之后刚好得到的就是这个响应，那么就可以根据响应值最大处得到目标的位置了。当新的一帧图像进来时，用之前得到的滤波器与新的图像进行相关运算，就可以得到新的目标位置了。
上述步骤S3具体包括以下步骤：
S31、基于初始图像
Figure SMS_119
以及图像/>
Figure SMS_120
，提取灰度特征/>
Figure SMS_121
以及/>
Figure SMS_122
：
Figure SMS_123
；/>
Figure SMS_124
；
Figure SMS_125
；/>
Figure SMS_126
；
其中，
Figure SMS_128
表示初始图像/>
Figure SMS_130
的灰度特征，/>
Figure SMS_132
表示图像/>
Figure SMS_129
的灰度特征，gray(x)表示对图像做灰度变化，ftd(x)表示对矩阵做傅里叶变化，/>
Figure SMS_131
表示初始图像/>
Figure SMS_133
的像素，/>
Figure SMS_134
表示图像/>
Figure SMS_127
的像素；
上述gray(x)对图像进行灰度变化的公式如下：
Figure SMS_135
；
其中，
Figure SMS_136
表示图像中蓝色像素，/>
Figure SMS_137
表示图像中绿色像素，/>
Figure SMS_138
表示图像中红色额像素，
Figure SMS_139
表示图像的灰度值。
上述ftd(x)表示对矩阵进行傅里叶变换的具体公式如下：
Figure SMS_140
；
其中，
Figure SMS_141
，f(i，j)表示矩阵的空间值，矩阵的大小为/>
Figure SMS_142
，i=0,1,2,…M-1，j=0,1,2,…N-1；/>
Figure SMS_143
表示频域结果，k=0,1,2,…M-1，l=0,1,2,…N-1。
S32、将初始图像
Figure SMS_144
的灰度图与图像/>
Figure SMS_145
的灰度图相乘，并转换至傅里叶空间；/>
初始图像
Figure SMS_146
的灰度图与图像/>
Figure SMS_147
的灰度图相乘运算是将两幅图像对应的灰度值进项相乘，从而具有抑制图像某些区域的作用，也能够被用来实现卷积或相关的运算。
S33、针对矩阵进行傅里叶的中心化偏移；
Figure SMS_148
；
其中
Figure SMS_149
表示傅里叶的中心化偏移，/>
Figure SMS_150
表示对矩阵的傅里叶逆变换运算。
具体的，
Figure SMS_151
的运算公式如下：
Figure SMS_152
；
其中，
Figure SMS_153
，f(i，j)表示矩阵的空间值，矩阵的大小为/>
Figure SMS_154
，i=0,1,2,…M-1，j=0,1,2,…N-1；/>
Figure SMS_155
表示频域结果，k=0,1,2,…M-1，l=0,1,2,…N-1。
Figure SMS_156
的具体变换如下：
Figure SMS_157
；
将初始图像
Figure SMS_158
的灰度图与图像/>
Figure SMS_159
的灰度图相乘，并转换至傅里叶空间的矩阵分为四个部分，而后基于傅里叶中心偏移的运算，将上述矩阵的四个部分的对角部分进行变换，使得中心化偏移后的矩阵可以排除其内部的干扰，消除图像中逻辑位置的影响，从而能够拆除位置的影响，可以优化矩阵，使得图像偏移量的计算更为精确。
S34、基于中心化偏移后的矩阵进行数据转换：
Figure SMS_160
；
其中，
Figure SMS_161
表示中心化偏移后的矩阵，/>
Figure SMS_168
表示数据转换后的矩阵，ftd(x)表示对矩阵做傅里叶变化，/>
Figure SMS_175
表示/>
Figure SMS_162
，/>
Figure SMS_167
表示初始图像/>
Figure SMS_171
的灰度特征，/>
Figure SMS_174
表示/>
Figure SMS_163
，/>
Figure SMS_166
表示图像/>
Figure SMS_169
的灰度特征， w表示/>
Figure SMS_172
或/>
Figure SMS_164
的宽度，h表示/>
Figure SMS_165
或/>
Figure SMS_170
的高度，/>
Figure SMS_173
=0.2，为一常数；
针对中心化偏移后的矩阵进行数据转换运算，可以优化数据筛选，使得图像偏移量的计算更为精确。
S35、基于高斯相关法，获取傅里叶高斯矩阵
Figure SMS_176
：
Figure SMS_177
；
其中，
Figure SMS_178
表示对矩阵进行傅里叶变换，P表示（0,1）之间的高斯矩阵，其具体公式如下：
Figure SMS_179
；
其中，
Figure SMS_182
w表示/>
Figure SMS_187
或/>
Figure SMS_188
的宽度，h表示/>
Figure SMS_180
或/>
Figure SMS_184
的高度，/>
Figure SMS_185
表示初始图像/>
Figure SMS_186
的灰度特征，/>
Figure SMS_181
表示图像/>
Figure SMS_183
的灰度特征。
S36、基于高斯矩阵与目标矩阵的交叉相关，获取一矩阵
Figure SMS_189
；
Figure SMS_190
；/>
Figure SMS_191
；
Figure SMS_192
；
其中，
Figure SMS_193
表示一临时的中间值，/>
Figure SMS_194
表示一临时的中间值，/>
Figure SMS_195
表示高斯矩阵，/>
Figure SMS_196
表示目标矩阵，/>
Figure SMS_197
表示计算所获矩阵，/>
Figure SMS_198
表示对矩阵的傅里叶逆变换运算。
S37、获取矩阵最大值的位置
Figure SMS_199
以及/>
Figure SMS_200
：
Figure SMS_201
；
其中，maxloc(x)表示找到矩阵对应最大值的位置，
Figure SMS_202
表示一矩阵；
S38、计算图像位置的偏移量
Figure SMS_203
以及/>
Figure SMS_204
：
Figure SMS_205
；
Figure SMS_206
；
其中，
Figure SMS_207
表示矩阵X方向最大值的位置，/>
Figure SMS_208
表示矩阵Y方向最大值的位置，矩阵的大小为/>
Figure SMS_209
，/>
Figure SMS_210
表示矩阵的行数，/>
Figure SMS_211
表示矩阵的列数；
基于MOSSE算法计算图像的偏移量，可以为管理人员及时发现问题提供了可靠的数据，从而可以更加精准地获取图像的偏移量。
S4、基于偏移量
Figure SMS_212
以及/>
Figure SMS_213
，调整镜头的点位位置，并获取该点位处的图像/>
Figure SMS_214
；
获取镜头的移动速度，然后基于偏移量
Figure SMS_215
以及/>
Figure SMS_216
，适配性地调整镜头的点位位置，使得调整后镜头获取的图像/>
Figure SMS_217
与点位库中初始图像/>
Figure SMS_218
之间的偏移量差距较小，以实现通过图像比较结果指导摄像机矫正偏移的点位图像。
S5、循环步骤S3及S4；
基于偏移量
Figure SMS_220
及/>
Figure SMS_222
，对应地调整镜头的点位位置后，摄像机位于该点位位置获取一图像/>
Figure SMS_225
，而后基于MOSSE算法计算新获取的图像/>
Figure SMS_221
与初始图像/>
Figure SMS_224
之间偏移量/>
Figure SMS_226
及/>
Figure SMS_227
，而后根据计算获得的偏移量继续调整镜头的点位位置。通过多次循环偏移量的计算以及点位位置的调整，使得新的图像/>
Figure SMS_219
与初始图像/>
Figure SMS_223
之间的偏移量逐渐减小，从而保证摄像机固定点位拍摄时画面中目标物体始终位于画面中。
S6、当满足终止条件时，将点位库中初始图像
Figure SMS_228
替换为步骤S4中的图像/>
Figure SMS_229
，并更新对应的点位位置；
上述终止条件为：
Figure SMS_230
，其中，/>
Figure SMS_231
为X方向的偏移量，/>
Figure SMS_232
为Y方向的偏移量，/>
Figure SMS_233
为X方向预设的像素差阈值，/>
Figure SMS_234
为Y方向预设的像素差阈值；或者
循环次数超过一阈值。
根据MOSSE算法计算出偏移量
Figure SMS_235
及/>
Figure SMS_236
，当/>
Figure SMS_237
时，表示该点位位置处获得的图像与点位库中初始图像之间的偏移量较小，在X轴方向与Y轴方向的预设偏差内，此时目标物体在图像/>
Figure SMS_238
中的位置略有偏移，但是满足摄像机灵敏度导致的合理误差，此时将点位库中初始图像/>
Figure SMS_239
替换为步骤S4中的图像/>
Figure SMS_240
，并更新对应的点位位置。/>
当根据MOSSE算法计算出的偏移量
Figure SMS_241
及/>
Figure SMS_242
较大，并且经过多次点位位置的调整后，图像/>
Figure SMS_243
与初始图像/>
Figure SMS_244
之间的偏移量依旧无法满足/>
Figure SMS_245
的要求，当循环判断的次数超过一阈值时，将点位库中初始图像/>
Figure SMS_246
替换为步骤S4中的图像/>
Figure SMS_247
，并更新对应的点位位置。
S7、基于偏移量计算的准确率，优化MOSSE算法的计算；
使用软件工具计算同一点位处最新获取的图像与点位库中图像之间的偏移量，然后将软件计算的偏移量与MOSSE算法的计算的偏移量相比较，以获取两种方式中偏移量计算的准确率，并根据获取的准确率继续优化MOSSE算法的计算，以逐渐提高MOSSE算法计算的准确率。
S71、利用软件工具计算初始图像
Figure SMS_248
以及图像/>
Figure SMS_249
内主要目标的像素值差距；
人工标记了total=212 张图像，图像大小为M*N（1920*1080 像素），标记方法为，确定图像的两个以及以上的主要目标，使用PS 等软件工具计算两张图像内主要目标的像素值差距。
S72、获取图像中主要目标在X方向以及Y方向的平均像素差
Figure SMS_250
、/>
Figure SMS_251
；
根据软件工具计算两张图像内主要目标的像素值差距，并计算主要目标在X方向以及Y方向偏移的平均值，从而获取图像X方向以及Y方向的平均像素差
Figure SMS_252
、/>
Figure SMS_253
。其中，/>
Figure SMS_254
表示图像X方向偏移值的平均值，/>
Figure SMS_255
表示图像Y方向偏移值的平均值。
以图5a中的图像A以及图5b中的图像B为示例进行说明，图像A中包括月亮和太阳两个主要目标，同时图像B中包括月亮和太阳两个主要目标。
基于图像A与图像B中的月亮（主要目标1），软件工具可以获取两图像在X方向差0个像素，同时其在Y方向差了-20个像素。
基于图像A与图像B中的太阳（主要目标2），软件工具可以获取两图像在X方向差20个像素，同时其在Y方向差了0个像素。
因此，图像A与图像B相比较，在X方向平均像素差
Figure SMS_256
为-10个像素，计算方式为/>
Figure SMS_257
=(0-20)/2；同时，在Y方向平均像素差/>
Figure SMS_258
为10个像素，计算方式为/>
Figure SMS_259
=(20+0)/2。
S73、计算平均像素差与偏移量的差距值
Figure SMS_260
：
Figure SMS_261
；
其中，
Figure SMS_262
为X轴方向的偏移量，/>
Figure SMS_263
为Y轴方向的偏移量，/>
Figure SMS_264
为X轴方向的平均像素差，
Figure SMS_265
为Y轴方向的平均像素差；
基于前述步骤可得，通过傅里叶变换以及高斯相关法可以计算偏移量
Figure SMS_266
及/>
Figure SMS_267
，而后通过比较X轴方向的差距以及Y轴方向的差距，可以计算平均像素差与偏移量的差距值d。
具体实例可以参照表1：
Figure SMS_268
；
S74、设置容忍度ro，所述容忍度为计算的差距值占整个图像的比例：
Figure SMS_269
；
其中，d表示预设的像素差阈值，矩阵的大小为
Figure SMS_270
；/>
可以基于监控场所的具体要求，设置合适的容忍度，从而增加基于MOSSE算法的监控设备点位图像矫正的应用场景。
S75、计算偏移量差距的准确率pre：
Figure SMS_271
；
其中，
Figure SMS_272
表示满足预设像素阈值d的图像数量，d的范围为[0, M*N]，/>
Figure SMS_273
表示矩阵的行数，/>
Figure SMS_274
表示矩阵的列数，total表示图像内总数量。d表示预设像素差阈值，同时初始化cout_d=0，count_d为满足/>
Figure SMS_275
小于预设像素差阈值d的图像数量；若当前计算的平均像素差与偏移量的差距值/>
Figure SMS_276
小于d，则认为当前计算正确count_d=count_d+1；否则count_d不计算。
计算偏移量差距的准确率的具体流程如下：
S751、获取total组图像，并初始化cout_d=0；
S752、输入初始图像
Figure SMS_277
以及图像/>
Figure SMS_278
，并计算平均像素差与偏移量的差距值/>
Figure SMS_279
；
S753、判断平均像素差与偏移量的差距值
Figure SMS_280
是否小于预设像素差阈值d；若是，count_d=count_d+1；若否，count_d不变；
S754、循环total次步骤S752与步骤S753；
S755、计算准确率pre_d。
由于d表示预设像素差阈值，因而设置不同的d值代表看不同的容忍度，因而当设置多组d值时，可以对应的获得多组准确率。
具体实例可以参照表2：
Figure SMS_281
；
设置基于MOSSE算法的监控设备点位图像矫正方法的容忍度为0.99时，则计算偏移量的差距的准确率为0.95，如图4所示。
本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法，其采集点位初始的图像数据保存至摄像机的点位库中，通过比较点位库中的图像数据与下一次拍摄点位处的图像，以获得该点位处的图像偏移量，基于计算的偏移量可以指导摄像机的镜头运动，将调整后的图像数据与点位库中的图像数据进行比较，再次调整摄像机的运动，直至偏移量位于预设像素差阈值内或者循环次数超过一阈值时，将点位库中初始图像
Figure SMS_282
替换为调整后的图像/>
Figure SMS_283
，并更新对应的点位位置，使得摄像机分时段对固定点位进行拍摄时，图像的偏移量较小，以保证目标物体始终位于拍摄画面中，提高摄像机监控时的准确性。
同时，摄像机分时段拍摄时，可以针对往复运动中各个点位处的图像进行实时调整，从而可以实时纠正摄像机镜头的偏移，以保证摄像机对于目标物体的监控过程更加精准、高效。
本申请还提供了一种电子设备，其包括存储器以及处理器，存储器用于存储可执行程序代码；处理器连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行前述前述的基于MOSSE算法的监控设备点位图像矫正方法。
本申请还提供了基于MOSSE算法的监控设备点位图像矫正系统，其包括一种电子设备，所述电子设备为前述的电子设备。上述基于MOSSE算法的监控设备点位图像矫正系统可以针对往复运动中各个点位处的图像进行实时调整，从而可以实时纠正摄像机镜头的偏移，以保证摄像机对于目标物体的监控过程更加精准、高效；同时图像的偏移量较小，以保证目标物体始终位于拍摄画面中，提高摄像机监控时的准确性。
以上对本申请提供一种基于MOSSE算法的监控设备点位图像矫正方法及系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，包括：
S1：采集监控设备中镜头点位的初始图像
Figure QLYQS_1
并构建点位库；
S2：获取镜头预设运动中点位的图像
Figure QLYQS_2
；
S3：基于MOSSE算法计算同一点位处图像
Figure QLYQS_3
与初始图像/>
Figure QLYQS_4
之间偏移量/>
Figure QLYQS_5
及/>
Figure QLYQS_6
，其中
Figure QLYQS_7
为X轴方向的偏移量，/>
Figure QLYQS_8
为Y轴方向的偏移量；
S4：基于偏移量
Figure QLYQS_9
及/>
Figure QLYQS_10
，调整镜头的点位位置，并获取该点位处的图像/>
Figure QLYQS_11
；
S5：循环步骤S3及S4；
S6：当满足终止条件时，将点位库中初始图像
Figure QLYQS_12
替换为步骤S4中的图像/>
Figure QLYQS_13
，并更新对应的点位位置；
所述基于MOSSE算法计算同一点位处图像
Figure QLYQS_14
与初始图像/>
Figure QLYQS_15
之间偏移量/>
Figure QLYQS_16
及/>
Figure QLYQS_17
的步骤包括：
基于初始图像
Figure QLYQS_18
以及图像/>
Figure QLYQS_19
，提取灰度特征/>
Figure QLYQS_20
以及/>
Figure QLYQS_21
：
Figure QLYQS_22
；/>
Figure QLYQS_23
；
Figure QLYQS_24
；/>
Figure QLYQS_25
；
其中，
Figure QLYQS_27
表示初始图像/>
Figure QLYQS_30
的灰度特征，/>
Figure QLYQS_32
表示图像/>
Figure QLYQS_28
的灰度特征，gray(x)表示对图像做灰度变化，ftd(x)表示对矩阵做傅里叶变化，/>
Figure QLYQS_29
表示初始图像/>
Figure QLYQS_31
的像素，/>
Figure QLYQS_33
表示图像/>
Figure QLYQS_26
的像素；
将初始图像
Figure QLYQS_34
的灰度图与图像/>
Figure QLYQS_35
的灰度图相乘，并转换至傅里叶空间；
针对矩阵进行傅里叶的中心化偏移：
Figure QLYQS_36
；
其中
Figure QLYQS_37
表示傅里叶的中心化偏移，/>
Figure QLYQS_38
表示对矩阵的傅里叶逆变换运算；
获取矩阵最大值的位置
Figure QLYQS_39
以及/>
Figure QLYQS_40
：
Figure QLYQS_41
；
其中，maxloc(x)表示找到矩阵对应最大值的位置，
Figure QLYQS_42
表示一矩阵；
计算图像位置的偏移量
Figure QLYQS_43
以及/>
Figure QLYQS_44
：
Figure QLYQS_45
；
Figure QLYQS_46
；
其中，
Figure QLYQS_47
表示矩阵X方向最大值的位置，/>
Figure QLYQS_48
表示矩阵Y方向最大值的位置，矩阵的大小为
Figure QLYQS_49
，/>
Figure QLYQS_50
表示矩阵的行数，/>
Figure QLYQS_51
表示矩阵的列数。
2.根据权利要求1所述的基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，所述终止条件为：
Figure QLYQS_52
，其中，/>
Figure QLYQS_53
为X方向的偏移量，/>
Figure QLYQS_54
为Y方向的偏移量，/>
Figure QLYQS_55
为X方向预设的像素差阈值，/>
Figure QLYQS_56
为Y方向预设的像素差阈值；或者
循环次数超过一阈值。
3.根据权利要求1所述的基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，所述针对矩阵进行傅里叶的中心化偏移步骤之后，所述获取矩阵最大值的位置
Figure QLYQS_57
以及/>
Figure QLYQS_58
步骤之前，还包括步骤：
基于中心化偏移后的矩阵进行数据转换：
Figure QLYQS_59
；
其中，
Figure QLYQS_61
表示中心化偏移后的矩阵，/>
Figure QLYQS_65
表示数据转换后的矩阵，ftd(x)表示对矩阵做傅里叶变化，/>
Figure QLYQS_69
表示/>
Figure QLYQS_62
，/>
Figure QLYQS_66
表示初始图像/>
Figure QLYQS_70
的灰度特征，/>
Figure QLYQS_73
表示/>
Figure QLYQS_60
，/>
Figure QLYQS_64
表示图像
Figure QLYQS_68
的灰度特征，w表示/>
Figure QLYQS_72
或/>
Figure QLYQS_63
的宽度，h表示/>
Figure QLYQS_67
或/>
Figure QLYQS_71
的高度，/>
Figure QLYQS_74
=0.2，为一常数；
基于高斯相关法，获取傅里叶高斯矩阵
Figure QLYQS_75
：
Figure QLYQS_76
；
其中，
Figure QLYQS_77
表示对矩阵进行傅里叶变换，P表示（0,1）之间的高斯矩阵；
基于高斯矩阵与目标矩阵的交叉相关，获取一矩阵
Figure QLYQS_78
。
4.根据权利要求1所述的基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，步骤S6之后还包括步骤：
S7：基于偏移量计算的准确率，优化MOSSE算法的计算。
5.根据权利要求4所述的基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，步骤S7包括以下步骤：
利用软件工具计算初始图像
Figure QLYQS_79
以及图像/>
Figure QLYQS_80
内主要目标的像素值差距；
获取图像中主要目标在X方向以及Y方向的平均像素差
Figure QLYQS_81
、/>
Figure QLYQS_82
；
计算平均像素差与偏移量的差距值
Figure QLYQS_83
：
Figure QLYQS_84
；
其中，
Figure QLYQS_85
为X轴方向的偏移量，/>
Figure QLYQS_86
为Y轴方向的偏移量，/>
Figure QLYQS_87
为X轴方向的平均像素差，/>
Figure QLYQS_88
为Y轴方向的平均像素差；
计算偏移量差距的准确率pre：
Figure QLYQS_89
；
其中，
Figure QLYQS_90
表示满足预设像素阈值d的图像数量，d的范围为[0, />
Figure QLYQS_91
]，M表示矩阵的行数，N表示矩阵的列数，total表示图像总数量。
6.根据权利要求5所述的基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，所述计算平均像素差与偏移量的差距步骤之后，所述计算偏移量差距的准确率步骤之前，还包括步骤：
设置容忍度ro，所述容忍度为计算的差距值占整个图像的比例：
Figure QLYQS_92
；
其中，d表示预设的像素差阈值，矩阵的大小为
Figure QLYQS_93
，M表示矩阵的行数，N表示矩阵的列数。
7.根据权利要求1所述的基于MOSSE算法的监控设备点位图像矫正方法，其特征在于，所述镜头的预设运动为往复运动。
8.一种电子设备，其特征在于，包括：
存储器，用于存储可执行程序代码；以及
处理器，连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行如权利要求1-7中任一项所述的基于MOSSE算法的监控设备点位图像矫正方法。
9.一种基于MOSSE算法的监控设备点位图像矫正系统，其特征在于，包括权利要求8所述的电子设备。
CN202310205065.9A 2023-03-06 2023-03-06 基于mosse算法的监控设备点位图像矫正方法及系统 Active CN116074641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310205065.9A CN116074641B (zh) 2023-03-06 2023-03-06 基于mosse算法的监控设备点位图像矫正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310205065.9A CN116074641B (zh) 2023-03-06 2023-03-06 基于mosse算法的监控设备点位图像矫正方法及系统

Publications (2)

Publication Number Publication Date
CN116074641A CN116074641A (zh) 2023-05-05
CN116074641B true CN116074641B (zh) 2023-06-09

Family

ID=86176880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310205065.9A Active CN116074641B (zh) 2023-03-06 2023-03-06 基于mosse算法的监控设备点位图像矫正方法及系统

Country Status (1)

Country Link
CN (1) CN116074641B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932732A (zh) * 2018-06-21 2018-12-04 浙江大华技术股份有限公司 一种获取监测对象数据信息的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105812720A (zh) * 2014-12-29 2016-07-27 浙江大华系统工程有限公司 一种球机预置位的矫正方法及装置
CN109146963B (zh) * 2017-06-13 2020-07-07 南京鑫和汇通电子科技有限公司 一种基于快速特征匹配的图像位置偏移检测方法
CN108737734B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN108921900B (zh) * 2018-07-18 2022-03-04 江苏实景信息科技有限公司 一种监测监控摄像机的方位的方法及装置
CN112800881A (zh) * 2021-01-15 2021-05-14 浙江工业大学 一种基于相位相关的场景偏移检测方法和系统
CN115546072B (zh) * 2022-11-28 2023-03-10 南京航空航天大学 一种图像畸变矫正方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932732A (zh) * 2018-06-21 2018-12-04 浙江大华技术股份有限公司 一种获取监测对象数据信息的方法及装置

Also Published As

Publication number Publication date
CN116074641A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN108492287B (zh) 一种视频抖动检测方法、终端设备及存储介质
GB2527697B (en) People counting device and people counting method
US8625922B2 (en) Image processing method and program for determining whether sabotage has occurred to an image
CN106991418B (zh) 飞虫检测方法、装置及终端
TWI557691B (zh) 監視攝影裝置及其使用的區域式移動偵測方法
US10474935B2 (en) Method and device for target detection
CN108257186B (zh) 标定图像的确定方法及装置、摄像机及存储介质
CN105160657A (zh) 基于fpga的红外成像非均匀性校正系统
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN110866486A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN117078565B (zh) 一种摄像头抖动模糊图像优化增强方法及系统
CN106412441A (zh) 一种视频防抖控制方法以及终端
CN110689554B (zh) 用于红外图像序列的背景运动估计方法、装置及存储介质
CN113411510B (zh) 一种基于图像质量评价和红热锻件的相机自动曝光算法
CN109698946A (zh) 投影设备自动对焦方法、投影设备及计算机可读存储介质
CN107079098A (zh) 基于ptz摄像机的影像播放方法及装置
CN116074641B (zh) 基于mosse算法的监控设备点位图像矫正方法及系统
CN112884805A (zh) 一种跨尺度自适应映射的光场成像方法
CN110930436B (zh) 一种目标跟踪方法及设备
Gu et al. A fast color tracking system with automatic exposure control
CN111145216A (zh) 一种视频图像目标的跟踪方法
CN112637496B (zh) 图像矫正方法及装置
Guthier et al. Histogram-based image registration for real-time high dynamic range videos
CN101808200B (zh) 一种基于感兴趣区域的相机测光方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant