CN112766045A - 场景变化检测方法、系统、电子装置及存储介质 - Google Patents
场景变化检测方法、系统、电子装置及存储介质 Download PDFInfo
- Publication number
- CN112766045A CN112766045A CN202011580827.6A CN202011580827A CN112766045A CN 112766045 A CN112766045 A CN 112766045A CN 202011580827 A CN202011580827 A CN 202011580827A CN 112766045 A CN112766045 A CN 112766045A
- Authority
- CN
- China
- Prior art keywords
- image
- scene change
- detected
- scene
- change detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 title claims abstract description 250
- 238000001514 detection method Methods 0.000 title claims abstract description 101
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 44
- 239000013598 vector Substances 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011897 real-time detection Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种人工智能技术，揭露了一种场景变化检测方法，该方法包括：获取待检测图像和参考图像，其中所述待检测图像和参考图像均为背景图像；将所述待检测图像和参考图像输入场景变化检测网络，其中通过全卷积孪生网络提取深度特征，对所述深度特征进行距离度量得到深度特征差异图，对所述深度特征差异图经过双线性插值上采样输出场景变化映射图；根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。本发明还提供一种场景变化检测系统、电子装置及计算机可读存储介质。本发明提供的场景变化检测方法、系统、电子装置及计算机可读存储介质能够从视频流中实时地检测出发生场景变化的区域，鲁棒性好，适用于复杂环境。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种场景变化检测方法、系统、电子装置及计算机可读存储介质。
背景技术
在对实时视频的应用过程中，有一种需求是进行场景变化检测。例如，银行柜台桌面整洁度(有无乱摆乱放物品)、座椅沙发摆放整齐度(摆放是否整齐)等是一家银行网点良好面貌的象征和评分指标，关乎客户的体验满意度。而实时地通过智能分析银行网点监控视频获取网点的整体面貌，发现异常面貌则返回告警提示并给予评分，可以起到远程监督网点的作用。为了实现实时地分析出网点面貌异常，需要对网点的监控视频进行实时的场景变化检测，首先从视频流中分离出背景(静态的)和前景目标(动态的)并提取出背景图像，然后与预先准备好的背景参考图像做差异比较，差异较大的地方则是异常面貌的位置。
目前，业界普遍使用的可以进行场景变化检测的方法有：
基于帧间差分法的场景变化检测方法，将抽取视频帧与背景参考图像这两幅图像的像素值相减，并对相减后的图像进行阈值化来提取图像差异。此类方法的检测速度快，但不足之处是容易受光照影响导致阈值不好设定，鲁棒性差。
基于灰度值匹配的场景变化检测方法,对前后帧进行灰度值匹配，统计匹配度低的像素的位置,即为变化区域。此类方法的不足是不适用于复杂场景环境，环境光照和随机噪声都易产生干扰。
综上所述，如何在复杂光线和噪声的环境下准确地实时检测出视频图像的场景变化区域，已经成为一个亟待解决的技术问题。
发明内容
有鉴于此，本发明提出一种场景变化检测方法、系统、电子装置及计算机可读存储介质，以解决至少一个上述技术问题。
首先，为实现上述目的，本发明提出一种场景变化检测方法，该方法包括步骤：
获取待检测图像和参考图像，其中所述待检测图像和参考图像均为背景图像；
将所述待检测图像和参考图像输入场景变化检测网络，其中通过全卷积孪生网络提取深度特征，对所述深度特征进行距离度量得到深度特征差异图，对所述深度特征差异图经过双线性插值上采样输出场景变化映射图；及
根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
可选地，所述获取待检测图像包括：
从视频流中获取当前帧图像；
将所述当前帧图像经过前景与背景分离后得到第一背景图像；
获取所述第一背景图像作为所述待检测图像。
可选地，所述根据所述场景变化映射图从所述待检测图像中提取出场景变化区域包括：
根据所述场景变化映射图生成掩码图像；
根据所述掩码图像判断所述待检测图像是否发生场景变化；
当所述待检测图像发生场景变化时，从所述掩码图像中查找变化区域矩形框；
根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域。
可选地，所述根据所述场景变化映射图生成掩码图像包括：
获取所述场景变化映射图中每个像素在所述待检测图像和所述参考图像之间的变化差异率；
根据所述变化差异率和预设阈值确定所述像素的灰度值；
根据每个所述像素的灰度值生成所述掩码图像，其中白色表示发生变化的像素，黑色表示没有发生变化的像素。
可选地，所述根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域包括：
根据所述掩码图像中的所述变化区域矩形框找到所述待检测图像中对应位置的矩形框，将所述矩形框内包含的图像部分作为所述待检测图像中的场景变化区域，将所述场景变化区域通过预设方式进行标示。
可选地，所述方法在获取待检测图像和参考图像之前还包括：
通过多个训练图像对训练所述场景变化检测网络，其中所述训练图像对包括背景参考图像和场景发生变化的图像。
可选地，所述通过多个训练图像对训练所述场景变化检测网络包括：
获取训练图像对；
将所述训练图像对输入所述场景变化检测网络中的全卷积孪生网络，分别提取深度特征，得到深度特征向量对；
计算所述深度特征向量对各个通道对应位置特征的欧式距离，得到深度特征差异图；
根据所述深度特征差异图经过双线性插值上采样至与所述训练图像对同样大小，得到场景变化映射图；
计算所述深度特征向量对的阈值化对比损失；
判断所述对比损失是否满足预设要求，当不满足所述预设要求时，继续获取下一个所述训练图像对，对所述场景变化检测网络进行训练，直至所述对比损失满足所述预设要求。
此外，为实现上述目的，本发明还提供一种场景变化检测系统，所述系统包括：
获取模块，用于获取待检测图像和参考图像，其中所述待检测图像和参考图像均为背景图像；
检测模块，用于将所述待检测图像和参考图像输入场景变化检测网络，其中通过全卷积孪生网络提取深度特征，对所述深度特征进行距离度量得到深度特征差异图，对所述深度特征差异图经过双线性插值上采样输出场景变化映射图；
提取模块，用于根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
进一步地，为实现上述目的，本发明还提供一种电子装置，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的场景变化检测程序，所述场景变化检测程序被所述处理器执行时实现如上述的场景变化检测方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有场景变化检测程序，所述场景变化检测程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的场景变化检测方法的步骤。
相较于现有技术，本发明所提出的场景变化检测方法、系统、电子装置及计算机可读存储介质，通过对所述全卷积孪生网络提取出的深度特征向量对进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图，可以快速准确地检测出待检测图像中的场景变化，并且在所述场景变化映射图基础上可以非常方便地提取出场景变化区域，直观显示检测结果，便于后续进行告警提示或评分。本发明可以从视频流中实时地检测出发生场景变化的区域，鲁棒性好，适用于复杂环境。
附图说明
图1是本发明电子装置一可选的硬件架构的示意图；
图2是本发明场景变化检测系统第一实施例的程序模块示意图；
图3是本发明中所述场景变化检测网络的一种结构和处理过程示意图；
图4是根据图3中的场景变化映射图生成掩码图像的示意图；
图5是根据图4中的掩码图像查找变化区域矩形框和提取场景变化区域的示意图；
图6是本发明场景变化检测系统第二实施例的程序模块示意图；
图7是本发明中的双线性插值方式的示意图；
图8是本发明场景变化检测方法第一实施例的流程示意图；
图9是图8中步骤S404的细化流程示意图；
图10是本发明场景变化检测方法第二实施例的流程示意图；
图11是图10中步骤S500的细化流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明电子装置2一可选的硬件架构的示意图。
本实施例中，所述电子装置2可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图1仅示出了具有组件11-13的电子装置2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述电子装置2可以是服务器或其他具有运算能力的电子化设备。所述服务器可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，并且可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子装置2的内部存储单元，例如该电子装置2的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子装置2的外部存储设备，例如该电子装置2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述电子装置2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述电子装置2的操作系统和各类应用软件，例如场景变化检测系统200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置2的总体操作。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的场景变化检测系统200等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置2与其他电子设备之间建立通信连接。
至此，己经详细介绍了本发明相关设备的硬件结构和功能。下面，将基于上述介绍提出本发明的各个实施例。
首先，本发明提出一种场景变化检测系统200。
参阅图2所示，是本发明场景变化检测系统200第一实施例的程序模块图。
本实施例中，所述场景变化检测系统200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的场景变化检测操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，场景变化检测系统200可以被划分为一个或多个模块。例如，在图2中，所述场景变化检测系统200可以被分割成获取模块201、检测模块202、提取模块203。其中：
所述获取模块201，用于获取待检测图像和参考图像。
在本实施例中，所述待检测图像可以为监控视频流的当前帧图像，所述参考图像可以为预先设定的参考帧图像或者监控视频流中的前一帧图像等。并且，所述待检测图像为当前帧经过前景与背景分离后得到的背景图像，所述参考图像也为背景图像。
所述检测模块202，用于将所述待检测图像和参考图像输入训练好的场景变化检测网络，输出场景变化映射图。
参阅图3所示，为本发明中所述场景变化检测网络的一种结构和处理过程示意图。在本实施例中，在所述场景变化检测网络中的处理过程包括基于端到端的全卷积孪生网络结构(Fully Convolutional Siamese Network，SiameseFC)提取深度特征，然后进行距离度量得到深度特征差异图，再经过双线性插值上采样(Bilateral Upsampling)得到场景变化映射图。将所述待检测图像和所述参考图像作为图像对输入训练好的所述场景变化检测网络后，输出结果为这两个图像之间的场景变化映射图(例如图3中最右侧即为一种所述场景变化映射图)。在所述场景变化映射图中，红色(中间部分)表示发生变化的像素，蓝色(四周部分)表示没有发生变化的像素。
所述提取模块203，用于根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
在本实施例中，所述提取模块203提取所述场景变化区域的具体过程包括：
(1)根据所述场景变化映射图生成掩码图像。
根据所述场景变化映射图以及预先设置的阈值T(例如T＝1.2)，可以生成掩码图像。生成所述掩码图像的计算公式如下：
其中，out(x,y)表示所述掩码图像中每个像素的灰度值，Y(x,y)表示所述场景变化映射图中每个像素(在待检测图像和参考图像之间)的变化差异率。在所述掩码图像中，白色表示发生变化的像素，黑色表示没有发生变化的像素。例如，参阅图4所示，为根据图3中的场景变化映射图生成掩码图像的示意图。图4左侧为所述场景变化映射图，右侧为对应的所述掩码图像。
(2)根据所述掩码图像判断所述待检测图像是否发生场景变化。
具体地，当所述掩码图像中没有白色部分(即所有像素点的灰度值都为0)时，表示所述待检测图像没有发生场景变化。若未发生场景变化，则不用执行后续处理；若发生场景变化，则继续执行后续处理。
(3)当所述待检测图像发生场景变化时，从所述掩码图像中查找变化区域矩形框。
在本实施例中，基于所述掩码图像采用opencv库的findContours函数查找变化区域轮廓点，并通过opencv库的boudingRect函数根据所述变化区域轮廓点转成相应的变化区域矩形框。
(4)根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域。
根据所述掩码图像中的所述变化区域矩形框找到所述待检测图像中对应位置的矩形框，该矩形框内包含的图像部分即为所述待检测图像中的场景变化区域，将所述场景变化区域通过预设方式进行标示。
例如，参阅图5所示，为根据图4中的掩码图像查找变化区域矩形框和提取场景变化区域的示意图。图5左侧中间所示的矩形框为在所述掩码图像中查找到的变化区域矩形框，图5右侧中间所示区域为根据左侧的变化区域矩形框从所述待检测图像中提取出的场景变化区域。
本实施例提供的场景变化检测系统，可以从监控视频流中实时地检测出发生场景变化的区域。在所述场景变化检测网络中，采用端到端全卷积孪生网络结构提取深度特征差异，鲁棒性好，适用于银行网点室内等复杂环境；并且所述全卷积孪生网络采用轻量级网络MobileNetV3作为主干网络，满足了场景变化实时检测要求。通过对所述全卷积孪生网络提取出的深度特征向量对进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图，可以快速准确地检测出待检测图像中的场景变化，并且在所述场景变化映射图基础上可以非常方便地提取出场景变化区域，直观显示检测结果，便于后续进行告警提示或评分。
参阅图6所示，是本发明场景变化检测系统200第二实施例的程序模块图。本实施例中，所述的场景变化检测系统200除了包括第一实施例中的所述获取模块201、检测模块202、提取模块203之外，还包括训练模块204。
所述训练模块204，用于通过多个训练图像对训练所述场景变化检测网络。
在本实施例中，所述训练模块204训练所述场景变化检测网络的具体过程包括：
(1)建立初始化的场景变化检测网络并设置训练参数。
所述场景变化检测网络由端到端的全卷积孪生网络结构以及距离度量、上采样等构成。在本实施例中，所述全卷积孪生网络结构采用MobileNetV3为主干网络，去掉其倒数三层(即平均池化层和两个1*1卷积层)。MobileNetV3是一种综合了以下三种模型的思想的轻量级网络模型：MobileNetV1的深度可分离卷积(depthwise separable convolutions)、MobileNetV2的具有线性瓶颈的逆残差结构(the inverted residual with linearbottleneck)和NasNet(自动搜索网络)的基于压缩和激活(squeeze and excitation)的结构。
在上述全卷积孪生网络结构的基础上结合距离度量、上采样等过程建立初始化的所述场景变化检测网络后，需要通过大量样本对该网络进行训练，首先要设置训练参数。
例如，将训练阶段学习率设置为4e-4；训练优化器采用Adam，优化器超参数β1和β2分别可以设置为0.9和0.999。
(2)获取训练图像对。
所述训练图像对包括背景参考图像Bg和场景发生变化的图像Fg(背景图像)。例如，图3最左侧为一组所述训练图像对Bg和Fg的示意图。
(3)将所述训练图像对输入所述场景变化检测网络，分别提取深度特征，得到深度特征向量对。
本实施例中采用所述全卷积孪生网络来进行特征提取。将训练图像对Bg和Fg输入所述全卷积孪生网络后，可以分别提取出两个图像的深度特征，得到深度特征向量对F0和F1(如图3中所示)。
(4)计算所述深度特征向量对各个通道对应位置特征的欧式距离，得到深度特征差异图。
在本实施例中，距离度量采用预定义的值为0～1之间的欧式距离(L2Distance)，计算F0和F1各个通道对应位置特征的欧式距离(L2 Distance)。如图3所示，计算得到C通道的深度特征差异图，其中C＝1。
(5)根据所述深度特征差异图经过双线性插值上采样得到场景变化映射图。
在得到所述深度特征差异图后，再经过双线性插值上采样至与训练图像同样大小，得到场景变化映射图(如图3右侧所示)。在所述场景变化映射图中，红色表示发生变化的像素，蓝色表示未发生变化的像素。
参阅图7所示，为本发明中的双线性插值方式的示意图。在图7中，已知Q12，Q22，Q11，Q21四个点，要插值的点为P点。首先在x轴方向上，对R1和R2两个点进行插值，然后根据R1和R2在y轴方向上对P点进行插值。
P点的插值计算方式如下：
(6)计算所述深度特征向量对的阈值化对比损失。
阈值化对比损失(Contrastive Loss)旨在扩大类间差异并同时减少类内差异，同时监督全卷积孪生网络以学习更好的距离度量。
深度特征向量对F0和F1的阈值化对比损失如公式：
其中，D(fi,fj)表示深度特征向量对F0和F1对应同个位置的距离，yi,j＝1表示该位置的特征没有变化，yi,j＝0表示该位置的特征发生了变化。m是超参数，m取值可以为0.3，表示分类间隔，使得对比损失起到将产生变化的特征与没有产生变化的特征区分得更开的作用。
由于噪声的存在，没有必要让距离度量最小化为零，阈值τk可以灵活地优化噪声产生的变化，使得模型更加鲁棒，其中，阈值τk取值可以为0.1。
(7)按照上述过程重复采用多个训练图像对进行训练，直至所述对比损失满足预设要求。
所述深度特征向量对的所述对比损失可以用来判断所述场景变化检测网络是否训练到预期效果。例如，所述预设要求可以是所述对比损失小于预设值(如0.01)。
在计算出所述深度特征向量对的阈值化对比损失后，判断所述对比损失是否满足预设要求。当所述对比损失不满足预设要求时，需要继续获取下一个训练图像对，对所述场景变化检测网络进行训练，直至所述对比损失满足预设要求。例如，按照上述过程重复迭代50次，直至场景变化检测网络参数收敛，对比损失降至最小(满足预设要求)。当所述对比损失满足预设要求时，表示所述场景变化检测网络训练完成，可以用于后续对待检测图像进行场景变化检测。
本实施例提供的场景变化检测系统，可以从监控视频流中实时地检测出发生场景变化的区域。在所述场景变化检测网络中，采用端到端全卷积孪生网络结构提取深度特征差异，鲁棒性好，适用于银行网点室内等复杂环境；并且所述全卷积孪生网络采用轻量级网络MobileNetV3作为主干网络，满足了场景变化实时检测要求。通过对所述全卷积孪生网络提取出的深度特征向量对进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图，可以快速准确地检测出待检测图像中的场景变化，并且在所述场景变化映射图基础上可以非常方便地提取出场景变化区域，直观显示检测结果，便于后续进行告警提示或评分。另外采用阈值化的对比损失计算方式，可以更灵活地优化由于噪声引起的场景特征变化，更加提升该方案的鲁棒性。
此外，本发明还提出一种场景变化检测方法。
参阅图8所示，是本发明场景变化检测方法第一实施例的流程示意图。在本实施例中，根据不同的需求，图8所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。该方法包括：
步骤S400，获取待检测图像和参考图像。
在本实施例中，所述待检测图像可以为监控视频流的当前帧图像，所述参考图像可以为预先设定的参考帧图像或者监控视频流中的前一帧图像等。并且，所述待检测图像为当前帧经过前景与背景分离后得到的背景图像，所述参考图像也为背景图像。
获取所述待检测图像的过程包括：首先从视频流中获取当前帧图像，然后将所述当前帧图像经过前景与背景分离后得到第一背景图像，最后获取所述第一背景图像作为所述待检测图像。
步骤S402，将所述待检测图像和参考图像输入训练好的场景变化检测网络，输出场景变化映射图。
在本实施例中，在所述场景变化检测网络中的处理过程包括基于端到端的全卷积孪生网络结构提取深度特征，然后进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图。将所述待检测图像和所述参考图像作为图像对输入训练好的所述场景变化检测网络后，输出结果为这两个图像之间的场景变化映射图(例如图3中最右侧即为一种所述场景变化映射图)。在所述场景变化映射图中，红色表示发生变化的像素，蓝色表示没有发生变化的像素。
步骤S404，根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
具体而言，进一步参阅图9，为上述步骤S404的细化流程示意图。可以理解，该流程图不用于对执行步骤的顺序进行限定。根据需要，还可以对该流程图中的部分步骤进行添加或删减。在本实施例中，所述步骤S404具体包括：
S4040，根据所述场景变化映射图生成掩码图像。
根据所述场景变化映射图以及预先设置的阈值T(例如T＝1.2)，可以生成掩码图像。生成所述掩码图像的计算公式如下：
其中，out(x,y)表示所述掩码图像中每个像素的灰度值，Y(x,y)表示所述场景变化映射图中每个像素(在待检测图像和参考图像之间)的变化差异率。在所述掩码图像(例如图4右侧所示)中，白色表示发生变化的像素，黑色表示没有发生变化的像素。
首先，获取所述场景变化映射图中每个像素在所述待检测图像和所述参考图像之间的变化差异率Y(x,y)。然后根据所述变化差异率和阈值T确定所述像素的灰度值，也就是说，当Y(x,y)≥1.2时，该像素的灰度值为255；当Y(x,y)<1.2时，该像素的灰度值为0。最后根据每个所述像素的灰度值生成所述掩码图像。
S4042，根据所述掩码图像判断所述待检测图像是否发生场景变化。
具体地，当所述掩码图像中没有白色部分(即所有像素点的灰度值都为0)时，表示所述待检测图像没有发生场景变化。若未发生场景变化，则不用执行后续步骤；若发生场景变化，则继续执行步骤S4044。
S4044，当所述待检测图像发生场景变化时，从所述掩码图像中查找变化区域矩形框。
在本实施例中，基于所述掩码图像采用opencv库的findContours函数查找变化区域轮廓点，并通过opencv库的boudingRect函数根据所述变化区域轮廓点转化成相应的变化区域矩形框(例如图5左侧中间所示的矩形框)。
S4046，根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域。
根据所述掩码图像中的所述变化区域矩形框找到所述待检测图像中对应位置的矩形框，该矩形框内包含的图像部分即为所述待检测图像中的场景变化区域，将所述场景变化区域通过预设方式进行标示(例如图5右侧中间所示区域)。
本实施例提供的场景变化检测方法，可以从监控视频流中实时地检测出发生场景变化的区域。在所述场景变化检测网络中，采用端到端全卷积孪生网络结构提取深度特征差异，鲁棒性好，适用于银行网点室内等复杂环境；并且所述全卷积孪生网络采用轻量级网络MobileNetV3作为主干网络，满足了场景变化实时检测要求。通过对所述全卷积孪生网络提取出的深度特征向量对进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图，可以快速准确地检测出待检测图像中的场景变化，并且在所述场景变化映射图基础上可以非常方便地提取出场景变化区域，直观显示检测结果，便于后续进行告警提示或评分。
如图10所示，是本发明场景变化检测方法的第二实施例的流程示意图。本实施例中，所述场景变化检测方法的步骤S502-S506与第一实施例的步骤S400-S404相类似，区别在于该方法还包括步骤S500。
该方法包括以下步骤：
步骤S500，通过多个训练图像对训练所述场景变化检测网络。
具体而言，进一步参阅图11，为上述步骤S500的细化流程示意图。可以理解，该流程图不用于对执行步骤的顺序进行限定。根据需要，还可以对该流程图中的部分步骤进行添加或删减。在本实施例中，所述步骤S500具体包括：
S5000，建立初始化的场景变化检测网络并设置训练参数。
所述场景变化检测网络由端到端的全卷积孪生网络结构以及距离度量等构成。在本实施例中，所述全卷积孪生网络结构采用MobileNetV3为主干网络，去掉其倒数三层(即平均池化层和两个1*1卷积层)。MobileNetV3是一种综合了以下三种模型的思想的轻量级网络模型：MobileNetV1的深度可分离卷积、MobileNetV2的具有线性瓶颈的逆残差结构和NasNet的基于压缩和激活的结构。
在上述全卷积孪生网络结构的基础上结合距离度量等过程建立初始化的所述场景变化检测网络后，需要通过大量样本对该网络进行训练，首先要设置训练参数。
例如，将训练阶段学习率设置为4e-4；训练优化器采用Adam，优化器超参数β1和β2分别可以设置为0.9和0.999。
S5002，获取训练图像对。
所述训练图像对包括背景参考图像Bg和场景发生变化的图像Fg(背景图像)。例如，图3最左侧为一组所述训练图像对Bg和Fg的示意图。
S5004，将所述训练图像对输入所述场景变化检测网络，分别提取深度特征，得到深度特征向量对。
本实施例中采用所述全卷积孪生网络来进行特征提取。将训练图像对Bg和Fg输入所述全卷积孪生网络后，可以分别提取出两个图像的深度特征，得到深度特征向量对F0和F1(如图3中所示)。
S5006，计算所述深度特征向量对各个通道对应位置特征的欧式距离，得到深度特征差异图。
在本实施例中，距离度量采用预定义的值为0～1之间的欧式距离(L2Distance)，计算F0和F1各个通道对应位置特征的欧式距离(L2 Distance)。如图3所示，计算得到C通道的深度特征差异图，其中C＝1。
S5008，根据所述深度特征差异图经过双线性插值上采样得到场景变化映射图。
在得到所述深度特征差异图后，再经过双线性插值上采样至与训练图像同样大小，得到场景变化映射图(如图3右侧所示))。在所述场景变化映射图中，红色表示发生变化的像素，蓝色表示未发生变化的像素。
其中，双线性插值方式如图7所示。已知Q12，Q22，Q11，Q21四个点，要插值的点为P点。首先在x轴方向上，对R1和R2两个点进行插值，然后根据R1和R2在y轴方向上对P点进行插值。
P点的插值计算方式如下：
S5010，计算所述深度特征向量对的阈值化对比损失。
阈值化对比损失旨在扩大类间差异并同时减少类内差异，同时监督全卷积孪生网络以学习更好的距离度量。
深度特征向量对F0和F1的阈值化对比损失如公式：
其中，D(fi,fj)表示深度特征向量对F0和F1对应同个位置的距离，yi,j＝1表示该位置的特征没有变化，yi,j＝0表示该位置的特征发生了变化。m是超参数，m取值可以为0.3，表示分类间隔，使得对比损失起到将产生变化的特征与没有产生变化的特征区分得更开的作用。
由于噪声的存在，没有必要让距离度量最小化为零，阈值τk可以灵活地优化噪声产生的变化，使得模型更加鲁棒，其中，阈值τk取值可以为0.1。
S5012，判断所述对比损失是否满足预设要求。
所述深度特征向量对的所述对比损失可以用来判断所述场景变化检测网络是否训练到预期效果。例如，所述预设要求可以是所述对比损失小于预设值(如0.01)。
在计算出所述深度特征向量对的阈值化对比损失后，判断所述对比损失是否满足预设要求。当所述对比损失不满足预设要求时，需要返回所述步骤S5002，继续获取下一个训练图像对，对所述场景变化检测网络进行训练，直至所述对比损失满足预设要求。例如，按照上述步骤重复迭代50次，直至场景变化检测网络参数收敛，对比损失降至最小(满足预设要求)。当所述对比损失满足预设要求时，表示所述场景变化检测网络训练完成，可以用于后续对待检测图像进行场景变化检测。
回到图10，步骤S502，获取待检测图像和参考图像。
在本实施例中，所述待检测图像可以为监控视频流的当前帧图像，所述参考图像可以为预先设定的参考帧图像或者监控视频流中的前一帧图像等。并且，所述待检测图像为当前帧经过前景与背景分离后得到的背景图像，所述参考图像也为背景图像。
步骤S504，将所述待检测图像和参考图像输入训练好的场景变化检测网络，输出场景变化映射图。
在本实施例中，在所述场景变化检测网络中的处理过程包括基于端到端的全卷积孪生网络结构提取深度特征，然后进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图。将所述待检测图像和所述参考图像作为图像对输入训练好的所述场景变化检测网络后，输出结果为这两个图像之间的场景变化映射图(例如图3中最右侧即为一种所述场景变化映射图)。在所述场景变化映射图中，红色表示发生变化的像素，蓝色表示没有发生变化的像素。
步骤S506，根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
具体地，首先根据所述场景变化映射图生成掩码图像，然后根据所述掩码图像判断所述待检测图像是否发生场景变化，当所述待检测图像发生场景变化时，从所述掩码图像中查找变化区域矩形框，再根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域。
该步骤的具体过程参阅上述图9及相关说明，在此不再赘述。
本实施例提供的场景变化检测方法，可以从监控视频流中实时地检测出发生场景变化的区域。在所述场景变化检测网络中，采用端到端全卷积孪生网络结构提取深度特征差异，鲁棒性好，适用于银行网点室内等复杂环境；并且所述全卷积孪生网络采用轻量级网络MobileNetV3作为主干网络，满足了场景变化实时检测要求。通过对所述全卷积孪生网络提取出的深度特征向量对进行距离度量得到深度特征差异图，再经过双线性插值上采样得到场景变化映射图，可以快速准确地检测出待检测图像中的场景变化，并且在所述场景变化映射图基础上可以非常方便地提取出场景变化区域，直观显示检测结果，便于后续进行告警提示或评分。另外采用阈值化的对比损失计算方式，可以更灵活地优化由于噪声引起的场景特征变化，更加提升该方案的鲁棒性。
本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有场景变化检测程序，所述场景变化检测程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的场景变化检测方法的步骤。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种场景变化检测方法，其特征在于，所述方法包括：
获取待检测图像和参考图像，其中所述待检测图像和参考图像均为背景图像；
将所述待检测图像和参考图像输入场景变化检测网络，其中通过全卷积孪生网络提取深度特征，对所述深度特征进行距离度量得到深度特征差异图，对所述深度特征差异图经过双线性插值上采样输出场景变化映射图；及
根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
2.如权利要求1所述的方法，其特征在于，所述获取待检测图像包括：
从视频流中获取当前帧图像；
将所述当前帧图像经过前景与背景分离后得到第一背景图像；
获取所述第一背景图像作为所述待检测图像。
3.如权利要求1所述的方法，其特征在于，所述根据所述场景变化映射图从所述待检测图像中提取出场景变化区域包括：
根据所述场景变化映射图生成掩码图像；
根据所述掩码图像判断所述待检测图像是否发生场景变化；
当所述待检测图像发生场景变化时，从所述掩码图像中查找变化区域矩形框；
根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域。
4.如权利要求3所述的方法，其特征在于，所述根据所述场景变化映射图生成掩码图像包括：
获取所述场景变化映射图中每个像素在所述待检测图像和所述参考图像之间的变化差异率；
根据所述变化差异率和预设阈值确定所述像素的灰度值；
根据每个所述像素的灰度值生成所述掩码图像，其中白色表示发生变化的像素，黑色表示没有发生变化的像素。
5.如权利要求3所述的方法，其特征在于，所述根据所述变化区域矩形框从所述待检测图像中提取出场景变化区域包括：
根据所述掩码图像中的所述变化区域矩形框找到所述待检测图像中对应位置的矩形框，将所述矩形框内包含的图像部分作为所述待检测图像中的场景变化区域，将所述场景变化区域通过预设方式进行标示。
6.如权利要求1至4任一项所述的方法，其特征在于，所述方法在获取待检测图像和参考图像之前还包括：
通过多个训练图像对训练所述场景变化检测网络，其中所述训练图像对包括背景参考图像和场景发生变化的图像。
7.如权利要求6所述的方法，其特征在于，所述通过多个训练图像对训练所述场景变化检测网络包括：
获取训练图像对；
将所述训练图像对输入所述场景变化检测网络中的全卷积孪生网络，分别提取深度特征，得到深度特征向量对；
计算所述深度特征向量对各个通道对应位置特征的欧式距离，得到深度特征差异图；
根据所述深度特征差异图经过双线性插值上采样至与所述训练图像对同样大小，得到场景变化映射图；
计算所述深度特征向量对的阈值化对比损失；
判断所述对比损失是否满足预设要求，当不满足所述预设要求时，继续获取下一个所述训练图像对，对所述场景变化检测网络进行训练，直至所述对比损失满足所述预设要求。
8.一种场景变化检测系统，其特征在于，所述系统包括：
获取模块，用于获取待检测图像和参考图像，其中所述待检测图像和参考图像均为背景图像；
检测模块，用于将所述待检测图像和参考图像输入场景变化检测网络，其中通过全卷积孪生网络提取深度特征，对所述深度特征进行距离度量得到深度特征差异图，对所述深度特征差异图经过双线性插值上采样输出场景变化映射图；
提取模块，用于根据所述场景变化映射图从所述待检测图像中提取出场景变化区域。
9.一种电子装置，其特征在于，所述电子装置包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的场景变化检测程序，所述场景变化检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的场景变化检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有场景变化检测程序，所述场景变化检测程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7中任一项所述的场景变化检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011580827.6A CN112766045B (zh) | 2020-12-28 | 2020-12-28 | 场景变化检测方法、系统、电子装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011580827.6A CN112766045B (zh) | 2020-12-28 | 2020-12-28 | 场景变化检测方法、系统、电子装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766045A true CN112766045A (zh) | 2021-05-07 |
| CN112766045B CN112766045B (zh) | 2023-11-24 |
Family
ID=75696290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011580827.6A Active CN112766045B (zh) | 2020-12-28 | 2020-12-28 | 场景变化检测方法、系统、电子装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766045B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449690A (zh) * | 2021-07-21 | 2021-09-28 | 华雁智科(杭州)信息技术有限公司 | 图像场景变化的检测方法、系统及电子设备 |
| CN113901877A (zh) * | 2021-09-13 | 2022-01-07 | 广州市城市规划勘测设计研究院 | 遥感影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116740652A (zh) * | 2023-08-14 | 2023-09-12 | 金钱猫科技股份有限公司 | 一种基于神经网络模型的锈斑面积扩大的监测方法与系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006270301A (ja) * | 2005-03-23 | 2006-10-05 | Nippon Hoso Kyokai <Nhk> | シーンチェンジ検出装置およびシーンチェンジ検出プログラム |
| CN110097028A (zh) * | 2019-05-14 | 2019-08-06 | 河北工业大学 | 基于三维金字塔图像生成网络的人群异常事件检测方法 |
| CN110321808A (zh) * | 2019-06-13 | 2019-10-11 | 浙江大华技术股份有限公司 | 遗留物与盗移物检测方法、设备和存储介质 |
| CN110472634A (zh) * | 2019-07-03 | 2019-11-19 | 中国民航大学 | 基于多尺度深度特征差值融合网络的变化检测方法 |
| CN110826632A (zh) * | 2019-11-11 | 2020-02-21 | 深圳前海微众银行股份有限公司 | 图像变化检测方法、装置、设备及计算机可读存储介质 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN111723644A (zh) * | 2020-04-20 | 2020-09-29 | 北京邮电大学 | 一种监控视频遮挡检测方法及系统 |
| CN111915571A (zh) * | 2020-07-10 | 2020-11-10 | 云南电网有限责任公司带电作业分公司 | 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备 |
-
2020
- 2020-12-28 CN CN202011580827.6A patent/CN112766045B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006270301A (ja) * | 2005-03-23 | 2006-10-05 | Nippon Hoso Kyokai <Nhk> | シーンチェンジ検出装置およびシーンチェンジ検出プログラム |
| CN110097028A (zh) * | 2019-05-14 | 2019-08-06 | 河北工业大学 | 基于三维金字塔图像生成网络的人群异常事件检测方法 |
| CN110321808A (zh) * | 2019-06-13 | 2019-10-11 | 浙江大华技术股份有限公司 | 遗留物与盗移物检测方法、设备和存储介质 |
| CN110472634A (zh) * | 2019-07-03 | 2019-11-19 | 中国民航大学 | 基于多尺度深度特征差值融合网络的变化检测方法 |
| CN110826632A (zh) * | 2019-11-11 | 2020-02-21 | 深圳前海微众银行股份有限公司 | 图像变化检测方法、装置、设备及计算机可读存储介质 |
| CN111723644A (zh) * | 2020-04-20 | 2020-09-29 | 北京邮电大学 | 一种监控视频遮挡检测方法及系统 |
| CN111723732A (zh) * | 2020-06-18 | 2020-09-29 | 西安电子科技大学 | 一种光学遥感图像变化检测方法、存储介质及计算设备 |
| CN111915571A (zh) * | 2020-07-10 | 2020-11-10 | 云南电网有限责任公司带电作业分公司 | 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 樊玮;周末;黄睿;: "多尺度深度特征融合的变化检测", 中国图象图形学报, vol. 25, no. 04, pages 669 - 678 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449690A (zh) * | 2021-07-21 | 2021-09-28 | 华雁智科(杭州)信息技术有限公司 | 图像场景变化的检测方法、系统及电子设备 |
| CN113901877A (zh) * | 2021-09-13 | 2022-01-07 | 广州市城市规划勘测设计研究院 | 遥感影像建筑物变化检测方法、装置、设备及存储介质 |
| CN116740652A (zh) * | 2023-08-14 | 2023-09-12 | 金钱猫科技股份有限公司 | 一种基于神经网络模型的锈斑面积扩大的监测方法与系统 |
| CN116740652B (zh) * | 2023-08-14 | 2023-12-15 | 金钱猫科技股份有限公司 | 一种基于神经网络模型的锈斑面积扩大的监测方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766045B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766045B (zh) | 场景变化检测方法、系统、电子装置及存储介质 | |
| US20220114750A1 (en) | Map constructing method, positioning method and wireless communication terminal | |
| US20230081645A1 (en) | Detecting forged facial images using frequency domain information and local correlation | |
| US11145080B2 (en) | Method and apparatus for three-dimensional object pose estimation, device and storage medium | |
| CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
| CN114049332A (zh) | 异常检测方法及装置、电子设备和存储介质 | |
| CN115861210B (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
| CN111597933A (zh) | 人脸识别方法和装置 | |
| CN112200056A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN113592940A (zh) | 基于图像确定目标物位置的方法及装置 | |
| CN113239937A (zh) | 镜头偏移检测方法、装置、电子设备及可读存储介质 | |
| CN112036381A (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN101601070B (zh) | 用于生成画面显著度图的设备和方法 | |
| CN111339884A (zh) | 图像识别方法以及相关设备、装置 | |
| CN113657370B (zh) | 一种文字识别方法及其相关设备 | |
| CN114419102A (zh) | 一种基于帧差时序运动信息的多目标跟踪检测方法 | |
| CN110599514A (zh) | 图像分割的方法、装置、电子设备及存储介质 | |
| CN114529687A (zh) | 图像重建方法、装置、电子设备及计算机可读存储介质 | |
| CN112204957A (zh) | 白平衡处理方法和设备、可移动平台、相机 | |
| CN116363641A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN112884817B (zh) | 稠密光流计算方法、装置、电子设备以及存储介质 | |
| CN104867026B (zh) | 提供商品图像的方法和系统以及输出商品图像的终端装置 | |
| CN109389089B (zh) | 基于人工智能算法的多人行为识别方法及装置 | |
| CN108062741B (zh) | 双目图像处理方法、成像装置和电子设备 | |
| CN112487943A (zh) | 关键帧去重的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |