CN112712002A - 基于cgan的环境监控方法、装置、系统及存储介质 - Google Patents

基于cgan的环境监控方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112712002A
CN112712002A CN202011557722.9A CN202011557722A CN112712002A CN 112712002 A CN112712002 A CN 112712002A CN 202011557722 A CN202011557722 A CN 202011557722A CN 112712002 A CN112712002 A CN 112712002A
Authority
CN
China
Prior art keywords
cgan
state image
terminal
image
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011557722.9A
Other languages
English (en)
Other versions
CN112712002B (zh
Inventor
裴卫斌
徐高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Original Assignee
Shenzhen ZNV Technology Co Ltd
Nanjing ZNV Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen ZNV Technology Co Ltd, Nanjing ZNV Software Co Ltd filed Critical Shenzhen ZNV Technology Co Ltd
Priority to CN202011557722.9A priority Critical patent/CN112712002B/zh
Publication of CN112712002A publication Critical patent/CN112712002A/zh
Application granted granted Critical
Publication of CN112712002B publication Critical patent/CN112712002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CGAN的环境监控方法,包括:对CGAN模型进行预训练,在检测到CGAN模型预训练完成后,接收终端上传的正常状态图像;将正常状态图像输入预训练完成后的CGAN模型,生成终端对应的异常状态图像组,并结合正常状态图像和异常状态图像组,得到终端对应的识别状态图像组;将识别状态图像组返回给终端,以供终端将采集到的环境图像和识别状态图像组进行匹配,得到对应的匹配结果;接收终端上传的匹配结果,并根据匹配结果执行对应的预设监控动作。本发明还公开了一种基于CGAN的环境监控装置、系统及存储介质。本发明在环境监控前期对模型进行训练时,不需要单个终端各自采集大量的异常状态图像,大幅度降低模型训练所需要终端采集异常状态图像的数据量要求。

Description

基于CGAN的环境监控方法、装置、系统及存储介质
技术领域
本发明涉及机器学习技术领域,尤其涉及基于CGAN的环境监控方法、装置、系统及存储介质。
背景技术
随着智慧城市的高速发展,各种各样的基础设施不断涌现,使得人们的生活质量得到了大幅度的提升。而基础设施的规模呈现指数级的增长态势,使得对各种基础设施的功能、性能的保证工作变得越来越复杂。
现有的多数环境监控方法是通过特定终端采集监控环境中的多种异常状态图像来训练出特定的模型,然后针对模型中特定的异常状态对环境进行检测,这种方法需要每个终端收集大量的异常状态图像作为训练数据来训练模型,对终端采集异常状态图像的数据量要求较高。
发明内容
本发明的主要目的在于提出一种基于CGAN的环境监控方法、装置、系统及存储介质,旨在大幅度降低终端采集异常状态图像的数据量要求。
为实现上述目的,本发明提供一种基于CGAN的环境监控方法,所述方法包括如下步骤:
对CGAN模型进行预训练,在检测到所述CGAN模型预训练完成后,接收终端上传的正常状态图像;
将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组,并结合所述正常状态图像和所述异常状态图像组,得到所述终端对应的识别状态图像组;
将所述识别状态图像组返回给所述终端,以供所述终端将采集到的环境图像和所述识别状态图像组进行匹配,得到对应的匹配结果;
接收所述终端上传的匹配结果,并根据所述匹配结果执行对应的预设监控动作。
优选地,所述预训练完成后的CGAN模型包括噪声生成器,所述将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组的步骤包括:
获取所述噪声生成器产生的噪声序列;
将所述噪声序列和所述正常状态图像输入预训练完成后的CGAN模型,生成多张异常状态图像,得到所述终端对应的异常状态图像组。
优选地,所述根据所述匹配结果执行对应的预设监控动作的步骤包括:
若所述匹配结果为未匹配,则通知用户对所述环境图像进行状态判决,接收用户针对所述环境图像输入的状态界定指令;
根据所述状态界定指令,确定所述环境图像的状态信息,并根据所述状态信息和所述环境图像,执行对应的更新流程。
优选地,所述根据所述状态信息和所述环境图像,执行对应的更新流程的步骤包括:
若确定所述环境图像属于正常状态的图像,则将所述环境图像输入当前的CGAN模型中,生成所述终端对应的新异常状态图像组;
结合所述环境图像和所述新异常状态图像组形成新识别状态图像组,将所述终端的识别状态图像组更新为新识别状态图像组。
优选地,所述根据所述状态信息和所述环境图像,执行对应的更新流程的步骤包括:
若确定所述环境图像属于异常状态的图像,则获取所述终端对应的正常状态图像,并根据所述环境图像和所述正常状态图像,对当前的CGAN模型进行更新。
优选地,所述根据所述匹配结果执行对应的预设监控动作的步骤包括:
若所述匹配结果为匹配,则判断所述环境图像是否为异常状态的图像;
若是,则执行预设告警动作,以告知用户所述环境图像对应的监控场景中出现异常。
优选地,所述对CGAN模型进行预训练的步骤包括:
获取预采集的目标正常状态图像和对应的目标异常状态图像组,并根据所述目标正常状态图像和所述目标异常状态图像组,得到对应的训练数据组;
基于所述训练数据组对CGAN模型进行预训练。
此外,为实现上述目的,本发明还提供一种基于CGAN的环境监控装置,所述基于CGAN的环境监控装置包括:
训练接收模块,用于对CGAN模型进行预训练,在检测到所述CGAN模型预训练完成后,接收终端上传的正常状态图像;
图像处理模块,用于将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组,并结合所述正常状态图像和所述异常状态图像组,得到所述终端对应的识别状态图像组;
终端匹配模块,用于将所述识别状态图像组返回给所述终端,以供所述终端将采集到的环境图像和所述识别状态图像组进行匹配,得到对应的匹配结果;
执行动作模块,用于接收所述终端上传的匹配结果,并根据所述匹配结果执行对应的预设监控动作。
优选地,所述预训练完成后的CGAN模型包括噪声生成器,所述图像处理模块还用于:
获取所述噪声生成器产生的噪声序列;
将所述噪声序列和所述正常状态图像输入预训练完成后的CGAN模型,生成多张异常状态图像,得到所述终端对应的异常状态图像组。
优选地,所述执行动作模块还用于:
若所述匹配结果为未匹配,通知用户对所述环境图像进行状态判决,接收用户针对所述环境图像输入的状态界定指令;
根据所述状态界定指令,确定所述环境图像的状态信息,并根据所述状态信息和所述环境图像,执行对应的更新流程。
优选地,所述执行动作模块还包括模型更新单元,所述模型更新单元用于:
若确定所述环境图像属于正常状态的图像,则将所述环境图像输入当前的CGAN模型中,生成所述终端对应的新异常状态图像组;
结合所述环境图像和所述新异常状态图像组形成新识别状态图像组,将所述终端的识别状态图像组更新为新识别状态图像组。
优选地,所述模型更新单元还用于:
若确定所述环境图像属于异常状态的图像,则获取所述终端对应的正常状态图像,并根据所述环境图像和所述正常状态图像,对当前的CGAN模型进行更新。
优选地,所述执行动作模块还用于:
若所述匹配结果为匹配,则判断所述环境图像是否为异常状态的图像;
若是,则执行预设告警动作,以告知用户所述环境图像对应的监控场景中出现异常。
优选地,所述基于CGAN的环境监控装置还包括模型训练模块,所述模型训练模块用于:
获取预采集的目标正常状态图像和对应的目标异常状态图像组,并根据所述目标正常状态图像和所述目标异常状态图像组,得到对应的训练数据组;
基于所述训练数据组对CGAN模型进行预训练。
此外,为实现上述目的,本发明还提供一种基于CGAN的环境监控系统,所述基于CGAN的环境监控系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于CGAN的环境监控程序,所述基于CGAN的环境监控程序被所述处理器执行时实现如上所述的基于CGAN的环境监控方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有基于CGAN的环境监控程序,所述基于CGAN的环境监控程序被处理器执行时实现如上所述的基于CGAN的环境监控方法的步骤。
本发明提出的基于CGAN的环境监控方法,对CGAN模型进行预训练,在检测到CGAN模型预训练完成后,接收终端上传的正常状态图像;将正常状态图像输入预训练完成后的CGAN模型,生成终端对应的异常状态图像组,并结合正常状态图像和异常状态图像组,得到终端对应的识别状态图像组;将识别状态图像组返回给终端,以供终端将采集到的环境图像和识别状态图像组进行匹配,得到对应的匹配结果;接收终端上传的匹配结果,并根据匹配结果执行对应的预设监控动作。本发明在环境监控前期对模型进行训练时,不需要单个终端各自采集大量的异常状态图像,大幅度降低模型训练所需要终端采集异常状态图像的数据量要求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图;
图2为本发明基于CGAN的环境监控方法第一实施例的流程示意图;
图3为本发明基于CGAN的环境监控方法的模型训练示意图;
图4为本发明基于CGAN的环境监控方法的系统生成模块示意图;
图5为本发明基于CGAN的环境监控方法生成异常状态图像以及识别状态图像组的示意图;
图6为本发明基于CGAN的环境监控方法终端进行匹配操作的示意图;
图7为本发明基于CGAN的环境监控系统的实施过程图;
图8为本发明基于CGAN的环境监控方法较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的系统结构示意图。
本发明实施例系统可以是云端服务器等。
如图1所示,该系统可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的系统结构并不构成对系统的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于CGAN的环境监控程序。
其中,操作系统是管理和控制基于CGAN的环境监控系统与软件资源的程序,支持网络通信模块、用户接口模块、基于CGAN的环境监控程序以及其他程序或软件的运行;网络通信模块用于管理和控制网络接口1002;用户接口模块用于管理和控制用户接口1003。
在图1所示的基于CGAN的环境监控系统中,所述基于CGAN的环境监控系统通过处理器1001调用存储器1005中存储的基于CGAN的环境监控程序,并执行下述基于CGAN的环境监控方法各个实施例中的操作。
基于上述硬件结构,提出本发明基于CGAN的环境监控方法实施例。
参照图2,图2为本发明基于CGAN的环境监控方法第一实施例的流程示意图,所述方法包括:
步骤S10,对CGAN模型进行预训练,在检测到所述CGAN模型预训练完成后,接收终端上传的正常状态图像;
本实施例基于CGAN的环境监控方法运用于各大监控平台的基于CGAN的环境监控系统中,为描述方便,基于CGAN的环境监控系统以环境监控系统简称。随着智慧城市的高速发展,各种各样的基础设施的不断涌现,给人们的日常生活带来了巨大的变化,并且大幅度提升了人们的生活质量。因此,对基础设施进行监控,可以保证基础设施的功能、性能处于正常状态,从而保障人们的正常生活。传统对基础设施进行监控的方法,一般采用人工巡检、故障投诉等方式不仅需要投入大量的资源,还存在效率低下、时效性低等问题,而且若不能快速处理有些基础设施的故障,可能会影响到人们的日常生活,如交通事故造成护栏倾倒进而导致道路阻塞、暴雨产生内涝导致道路积水、台风导致树木倾倒等,甚至可能会造成灾难性的后果,如道路塌陷、桥梁谐振、城市火灾等。
现有的多数环境监控方法是通过特定终端采集监控环境中的多种异常状态图像来训练出特定的模型,然后针对模型中特定的异常状态对环境进行检测,这种方法需要终端收集大量的异常状态图像作为训练数据来训练模型,且这些异常状态数据并不容易采集到,对终端采集异常状态图像的数据量要求较高。
条件生成对抗网络(Conditional Generative Adversarial Nets,CGAN)是在生成对抗网络(Generative Adversarial Nets,GAN)的基础上进行改进的一种算法,GAN来源于博弈论中零和博弈的思想,应用到深度学习神经网络上,通过生成器(Generator)和鉴别器(Discriminator)不断博弈,进而使生成器学习到数据的分布,用到图片生成上,在训练完成后,生成器可以从一段随机数中生成逼真的图像。CGAN通过给原始GAN的生成器和鉴别器添加额外的条件信息,实现条件生成模型。利用条件信息生成与条件信息相关的各种图像。
在本实施例中,对CGAN模型进行预训练,并在CGAN模型预训练完成后,接收各个终端上传的正常状态图像,以将接收到的正常状态图像输入预训练完成后的CGAN模型中,进行下一步的图像处理流程,其中,正常状态图像为终端设备在基础设施处于正常状态时采集的环境图像。
进一步地,所述对CGAN模型进行预训练的步骤包括:
步骤a1,获取预采集的目标正常状态图像和对应的目标异常状态图像组,并根据所述目标正常状态图像和所述目标异常状态图像组,得到对应的训练数据组;
步骤a2,基于所述训练数据组对CGAN模型进行预训练。
在本实施例中,预采集的目标正常状态图像和对应的目标异常状态图像组,可由目标终端上传得到,也可从环境监控系统中已知的正常状态图像和异常状态图像组中获取得到,其中,目标终端为监控场景中的基础设施已经发生故障的设备,目标异常状态图像可为不同目标终端上传的具有多种异常状态信息的图像。每个终端的正常状态图像是唯一的,但相对应的异常状态图像的异常状态可以为1个或者多个,如正常状态图像中的基础设施完好无损,而异常状态图像中会出现相对应基础设施损坏的各种情况,如出现护栏倾倒或护栏缺失等情况。参照图3,图3为本发明基于CGAN的环境监控方法的模型训练示意图,其中,CGAN模型包括噪声生成器、生成器模块(Generator)、鉴别器模块(Discriminator)和分类误差模块(Clacification error),模型中z是噪声,由噪声生成器产生,y是条件(标签),在本实施例中,以正常状态图像作为条件输入,将z加上条件y输入生成器模块中,得到假样本x*|y,再将x*|y和异常状态图像组x输入鉴别器模块中进行训练,而分类误差模块是一个训练损失函数组,包括生成器损失函数、鉴别器损失函数,在训练过程中,以减少生成器、鉴别器对应的损失函数为目的进行参数更新,最终实现CGAN的训练过程。
需要说明的是,目标终端可以是一个,也可以包括接入环境监控系统的所有终端。假设环境监控系统的监控场景有100个,而这100个场景中有10个场景出现故障,而这10个场景对应的故障类型只有5种,即这100个场景中出现的异常状态只有5种,因此,一个监控场景中基本不可能出现所有种类的故障,但为了增强CGAN模型的适应性,使得CGAN模型相对固定,在训练CGAN模型时,可以获取这10个场景对应的目标终端上传的异常状态图像和正常状态图像,从而对CGAN模型进行训练。由于模型训练完成后,模型中包含所有异常状态图像对应的异常状态信息,因此,环境监控系统可共享多个监控场景出现的故障,不需要针对不同的监控场景训练出不同的模型,使得训练完成后的CGAN模型相对固定且全面,大幅度降低了遗漏基础设施故障的风险。
步骤S20,将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组,并结合所述正常状态图像和所述异常状态图像组,得到所述终端对应的识别状态图像组;
在本实施例中,环境监控系统可根据各个终端上传的正常状态图像和预训练完成后的CGAN模型,生成各个终端对应的异常状态图像组,从而将各个终端采集的正常状态图像和生成的异常状态图像组结合,得到各个终端对应的识别状态图像组,以根据识别状态图像组判决终端采集的环境图像是否属于正常状态的图像,从而确定终端所监控的基础设施是否处于正常状态。
进一步地,所述预训练完成后的CGAN模型包括噪声生成器,所述将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组的步骤包括:
步骤b1,获取所述噪声生成器产生的噪声序列;
步骤b2,将所述噪声序列和所述正常状态图像输入预训练完成后的CGAN模型,生成多张异常状态图像,得到所述终端对应的异常状态图像组。
在本实施例中,检测到CGAN模型预训练完成之后,提取CGAN模型中的Generator模块作为系统生成模块,参照图4,图4为本发明基于CGAN的环境监控方法的系统生成模块示意图,由此可见,系统生成模块包括噪声生成器和生成器模块。在系统生成模块训练过程中,由噪声生成器产生噪声序列z,并以终端上传的正常状态图像作为条件y输入,将噪声序列z和条件y输入生成器模块,利用训练好的系统生成模块,可基于该正常状态图像生成对应的各种异常状态的图像组x*,即生成各个终端对应的异常状态图像组,其中,生成异常状态图像组由环境监控系统的服务器侧提供,减少了需要在前端设备进行测试数据的过程,对终端的计算能力要求低。
参照图5,图5为本发明基于CGAN的环境监控方法生成异常状态图像以及识别状态图像组的示意图,例如,噪声生成器产生的噪声序列z为随机数列,环境监控系统将每个终端上传的正常状态图像和其中一个随机数输入系统生成模块,进行一次生成操作,得到一张异常状态图像,在进行多次生成操作后,可生成多张异常状态图像,从而得到对应的异常状态图像组,并结合正常状态图像和异常状态图像组,得到各个终端对应的识别状态图像组。
步骤S30,将所述识别状态图像组返回给所述终端,以供所述终端将采集到的环境图像和所述识别状态图像组进行匹配,得到对应的匹配结果;
在本实施例中,环境监控系统通过将识别状态图像组返回给对应的终端,控制终端将采集的环境图像与识别状态图像组进行对比匹配,以判决该环境图像是正常状态图像,或者是已知状态的异常状态图像,或者是未知状态的图像。具体的,若终端采集的某个环境图像与识别状态图像组匹配,即说明该环境图像是正常状态图像,或者是已知状态的异常状态图像,其中,若该环境图像是正常状态图像,即说明该环境图像与识别状态图像组中的正常状态图像基本一致;若该环境图像为已知状态的异常状态图像,即说明该环境图像与终端对应的识别状态图像组中的某个异常状态图像基本一致,可以理解的,识别状态图像组中包含的异常状态图像对应的异常状态是已知的,就基础设施护栏而言,若已知的异常状态包括护栏倾倒、护栏缺失这两种异常状态,环境图像与识别状态图像组匹配,且该环境图像中显示护栏倾倒的情况,则说明该环境图像对应的监控场景出现护栏倾倒的状况,与识别状态图像组中的异常状态图像中护栏倾倒的状况基本一致;若终端采集的某个环境图像与识别状态图像组未匹配,即说明该环境图像不是正常状态图像,也不是已知状态的异常状态图像,而是未知状态的图像。
步骤S30,接收所述终端上传的匹配结果,并根据所述匹配结果执行对应的预设监控动作。
在本实施例中,参照图6,图6为本发明基于CGAN的环境监控方法终端进行匹配操作的示意图,若匹配结果为匹配,且终端采集的环境图像为正常状态图像,即说明监控场景中的基础设施处于正常状态,环境监控系统不需要作出任何处理,或者以语音播报的模式告知用户监控场景中的基础设施正常等;若匹配结果为匹配,且终端采集的环境图像为异常状态图像,那么,可通过语音播报的方式告知用户监控场景中的基础设施出现异常,或者以告警的方式进行警示等;若匹配结果为未匹配,则可执行人工判决动作,通知用户对未匹配的环境图像进行人工界定,以进一步确定该环境图像是正常状态图像还是未知状态的异常状态图像。
本实施例的基于CGAN的环境监控方法,对CGAN模型进行预训练,在检测到CGAN模型预训练完成后,接收终端上传的正常状态图像;将正常状态图像输入预训练完成后的CGAN模型,生成终端对应的异常状态图像组,并结合正常状态图像和异常状态图像组,得到终端对应的识别状态图像组;将识别状态图像组返回给终端,以供终端将采集到的环境图像和识别状态图像组进行匹配,得到对应的匹配结果;接收终端上传的匹配结果,并根据匹配结果执行对应的预设监控动作。本发明在环境监控前期对模型进行训练时,不需要单个终端各自采集大量的异常状态图像,大幅度降低模型训练所需要终端采集异常状态图像的数据量要求。
进一步地,基于本发明基于CGAN的环境监控方法第一实施例,提出本发明基于CGAN的环境监控方法第二实施例。
基于CGAN的环境监控方法的第二实施例与基于CGAN的环境监控方法的第一实施例的区别在于,所述根据所述匹配结果执行对应的预设监控动作的步骤包括:
步骤c,若所述匹配结果为未匹配,则通知用户对所述环境图像进行状态判决,接收用户针对所述环境图像输入的状态界定指令;
步骤d,根据所述状态界定指令,确定所述环境图像的状态信息,并根据所述状态信息和所述环境图像,执行对应的更新流程。
在本实施例中,参照图7,图7为本发明基于CGAN的环境监控系统的实施过程图,环境监控系统接收各个终端上传的已知的正常状态图像和异常状态图像,形成对应的训练图像组,然后利用不同终端上传的或者利用服务器端已知的正常状态图像和异常状态图像组,对CGAN模型进行预训练,并在训练完成后的模型中抽取系统生成模块,并利用系统生成模块以各个终端的正常状态图像为条件,生成对应的异常状态图像组,再以正常状态图像和异常状态图像组形成识别状态图像组下发至对应的终端,每个终端利用采集的环境图像与识别状态图像组进行对比判决,以确定终端采集到的环境图像属于正常状态,还是属于已知的异常状态,或者是属于未知状态。若终端采集的环境图像和对应的识别状态图像组的匹配结果为未匹配,即该环境图像既不属于正常状态图像,也不属于已知状态的异常状态图像,那么,环境监控系统将该环境图像视为未知状态的图像,再执行人工判决动作,即通知用户对该环境图像进行状态判决,可通过告警的方式通知用户,并接收用户针对该环境图像输入的状态界定指令,以进一步鉴定该环境图像的状态信息。
可以理解的,若监控场景中增加了一些新的基础设施,如原先的监控场景中只包含3个区域的护栏,即识别状态图像组中的正常状态图像中只包含3个区域的护栏,若相关部门的工作人员在实地考察后,在该监控场景中的另一区域也增加了护栏,那么对终端而言,采集的环境图像中包含4个区域的护栏,终端对应的匹配结果为未匹配,即该环境图像属于未知状态的环境图像,但在人工判决时,若是由于监控环境中合理增加了新设施,而导致终端采集的环境图像为未知状态的图像,仍可将该环境图像确定为正常状态图像;若终端采集的环境图像中显示,该监控场景原先3个区域的护栏中有一个区域出现护栏缺失的情况,那么对终端而言,这是属于未知状态的图像,交由人工界定之后,可将该环境图像确定为新的异常状态图像,即判定监控场景中出现了新的异常状态。针对环境图像的不同状态信息,可执行不同的更新流程。
进一步地,所述根据所述状态信息和所述环境图像,执行对应的更新流程的步骤包括:
步骤e,若确定所述环境图像属于正常状态的图像,则将所述环境图像输入当前的CGAN模型中,生成所述终端对应的新异常状态图像组;
步骤f,结合所述环境图像和所述新异常状态图像组形成新识别状态图像组,将所述终端的识别状态图像组更新为新识别状态图像组。
在本实施例中,经过人工界定后确定该环境图像属于正常状态的图像,也即该环境图像对应的正常状态是新出现的,因此,需要对终端存储的识别状态图像组进行更新。具体的,将该环境图像确定为该终端对应的新正常状态图像,再将该环境图像输入当前的CGAN模型中,由环境监控系统中的系统生成模块根据新正常状态图像,重新生成对应的新异常状态图像组,再结合新正常状态图像和新异常状态图像组,得到新识别状态图像组。环境监控系统需要将新识别状态图像组发送给对应的终端,将终端的识别状态图像组更新为新识别状态图像组,以供终端将新识别状态图像组与新采集的图像数据进行对比匹配。
需要说明的是,若未知状态的环境图像在人工界定之后,判定为正常状态的图像,将该环境图像输入当前的CGAN模型中生成对应的新异常状态图像时,CGAN模型不变,即CGAN模型中的参数不会发生变化。
进一步地,所述根据所述状态信息和所述环境图像,执行对应的更新流程的步骤包括:
步骤g,若确定所述环境图像属于异常状态的图像,则获取所述终端对应的正常状态图像,并根据所述环境图像和所述正常状态图像,对当前的CGAN模型进行更新。
在本实施例中,若执行人工判决动作后,确定该环境图像属于异常状态的图像,则需要对CGAN模型进行更新,具体的,获取终端对应的正常状态图像,并以该环境图像为输入,以终端的正常状态图像为标签,在原来模型的基础上,重新对CGAN模型进行训练,以对当前CGAN模型的参数进行更新,从而更新当前的CGAN模型。
本实施例的基于CGAN的环境监控方法,对未知状态的图像执行人工判决动作,并在人工判决后,通过实时更新的方式,根据未知状态的环境图像的不同状态信息,执行不同的更新流程,提高环境监控系统中对应终端/模型的时效性。
进一步地,基于本发明基于CGAN的环境监控方法第一、第二实施例,提出本发明基于CGAN的环境监控方法第三实施例。
基于CGAN的环境监控方法的第三实施例与基于CGAN的环境监控方法的第一、第二实施例的区别在于,所述根据所述匹配结果执行对应的预设监控动作的步骤包括:
步骤h,若所述匹配结果为匹配,则判断所述环境图像是否为异常状态的图像;
步骤i,若是,则执行预设告警动作,以告知用户所述环境图像对应的监控场景中出现异常。
在本实施例中,终端将采集到的环境图像和识别状态图像组进行对比匹配后得到的匹配结果为匹配,也即说明该环境图像为已知的正常状态图像或者是已知的异常状态图像,因此,需要进一步判断匹配的环境图像是否为异常状态的图像。若确定该环境图像为异常状态的图像,则执行预设告警动作,以告知用户在该环境图像对应的监控场景中出现异常,从而及时通知相关部门对该监控场景中的基础设施进行维护。
本实施例的基于CGAN的环境监控方法,当检测到终端采集的环境图像为异常状态的图像时,执行告警动作,以告知用户在该环境图像对应的监控场景中出现异常,从而及时通知相关部门对该监控场景中的基础设施进行维护,提高了基础设施的维护效率。
本发明还提供一种基于CGAN的环境监控装置。参照图8,本发明基于CGAN的环境监控装置包括:
训练接收模块10,用于对CGAN模型进行预训练,在检测到所述CGAN模型预训练完成后,接收终端上传的正常状态图像;
图像处理模块20,用于将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组,并结合所述正常状态图像和所述异常状态图像组,得到所述终端对应的识别状态图像组;
终端匹配模块30,用于将所述识别状态图像组返回给所述终端,以供所述终端将采集到的环境图像和所述识别状态图像组进行匹配,得到对应的匹配结果;
执行动作模块40,用于接收所述终端上传的匹配结果,并根据所述匹配结果执行对应的预设监控动作。
优选地,所述预训练完成后的CGAN模型包括噪声生成器,所述图像处理模块还用于:
获取所述噪声生成器产生的噪声序列;
将所述噪声序列和所述正常状态图像输入预训练完成后的CGAN模型,生成多张异常状态图像,得到所述终端对应的异常状态图像组。
优选地,所述执行动作模块还用于:
若所述匹配结果为未匹配,通知用户对所述环境图像进行状态判决,接收用户针对所述环境图像输入的状态界定指令;
根据所述状态界定指令,确定所述环境图像的状态信息,并根据所述状态信息和所述环境图像,执行对应的更新流程。
优选地,所述执行动作模块还包括模型更新单元,所述模型更新单元用于:
若确定所述环境图像属于正常状态的图像,则将所述环境图像输入当前的CGAN模型中,生成所述终端对应的新异常状态图像组;
结合所述环境图像和所述新异常状态图像组形成新识别状态图像组,将所述终端的识别状态图像组更新为新识别状态图像组。
优选地,所述模型更新单元还用于:
若确定所述环境图像属于异常状态的图像,则获取所述终端对应的正常状态图像,并根据所述环境图像和所述正常状态图像执行对应的更新流程。
优选地,所述执行动作模块还用于:
若所述匹配结果为匹配,则判断所述环境图像是否为异常状态的图像;
若是,则执行预设告警动作,以告知用户所述环境图像对应的监控场景中出现异常。
优选地,所述基于CGAN的环境监控装置还包括模型训练模块,所述模型训练模块用于:
获取预采集的目标正常状态图像和对应的目标异常状态图像组,并根据所述目标正常状态图像和所述目标异常状态图像组,得到对应的训练数据组;
基于所述训练数据组对CGAN模型进行预训练。
本发明还提供一种存储介质。
本发明存储介质上存储有基于CGAN的环境监控程序,所述基于CGAN的环境监控程序被处理器执行时实现如上所述的基于CGAN的环境监控方法的步骤。
其中,在所述处理器上运行的基于CGAN的环境监控程序被执行时所实现的方法可参照本发明基于CGAN的环境监控方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端系统(可以是手机,计算机,服务器,空调器,或者网络系统等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于CGAN条件生成对抗网络的环境监控方法,其特征在于,所述方法包括如下步骤:
对CGAN模型进行预训练,在检测到所述CGAN模型预训练完成后,接收终端上传的正常状态图像;
将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组,并结合所述正常状态图像和所述异常状态图像组,得到所述终端对应的识别状态图像组;
将所述识别状态图像组返回给所述终端,以供所述终端将采集到的环境图像和所述识别状态图像组进行匹配,得到对应的匹配结果;
接收所述终端上传的匹配结果,并根据所述匹配结果执行对应的预设监控动作。
2.如权利要求1所述的基于CGAN的环境监控方法,其特征在于,所述预训练完成后的CGAN模型包括噪声生成器,所述将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组的步骤包括:
获取所述噪声生成器产生的噪声序列;
将所述噪声序列和所述正常状态图像输入预训练完成后的CGAN模型,生成多张异常状态图像,得到所述终端对应的异常状态图像组。
3.如权利要求1所述的基于CGAN的环境监控方法,其特征在于,所述根据所述匹配结果执行对应的预设监控动作的步骤包括:
若所述匹配结果为未匹配,则通知用户对所述环境图像进行状态判决,接收用户针对所述环境图像输入的状态界定指令;
根据所述状态界定指令,确定所述环境图像的状态信息,并根据所述状态信息和所述环境图像,执行对应的更新流程。
4.如权利要求3所述的基于CGAN的环境监控方法,其特征在于,所述根据所述状态信息和所述环境图像,执行对应的更新流程的步骤包括:
若确定所述环境图像属于正常状态的图像,则将所述环境图像输入当前的CGAN模型中,生成所述终端对应的新异常状态图像组;
结合所述环境图像和所述新异常状态图像组形成新识别状态图像组,将所述终端的识别状态图像组更新为新识别状态图像组。
5.如权利要求3所述的基于CGAN的环境监控方法,其特征在于,所述根据所述状态信息和所述环境图像,执行对应的更新流程的步骤包括:
若确定所述环境图像属于异常状态的图像,则获取所述终端对应的正常状态图像,并根据所述环境图像和所述正常状态图像,对当前的CGAN模型进行更新。
6.如权利要求1所述的基于CGAN的环境监控方法,其特征在于,所述根据所述匹配结果执行对应的预设监控动作的步骤包括:
若所述匹配结果为匹配,则判断所述图像数据是否为异常状态的图像;
若是,则执行预设告警动作,以告知用户所述图像数据对应的监控场景中出现异常。
7.如权利要求1-6任一项所述的基于CGAN的环境监控方法,其特征在于,所述对CGAN模型进行预训练的步骤包括:
获取预采集的目标正常状态图像和对应的目标异常状态图像组,并根据所述目标正常状态图像和所述目标异常状态图像组,得到对应的训练数据组;
基于所述训练数据组对CGAN模型进行预训练。
8.一种基于CGAN的环境监控装置,其特征在于,所述基于CGAN的环境监控装置包括:
训练接收模块,用于对CGAN模型进行预训练,在检测到所述CGAN模型预训练完成后,接收终端上传的正常状态图像;
图像处理模块,用于将所述正常状态图像输入预训练完成后的CGAN模型,生成所述终端对应的异常状态图像组,并结合所述正常状态图像和所述异常状态图像组,得到所述终端对应的识别状态图像组;
终端匹配模块,用于将所述识别状态图像组返回给所述终端,以供所述终端将采集到的环境图像和所述识别状态图像组进行匹配,得到对应的匹配结果;
执行动作模块,用于接收所述终端上传的匹配结果,并根据所述匹配结果执行对应的预设监控动作。
9.一种基于CGAN的环境监控系统,其特征在于,所述基于CGAN的环境监控系统包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于CGAN的环境监控程序,所述基于CGAN的环境监控程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于CGAN的环境监控方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有基于CGAN的环境监控程序,所述基于CGAN的环境监控程序被处理器执行时实现如权利要求1至7中任一项所述的基于CGAN的环境监控方法的步骤。
CN202011557722.9A 2020-12-24 2020-12-24 基于cgan的环境监控方法、装置、系统及存储介质 Active CN112712002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011557722.9A CN112712002B (zh) 2020-12-24 2020-12-24 基于cgan的环境监控方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011557722.9A CN112712002B (zh) 2020-12-24 2020-12-24 基于cgan的环境监控方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN112712002A true CN112712002A (zh) 2021-04-27
CN112712002B CN112712002B (zh) 2024-05-14

Family

ID=75545741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011557722.9A Active CN112712002B (zh) 2020-12-24 2020-12-24 基于cgan的环境监控方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112712002B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501164A (zh) * 2021-12-28 2022-05-13 海信视像科技股份有限公司 音视频数据的标注方法、装置及电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392255A (zh) * 2017-07-31 2017-11-24 深圳先进技术研究院 少数类图片样本的生成方法、装置、计算设备及存储介质
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技(深圳)有限公司 车辆识别方法、装置及存储介质
CN109190648A (zh) * 2018-06-26 2019-01-11 Oppo(重庆)智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
CN110070587A (zh) * 2019-03-05 2019-07-30 浙江工商大学 一种基于条件级联对抗生成网络的行人图像生成方法
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、系统和智能终端
CN110135302A (zh) * 2019-04-30 2019-08-16 百度在线网络技术(北京)有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术(北京)有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
CN110245696A (zh) * 2019-05-30 2019-09-17 武汉智云集思技术有限公司 基于视频的违法事件监控方法、设备及可读存储介质
US20200090350A1 (en) * 2018-09-18 2020-03-19 Caide Systems, Inc. Medical image generation, localizaton, registration system
CN111062880A (zh) * 2019-11-15 2020-04-24 南京工程学院 一种基于条件生成对抗网络的水下图像实时增强方法
CN111126566A (zh) * 2019-11-29 2020-05-08 江苏艾佳家居用品有限公司 基于gan模型的异常家具布局数据检测方法
CN112069043A (zh) * 2020-08-04 2020-12-11 北京捷通华声科技股份有限公司 一种终端设备状态检测方法、模型生成方法以及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392255A (zh) * 2017-07-31 2017-11-24 深圳先进技术研究院 少数类图片样本的生成方法、装置、计算设备及存储介质
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技(深圳)有限公司 车辆识别方法、装置及存储介质
CN109190648A (zh) * 2018-06-26 2019-01-11 Oppo(重庆)智能科技有限公司 模拟环境生成方法、装置、移动终端及计算机可读取存储介质
US20200090350A1 (en) * 2018-09-18 2020-03-19 Caide Systems, Inc. Medical image generation, localizaton, registration system
CN110070587A (zh) * 2019-03-05 2019-07-30 浙江工商大学 一种基于条件级联对抗生成网络的行人图像生成方法
CN110135302A (zh) * 2019-04-30 2019-08-16 百度在线网络技术(北京)有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN110245696A (zh) * 2019-05-30 2019-09-17 武汉智云集思技术有限公司 基于视频的违法事件监控方法、设备及可读存储介质
CN110110710A (zh) * 2019-06-03 2019-08-09 北京启瞳智能科技有限公司 一种场景异常状态识别方法、系统和智能终端
CN110222774A (zh) * 2019-06-10 2019-09-10 百度在线网络技术(北京)有限公司 非法图像鉴别方法、装置、内容安全防火墙及存储介质
CN111062880A (zh) * 2019-11-15 2020-04-24 南京工程学院 一种基于条件生成对抗网络的水下图像实时增强方法
CN111126566A (zh) * 2019-11-29 2020-05-08 江苏艾佳家居用品有限公司 基于gan模型的异常家具布局数据检测方法
CN112069043A (zh) * 2020-08-04 2020-12-11 北京捷通华声科技股份有限公司 一种终端设备状态检测方法、模型生成方法以及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
EZEME, OKWUDILI M.: "Design and Development of AD-CGAN: Conditional Generative Adversarial Networks for Anomaly Detection", IEEE ACCESS *
巨春武: "基于生成对抗网络的图像复原算法研究", 中国优秀硕士学位论文全文数据库 (信息科技辑) *
康文杰;林岚;孙?;吴水才;: "生成对抗网络及其在神经影像应用中的研究进展", 医疗卫生装备, no. 09 *
张宪;史沧红;李孝杰;: "基于特征对抗对的视觉特征归因网络研究", 计算机研究与发展, no. 03 *
王泽伟;高丙朋;: "基于时空融合卷积神经网络的异常行为识别", 计算机工程与设计, no. 07, 16 July 2020 (2020-07-16) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114501164A (zh) * 2021-12-28 2022-05-13 海信视像科技股份有限公司 音视频数据的标注方法、装置及电子设备

Also Published As

Publication number Publication date
CN112712002B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111475804A (zh) 一种告警预测方法及系统
CN112598192B (zh) 一种车辆进入物流园区的预测方法、装置、存储介质及终端
CN116629465B (zh) 智能电网视频监控与风险预测响应系统
CN113434573A (zh) 多维度图像检索系统、方法及设备
CN114331206B (zh) 点位选址方法、装置、电子设备及可读存储介质
CN115146878A (zh) 指挥调度方法、系统、车载设备及计算机可读存储介质
CN112233428A (zh) 车流量预测方法、装置、存储介质及设备
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN112712002A (zh) 基于cgan的环境监控方法、装置、系统及存储介质
CN115631184A (zh) 基于决策树的输电线路故障分析方法、装置、设备及存储介质
CN110728229A (zh) 图像处理方法、装置、设备和存储介质
CN113570070B (zh) 流式数据采样与模型更新方法、装置、系统与存储介质
CN113593256B (zh) 基于城市管理的无人机智能驱离控制方法、系统及云平台
CN113568991B (zh) 一种基于动态风险的告警处理方法及系统
CN112800526B (zh) 一种建筑楼面板材料的选型方法及系统
CN112528893A (zh) 异常状态的识别方法、装置及计算机可读存储介质
CN116343132B (zh) 一种复杂场景电力设备缺陷识别方法、装置和计算机设备
CN117194698B (zh) 一种基于oar语义知识库的任务处理系统和方法
CN117974403B (zh) 一种数据分析方法、装置、计算机设备及存储介质
CN112667671B (zh) 一种路网数据处理方法、装置、计算机设备和存储介质
CN117609870B (zh) 结构识别模型训练、模型结构识别方法、设备及介质
CN115329843A (zh) 标注处理方法、装置、设备以及存储介质
CN117373008A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN116663692A (zh) 故障的确定方法、装置、设备以及计算机可读存储介质
CN117726965A (zh) 基于神经网络的无人值守过磅控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant