CN114882445A - 基于图像视觉的电梯监控预警方法、装置、设备及介质 - Google Patents

基于图像视觉的电梯监控预警方法、装置、设备及介质 Download PDF

Info

Publication number
CN114882445A
CN114882445A CN202210790031.6A CN202210790031A CN114882445A CN 114882445 A CN114882445 A CN 114882445A CN 202210790031 A CN202210790031 A CN 202210790031A CN 114882445 A CN114882445 A CN 114882445A
Authority
CN
China
Prior art keywords
image
elevator
preset
monitoring
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210790031.6A
Other languages
English (en)
Inventor
景美君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Baicheng Jinggong Co ltd
Original Assignee
Shenzhen Baicheng Jinggong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Baicheng Jinggong Co ltd filed Critical Shenzhen Baicheng Jinggong Co ltd
Priority to CN202210790031.6A priority Critical patent/CN114882445A/zh
Publication of CN114882445A publication Critical patent/CN114882445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术，揭露了一种基于图像视觉的电梯监控预警方法、装置、电子设备以及计算机可读存储介质，其中，所述方法包括：利用采用生成式对抗网络构建及训练得到的图像复原模型对电梯监控图像进行图像复原，得到复原监控图像；建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，并对所述高斯差分金字塔进行关键点定位，得到多个目标关键点；根据所述目标关键点生成对应的特征描述子，计算所述特征描述子和故障数据库中的多个故障数据之间的临近值，根据所述临近值生成故障结果；当故障结果为出现故障时，对目标电梯进行电梯预警。本发明可以实现电梯的快速监控预警。

Description

基于图像视觉的电梯监控预警方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像视觉的电梯监控预警方法、装置、电子设备及计算机可读存储介质。
背景技术
随着社会经济的发展，高层建筑越来越多，电梯逐渐成为人们生活中的必备基础设施，在大型购物广场、办公楼、小区住宅等场所广泛应用。电梯不但能够为人们提供更加便捷、舒适的服务，也为高层建筑货物运输提供了可能。但是随着电梯的普及，越来越多的电梯安全事故接连发生，电梯的安全与否成为大家关注的问题，因此需要对电梯进行监控预警，故亟待提出一种电梯监控预警方法。
发明内容
本发明提供一种基于图像视觉的电梯监控预警方法、装置及计算机可读存储介质，其主要目的在于实现电梯的快速监控预警。
为实现上述目的，本发明提供的一种基于图像视觉的电梯监控预警方法，包括：
以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
获取预设目标电梯的电梯监控图像；
利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像；
建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点；
根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
可选地，所述建立所述复原监控图像对应的多个图像尺度空间，包括：
利用一个变化尺度高斯函数对所述复原监控图像进行卷积处理，得到多个图像尺度空间。
可选地，所述根据所述图像尺度空间构建高斯差分金字塔，包括：
获取预设的相邻尺度因子比值，并在多个所述图像尺度空间中选取两个满足相邻尺度因子比值的相邻图像尺度空间作为目标尺度空间；
计算两个所述目标尺度空间的差值，根据所述差值得到高斯差分金字塔。
可选地，所述对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，包括：
将所述高斯差分金字塔中的每个像素点与不同尺度层的像素点进行邻域比较，得到满足比较条件的多个极值点；
对所述高斯差分金字塔进行泰勒级数展开，得到泰勒级数展开式，从多个所述极值点中查找符合所述泰勒级数展开式的极值点作为初始关键点；
根据预设的梯度方向计算公式计算出多个所述初始关键点对应的梯度方向，并利用直方图统计梯度方向，得到方向直方图；
选取所述方向直方图中高于预设参考线的梯度方向对应的初始关键点作为目标关键点。
可选地，所述所述预设的梯度方向计算公式为：
Figure 437217DEST_PATH_IMAGE002
其中，
Figure 100002_DEST_PATH_IMAGE003
为梯度方向，
Figure 967031DEST_PATH_IMAGE004
为反正切函数，
Figure 100002_DEST_PATH_IMAGE005
、
Figure 745631DEST_PATH_IMAGE006
、
Figure 100002_DEST_PATH_IMAGE007
和
Figure 409831DEST_PATH_IMAGE008
为不同的多个所述初始关键点。
可选地，所述根据多个目标关键点生成对应的特征描述子，包括：
以所述目标关键点为中心选取周围满足预设大小的方形像素区域；
分别将所述方形像素区域划分为多个像素子区域，并计算多个所述像素子区域中的梯度累加值；
将所述梯度累加值作为所述目标关键点对应的特征描述子。
可选地，所述基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型，包括：
将所述训练退化数据集输入至所述生成式对抗网络中的生成模型中进行图像生成，得到预测清晰图像；
利用所述生成式对抗网络中的判别网络对所述预测清晰图像进行标签标记，得到图像标签；
利用预构建的平滑损失函数，根据所述图像标签和预设的真值标签计算得到所述生成模型的平滑损失值，利用预构建的感知损失函数根据所述预测清晰图像和预设的真实清晰图像计算得到所述生成模型的感知损失值；
利用预构建的判别损失值函数计算所述预测清晰图像和预设的待参考图像对应的判别损失值；
根据所述平滑损失值、所述感知损失值及所述判别损失值计算得到所述生成式对抗网络的最终损失值；
将所述最终损失值和预设的参考损失值进行比较，并根据比较得到的结果对所述生成式对抗网络进行迭代训练，生成图像复原模型。
为了解决上述问题，本发明还提供一种基于图像视觉的电梯监控预警装置，所述装置包括：
网络训练模块，用于以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
图像复原模块，用于获取预设目标电梯的电梯监控图像，利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像；
结果生成模块，用于建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
电梯预警模块，用于当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的基于图像视觉的电梯监控预警方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于图像视觉的电梯监控预警方法。
本发明实施例中，以多尺度网络及判别网络构建及训练的图像复原模型可以对采集得到的电梯监控图像进行图像复原处理，使得得到的电梯监控图像更加清晰，进一步地，本发明实施例提取出复原监控图像中的特征描述子，并通过计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值并生成故障结果，得到的故障结果速度快且准确度较高。因此，本发明提出的基于图像视觉的电梯监控预警方法、装置、电子设备及计算机可读存储介质，可以实现电梯的快速监控预警。
附图说明
图1为本发明一实施例提供的基于图像视觉的电梯监控预警方法的流程示意图；
图2为本发明一实施例提供的基于图像视觉的电梯监控预警装置的功能模块图；
图3为本发明一实施例提供的实现所述基于图像视觉的电梯监控预警方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于图像视觉的电梯监控预警方法。所述基于图像视觉的电梯监控预警方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于图像视觉的电梯监控预警方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的基于图像视觉的电梯监控预警方法的流程示意图。在本实施例中，所述基于图像视觉的电梯监控预警方法包括：
S1、以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型。
本发明实施例中，所述生成式对抗网络（Generative Adversarial Networks，GAN）是一种深度学习模型，通过框架中两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生好的输出。
具体地，所述以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，包括：
分别对预构建的多尺度网络及判别网络进行初始化处理，得到初始多尺度网络和初始判别网络；
按照预设的连接顺序将所述初始多尺度网络和所述初始判别网络进行连接处理，得到生成式对抗网络。
详细地，所述预设的连接顺序可以为所述初始多尺度网络在前面，所述初始判别网络在后面的顺序。
其中，所述多尺度网络是指多尺度深度网络，所述多尺度深度网络中分为全局粗估计和局部精估计两个部分。所述判别网络是指判别特征网络。
本发明实施例中，所述初始化处理包括对所述多尺度网络和所述判别网络中的参数进行预先设定等操作。
进一步地，所述基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型，包括：
将所述训练退化数据集输入至所述生成式对抗网络中的生成模型中进行图像生成，得到预测清晰图像；
利用所述生成式对抗网络中的判别网络对所述预测清晰图像进行标签标记，得到图像标签；
利用预构建的平滑损失函数，根据所述图像标签和预设的真值标签计算得到所述生成模型的平滑损失值，利用预构建的感知损失函数根据所述预测清晰图像和预设的真实清晰图像计算得到所述生成模型的感知损失值；
利用预构建的判别损失值函数计算所述预测清晰图像和预设的待参考图像对应的判别损失值；
根据所述平滑损失值、所述感知损失值及所述判别损失值计算得到所述生成式对抗网络的最终损失值；
将所述最终损失值和预设的参考损失值进行比较，并根据比较得到的结果对所述生成式对抗网络进行迭代训练，生成图像复原模型。
详细地，所述训练退化数据集是指不清晰的图像数据。
具体地，本发明实施例所述平滑损失函数为：
Figure 728817DEST_PATH_IMAGE010
Figure 771859DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
为所述生成模型的平滑损失值，
Figure 596727DEST_PATH_IMAGE014
为训练退化数据集中训练退化数据的 数量，
Figure DEST_PATH_IMAGE015
为第i个训练退化数据的真值标签，
Figure 358009DEST_PATH_IMAGE016
为第i个训练退化数据的图像标签，
Figure DEST_PATH_IMAGE017
为预设的平滑函数。
进一步地，本发明实施例中，所述感知损失函数为：
Figure DEST_PATH_IMAGE019
其中，
Figure 74162DEST_PATH_IMAGE020
为所述生成模型的感知损失值，
Figure DEST_PATH_IMAGE021
表示第i个训练退化数据的图像 标签对应的预测清晰图像，
Figure 237290DEST_PATH_IMAGE022
表示第i个训练退化数据的真值标签对应的预设的真实 清晰图像，CHW为训练退化数据中的通道、高和宽。
进一步地，所述判别损失值函数为：
Figure 967479DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
为所述判别损失值，
Figure 481637DEST_PATH_IMAGE026
为第i个训练退化数据的真值标签对应的预 测清晰图像，
Figure DEST_PATH_IMAGE027
为第i个训练退化数据的图像标签对应的待参考图像。
进一步地，所述对所述平滑损失值、所述感知损失值及所述判别损失值计算得到所述生成式对抗网络的最终损失值，包括：
Figure DEST_PATH_IMAGE029
其中，
Figure 735901DEST_PATH_IMAGE030
为所述最终损失值，G为所述生成式对抗网络中的生成模型，
Figure DEST_PATH_IMAGE031
为所述生成 式对抗网络中的判别模型，
Figure 753536DEST_PATH_IMAGE013
为所述平滑损失值，
Figure 920206DEST_PATH_IMAGE020
为所述感知损失值，
Figure 452818DEST_PATH_IMAGE025
为所述判别损 失值，N为训练退化数据集中训练退化数据的数量，max为取最大值，min为取最小值，
Figure 854981DEST_PATH_IMAGE032
、
Figure DEST_PATH_IMAGE033
及
Figure 851756DEST_PATH_IMAGE034
分别为权重系数。
S2、获取预设目标电梯的电梯监控图像。
本发明实施例中，所述预设目标电梯可以是指购物广场、办公楼、小区住宅等场所的基础电梯设施。本发明实施例可以利用图像采集设备获取所述预设目标电梯中的电梯监控图像，其中，所述图像采集设备可以是所述预设目标电梯的电梯井中或者任何有监控需求的地方安装的智能监控设备或者摄像头等设备。
具体地，所述获取预设目标电梯的电梯监控图像之前，所述方法还可以包括：
选定预设图像采集设备的设备采集模式；
利用所述图像采集设备根据所述设备采集模式采集预设目标电梯中的电梯监控图像。
详细地，所述图像采集设备具有自动定时采集和命令采集两种设备采集模式。其中，所述自动定时采集是指图像采集设备可以根据内部时钟设置对电梯每隔固定时间采集一次数据。所述命令采集模式是指当接收到数据采集命令后暂停定时采集模式，并启动命令采集模式对电梯的运行状态进行实时的数据采集。
优选地，所述电梯监控图像可以反映出预设目标电梯的电梯运行状态。
S3、利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像。
本发明实施例中，由于噪声、光照、电梯运行速度、失真等影响，所拍摄的电梯监控图像清晰度可能会降低，同时由于获取图像时经由设备成像、图像压缩、图像传输及图像解压等过程，图像的质量会受到设备的精度和稳定性、周围环境引入的噪声、传输介质对图像的干扰等，因此使得基于所述电梯监控图像进行一系列图像处理则更加困难，故本申请实施例利用图像复原模型对所述电梯监控图像进行图像复原，在一定程度提升退化之后的图像质量，改善硬件局限所带来的不足，为后续的目标检测等计算机视觉高层任务提供有利的基础。
S4、建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点。
详细地，本发明实施例利用一个变化尺度高斯函数对所述复原监控图像进行卷积处理，得到多个图像尺度空间。
具体地，本发明实施例中，通过下述方法对所述复原监控图像进行卷积处理，得到多个图像尺度空间：
Figure 376278DEST_PATH_IMAGE036
其中，
Figure DEST_PATH_IMAGE037
为所述图像尺度空间，
Figure 599449DEST_PATH_IMAGE038
为所述变化尺度高斯函数，
Figure DEST_PATH_IMAGE039
为所 述复原监控图像，
Figure 689458DEST_PATH_IMAGE040
为所述复原监控图像中的像素坐标，
Figure DEST_PATH_IMAGE041
为尺度空间因子。
进一步地，所述根据所述图像尺度空间构建高斯差分金字塔，包括：
获取预设的相邻尺度因子比值，并在多个所述图像尺度空间中选取两个满足相邻尺度因子比值的相邻图像尺度空间作为目标尺度空间；
计算两个所述目标尺度空间的差值，根据所述差值得到高斯差分金字塔。
为了检测稳定的关键点，本发明实施例需要构建高斯差分金字塔，所述高斯差分金字塔的实质是两个相邻尺度图像的差。
具体地，本发明实施例采用下述方法计算两个所述目标尺度空间的差值，得到高斯差分金字塔，包括：
Figure DEST_PATH_IMAGE043
其中，
Figure 9581DEST_PATH_IMAGE044
为高斯差分金字塔，
Figure DEST_PATH_IMAGE045
和
Figure 173846DEST_PATH_IMAGE037
为两个目标尺度空间，
Figure 228520DEST_PATH_IMAGE040
为 所述复原监控图像中的像素坐标，
Figure 34802DEST_PATH_IMAGE041
为尺度空间因子，
Figure 881536DEST_PATH_IMAGE046
为所述预设的相邻尺度因子比值。
进一步地，所述对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，包括：
将所述高斯差分金字塔中的每个像素点与不同尺度层的像素点进行邻域比较，得到满足比较条件的多个极值点；
对所述高斯差分金字塔进行泰勒级数展开，得到泰勒级数展开式，从多个所述极值点中查找符合所述泰勒级数展开式的极值点作为初始关键点；
根据预设的梯度方向计算公式计算出多个所述初始关键点对应的梯度方向，并利用直方图统计梯度方向，得到方向直方图；
选取所述方向直方图中高于预设参考线的梯度方向对应的初始关键点作为目标关键点。
详细地，在所述高斯差分金字塔上，将每个像素点与上层、下层及同层度层的邻域进行比较，由此可以确保能够检测到支持尺度不变性的极值点。但是尺度空间的各层之间并不连续，即上一步得到的极值点并不能代表关键点的真实尺度和位置，为了得到更准确的关键点，需要利用高斯差分金字塔函数在尺度空间的泰勒级数展开式进行插值查找，去除对比度低的关键点。
具体地，本发明实施例对所述高斯差分金字塔进行泰勒级数展开，得到下述泰勒级数展开式：
Figure 482281DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
其中，
Figure 804678DEST_PATH_IMAGE050
为高斯差分金字塔，
Figure DEST_PATH_IMAGE051
为预设的展开参数。
进一步地，本发明实施例根据下述梯度方向计算公式计算出多个所述初始关键点对应的梯度方向：
Figure 352334DEST_PATH_IMAGE052
其中，
Figure 928940DEST_PATH_IMAGE003
为梯度方向，
Figure 700587DEST_PATH_IMAGE004
为反正切函数，
Figure 120067DEST_PATH_IMAGE005
、
Figure 268152DEST_PATH_IMAGE006
、
Figure 214111DEST_PATH_IMAGE007
和
Figure 359922DEST_PATH_IMAGE008
为不同的多个所述初始关键点。
本发明实施例利用关键点邻域像素的梯度方向特性，为每个关键点指定方向参数，使得后续得到的特征描述子具有旋转不变性。
S5、根据多个目标关键点生成对应的特征描述子，计算所述特征描述子及预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果。
本发明实施例中，所述特征描述子用来描述特征点，并用于后续的匹配环节。
具体地，所述根据多个目标关键点生成对应的特征描述子，包括：
以所述目标关键点为中心选取周围满足预设大小的方形像素区域；
分别将所述方形像素区域划分为多个像素子区域，并计算多个所述像素子区域中的梯度累加值；
将所述梯度累加值作为所述目标关键点对应的特征描述子。
例如，所述预设大小可以为16×16，以所述目标关键点为中心选取周围16×16网格的方形像素区域，其次，将16×16的网格划分为一个个子区域，最后，在每个子区域中计算得到8个方向的梯度累加值，即每45°取一个方向，则每个目标关键点均可以生成4×4×8=128维的特征描述子。
优选地，一旦获取了特征点描述子，便可以利用它们实现特征数据的比对，从而辨别特征点之间是否具有相似性。本方案采用K近邻算法计算特征数据之间的临近值。
进一步地，所述计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，包括：
将所述特征描述子和预设故障数据库中的多个故障数据输入至预构建的距离计算公式中，得到临近值。
其中，所述距离计算公式可以为欧式距离、曼哈顿距离以及闵可夫斯基距离等三种距离。在本方案中，可以选择欧式距离公式。
详细地，所述欧式距离公式为：
Figure 63435DEST_PATH_IMAGE054
其中，
Figure DEST_PATH_IMAGE055
为临近值，
Figure 828260DEST_PATH_IMAGE056
为特征描述子，
Figure DEST_PATH_IMAGE057
表示预设故障数据库中的第
Figure 769671DEST_PATH_IMAGE058
个故障数据。
具体地，所述根据所述临近值生成故障结果，包括：
判断所述临近值与预设的设定阈值之间的大小；
当所述临近值大于所述设定阈值时，将所述故障结果输出为出现故障；
当所述临近值小于或者等于所述设定阈值时，将所述故障结果输出为未出现故障。
详细地，所述设定阈值的选定也会影响故障结果的生成，不同的方案所述设定阈值不同。
S6、当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
本发明实施例中，所述故障结果有出现故障和未出现故障两种情况，当所述故障结果为未出现故障时，说明此刻所述目标电梯正在正常运行，无需进行预警，而当所述故障结果为出现故障时，则说明此刻目标电梯出现了未知原因的问题，此时需要对所述目标电梯进行电梯预警，以起到警示作用。
本发明实施例中，本发明实施例中，以多尺度网络及判别网络构建及训练的图像复原模型可以对采集得到的电梯监控图像进行图像复原处理，使得得到的电梯监控图像更加清晰，进一步地，本发明实施例提取出复原监控图像中的特征描述子，并通过计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值并生成故障结果，得到的故障结果速度快且准确度较高。因此，本发明提出的基于图像视觉的电梯监控预警方法可以实现电梯的快速监控预警。
如图2所示，是本发明一实施例提供的基于图像视觉的电梯监控预警装置的功能模块图。
本发明所述基于图像视觉的电梯监控预警装置100可以安装于电子设备中。根据实现的功能，所述基于图像视觉的电梯监控预警装置100可以包括网络训练模块101、图像复原模块102、结果生成模块103及电梯预警模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述网络训练模块101，用于以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
所述图像复原模块102，用于获取预设目标电梯的电梯监控图像，利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像；
所述结果生成模块103，用于建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
所述电梯预警模块104，用于当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
详细地，所述基于图像视觉的电梯监控预警装置100各模块的具体实施方式如下：
步骤一、以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型。
本发明实施例中，所述生成式对抗网络（Generative Adversarial Networks，GAN）是一种深度学习模型，通过框架中两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生好的输出。
具体地，所述以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，包括：
分别对预构建的多尺度网络及判别网络进行初始化处理，得到初始多尺度网络和初始判别网络；
按照预设的连接顺序将所述初始多尺度网络和所述初始判别网络进行连接处理，得到生成式对抗网络。
详细地，所述预设的连接顺序可以为所述初始多尺度网络在前面，所述初始判别网络在后面的顺序。
其中，所述多尺度网络是指多尺度深度网络，所述多尺度深度网络中分为全局粗估计和局部精估计两个部分。所述判别网络是指判别特征网络。
本发明实施例中，所述初始化处理包括对所述多尺度网络和所述判别网络中的参数进行预先设定等操作。
进一步地，所述基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型，包括：
将所述训练退化数据集输入至所述生成式对抗网络中的生成模型中进行图像生成，得到预测清晰图像；
利用所述生成式对抗网络中的判别网络对所述预测清晰图像进行标签标记，得到图像标签；
利用预构建的平滑损失函数，根据所述图像标签和预设的真值标签计算得到所述生成模型的平滑损失值，利用预构建的感知损失函数根据所述预测清晰图像和预设的真实清晰图像计算得到所述生成模型的感知损失值；
利用预构建的判别损失值函数计算所述预测清晰图像和预设的待参考图像对应的判别损失值；
根据所述平滑损失值、所述感知损失值及所述判别损失值计算得到所述生成式对抗网络的最终损失值；
将所述最终损失值和预设的参考损失值进行比较，并根据比较得到的结果对所述生成式对抗网络进行迭代训练，生成图像复原模型。
详细地，所述训练退化数据集是指不清晰的图像数据。
具体地，本发明实施例所述平滑损失函数为：
Figure 945438DEST_PATH_IMAGE010
Figure 136248DEST_PATH_IMAGE060
其中，
Figure 829397DEST_PATH_IMAGE013
为所述生成模型的平滑损失值，
Figure 232172DEST_PATH_IMAGE014
为训练退化数据集中训练退化数据的 数量，
Figure 782102DEST_PATH_IMAGE015
为第i个训练退化数据的真值标签，
Figure 397891DEST_PATH_IMAGE016
为第i个训练退化数据的图像标签，
Figure 425890DEST_PATH_IMAGE017
为预设的平滑函数。
进一步地，本发明实施例中，所述感知损失函数为：
Figure 935369DEST_PATH_IMAGE019
其中，
Figure 656200DEST_PATH_IMAGE020
为所述生成模型的感知损失值，
Figure 759286DEST_PATH_IMAGE021
表示第i个训练退化数据的图像 标签对应的预测清晰图像，
Figure 590975DEST_PATH_IMAGE022
表示第i个训练退化数据的真值标签对应的预设的真实 清晰图像，CHW为训练退化数据中的通道、高和宽。
进一步地，所述判别损失值函数为：
Figure DEST_PATH_IMAGE061
其中，
Figure 971272DEST_PATH_IMAGE025
为所述判别损失值，
Figure 800688DEST_PATH_IMAGE026
为第i个训练退化数据的真值标签对应的预 测清晰图像，
Figure 781282DEST_PATH_IMAGE027
为第i个训练退化数据的图像标签对应的待参考图像。
进一步地，所述对所述平滑损失值、所述感知损失值及所述判别损失值计算得到所述生成式对抗网络的最终损失值，包括：
Figure 151084DEST_PATH_IMAGE029
其中，
Figure 510521DEST_PATH_IMAGE030
为所述最终损失值，G为所述生成式对抗网络中的生成模型，
Figure 573155DEST_PATH_IMAGE031
为所述生成 式对抗网络中的判别模型，
Figure 260619DEST_PATH_IMAGE013
为所述平滑损失值，
Figure 699691DEST_PATH_IMAGE020
为所述感知损失值，
Figure 913634DEST_PATH_IMAGE025
为所述判别损 失值，N为训练退化数据集中训练退化数据的数量，max为取最大值，min为取最小值，
Figure 147170DEST_PATH_IMAGE032
、
Figure 571198DEST_PATH_IMAGE033
及
Figure 282802DEST_PATH_IMAGE034
分别为权重系数。
步骤二、获取预设目标电梯的电梯监控图像。
本发明实施例中，所述预设目标电梯可以是指购物广场、办公楼、小区住宅等场所的基础电梯设施。本发明实施例可以利用图像采集设备获取所述预设目标电梯中的电梯监控图像，其中，所述图像采集设备可以是所述预设目标电梯的电梯井中或者任何有监控需求的地方安装的智能监控设备或者摄像头等设备。
具体地，所述获取预设目标电梯的电梯监控图像之前，所述方法还可以包括：
选定预设图像采集设备的设备采集模式；
利用所述图像采集设备根据所述设备采集模式采集预设目标电梯中的电梯监控图像。
详细地，所述图像采集设备具有自动定时采集和命令采集两种设备采集模式。其中，所述自动定时采集是指图像采集设备可以根据内部时钟设置对电梯每隔固定时间采集一次数据。所述命令采集模式是指当接收到数据采集命令后暂停定时采集模式，并启动命令采集模式对电梯的运行状态进行实时的数据采集。
优选地，所述电梯监控图像可以反映出预设目标电梯的电梯运行状态。
步骤三、利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像。
本发明实施例中，由于噪声、光照、电梯运行速度、失真等影响，所拍摄的电梯监控图像清晰度可能会降低，同时由于获取图像时经由设备成像、图像压缩、图像传输及图像解压等过程，图像的质量会受到设备的精度和稳定性、周围环境引入的噪声、传输介质对图像的干扰等，因此使得基于所述电梯监控图像进行一系列图像处理则更加困难，故本申请实施例利用图像复原模型对所述电梯监控图像进行图像复原，在一定程度提升退化之后的图像质量，改善硬件局限所带来的不足，为后续的目标检测等计算机视觉高层任务提供有利的基础。
步骤四、建立所述复原监控图像对应的多个图像尺度空间，并选根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点。
详细地，本发明实施例利用一个变化尺度高斯函数对所述复原监控图像进行卷积处理，得到多个图像尺度空间。
具体地，本发明实施例中，通过下述方法对所述复原监控图像进行卷积处理，得到多个图像尺度空间：
Figure 616831DEST_PATH_IMAGE062
其中，
Figure 21268DEST_PATH_IMAGE037
为所述图像尺度空间，
Figure 683324DEST_PATH_IMAGE038
为所述变化尺度高斯函数，
Figure 198619DEST_PATH_IMAGE039
为所 述复原监控图像，
Figure 387155DEST_PATH_IMAGE040
为所述复原监控图像中的像素坐标，
Figure 962493DEST_PATH_IMAGE041
为尺度空间因子。
进一步地，所述根据所述图像尺度空间构建高斯差分金字塔，包括：
获取预设的相邻尺度因子比值，并在多个所述图像尺度空间中选取两个满足相邻尺度因子比值的相邻图像尺度空间作为目标尺度空间；
计算两个所述目标尺度空间的差值，根据所述差值得到高斯差分金字塔。
为了检测稳定的关键点，本发明实施例需要构建高斯差分金字塔，所述高斯差分金字塔的实质是两个相邻尺度图像的差。
具体地，本发明实施例采用下述方法计算两个所述目标尺度空间的差值，得到高斯差分金字塔，包括：
Figure DEST_PATH_IMAGE063
其中，
Figure 626693DEST_PATH_IMAGE044
为高斯差分金字塔，
Figure 883362DEST_PATH_IMAGE045
和
Figure 988721DEST_PATH_IMAGE037
为两个目标尺度空间，
Figure 810659DEST_PATH_IMAGE040
为 所述复原监控图像中的像素坐标，
Figure 306362DEST_PATH_IMAGE041
为尺度空间因子，
Figure 429039DEST_PATH_IMAGE046
为所述预设的相邻尺度因子比值。
进一步地，所述对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，包括：
将所述高斯差分金字塔中的每个像素点与不同尺度层的像素点进行邻域比较，得到满足比较条件的多个极值点；
对所述高斯差分金字塔进行泰勒级数展开，得到泰勒级数展开式，从多个所述极值点中查找符合所述泰勒级数展开式的极值点作为初始关键点；
根据预设的梯度方向计算公式计算出多个所述初始关键点对应的梯度方向，并利用直方图统计梯度方向，得到方向直方图；
选取所述方向直方图中高于预设参考线的梯度方向对应的初始关键点作为目标关键点。
详细地，在所述高斯差分金字塔上，将每个像素点与上层、下层及同层度层的邻域进行比较，由此可以确保能够检测到支持尺度不变性的极值点。但是尺度空间的各层之间并不连续，即上一步得到的极值点并不能代表关键点的真实尺度和位置，为了得到更准确的关键点，需要利用高斯差分金字塔函数在尺度空间的泰勒级数展开式进行插值查找，去除对比度低的关键点。
具体地，本发明实施例对所述高斯差分金字塔进行泰勒级数展开，得到下述泰勒级数展开式：
Figure 451222DEST_PATH_IMAGE064
Figure 368362DEST_PATH_IMAGE049
其中，
Figure 616941DEST_PATH_IMAGE050
为高斯差分金字塔，
Figure 621937DEST_PATH_IMAGE051
为预设的展开参数。
进一步地，本发明实施例根据下述梯度方向计算公式计算出多个所述初始关键点对应的梯度方向：
Figure DEST_PATH_IMAGE065
其中，
Figure 639572DEST_PATH_IMAGE003
为梯度方向，
Figure 55509DEST_PATH_IMAGE004
为反正切函数，
Figure 588122DEST_PATH_IMAGE005
、
Figure 724705DEST_PATH_IMAGE006
、
Figure 737792DEST_PATH_IMAGE007
和
Figure 262314DEST_PATH_IMAGE008
为不同的多个所述初始关键点。
本发明实施例利用关键点邻域像素的梯度方向特性，为每个关键点指定方向参数，使得后续得到的特征描述子具有旋转不变性。
步骤五、根据多个目标关键点生成对应的特征描述子，计算所述特征描述子及预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果。
本发明实施例中，所述特征描述子用来描述特征点，并用于后续的匹配环节。
具体地，所述根据多个目标关键点生成对应的特征描述子，包括：
以所述目标关键点为中心选取周围满足预设大小的方形像素区域；
分别将所述方形像素区域划分为多个像素子区域，并计算多个所述像素子区域中的梯度累加值；
将所述梯度累加值作为所述目标关键点对应的特征描述子。
例如，所述预设大小可以为16×16，以所述目标关键点为中心选取周围16×16网格的方形像素区域，其次，将16×16的网格划分为一个个子区域，最后，在每个子区域中计算得到8个方向的梯度累加值，即每45°取一个方向，则每个目标关键点均可以生成4×4×8=128维的特征描述子。
优选地，一旦获取了特征点描述子，便可以利用它们实现特征数据的比对，从而辨别特征点之间是否具有相似性。本方案采用K近邻算法计算特征数据之间的临近值。
进一步地，所述计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，包括：
将所述特征描述子和预设故障数据库中的多个故障数据输入至预构建的距离计算公式中，得到临近值。
其中，所述距离计算公式可以为欧式距离、曼哈顿距离以及闵可夫斯基距离等三种距离。在本方案中，可以选择欧式距离公式。
详细地，所述欧式距离公式为：
Figure 954326DEST_PATH_IMAGE066
其中，
Figure 222497DEST_PATH_IMAGE055
为临近值，
Figure 73778DEST_PATH_IMAGE056
为特征描述子，
Figure 503622DEST_PATH_IMAGE057
表示预设故障数据库中的第
Figure 948510DEST_PATH_IMAGE058
个故障数据。
具体地，所述根据所述临近值生成故障结果，包括：
判断所述临近值与预设的设定阈值之间的大小；
当所述临近值大于所述设定阈值时，将所述故障结果输出为出现故障；
当所述临近值小于或者等于所述设定阈值时，将所述故障结果输出为未出现故障。
详细地，所述设定阈值的选定也会影响故障结果的生成，不同的方案所述设定阈值不同。
步骤六、当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
本发明实施例中，所述故障结果有出现故障和未出现故障两种情况，当所述故障结果为未出现故障时，说明此刻所述目标电梯正在正常运行，无需进行预警，而当所述故障结果为出现故障时，则说明此刻目标电梯出现了未知原因的问题，此时需要对所述目标电梯进行电梯预警，以起到警示作用。
如图3所示，是本发明一实施例提供的实现基于图像视觉的电梯监控预警方法的电子设备的结构示意图。
所述电子设备可以包括处理器10、存储器11、通信接口12和总线13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于图像视觉的电梯监控预警程序。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于图像视觉的电梯监控预警程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如基于图像视觉的电梯监控预警程序等），以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述通信接口12用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
所述总线13可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线13可以分为地址总线、数据总线、控制总线等。所述总线13被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备与其他电子设备之间建立通信连接。
可选地，该电子设备还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备中的所述存储器11存储的基于图像视觉的电梯监控预警程序是多个指令的组合，在所述处理器10中运行时，可以实现：
以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
获取预设目标电梯的电梯监控图像；
将所述电梯监控图像输入至所述图像复原模型中进行图像复原处理，得到复原监控图像；
建立所述复原监控图像对应的多个图像尺度空间，并选取多个所述图像尺度空间中的其中两个图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点；
根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
获取预设目标电梯的电梯监控图像；
将所述电梯监控图像输入至所述图像复原模型中进行图像复原处理，得到复原监控图像；
建立所述复原监控图像对应的多个图像尺度空间，并选取多个所述图像尺度空间中的其中两个图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点；
根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于图像视觉的电梯监控预警方法，其特征在于，所述方法包括：
以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
获取预设目标电梯的电梯监控图像；
利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像；
建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点；
根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
2.如权利要求1所述的基于图像视觉的电梯监控预警方法，其特征在于，所述建立所述复原监控图像对应的多个图像尺度空间，包括：
利用一个变化尺度高斯函数对所述复原监控图像进行卷积处理，得到多个图像尺度空间。
3.如权利要求1所述的基于图像视觉的电梯监控预警方法，其特征在于，所述根据所述图像尺度空间构建高斯差分金字塔，包括：
获取预设的相邻尺度因子比值，并在多个所述图像尺度空间中选取两个满足相邻尺度因子比值的相邻图像尺度空间作为目标尺度空间；
计算两个所述目标尺度空间的差值，根据所述差值得到高斯差分金字塔。
4.如权利要求1所述的基于图像视觉的电梯监控预警方法，其特征在于，所述对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，包括：
将所述高斯差分金字塔中的每个像素点与不同尺度层的像素点进行邻域比较，得到满足比较条件的多个极值点；
对所述高斯差分金字塔进行泰勒级数展开，得到泰勒级数展开式，从多个所述极值点中查找符合所述泰勒级数展开式的极值点作为初始关键点；
根据预设的梯度方向计算公式计算出多个所述初始关键点对应的梯度方向，并利用直方图统计梯度方向，得到方向直方图；
选取所述方向直方图中高于预设参考线的梯度方向对应的初始关键点作为目标关键点。
5.如权利要求4所述的基于图像视觉的电梯监控预警方法，其特征在于，所述预设的梯度方向计算公式为：
Figure 121140DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE003
为梯度方向，
Figure 967874DEST_PATH_IMAGE004
为反正切函数，
Figure DEST_PATH_IMAGE005
、
Figure 162095DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
和
Figure 94279DEST_PATH_IMAGE008
为不同的多个所述初始关键点。
6.如权利要求1所述的基于图像视觉的电梯监控预警方法，其特征在于，所述根据多个目标关键点生成对应的特征描述子，包括：
以所述目标关键点为中心选取周围满足预设大小的方形像素区域；
分别将所述方形像素区域划分为多个像素子区域，并计算多个所述像素子区域中的梯度累加值；
将所述梯度累加值作为所述目标关键点对应的特征描述子。
7.如权利要求1所述的基于图像视觉的电梯监控预警方法，其特征在于，所述基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型，包括：
将所述训练退化数据集输入至所述生成式对抗网络中的生成模型中进行图像生成，得到预测清晰图像；
利用所述生成式对抗网络中的判别网络对所述预测清晰图像进行标签标记，得到图像标签；
利用预构建的平滑损失函数，根据所述图像标签和预设的真值标签计算得到所述生成模型的平滑损失值，利用预构建的感知损失函数根据所述预测清晰图像和预设的真实清晰图像计算得到所述生成模型的感知损失值；
利用预构建的判别损失值函数计算所述预测清晰图像和预设的待参考图像对应的判别损失值；
根据所述平滑损失值、所述感知损失值及所述判别损失值计算得到所述生成式对抗网络的最终损失值；
将所述最终损失值和预设的参考损失值进行比较，并根据比较得到的结果对所述生成式对抗网络进行迭代训练，生成图像复原模型。
8.一种基于图像视觉的电梯监控预警装置，其特征在于，所述装置包括：
网络训练模块，用于以多尺度网络作为生成模型，以判别网络作为判别模型构建生成式对抗网络，基于预获取的训练退化数据集对所述生成式对抗网络进行训练处理，得到图像复原模型；
图像复原模块，用于获取预设目标电梯的电梯监控图像，利用所述图像复原模型对所述电梯监控图像进行图像复原处理，得到复原监控图像；
结果生成模块，用于建立所述复原监控图像对应的多个图像尺度空间，并根据所述图像尺度空间构建高斯差分金字塔，对所述高斯差分金字塔进行关键点定位，得到多个目标关键点，根据多个目标关键点生成对应的特征描述子，计算所述特征描述子和预设故障数据库中的多个故障数据之间的临近值，并根据所述临近值生成故障结果；
电梯预警模块，用于当所述故障结果为出现故障时，对所述目标电梯进行电梯预警。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于图像视觉的电梯监控预警方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于图像视觉的电梯监控预警方法。
CN202210790031.6A 2022-07-06 2022-07-06 基于图像视觉的电梯监控预警方法、装置、设备及介质 Pending CN114882445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210790031.6A CN114882445A (zh) 2022-07-06 2022-07-06 基于图像视觉的电梯监控预警方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210790031.6A CN114882445A (zh) 2022-07-06 2022-07-06 基于图像视觉的电梯监控预警方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114882445A true CN114882445A (zh) 2022-08-09

Family

ID=82682867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210790031.6A Pending CN114882445A (zh) 2022-07-06 2022-07-06 基于图像视觉的电梯监控预警方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114882445A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104401835A (zh) * 2014-11-25 2015-03-11 沈阳建筑大学 一种电梯曳引机温升故障实时检测方法
CN108275530A (zh) * 2018-01-18 2018-07-13 柯钢 一种基于机器学习的电梯安全预警方法
CN109436988A (zh) * 2018-12-03 2019-03-08 北京凯瑞通电子技术有限公司 一种基于物联网的电梯钢绳故障检测系统
CN110589647A (zh) * 2019-08-13 2019-12-20 福建工程学院 一种通过监控对电梯门进行实时故障检测及预测的方法
CN111476780A (zh) * 2020-04-07 2020-07-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
CN112270651A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN112383581A (zh) * 2020-09-28 2021-02-19 松立控股集团股份有限公司 一种智慧社区前端管理系统
CN113362242A (zh) * 2021-06-03 2021-09-07 杭州电子科技大学 基于多特征融合网络的图像修复方法
CN113447771A (zh) * 2021-06-09 2021-09-28 上海交通大学 一种基于sift-lda特征的局部放电模式识别方法
CN113506224A (zh) * 2021-05-24 2021-10-15 中国石油大学(华东) 基于多尺度生成对抗网络的图像修复方法
CN114550044A (zh) * 2022-02-22 2022-05-27 西安电子科技大学 基于目标检测网络的电梯轿厢异常事件监测预警系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104401835A (zh) * 2014-11-25 2015-03-11 沈阳建筑大学 一种电梯曳引机温升故障实时检测方法
CN108275530A (zh) * 2018-01-18 2018-07-13 柯钢 一种基于机器学习的电梯安全预警方法
CN109436988A (zh) * 2018-12-03 2019-03-08 北京凯瑞通电子技术有限公司 一种基于物联网的电梯钢绳故障检测系统
CN110589647A (zh) * 2019-08-13 2019-12-20 福建工程学院 一种通过监控对电梯门进行实时故障检测及预测的方法
CN111476780A (zh) * 2020-04-07 2020-07-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
CN112383581A (zh) * 2020-09-28 2021-02-19 松立控股集团股份有限公司 一种智慧社区前端管理系统
CN112270651A (zh) * 2020-10-15 2021-01-26 西安工程大学 一种基于多尺度判别生成对抗网络的图像修复方法
CN113506224A (zh) * 2021-05-24 2021-10-15 中国石油大学(华东) 基于多尺度生成对抗网络的图像修复方法
CN113362242A (zh) * 2021-06-03 2021-09-07 杭州电子科技大学 基于多特征融合网络的图像修复方法
CN113447771A (zh) * 2021-06-09 2021-09-28 上海交通大学 一种基于sift-lda特征的局部放电模式识别方法
CN114550044A (zh) * 2022-02-22 2022-05-27 西安电子科技大学 基于目标检测网络的电梯轿厢异常事件监测预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任经纬: ""基于多核DSP的电梯网络信息实时采集系统研究"", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *

Similar Documents

Publication Publication Date Title
CN111932564B (zh) 图片识别方法、装置、电子设备及计算机可读存储介质
CN111695609A (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN112507934A (zh) 活体检测方法、装置、电子设备及存储介质
CN113705462A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112396005A (zh) 生物特征图像识别方法、装置、电子设备及可读存储介质
CN111476225B (zh) 基于人工智能的车内人脸识别方法、装置、设备及介质
CN112541902A (zh) 相似区域搜索方法、装置、电子设备及介质
CN111639704A (zh) 目标识别方法、装置及计算机可读存储介质
CN111931729B (zh) 基于人工智能的行人检测方法、装置、设备及介质
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
CN111738212A (zh) 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN111985449A (zh) 救援现场图像的识别方法、装置、设备及计算机介质
CN114708461A (zh) 基于多模态学习模型的分类方法、装置、设备及存储介质
CN112132216A (zh) 车型识别方法、装置、电子设备及存储介质
CN112862703B (zh) 基于移动拍照的图像校正方法、装置、电子设备及介质
CN113887439A (zh) 基于图像识别的自动预警方法、装置、设备及存储介质
CN112329666A (zh) 人脸识别方法、装置、电子设备及存储介质
CN112528903A (zh) 人脸图像获取方法、装置、电子设备及介质
CN115049836B (zh) 图像分割方法、装置、设备及存储介质
CN111583215A (zh) 损伤图像智能定损方法、装置、电子设备及存储介质
CN113850836B (zh) 基于行为轨迹的员工行为识别方法、装置、设备及介质
CN114882445A (zh) 基于图像视觉的电梯监控预警方法、装置、设备及介质
CN111652226B (zh) 基于图片的目标识别方法、装置及可读存储介质
CN112561889A (zh) 目标物检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220809

RJ01 Rejection of invention patent application after publication