CN115762558B - 自动扶梯生产用性能检测系统及其方法 - Google Patents

自动扶梯生产用性能检测系统及其方法 Download PDF

Info

Publication number
CN115762558B
CN115762558B CN202211445371.1A CN202211445371A CN115762558B CN 115762558 B CN115762558 B CN 115762558B CN 202211445371 A CN202211445371 A CN 202211445371A CN 115762558 B CN115762558 B CN 115762558B
Authority
CN
China
Prior art keywords
feature map
escalator
feature
sound
sound feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211445371.1A
Other languages
English (en)
Other versions
CN115762558A (zh
Inventor
苏小波
沈晓莉
施建平
许鹏程
张东明
莫林海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkslift Schindler Elevator Co Ltd
Original Assignee
Volkslift Schindler Elevator Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkslift Schindler Elevator Co Ltd filed Critical Volkslift Schindler Elevator Co Ltd
Priority to CN202211445371.1A priority Critical patent/CN115762558B/zh
Priority to PCT/CN2022/138395 priority patent/WO2024103470A1/zh
Publication of CN115762558A publication Critical patent/CN115762558A/zh
Application granted granted Critical
Publication of CN115762558B publication Critical patent/CN115762558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0224—Processing in the time domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B50/00—Energy efficient technologies in elevators, escalators and moving walkways, e.g. energy saving or recuperation technologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Escalators And Moving Walkways (AREA)

Abstract

本申请公开了一种自动扶梯生产用性能检测系统及其方法。其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

Description

自动扶梯生产用性能检测系统及其方法
技术领域
本申请涉及智能检测技术领域，且更为具体地，涉及一种自动扶梯生产用性能检测系统及其方法。
背景技术
在自动扶梯的生产过程中，在出厂前的关键是对自动扶梯的出厂性能进行精准监测与评估。现行的做法是通过有经验的技术人员分别针对每一项性能指标进行检测，在测得数据之后，对数据进行分析，然后得出综合性能判断结果。但是上述性能检测方案，由于无法模拟各项指标之间的非线性关联，从而导致无法对自动扶梯的性能进行精准评估。
因此，期待一种优化的自动扶梯生产用性能检测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种自动扶梯生产用性能检测系统及其方法。其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
根据本申请的一个方面，提供了一种自动扶梯生产用性能检测系统，其包括：
数据监控与采集模块，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；
振动特征提取模块，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；
运行速度特征提取模块，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；
高斯融合模块，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；
理想声音生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；
孪生检测模块，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
度量模块，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；
性能检测结果生成模块，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
在上述的自动扶梯生产用性能检测系统中，所述振动特征提取模块，进一步用于：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。
在上述的自动扶梯生产用性能检测系统中，所述运行速度特征提取模块，用于：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征向量；
对所述卷积特征向量进行池化处理以得到池化特征向量；以及
对所述池化特征向量进行非线性激活以得到激活特征向量；
其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。
在上述的自动扶梯生产用性能检测系统中，所述高斯融合模块，包括：
融合高斯密度图构造单元，用于使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；
其中，所述公式为：
其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及
高斯离散化单元，用于对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。
在上述的自动扶梯生产用性能检测系统中，所述对抗生成网络包括鉴别器和生成器，其中，所述理想声音生成模块，进一步用于将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。
在上述的自动扶梯生产用性能检测系统中，所述孪生检测模块，包括：
生成声音编码单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；
探测声音编码单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。
在上述的自动扶梯生产用性能检测系统中，所述度量模块，包括：
生成声音特征图校正单元，用于基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；
其中，所述公式为：
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，和分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，表示所述优化生成声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；
探测声音特征图校正单元，用于基于所述生成声音特征图以如下公式对所述探测声音特征图进行相对类角度概率信息表示校正以得到优化探测声音特征图；
其中，所述公式为：
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，和分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，表示所述优化探测声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；
度量单元，用于计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离。
在上述的自动扶梯生产用性能检测系统中，所述度量单元，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；
其中，所述公式为：
其中F1′和F2′分别表示所述优化生成声音特征图和所述优化探测声音特征图，和分别表示所述优化生成声音特征图和所述优化探测声音特征图的第(i,j,k)位置的特征值，d(F1′,F2′)表示所述优化生成声音特征图和所述优化探测声音特征图之间的余弦距离。
在上述的自动扶梯生产用性能检测系统中，所述性能检测结果生成模块，进一步用于响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。
根据本申请的另一个方面，提供了一种自动扶梯生产用性能检测方法，其包括：
获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；
将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；
将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；
基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；
将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；
将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述生成声音特征图和所述探测声音特征图之间的距离；以及
基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
与现有技术相比，本申请提供的一种自动扶梯生产用性能检测系统及其方法，其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的自动扶梯生产用性能检测系统的应用场景图。
图2为根据本申请实施例的自动扶梯生产用性能检测系统的框图示意图。
图3为根据本申请实施例的自动扶梯生产用性能检测系统中的所述高斯融合模块的框图示意图。
图4为根据本申请实施例的自动扶梯生产用性能检测系统中的所述孪生检测模块的框图示意图。
图5为根据本申请实施例的自动扶梯生产用性能检测系统中的所述度量模块的框图示意图。
图6为根据本申请实施例的自动扶梯生产用性能检测方法的流程图。
图7为根据本申请实施例的自动扶梯生产用性能检测方法的系统架构的示意图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
如上所述，在自动扶梯的生产过程中，在出厂前的关键是对自动扶梯的出厂性能进行精准监测与评估。现行的做法是通过有经验的技术人员分别针对每一项性能指标进行检测，在测得数据之后，对数据进行分析，然后得出综合性能判断结果。但是上述性能检测方案，由于无法模拟各项指标之间的非线性关联，从而导致无法对自动扶梯的性能进行精准评估。因此，期待一种优化的自动扶梯生产用性能检测方案。
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
近年来，深度学习以及神经网络的发展为自动扶梯的生产用性能检测提供了新的解决思路和方案。
相应地，考虑到自动扶梯在运行的过程中会产生振动，当自动扶梯处于正常的工作状态模式时会使其振动模式存在固定的隐藏特征，并且所述自动扶梯的运行速度与振动的模式特征之间也存在着关联性，所述自动扶梯的振动还会产生声音信号，因此，可以从所述自动扶梯在生产工作时的振动特征、运行速度特征以及声音特征来综合对于所述自动扶梯进行性能测试。但是，由于所述自动扶梯的各项指标之间具有非线性的关联，这给自动扶梯的性能检测带来了困难。基于此，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。这样，能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
具体地，在本申请的技术方案中，首先，通过振动传感器采集自动扶梯在性能检测过程中的预定时间段的振动信号，通过速度传感器采集所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值，并且通过声音传感器采集所述预定时间段的探测声音信号。接着，考虑到所述振动信号在时域上的表现为波形图，因此，使用在图像的局部隐含特征提取方面具有优异表现的作为过滤器的第一卷积神经网络模型来对于所述振动信号的波形图进行特征挖掘，以提取出所述振动信号的波形图中的局部隐含特征分布信息，从而得到振动波形特征向量。
然后，对于所述多个预定时间点的所述自动扶梯的运行速度值，考虑到其在时间维度上具有着关联性的特征分布信息，因此，进一步将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型中进行特征提取，以提取出所述自动扶梯的运行速度在时序上的隐含关联特征分布信息，从而得到速度特征向量。
进一步地，考虑到所述振动波形特征向量和所述速度特征向量在高维特征空间中都各自对应着一个特征分布流形，而这些特征分布流形由于本身的不规则形状和散布位置，如果仅通过将各个数值检测数据的特征向量级联来表示理想工况的特征信息，将相当于简单地将这些特征分布流形按原位置和形状来进行叠加，使得新获得的特征分布流形的边界变得非常不规则和复杂，在通过梯度下降来寻找最优点时，非常容易陷入局部极值点中而无法获得全局最优点。因此，需要进一步地对所述振动波形特征向量和所述速度特征向量进行适当的融合，使得各个特征分布能够相对于彼此在型面上收敛。应可以理解，考虑到高斯密度图在深度学习中，广泛地用于基于先验的目标后验的估计，因此可以用于修正数据分布，从而实现上述目的。具体地，在本申请的技术方案中，基于高斯分布构造所述振动波形特征向量和所述速度特征向量的高斯密度图，并将所述高斯密度图进行高斯离散化处理以得到融合特征矩阵。
然后，为了生成理想工况下的理想声音信号以与实际声音信号在高维特征空间中进行特征差异性对比，进而来对于所述自动扶梯的性能检测，需要进一步将具有理想工况下的所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。这里，所述对抗生成网络包括鉴别器和生成器，其中，所述生成器用于理想声音信号，所述鉴别器用于计算所述理想声音信号和真实声音信号之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有理想声音信号生成功能的生成器。
接着，考虑到声音信号在时域中的表现形式为波形图，因此，进一步再将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型中进行编码，以分别提取出所述理想工况下的理想声音信号的隐含特征与所述实际探测的声音信号的隐含特征，从而得到生成声音特征图和探测声音特征图。特别地，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用包含有相同网络结构的图像编码器的所述孪生网络模型来分别进行所述生成声音信号和所述探测声音信号的特征提取能够挖掘出两者的波形图像在图像源域端差异不明显的特征信息，以此来进行所述自动扶梯的性能检测。
进一步地，计算所述生成声音特征图和所述探测声音特征图之间的距离，例如余弦距离，就可以所述理想声音信号特征与所述探测声音信号特征之间的差异性特征分布信息来进行所述自动扶梯的性能检测。然后，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。相应地，在本申请的一个具体示例中，响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。也就是，如果所述理想声音特征与所述探测声音特征之间的差异性特征差距较大，那么所述自动扶梯的性能异常。能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
特别地，在本申请的技术方案中，这里，针对所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型得到的所述生成声音特征图和所述探测声音特征图，为了提高所述生成声音特征图和所述探测声音特征图之间的距离计算的准确性，期望所述生成声音特征图和所述探测声音特征图在特征分布上具有相似性，即，期望所述生成声音特征图和所述探测声音特征图的特征分布在高维特征空间内存在尽量小的空间位置误差。
因此，考虑到所述生成声音信号是通过模拟所述探测声音信号获得的，因此所述生成声音特征图和所述探测声音特征图在特征分布上存在一定的对应性，因此，可以对所述生成声音特征图和所述探测声音特征图分别进行相对类角度概率信息表示校正，表示为：
其中和分别是所述生成声音特征图F1和所述探测声音特征图F2的第(i,j,k)位置的特征值，且和是所述生成声音特征图F1和所述探测声音特征图F2的全部特征值的均值。
这里，所述相对类角度概率信息表示校正通过所述生成声音特征图F1和所述探测声音特征图F2之间的相对类角度概率信息表示，来进行所述生成声音特征图F1和所述探测声音特征图F2在高维特征空间内的特征分布的空间位置误差的几何精度稀释，从而在所述生成声音特征图F1和所述探测声音特征图F2间具有一定对应性的情况下，基于所述生成声音特征图F1和所述探测声音特征图F2各自的各位置的特征值分布相较于彼此整体的分布约束性，来通过按位置的逐点回归来进行特征的隐式上下文对应性校正，从而提高所述生成声音特征图和所述探测声音特征图在特征分布上的相似性，以改进所述生成声音特征图和所述探测声音特征图之间的距离计算的准确性。能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
基于此，本申请提供了一种自动扶梯生产用性能检测系统，其包括：数据监控与采集模块，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；振动特征提取模块，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；运行速度特征提取模块，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；高斯融合模块，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；理想声音生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；孪生检测模块，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；度量模块，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；以及，性能检测结果生成模块，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
图1为根据本申请实施例的自动扶梯生产用性能检测系统的应用场景图。如图1所示，在该应用场景中，获取由振动传感器(例如，如图1中所示意的C1)采集的自动扶梯在性能检测过程中的预定时间段的振动信号(例如，如图1中所示意的D1)、由速度传感器(例如，如图1中所示意的C2)采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值(例如，如图1中所示意的D2)以及由声音传感器(例如，如图1中所示意的C3)采集的所述预定时间段的探测声音信号(例如，如图1中所示意的D3)，然后，将所述振动信号的波形图、所述多个预定时间点的所述自动扶梯的运行速度值和所述探测声音信号输入至部署有自动扶梯生产用性能检测算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述自动扶梯生产用性能检测算法对所述振动信号的波形图、所述多个预定时间点的所述自动扶梯的运行速度值和所述探测声音信号进行处理以确定所述自动扶梯的性能是否符合预定要求。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图2为根据本申请实施例的自动扶梯生产用性能检测系统的框图示意图。如图2所示，根据本申请实施例的自动扶梯生产用性能检测系统100，包括：数据监控与采集模块110，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；振动特征提取模块120，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；运行速度特征提取模块130，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；高斯融合模块140，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；理想声音生成模块150，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；孪生检测模块160，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；度量模块170，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；以及，性能检测结果生成模块180，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
更具体地，在本申请实施例中，所述数据监控与采集模块110，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号。自动扶梯在运行的过程中会产生振动，当自动扶梯处于正常的工作状态模式时会使其振动模式存在固定的隐藏特征，并且所述自动扶梯的运行速度与振动的模式特征之间也存在着关联性，所述自动扶梯的振动还会产生声音信号，因此，可以从所述自动扶梯在生产工作时的振动特征、运行速度特征以及声音特征来综合对于所述自动扶梯进行性能测试。
更具体地，在本申请实施例中，所述振动特征提取模块120，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量。考虑到所述振动信号在时域上的表现为波形图，因此，使用在图像的局部隐含特征提取方面具有优异表现的作为过滤器的第一卷积神经网络模型来对于所述振动信号的波形图进行特征挖掘，以提取出所述振动信号的波形图中的局部隐含特征分布信息，从而得到振动波形特征向量。
相应地，在一个具体示例中，所述振动特征提取模块120，进一步用于：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。
更具体地，在本申请实施例中，所述运行速度特征提取模块130，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量。对于所述多个预定时间点的所述自动扶梯的运行速度值，考虑到其在时间维度上具有着关联性的特征分布信息，因此，进一步将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型中进行特征提取，以提取出所述自动扶梯的运行速度在时序上的隐含关联特征分布信息，从而得到速度特征向量。
相应地，在一个具体示例中，所述运行速度特征提取模块130，用于：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征向量；对所述卷积特征向量进行池化处理以得到池化特征向量；以及，对所述池化特征向量进行非线性激活以得到激活特征向量；其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。
更具体地，在本申请实施例中，所述高斯融合模块140，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵。进一步地，考虑到所述振动波形特征向量和所述速度特征向量在高维特征空间中都各自对应着一个特征分布流形，而这些特征分布流形由于本身的不规则形状和散布位置，如果仅通过将各个数值检测数据的特征向量级联来表示理想工况的特征信息，将相当于简单地将这些特征分布流形按原位置和形状来进行叠加，使得新获得的特征分布流形的边界变得非常不规则和复杂，在通过梯度下降来寻找最优点时，非常容易陷入局部极值点中而无法获得全局最优点。因此，需要进一步地对所述振动波形特征向量和所述速度特征向量进行适当的融合，使得各个特征分布能够相对于彼此在型面上收敛。应可以理解，考虑到高斯密度图在深度学习中，广泛地用于基于先验的目标后验的估计，因此可以用于修正数据分布，从而实现上述目的。具体地，在本申请的技术方案中，基于高斯分布构造所述振动波形特征向量和所述速度特征向量的高斯密度图，并将所述高斯密度图进行高斯离散化处理以得到融合特征矩阵。
相应地，在一个具体示例中，如图3所示，所述高斯融合模块140，包括：融合高斯密度图构造单元141，用于使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；其中，所述公式为：
其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及，高斯离散化单元142，用于对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。
更具体地，在本申请实施例中，所述理想声音生成模块150，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号。为了生成理想工况下的理想声音信号以与实际声音信号在高维特征空间中进行特征差异性对比，进而来对于所述自动扶梯的性能检测，需要进一步将具有理想工况下的所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。这里，所述对抗生成网络包括鉴别器和生成器，其中，所述生成器用于理想声音信号，所述鉴别器用于计算所述理想声音信号和真实声音信号之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有理想声音信号生成功能的生成器。
相应地，在一个具体示例中，所述对抗生成网络包括鉴别器和生成器，其中，所述理想声音生成模块150，进一步用于将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。
更具体地，在本申请实施例中，所述孪生检测模块160，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
相应地，在一个具体示例中，如图4所示，所述孪生检测模块160，包括：生成声音编码单元161，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；探测声音编码单元162，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。声音信号在时域中的表现形式为波形图，因此，进一步再将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型中进行编码，以分别提取出所述理想工况下的理想声音信号的隐含特征与所述实际探测的声音信号的隐含特征，从而得到生成声音特征图和探测声音特征图。特别地，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用包含有相同网络结构的图像编码器的所述孪生网络模型来分别进行所述生成声音信号和所述探测声音信号的特征提取能够挖掘出两者的波形图像在图像源域端差异不明显的特征信息，以此来进行所述自动扶梯的性能检测。
更具体地，在本申请实施例中，所述度量模块170，用于计算所述生成声音特征图和所述探测声音特征图之间的距离。进一步地，计算所述生成声音特征图和所述探测声音特征图之间的距离，例如余弦距离，就可以所述理想声音信号特征与所述探测声音信号特征之间的差异性特征分布信息来进行所述自动扶梯的性能检测。然后，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。相应地，在本申请的一个具体示例中，响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。也就是，如果所述理想声音特征与所述探测声音特征之间的差异性特征差距较大，那么所述自动扶梯的性能异常。能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
特别地，在本申请的技术方案中，这里，针对所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型得到的所述生成声音特征图和所述探测声音特征图，为了提高所述生成声音特征图和所述探测声音特征图之间的距离计算的准确性，期望所述生成声音特征图和所述探测声音特征图在特征分布上具有相似性，即，期望所述生成声音特征图和所述探测声音特征图的特征分布在高维特征空间内存在尽量小的空间位置误差。因此，考虑到所述生成声音信号是通过模拟所述探测声音信号获得的，因此所述生成声音特征图和所述探测声音特征图在特征分布上存在一定的对应性，因此，可以对所述生成声音特征图和所述探测声音特征图分别进行相对类角度概率信息表示校正。
相应地，在一个具体示例中，如图5所示，所述度量模块170，包括：生成声音特征图校正单元171，用于基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；其中，所述公式为：
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，和分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，表示所述优化生成声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；探测声音特征图校正单元172，用于基于所述生成声音特征图以如下公式对所述探测声音特征图进行相对类角度概率信息表示校正以得到优化探测声音特征图；其中，所述公式为：
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，和分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，表示所述优化探测声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；度量单元173，用于计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离。
这里，所述相对类角度概率信息表示校正通过所述生成声音特征图F1和所述探测声音特征图F2之间的相对类角度概率信息表示，来进行所述生成声音特征图F1和所述探测声音特征图F2在高维特征空间内的特征分布的空间位置误差的几何精度稀释，从而在所述生成声音特征图F1和所述探测声音特征图F2间具有一定对应性的情况下，基于所述生成声音特征图F1和所述探测声音特征图F2各自的各位置的特征值分布相较于彼此整体的分布约束性，来通过按位置的逐点回归来进行特征的隐式上下文对应性校正，从而提高所述生成声音特征图和所述探测声音特征图在特征分布上的相似性，以改进所述生成声音特征图和所述探测声音特征图之间的距离计算的准确性。能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
相应地，在一个具体示例中，所述度量单元173，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；其中，所述公式为：
其中F1′和F2′分别表示所述优化生成声音特征图和所述优化探测声音特征图，和分别表示所述优化生成声音特征图和所述优化探测声音特征图的第(i,j,k)位置的特征值，d(F1′,F2′)表示所述优化生成声音特征图和所述优化探测声音特征图之间的余弦距离。
更具体地，在本申请实施例中，所述性能检测结果生成模块180，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
相应地，在一个具体示例中，所述性能检测结果生成模块180，进一步用于响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。
综上，基于本申请实施例的自动扶梯生产用性能检测系统100被阐明，其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。
如上所述，根据本申请实施例的所述自动扶梯生产用性能检测系统100可以实现在各种终端设备中，例如基于自动扶梯生产用性能检测算法的服务器等。在一个示例中，自动扶梯生产用性能检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该自动扶梯生产用性能检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该自动扶梯生产用性能检测系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该自动扶梯生产用性能检测系统100与该终端设备也可以是分立的设备，并且该自动扶梯生产用性能检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性方法
图6为根据本申请实施例的自动扶梯生产用性能检测方法的流程图。如图6所示，根据本申请实施例的自动扶梯生产用性能检测方法，其包括：S110，获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；S120，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；S130，将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；S140，基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；S150，将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；S160，将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；S170，计算所述生成声音特征图和所述探测声音特征图之间的距离；以及，S180，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
图7为根据本申请实施例的自动扶梯生产用性能检测方法的系统架构的示意图。如图7所示，在所述自动扶梯生产用性能检测方法的系统架构中，首先，获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；接着，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；然后，将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；接着，基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；然后，将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；接着，将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；然后，计算所述生成声音特征图和所述探测声音特征图之间的距离；最后，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量，进一步包括：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量，包括：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征向量；对所述卷积特征向量进行池化处理以得到池化特征向量；以及，对所述池化特征向量进行非线性激活以得到激活特征向量；其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵，包括：使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；其中，所述公式为：
其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及，对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述对抗生成网络包括鉴别器和生成器，其中，所述将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号，进一步包括将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，包括：使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述计算所述生成声音特征图和所述探测声音特征图之间的距离，包括：基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；其中，所述公式为：
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，和分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，表示所述优化生成声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；基于所述生成声音特征图以如下公式对所述探测声音特征图进行相对类角度概率信息表示校正以得到优化探测声音特征图；其中，所述公式为：
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，和分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，表示所述优化探测声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；其中，所述公式为：
其中F1′和F2′分别表示所述优化生成声音特征图和所述优化探测声音特征图，和分别表示所述优化生成声音特征图和所述优化探测声音特征图的第(i,j,k)位置的特征值，d(F1′,F2′)表示所述优化生成声音特征图和所述优化探测声音特征图之间的余弦距离。
在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求，进一步包括响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。
这里，本领域技术人员可以理解，上述自动扶梯生产用性能检测方法中的各个步骤的具体操作已经在上面参考图1到图5的自动扶梯生产用性能检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种自动扶梯生产用性能检测系统，其特征在于，包括：
数据监控与采集模块，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；
振动特征提取模块，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；
运行速度特征提取模块，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；
高斯融合模块，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；
理想声音生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；
孪生检测模块，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
度量模块，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；以及
性能检测结果生成模块，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
2.根据权利要求1所述的自动扶梯生产用性能检测系统，其特征在于，所述振动特征提取模块，进一步用于：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。
3.根据权利要求2所述的自动扶梯生产用性能检测系统，其特征在于，所述运行速度特征提取模块，用于：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对所述输入数据进行卷积处理以得到卷积特征向量；
对所述卷积特征向量进行池化处理以得到池化特征向量；以及
对所述池化特征向量进行非线性激活以得到激活特征向量；
其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。
4.根据权利要求3所述的自动扶梯生产用性能检测系统，其特征在于，所述高斯融合模块，包括：
融合高斯密度图构造单元，用于使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；
其中，所述公式为：
其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及
高斯离散化单元，用于对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。
5.根据权利要求4所述的自动扶梯生产用性能检测系统，其特征在于，所述对抗生成网络包括鉴别器和生成器，其中，所述理想声音生成模块，进一步用于将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。
6.根据权利要求5所述的自动扶梯生产用性能检测系统，其特征在于，所述孪生检测模块，包括：
生成声音编码单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；
探测声音编码单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。
7.根据权利要求6所述的自动扶梯生产用性能检测系统，其特征在于，所述度量模块，包括：
生成声音特征图校正单元，用于基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；
其中，所述公式为：
f1i,j,k∈F1and f2i,j,k∈F2
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，f1i,j,k和f2i,j,k分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，f1i,j,k′表示所述优化生成声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；
探测声音特征图校正单元，用于基于所述生成声音特征图以如下公式对所述探测声音特征图进行相对类角度概率信息表示校正以得到优化探测声音特征图；
其中，所述公式为：
f1i,j,k∈F1and f2i,j,k∈F2
其中F1表示所述生成声音特征图，F2表示所述探测声音特征图，f1i,j,k和f2i,j,k分别是所述生成声音特征图和所述探测声音特征图的第(i,j,k)位置的特征值，且和是所述生成声音特征图和所述探测声音特征图的全部特征值的均值，f2i,j,k′表示所述优化探测声音特征图的第(i,j,k)位置的特征值，log表示以2为底的对数函数；
度量单元，用于计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离作为所述生成声音特征图和所述探测声音特征图之间的距离。
8.根据权利要求7所述的自动扶梯生产用性能检测系统，其特征在于，所述度量单元，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；
其中，所述公式为：
其中F1′和F2′分别表示所述优化生成声音特征图和所述优化探测声音特征图，f1i,j,k′和f2i,j,k′分别表示所述优化生成声音特征图和所述优化探测声音特征图的第(i,j,k)位置的特征值，d(F1′,F2′)表示所述优化生成声音特征图和所述优化探测声音特征图之间的余弦距离。
9.根据权利要求8所述的自动扶梯生产用性能检测系统，其特征在于，所述性能检测结果生成模块，进一步用于响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。
10.一种自动扶梯生产用性能检测方法，其特征在于，包括：
获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；
将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；
将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；
基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；
将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；
将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；
计算所述生成声音特征图和所述探测声音特征图之间的距离；以及
基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。
CN202211445371.1A 2022-11-18 2022-11-18 自动扶梯生产用性能检测系统及其方法 Active CN115762558B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211445371.1A CN115762558B (zh) 2022-11-18 2022-11-18 自动扶梯生产用性能检测系统及其方法
PCT/CN2022/138395 WO2024103470A1 (zh) 2022-11-18 2022-12-12 自动扶梯生产用性能检测系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211445371.1A CN115762558B (zh) 2022-11-18 2022-11-18 自动扶梯生产用性能检测系统及其方法

Publications (2)

Publication Number Publication Date
CN115762558A CN115762558A (zh) 2023-03-07
CN115762558B true CN115762558B (zh) 2023-08-01

Family

ID=85373166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211445371.1A Active CN115762558B (zh) 2022-11-18 2022-11-18 自动扶梯生产用性能检测系统及其方法

Country Status (2)

Country Link
CN (1) CN115762558B (zh)
WO (1) WO2024103470A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117116498A (zh) * 2023-10-23 2023-11-24 吉林大学 移动查房数据处理系统及其方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10112801B2 (en) * 2014-08-05 2018-10-30 Richard Laszlo Madarasz Elevator inspection apparatus with separate computing device and sensors
CN107703822B (zh) * 2017-10-27 2023-12-22 安徽建筑大学 一种洗衣机振动状态数据处理方法
CN108217368A (zh) * 2018-02-13 2018-06-29 通力电梯有限公司 用于自动扶梯的性能检测系统的操作设备
CN108303279A (zh) * 2018-02-13 2018-07-20 通力电梯有限公司 自动扶梯综合性能自动检测系统
JP7149197B2 (ja) * 2019-02-06 2022-10-06 株式会社日立製作所 異常音検知装置および異常音検知方法
CN112098121A (zh) * 2020-08-06 2020-12-18 中国建筑科学研究院有限公司建筑机械化研究分院 一种自动扶梯综合性能检测装置及方法
CN112305462A (zh) * 2020-11-09 2021-02-02 北京中拓新源科技有限公司 一种基于变压器声音识别变压器典型故障的系统
TWI789645B (zh) * 2020-11-18 2023-01-11 財團法人資訊工業策進會 沖壓品質檢測系統及沖壓品質檢測方法
US12051289B2 (en) * 2020-12-17 2024-07-30 Ge Infrastructure Technology Llc Cloud-based acoustic monitoring, analysis, and diagnostic for power generation system
CN113673346B (zh) * 2021-07-20 2022-07-22 中国矿业大学 一种基于多尺度SE-Resnet的电机振动数据处理与状态识别方法
CN113998551B (zh) * 2021-11-16 2023-04-11 江苏电子信息职业学院 一种电梯运行故障实时检测系统及其检测方法
CN113998553A (zh) * 2021-11-16 2022-02-01 江苏电子信息职业学院 一种电梯运行故障检测系统及其检测方法
CN114120974A (zh) * 2021-11-24 2022-03-01 江苏华电灌云风力发电有限公司 一种基于深度学习的风机叶片故障诊断方法
CN114386572A (zh) * 2021-12-31 2022-04-22 上海泛德声学工程有限公司 一种电机多信号深度学习检测方法
CN114940424B (zh) * 2022-05-30 2023-10-03 重庆紫光华山智安科技有限公司 一种电梯检测方法、系统、计算机设备及可读介质
CN115270860A (zh) * 2022-07-18 2022-11-01 国网信息通信产业集团有限公司 一种变压器异常诊断方法、系统及诊断设备

Also Published As

Publication number Publication date
WO2024103470A1 (zh) 2024-05-23
CN115762558A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
US11087226B2 (en) Identifying multiple causal anomalies in power plant systems by modeling local propagations
CN110648305B (zh) 工业图像检测方法、系统与计算机可读记录介质
CN112508105B (zh) 一种采油机故障检测与检索方法
CN109447263B (zh) 一种基于生成对抗网络的航天异常事件检测方法
CN117671396B (zh) 施工进度的智能监控预警系统及方法
CN115762558B (zh) 自动扶梯生产用性能检测系统及其方法
CN115410069A (zh) 基于多重注意力机制的故障检测方法及其系统
CN116992226A (zh) 一种水泵电机故障检测方法、系统
CN115018012B (zh) 一种高维度特性下的物联网时间序列异常检测方法及系统
KR102289212B1 (ko) 인공지능 기반 고장 진단 장치 및 방법
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN117591813B (zh) 基于多维特征的复杂装备故障诊断方法及系统
CN117131348B (zh) 基于差分卷积特征的数据质量分析方法及系统
CN116402777B (zh) 基于机器视觉的电力设备检测方法及系统
CN116204821B (zh) 用于轨道交通车辆的振动评估方法及系统
KR20220159672A (ko) 오토 인코더 기반 이상 데이터 감지 시스템 및 방법
CN116051911B (zh) 基于不确定性学习的小样本轴承振动图像数据故障诊断方法
CN116188445A (zh) 一种产品表面缺陷的检测定位方法、装置及终端设备
CN111354019B (zh) 一种基于神经网络的视觉跟踪失效检测系统及其训练方法
CN114565051A (zh) 基于神经元影响程度的产品分类模型的测试方法
EP3789930A1 (en) Method and system for data validation
CN115398442A (zh) 用于评估传感器测量值的设备和自动化方法和该设备的应用
CN114692887A (zh) 半监督学习系统及半监督学习方法
CN114118195B (zh) 一种基于决策树识别断路器操动机构振动的方法及系统
CN118378196B (zh) 基于多模态数据融合的工控主机异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant