CN110675427A - 智能振动检测方法及相关产品 - Google Patents

智能振动检测方法及相关产品 Download PDF

Info

Publication number
CN110675427A
CN110675427A CN201910815007.1A CN201910815007A CN110675427A CN 110675427 A CN110675427 A CN 110675427A CN 201910815007 A CN201910815007 A CN 201910815007A CN 110675427 A CN110675427 A CN 110675427A
Authority
CN
China
Prior art keywords
vibration
video
intelligent
target
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910815007.1A
Other languages
English (en)
Other versions
CN110675427B (zh
Inventor
高风波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zongzheng Intellectual Property Service Co ltd
Original Assignee
Shenzhen Haoxi Intelligent Technology Co Ltd
Shenzhen Guangning Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haoxi Intelligent Technology Co Ltd, Shenzhen Guangning Co Ltd filed Critical Shenzhen Haoxi Intelligent Technology Co Ltd
Priority to CN201910815007.1A priority Critical patent/CN110675427B/zh
Publication of CN110675427A publication Critical patent/CN110675427A/zh
Priority to PCT/CN2020/105735 priority patent/WO2021036669A1/zh
Application granted granted Critical
Publication of CN110675427B publication Critical patent/CN110675427B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种智能振动检测方法及相关产品。智能振动检测方法用于检测车辆的驱动电机，方法包括获取目标振动视频，并捕捉所述目标振动视频中的振动特征点并从目标振动视频中提取出所述振动特征点对应的状态变化信号，所述目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。这样可以根据振动参数信息得到车辆的驱动电机的运行状况，从而可以实现更方便地对车辆的驱动电机的运行状况进行监控和检测。

Description

智能振动检测方法及相关产品
技术领域
本发明涉及互联网技术领域，尤其涉及了一种智能振动检测方法及相关产品。
背景技术
互联网Internet属于传媒领域，又称国际网络，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。这种将计算机网络互相联接在一起的方法可称作“网络互联”，在这基础上发展出覆盖全世界的全球性互联网络称互联网，即是互相连接一起的网络结构。“互联网+”是创新2.0下的互联网发展的新业态，是知识社会创新2.0推动下的互联网形态演进及其催生的经济社会发展新形态。“互联网+”是互联网思维的进一步实践成果，推动经济形态不断地发生演变，从而带动社会经济实体的生命力，为改革、创新、发展提供广阔的网络平台。通俗的说，“互联网+”就是“互联网+ 各个传统行业”，但这并不是简单的两者相加，而是利用信息通信技术以及互联网平台，让互联网与传统行业进行深度融合，创造新的发展生态。它代表一种新的社会形态，即充分发挥互联网在社会资源配置中的优化和集成作用，将互联网的创新成果深度融合于经济、社会各域之中，提升全社会的创新力和生产力，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。
传统的故障监测机制一般是采用本地化检测设备，如在专用房间布置激光多普勒测振仪 LDVs，通过该设备进行本地化的振动检测，以及故障预测等，但是LDVs存在价格昂贵，使用环境受限(测试环境的温度、光照等环境影响会使测量结果严重变坏)，测试区域小、难以实现远程监控等缺点，难以满足日益增多的各类场景中的智能化的振动检测需求。
在相关技术中，关于电动汽车驱动电机故障的检测，通常是采用基于三轴加速度传感器的检测方案，这样的方案需要传感器数量较多，成本较高。
发明内容
本发明实施例提供一种智能振动检测方法及相关产品。
具体的，本申请实施例所公开的振动检测方法中的数据传输流程可以基于互联网+技术，形成本地+云端或服务器的分布式智能化振动检测系统，一方面本地可以通过采集装置进行精确的原始影像采集和预处理，另一方面云端或服务器可以基于获取到的分布式数据，结合通过大数据技术统计分析得到的各类专用故障检测模型，预测被检测目标的故障，实现互联网与传统故障监测行业的深度融合，提高故障监测的智能性和准确度，满足日益增多的各类场景中的智能化的振动检测需求。
第一方面，本发明实施例提供了一种智能振动检测方法，用于检测车辆的驱动电机，所述智能振动检测方法包括：
智能振动检测系统获取目标振动视频，并捕捉所述目标振动视频中的振动特征点并从目标振动视频中提取出所述振动特征点对应的状态变化信号，所述目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；
智能振动检测系统利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。
在某些实施例中，所述智能振动检测系统获取目标振动视频，并捕捉所述目标振动视频中的振动特征点并从目标振动视频中提取出所述振动特征点对应的状态变化信号包括：
智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点；
智能振动检测系统利用光流法对所述多个振动特征点进行追踪，以从目标振动视频中提取出所述振动特征点的状态变化信号。
在某些实施例中，所述智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点包括：
智能振动检测系统选择所述目标视频中的至少一帧图像，根据所述至少一帧图像确定所述驱动电机的环境影像中在视频采集过程中处于相对静止状态的参考特征点；
智能振动检测系统根据所述参考特征点、所述目标振动视频、以及预设的运动特征点提取策略，从所述目标振动视频中提取出符合预设要求的多个振动特征点。
在某些实施例中，所述图像采集装置包括成像模组及与所述成像模组固定连接的参照块，所述参照块在所述成像模组的视场范围内的预设位置，所述智能振动检测系统根据所述至少一帧图像确定所述驱动电机的环境影像中在视频采集过程中处于相对静止状态的参考特征点包括：
智能振动检测系统根据所述至少一帧图像中与所述预设位置对应的像素点，确定在视频采集过程中处于相对静止状态的参考特征点。
在某些实施例中，所述智能振动检测系统根据所述参考特征点、所述目标振动视频、以及预设的运动特征点提取策略，从所述目标振动视频中提取稳定的多个振动特征点作为所述符合预设要求的多个振动特征点包括：
智能振动检测系统将所述目标振动视频中的至少一帧图像包括的每一帧图像进行矩形分区，并将所述分区根据N*N组合成多个基础分区；
智能振动检测系统检测每一个基础分区中的边缘分区是否包含相对振动特征点，所述相对振动特征点为针对所述参考特征点进行相对运动的振动特征点；
若不包含，则智能振动检测系统确定所述基础分区中不包含稳定的振动特征点；
若包含，则智能振动检测系统确定所述相对振动特征点的振动距离是否处于预设范围；
若是，则智能振动检测系统确定所述相对振动特征点组成稳定的多个振动特征点，并将所述稳定的多个振动特定点作为所述符合预设要求的多个振动特征点。
在某些实施例中，所述智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点包括：
智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，所述预设类型的特征点包括以下至少一种：角点、边缘点、暗区的亮点以及亮区的暗点；基于最小差值平方和SSD匹配，计算所述初始特征点的流向量；
智能振动检测系统根据所述初始特征点对应的流向量计算所述初始特征点的偏移距离；
智能振动检测系统对多个初始特征点对应的多个偏移距离进行聚类，采用K-means聚类算法对所述多个偏移距离进行聚类，其中，设置k值为3，获得3个聚类类簇；对所述3个聚类类簇求平均值，并获得第一聚类平均值，第二聚类平均值和第三聚类平均值，其中，第一聚类平均值<第二聚类平均值<第三聚类平均值；
智能振动检测系统确定所述第二聚类平均值中的偏移距离对应的初始特征点为所述稳定的多个运动特征点，并作为符合预设要求的多个振动特征点。
在某些实施例中，所述智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，包括：
智能振动检测系统获取所述驱动电机的影像在所述目标振动视频中的占比；
智能振动检测系统根据所述占比确定初始特征点的参考数量；
智能振动检测系统以所述驱动电机的物体类别为查询标识集，查询预设的特征点配比关系库，获取所述驱动电机的图像帧在不同尺度空间下的第一类型的特征点的占比配置，所述第一类型包括角点和边缘点；
智能振动检测系统获取所述目标振动视频的亮度信息，根据所述亮度信息确定第二类型的特征点的占比配置，所述第二类型包括暗区的亮点以及亮区的暗点；
智能振动检测系统根据所述参考数量、所述第一类型和所述第二类型的特征点的占比配置，从所述目标振动视频中提取所述驱动电机的角点、边缘点、暗区的亮点的数量以及亮区的暗点。
在某些实施例中，所述智能振动检测系统利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息包括：
智能振动检测系统提取所述状态变化信号的垂直分量信号，并对所述垂直分量信号进行带通滤波处理；
智能振动检测系统利用主成分分析法对带通滤波处理之后的垂直分量信号进行分析，得到多个特征向量，并根据所述多个特征向量得到振动参数信息。
在某些实施例中，所述智能振动检测方法还包括：
智能振动检测系统将目标振动视频的多帧图像组成的帧序列进行空域金字塔分解，得到由多个不同空间分辨率的子图像组成的金字塔形结构；
智能振动检测系统对所述金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理，得到目标频带对应的变换信号；
智能振动检测系统对所述变换信号对应的位移进行A倍放大，获得放大后信号，其中A 的取值范围为(4，Amax)，其中Amax的值由目标频带和变换信号的位移函数确定；
智能振动检测系统结合放大后信号和所述金字塔形结构进行金字塔重构，得到放大输出视频。
在某些实施例中，所述智能振动检测方法还包括：
智能振动检测系统利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频；
智能振动检测系统将所述多个电机振动视频分别作为目标振动视频，获取各电机振动视频对应的振动参数信息；
智能振动检测系统对各电机振动视频对应的振动参数信息进行分析，提取出共性振动参数数据。
在某些实施例中，所述智能振动检测系统利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频包括：
智能振动检测系统在接收到车辆的中控发送的电机检测指令时，利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频，所述电机检测指令是所述中控在所述车辆处于预设状态时发出的。
在某些实施例中，所述智能振动检测方法还包括；
当根据所述振动参数数据分析得到所述驱动电机处于第一预设故障状态时，智能振动检测系统向所述中控发送电机监控请求，以使得所述中控控制所述车辆进入电机监控状态，所述车辆处于电机监控状态时，所述中控按照预设时间间隔发送电机检测指令；
在所述车辆处于电机监控状态，且根据所述振动参数数据分析得到所述驱动电机处于正常状态的次数超过预设次数时，智能振动检测系统向所述中控发送电机监控取消请求，以使得所述中控控制所述车辆退出电机监控状态。
第二方面，本发明实施例还提供一种智能振动检测系统，包括：
视频处理模块，用于获取目标振动视频，并捕捉所述目标振动视频中的振动特征点并从目标振动视频中提取出所述振动特征点对应的状态变化信号，所述目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；
数据分析模块，用于利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。
第三方面，本发明实施例还提供一种智能振动检测设备，包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的振动检测程序，其中所述信息推荐程序被所述处理器执行时，实现上述任一项实施例所述的智能振动检测方法中的步骤的指令。
其中，智能振动检测设备执行上述智能振动检测方法中的步骤时所实现技术效果与上述智能振动检测方法对应，为避免冗余此处不再赘述。
在某些实施例中，所述智能振动检测设备还包括与处理器连接的图像采集装置，所述图像采集装置用于拍摄车辆的驱动电机得到所述目标振动视频。
第四方面，本发明实施例还提供一种车辆，包括驱动电机、中控及上述任一实施例所述的智能振动检测设备，所述中控与所述处理器连接，所述处理器用于获取所述与所述驱动电机对应的振动参数信息。
第五方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有振动检测程序，其中所述振动检测程序被处理器执行时，实现上述任一项所述的智能振动检测方法。
本发明实施例的智能振动检测方法，智能振动检测系统先从目标振动视频中提取出振动特征点的状态变化信号，再利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。这样图像采集装置拍摄车辆的驱动电机得到目标振动视频之后发送至智能振动检测系统，智能振动检测系统要获取到利用图像采集装置拍摄车辆的驱动电机得到目标振动视频，就可以从振动视频中提取出振动参数信息，并根据振动参数信息得到车辆的驱动电机的运行状况，这样智能振动检测系统对车辆的驱动电机的运行状况进行远程监控和检测。
附图说明
下面将对本发明实施例涉及的一些附图进行说明。
图1为本发明实施例的设备的硬件结构示意图；
图2为本发明实施例的智能振动检测方法的流程示意图；
图3为本发明实施例的智能振动检测方法的另一流程示意图；
图4为本发明实施例的智能振动检测方法的又一流程示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
请参阅图1，图1是本发明实施例提供的智能振动检测设备100的硬件结构示意图。智能振动检测设备100包括处理器101、存储器102、输入输出接口103，以及一个或多个程序，一个或多个程序被存储在存储器102中，并且被配置由处理器101执行，程序包括用以下任一实施例的智能振动检测方法的步骤的指令。存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器102可选的还可以是独立于前述处理器101的存储装置。输入输出接口103可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
请参阅图2，图2是本发明实施例提供的一种智能振动检测方法的流程示意图，这种方法可包括但不限于如下步骤：
01、智能振动检测系统获取目标振动视频，并捕捉目标振动视频中的振动特征点并从目标振动视频中提取出振动特征点对应的状态变化信号；
本发明实施例的智能振动检测方法可以由本发明实施例的智能振动检测系统实现，也可以由本发明实施例的智能检测装置实现。
目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；图像采集装置可以为智能振动检测设备或智能振动检测系统的图像采集装置，也可以是智能终端的摄像头，例如手机、智能手表上的摄像头。
可以理解，振动处理设备或智能振动检测系统可以包括图像采集装置，也可以不包括图像采集装置。振动处理设备或智能振动检测系统包括图像采集装置时，可利用图像采集装置拍摄车辆的驱动电机得到目标振动视频。当振动处理设备不包括图像采集装置时，可以利用输入输出接口103与其他设备的图像采集装置或单独的图像采集装置连接，并获取图像采集装置采集到的包含有车辆的驱动电机的振动图像的目标振动视频。
目标振动视频中包含有车辆的驱动电机的图像。车辆的驱动电机的振动情况可以反应车辆的驱动电机的运行状况，可通过分析目标振动视频，从目标振动视频中提取出车辆的驱动电机的振动信息，然后分析该振动信息得到车辆的驱动电机的运行状况。
具体地，在获取到目标振动视频之后，智能振动检测系统可以对目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点；然后利用光流法对多个振动特征点进行追踪，以从目标振动视频中提取出振动特征点的状态变化信号。状态变化信号可理解为，目标振动视频中的特征点的状态随时间发生变化的数据信息，例如车辆的驱动电机的振动信息，可通过亮度的变化体现，状态变化信号则包括特征点的亮度变化信号。
对目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点，具体可以为，选择目标振动视频中的至少一帧图像，根据至少一帧图像确定振动物体的环境影像中在视频采集过程中处于相对静止状态的参考特征点；根据参考特征点、目标振动视频、以及预设的振动特征点提取策略，提取振动物体的影像中稳定的多个振动特征点作为符合预设要求的多个振动特征点。
可选的，所述根据参考特征点、所述目标振动视频、以及预设的振动特征点提取策略，提取所述振动物体的影像中稳定的多个振动特征点，包括：
将所述目标振动视频中的至少一帧图像包括的每一帧图像进行矩形分区，并将所述分区根据N*N组合成多个基础分区；检测每一个基础分区中的边缘分区是否包含相对振动特征点，所述相对振动特征点为针对所述参考特征点进行相对运动的振动特征点；若不包含，则确定所述基础分区中不包含稳定的振动特征点；若包含，则确定所述相对振动特征点的振动距离是否处于预设范围，若是，则确定所述相对振动特征点组成稳定的多个振动特征点。
具体地，对于目标振动视频来说，除了拍摄到振动物体的振动图像，还包括一些相对静止的背景图像，例如拍摄电线的晃动时，周围的房屋；拍摄引擎振动时，室内建筑地面等。获取相对静止状态的物体上的点作为参考特征点，然后根据预设的振动特征点提取策略，提取振动物体的影像中稳定的多个振动特征点。
对于目标振动视频中的至少一帧图像来说，并不是每个区域都包含振动点，如果对图像帧中的每个区域进行一一排查，获得稳定的振动特征点，需要耗费大量的时间。那么，可以采用适当的分区策略提取振动特征点以提升效率。本申请实施例提供的图像帧分区策略中，可以按照每一个像素对每一帧图像进行矩形分区，一个分区对应一个像素，如分区21，然后将分区根据N*N组合成多个基础分区，N为大于2的整数。例如当N＝3时，获得基础分区 22，然后检测每一个基础分区中的边缘分区是否包含相对振动特征点，如基础分区22中，检测黑色圆点标记的边缘分区，若其中不包含相对振动特征点，则确定基础分区22中不包含稳定的振动特征点。
若边缘分区中包含相对振动特征点，则确定相对振动特征点的振动距离是否处于预设范围，稳定的振动特征点表征振动物体做往复运动，那么其对应的振动距离处于一定的范围内。当振动特征点的振动距离超出了预设范围，则认为该振动特征点是剧烈运动的点，不属于稳定的振动特征点。预设范围的获取方法，可以根据经验值确定，也可以对所有相对振动特征点的运动距离进行聚类，获得一个包含数据量最多的类簇，然后根据收敛值确定振动距离的预设范围，若收敛值为0.9，那么运动距离中90％满足的数值范围即为预设范围。
在一个可选实施例中，图像采集装置包括成像模组及与所述成像模组固定连接的参照块，所述参照块在所述成像模组的视场范围内的预设位置，所述智能振动检测系统根据所述至少一帧图像确定所述驱动电机的环境影像中在视频采集过程中处于相对静止状态的参考特征点包括：智能振动检测系统根据所述至少一帧图像中与所述预设位置对应的像素点，确定在视频采集过程中处于相对静止状态的参考特征点。可以理解，参照块与成像模组的相对位置是固定的，那么参照块相对于成像模组就是相对静止的。当参照块在成像模组的视场中的位置确定时，即可以确定该参照块在目标振动视频中的位置，也即可以根据预设位置确定该参照块在目标振动视频中的位置。根据根据预设位置确定该参照块在目标振动视频中的位置的像素点，并作为参考特征点。
在另一个可选实施例中，所述智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点包括：智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，所述预设类型的特征点包括以下至少一种：角点、边缘点、暗区的亮点以及亮区的暗点；基于最小差值平方和SSD匹配，计算所述初始特征点的流向量；智能振动检测系统根据所述初始特征点对应的流向量计算所述初始特征点的偏移距离；智能振动检测系统对多个初始特征点对应的多个偏移距离进行聚类，采用K-means聚类算法对所述多个偏移距离进行聚类，其中，设置k值为3，获得3个聚类类簇；对所述3个聚类类簇求平均值，并获得第一聚类平均值，第二聚类平均值和第三聚类平均值，其中，第一聚类平均值<第二聚类平均值<第三聚类平均值；智能振动检测系统确定所述第二聚类平均值中的偏移距离对应的初始特征点为所述稳定的多个运动特征点，并作为符合预设要求的多个振动特征点。
所述智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，包括：智能振动检测系统获取所述驱动电机的影像在所述目标振动视频中的占比；智能振动检测系统根据所述占比确定初始特征点的参考数量；智能振动检测系统以所述驱动电机的物体类别为查询标识集，查询预设的特征点配比关系库，获取所述驱动电机的图像帧在不同尺度空间下的第一类型的特征点的占比配置，所述第一类型包括角点和边缘点；智能振动检测系统获取所述目标振动视频的亮度信息，根据所述亮度信息确定第二类型的特征点的占比配置，所述第二类型包括暗区的亮点以及亮区的暗点；智能振动检测系统根据所述参考数量、所述第一类型和所述第二类型的特征点的占比配置，从所述目标振动视频中提取所述驱动电机的角点、边缘点、暗区的亮点的数量以及亮区的暗点。
02、智能振动检测系统利用主成分分析法对状态变化信号进行分析，以从状态变化信号中提取出目标振动视频对应的振动参数信息。
获取到的状态变化信号中，包含有引起目标振动视频中像素点的亮度变化的多个因素的信息，那么可通过主成分分析法，对状态变化信号进行降维处理，以分析影响较大的几个因素，对影响较小的因素进行过滤，保留振动信息。
具体地，可先提取状态变化信号中的垂直分量信号，并对垂直分量信号进行带通滤波处理；然后利用主成分分析法对带通滤波处理之后的垂直分量信号进行分析，得到多个特征向量，并根据多个特征向量得到振动参数信息。
可以理解，车辆的驱动电机的水平运动主要是由于动平衡摇摆引起的，与车辆的驱动电机的设备健康状况关系不大，因此可仅提取垂直分量信号，并对垂直分量信号进行滤波处理之后，再利用主成分分析法进行分析，提取出振动参数信息。具体可以通过巴特沃斯带通数字滤波器对垂直分量进行滤波处理。
利用主成分分析法对垂直分量信号进行分析具体可以为：
设yfn为第n帧上第n点的垂直位移:n＝{1，…，n}，f＝{1，…，f}，其中n为计算的点数，f为视频中所有帧数。我们对均值的定义为:
Figure BDA0002186113160000091
矩阵Y的中心位移项为：Yfn＝yfn-μn；
定义协方差矩阵为
然后按照以下方式利用主成分分析法(PCA)将位置变化的主轴作为协方差矩阵的特征向量：CU＝ΛU。
其中：Λ＝diag{λ1，λ2，……，λn}是特征值的对角矩阵，U＝{μ1，μ2，……，μ3}是特征向量每一列的一个矩阵μn，对应特征值λn。
最后可以根据Si(t)＝yfnμi得到μi。其中，t＝f△t，△t为两个相邻帧之间的时间步，μi为输出的特征向量，可根据该特征向量得到振动参数信息。
本发明实施例的智能振动检测方法，智能振动检测系统先从目标振动视频中提取出振动特征点的状态变化信号，再利用主成分分析法对状态变化信号进行分析，以从状态变化信号中提取出目标振动视频对应的振动参数信息。这样图像采集装置拍摄车辆的驱动电机得到目标振动视频之后发送至智能振动检测系统，智能振动检测系统要获取到利用图像采集装置拍摄车辆的驱动电机得到目标振动视频，就可以从振动视频中提取出振动参数信息，并根据振动参数信息得到车辆的驱动电机的运行状况，这样智能振动检测系统可以在云端远程对车辆的驱动电机的运行状况进行监控和检测。
在具体的实现过程中，在需要获取车辆的驱动电机的运行状况时，只需要利用图像采集装置拍摄车辆的驱动电机得到目标振动视频，然后将目标振动视频发送至智能振动处理设备或智能振动检测系统，智能振动处理设备或智能振动检测系统远程获取目标振动视频，从目标振动视频中提取出振动参数信息，振动参数信息即可以反应车辆的驱动电机的运行状况，从而实现了对车辆的驱动电机的运行状况进行远程监控和检测。
请参阅图3，基于上述实施例，智能振动检测方法还包括以下步骤：
03、智能振动检测系统将目标振动视频的多帧图像组成的帧序列进行空域金字塔分解，得到由多个不同空间分辨率的子图像组成的金字塔形结构；
04、智能振动检测系统对金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理，得到目标频带对应的变换信号；
05、智能振动检测系统对变换信号对应的位移进行A倍放大，获得放大后信号，其中A 的取值范围为(4，Amax)，其中Amax的值由目标频带和变换信号的位移函数确定；
06、智能振动检测系统结合放大后信号和金字塔形结构进行金字塔重构，得到放大输出视频。
本实施例采用欧拉运动放大对目标振动视频进行放大得到放大输出视频。那么，本申请实施例的智能振动检测方法，不仅可以从目标振动视频中提取出目标振动视频对应的振动参数信息，还可以得到经过振动放大处理的放大输出视频。这样可以根据振动参数信息得到车辆的驱动电机的各个振动特征点的状态变化情况，还可以根据放大输出视频得到车辆的驱动电机的整体运行状况。而且放大输出视频放大了视频中的振动特征，可以供用户观看，使用户更加直观地了解车辆的驱动电机的运行状况。
可先将目标振动视频中的像素转换成时间和空间的函数，即通过图像金字塔变换将目标振动视频的多帧图像组成的帧序列分解成多个不同空间分辨率、不同尺度大小的子图像以构成一个金字塔塔型结构，例如采用高斯金字塔对目标振动视频的多帧图像进行分解，即由一组在尺寸上逐层减半的图像序列组成金字塔结构，序列中的每一级图像均为其前一级图像低通滤波并隔行隔列采样的结果。
进行金字塔分解即对帧序列进行空域滤波，分解得到不同空间频率的频带，并对这些频带分别进行放大。因为处于不同空间频率的频带对应的信噪比不同，空间频率越低，图像噪声越少，信噪比越高，因此每层空间频率的频带可以设置不同的放大系数。例如可以使用一个线性可变的放大倍数来放大不同频率的频带。金字塔结构中，从顶层到底层，放大倍数依次降低。
通过金字塔处理得到不同空间频率的频带后，还可以对每个频带进行时域的带通滤波处理，以得到感兴趣的变换信号，即目标频带对应的变换信号，并只对目标频带对应的变换信号进行放大处理。在进行带通滤波处理时，可以采用理想带通滤波器，Butterworth带通滤波器，二阶无限脉冲响应滤波器等。
获得目标频带对应的变换信号后，令I(x，t)为点x在时刻t的灰度值，且初始值为f(x)，则：
Figure BDA0002186113160000111
其中δ(t)表示位移信号。
对I(x，t)放大α倍，即对位移信号δ(t)进行放大，且放大后的信号为：
Figure BDA0002186113160000112
因为微小运动进行放大时，倍数太小是没有意义的，因此A的最小取值大于4。另外，放大倍数与空间频率相关，且满足如下关系：
其中，空间频率为ω，目标频带的空间波长为λ，且λ＝2π/ω，则可通过目标频带和变换信号的位移函数确定α的最大值。Amax≤α。
获得放大后信号之后，将其重新与原本的频带相结合，再通过金字塔重构，例如拉普拉斯金字塔变换重构，得到放大后的图像，进行得到放大输出视频。
可选的，对金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理，得到目标频带对应的变换信号，包括：按照金字塔结构从下到上获取每个子图像在不同空间频率的频带，其中金字塔结构最下面一层为分辨率最低的子图像对应的层；将获取到的不同空间频率的频带按照获取顺序与标准频带进行匹配，确定频带与标准频带是否匹配成功；当频带与标准频带匹配成功时，确定频带为目标频带；获取频域对应的子图像为目标频带对应的变换信号。
具体地，对目标振动视频的图像帧序列进行金字塔分解后，获得金字塔型结构。金字塔型结构包括多层子图像，且从上到下的图像分辨率依次降低，空间频率依次降低。对每层图像进行时域带通滤波处理，是为了得到目标频带，使得目标频带的子图像分辨率能够清晰表达图像的运动特征，同时不会因为分辨率过高造成计算量过大。因此，按照金字塔结构从下到上获取每个子图像在不同空间频率的频带，并且按照获取顺序与标准频带进行对比，当确定某一层子图像的频带与标准频带匹配成功时，就不需要再对该层子图像之上的一层或多层子图像进行空间频率的频带获取和匹配，提升了时域带通滤波的效率。另外，金字塔分解的最大层数确定：log2(min(xres,yres))，其中xres为图像的宽度像素值，yres为图像的高度像素值。
可选的，对金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理，得到目标频带对应的变换信号，包括：
获取金字塔结构的总层数N，其中金字塔结构由下到上层数依次增大，对应的子图像分辨率依次升高；
对金字塔结构中的多个子图像进行分组，其中第一组包括2n+1层对应的子图像，第二组包括2n层对应的子图像，其中n、m为大于或等于0的整数，N≥max(2n,2n+1)；
将第一组子图像采用第一处理器按照层数从小到大进行时域带通滤波处理，将第二组子图像采用第二处理器按照层数从小到大进行时域带通滤波处理，时域带通滤波处理为将子图像对应的不同空间频率的频带与标准频带进行匹配，第一处理器和第二处理器为独立运行的处理器；
当第一处理器或第二处理器确定频带与标准频带匹配成功时，确定频带为目标频带；
获取目标频带对应的子图像为第一目标子图像，获取第一目标子图像上面一层子图像为第二目标子图像；
确定第一目标子图像和第二目标子图像为目标频带对应的变换信号。
具体地，在对目标振动视频的多帧图像组成的帧序列进行空域金字塔分解后，可以获得金字塔结构的总层数N，且金字塔结构从下到上1～N层对应子图像的分辨率依次升高。然后对N层子图像进行分组，包括基数组和偶数组，基数组采用第一处理器按照1，3，5…2n+1 的顺序进行时域带通滤波处理，偶数组采用第二处理器按照2，4，6，……，2(n+1)的顺序进行时域带通滤波处理，两个处理器可以同时开始运行，也可以具有一定的处理时间间隔，另外，时域带通滤波处理是为了获取目标频带，获取方法可以是将子图像对应的不同空间频率的频带与标准频带进行匹配。当第一处理器或第二处理器确定频带与标准频带匹配成功时，确定频带为目标频带。
因为目标频带表示能反应图像振动信息的最低分辨率子图像的空间频率，那么确定目标频带对应的子图像为第一目标子图像，然后获取目标频带对应子图像上一层的子图像作为第二目标子图像，将第一目标子图像和第二目标子图像为目标频带对应的变换信号，进行后续放大变换。这样，可以更准确地对目标振动视频对应的帧图像进行放大，获得更准确的运动信息，同时也避免了对更高分辨率图像进行放大的需要增加的运算量。
在本申请实施例中，对金字塔结构对应的子图像进行分组，然后通过两个独立运行的处理器对不同组的子图像进行时域带通滤波处理，可以提升滤波处理效率，同时在获取到目标频带对应层的子图像作为第一目标子图像后，获取其上一层的子图像作为第二目标子图像，然后将第一目标子图像和第二目标子图像为目标频带对应的变换信号，这样可以获得更准确的放大运动信息，同时也避免了对更高分辨率图像进行放大的需要增加的运算量。
本发明实施例还提供一种车辆，包括驱动电机、中控及上述实施例的振动检测振动处理设备，中控与处理器连接，处理器用于获取与驱动电机对应的振动参数信息。图像采集装置可安装在车辆，例如可以安装在驱动电机的机箱的内部，这样可以避免传感器外置导致传感器因腐蚀、进水、外力碰撞等原因造成损坏。图像采集装置的视场范围覆盖驱动电机。
本发明实施例的智能振动检测方法，可用于检测车辆的驱动电机。在得到放大输出视频之后，车辆的中控可将该放大输出视频发送至用户终端，例如手机、电脑等。或者直接根据用户指令，将该放大输出视频在中控显示屏上显示出来。这样用户可以通过放大输出视频直观地看到驱动电机的运行状况，而且经过振动放大的放大输出视频可以更好地体现驱动电机的振动情况。
请参阅图4，在某些实施例中，智能振动检测方法还包括：
07、智能振动检测系统利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频；
可以理解，本实施例的智能振动检测方法可用于检测车辆的驱动电机的振动情况，驱动电机的振动情况反映驱动电机的健康状况。本实施例中，车辆的驱动电机为车辆的驱动电机，图像采集装置连续拍摄驱动电机得到多个电机振动视频。车辆的驱动电机在工作过程中可能会由于路况、驾驶员的操控而影响导致拍摄到的驱动电机的电机振动视频中包含有除其他噪声信号。那么可根据连续拍摄多个时长相同的电机振动视频，这样可以避免由于路况、驾驶员的操控等临时因素造成的振动对后续利用振动视频分析驱动电机的健康状况造成影响。
可在接收到车辆的中控发送的电机检测指令时，利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频，电机检测指令是中控在车辆处于预设状态时发出的。预设状态可以是车辆处于平稳行驶时的状态。例如可以是行驶速度、油耗均处于稳定状态时，且根据导航得到行驶路线在预设距离内也处于为直线时的状态。中控可以在车辆行驶过程中，实时对行驶速度、油耗、行驶路线等反映车辆行驶状态的参数进行监控，当根据这些参数可以得出车辆处于预设行驶状态时，则发出电机检测指令。
预设状态还可以是预设的故障状态。具体地，当根据振动参数数据分析得到驱动电机处于第一预设故障状态时，向中控发送电机监控请求，以使得中控控制车辆进入电机监控状态，车辆处于电机监控状态时，中控按照预设时间间隔发送电机检测指令。在车辆处于电机监控状态，且根据振动参数数据分析得到驱动电机处于正常状态的次数超过预设次数时，向中控发送电机监控取消请求，以使得中控控制车辆退出电机监控状态。第一预设故障状态可以理解为是驱动电机处于轻微的故障状态，但是可以短时间继续行驶时的状态，或者根据振动参数分析得出驱动电机可能为故障的状态的可能性在一定范围内(例如40％～60％之间)时的状态。可通过判断振动参数数据是否与预设的第一预设故障状态对应的振动参数范围匹配，若匹配则认为驱动电机去处于第一预设故障状态。
还可以在根据振动参数数据分析得到驱动电机处于第二预设状态时，向中控发出故障告警指令，以使得中控及时通知用户或者驾驶员驱动电机出现了故障。第二预设状态可以理解为根据振动参数数据可以确定驱动电机已出现故障时的状态。当中控发出故障告警指令预设时长之后，若中控检测到用户没有采取对应的应对措施，则控制驱动电机停止工作。
08、智能振动检测系统将多个电机振动视频分别作为目标振动视频，获取各电机振动视频对应的振动参数信息；
将多个电机振动视频分别作为目标振动视频，利用上述实施例中的步骤01和步骤02获取各电机振动视频对应的振动参数信息。
还可以利用上述实施例中的步骤03-步骤06对各电机振动水平利用欧拉算法进行振动放大，得到对应的放大输出视频。
09、智能振动检测系统对各电机振动视频对应的振动参数信息进行分析，提取出共性振动参数数据。
如此，从各电机振动视频对应的振动参数信息中提取出共性振动参考数据，可以排除路况、驾驶员的操控等临时因素造成的振动。
可根据共性振动参数数据确定驱动电机的运行状况。具体地，可先向车辆的中控发送电机参数获取请求；然后接收中控反馈的驱动电机参数，例如额定转速、功率、型号等，并根据电机参数利用预设的数字孪生模型计算驱动电机正常运行的标准振动参数范围；比对共性振动参数和标准振动参数范围以确定驱动电机的运行状况。
具体地，数字孪生模型可根据驱动电机参数对应的驱动电机正常工作时的标准振动参数范围的计算方法，将驱动电机参数输入数字孪生模型之后，可以得到该驱动电机参数对应的驱动电机正常工作时的标准振动参数范围，将获取到的共性振动参数和对应的标准振动参数范围比对，即可判断驱动电机是否处于正常运行状态。
可预先对多个驱动电机参数不同的驱动电机正常运行时的振动参数进行测量，得到各个驱动电机的标准振动参数范围。然后将每个驱动电机对应的驱动电机参数及标准振动参数范围作为样本数据，对预设模型进行训练，得到数字孪生模型。
本发明实施例还提供一种智能振动检测系统，包括：
视频处理模块，用于获取目标振动视频，并捕捉所述目标振动视频中的振动特征点并从目标振动视频中提取出所述振动特征点对应的状态变化信号，所述目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；
数据分析模块，用于利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。
在某些实施例中，视频处理模块具体用于：
智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点；
智能振动检测系统利用光流法对所述多个振动特征点进行追踪，以从目标振动视频中提取出所述振动特征点的状态变化信号。
在某些实施例中，视频处理模块具体用于：
智能振动检测系统获取目标振动视频，选择所述目标视频中的至少一帧图像，根据所述至少一帧图像确定所述驱动电机的环境影像中在视频采集过程中处于相对静止状态的参考特征点；
智能振动检测系统根据所述参考特征点、所述目标振动视频、以及预设的运动特征点提取策略，从所述目标振动视频中提取稳定的多个振动特征点作为所述符合预设要求的多个振动特征点。
在某些实施例中，所述图像采集装置包括成像模组及与所述成像模组固定连接的参照块，所述参照块在所述成像模组的视场范围内的预设位置，视频处理模块具体用于：
根据所述至少一帧图像中与所述预设位置对应的像素点，确定在视频采集过程中处于相对静止状态的参考特征点。
在某些实施例中，视频处理模块具体用于：
智能振动检测系统将所述目标振动视频中的至少一帧图像包括的每一帧图像进行矩形分区，并将所述分区根据N*N组合成多个基础分区；
智能振动检测系统检测每一个基础分区中的边缘分区是否包含相对振动特征点，所述相对振动特征点为针对所述参考特征点进行相对运动的振动特征点；
若不包含，则智能振动检测系统确定所述基础分区中不包含稳定的振动特征点；
若包含，则智能振动检测系统确定所述相对振动特征点的振动距离是否处于预设范围；
若是，则智能振动检测系统确定所述相对振动特征点组成稳定的多个振动特征点，并将所述稳定的多个振动特定点作为所述符合预设要求的多个振动特征点。
在某些实施例中，视频处理模块具体用于：
智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，所述预设类型的特征点包括以下至少一种：角点、边缘点、暗区的亮点以及亮区的暗点；基于最小差值平方和SSD匹配，计算所述初始特征点的流向量；
智能振动检测系统根据所述初始特征点对应的流向量计算所述初始特征点的偏移距离；
智能振动检测系统对多个初始特征点对应的多个偏移距离进行聚类，采用K-means聚类算法对所述多个偏移距离进行聚类，其中，设置k值为3，获得3个聚类类簇；对所述3个聚类类簇求平均值，并获得第一聚类平均值，第二聚类平均值和第三聚类平均值，其中，第一聚类平均值<第二聚类平均值<第三聚类平均值；
智能振动检测系统确定所述第二聚类平均值中的偏移距离对应的初始特征点为所述稳定的多个运动特征点，并作为符合预设要求的多个振动特征点。
在某些实施例中，视频处理模块具体用于：
智能振动检测系统获取所述驱动电机的影像在所述目标振动视频中的占比；
智能振动检测系统根据所述占比确定初始特征点的参考数量；
智能振动检测系统以所述驱动电机的物体类别为查询标识集，查询预设的特征点配比关系库，获取所述驱动电机的图像帧在不同尺度空间下的第一类型的特征点的占比配置，所述第一类型包括角点和边缘点；
智能振动检测系统获取所述目标振动视频的亮度信息，根据所述亮度信息确定第二类型的特征点的占比配置，所述第二类型包括暗区的亮点以及亮区的暗点；
智能振动检测系统根据所述参考数量、所述第一类型和所述第二类型的特征点的占比配置，从所述目标振动视频中提取所述驱动电机的角点、边缘点、暗区的亮点的数量以及亮区的暗点。
在某些实施例中，数据分析模块具体用于：
智能振动检测系统提取所述状态变化信号的垂直分量信号，并对所述垂直分量信号进行带通滤波处理；
智能振动检测系统利用主成分分析法对带通滤波处理之后的垂直分量信号进行分析，得到多个特征向量，并根据所述多个特征向量得到振动参数信息。
在某些实施例中，所述智能振动检测系统还包括：
第一图像处理模块，用于将所述目标振动视频的多帧图像组成的帧序列进行空域金字塔分解，得到由多个不同空间分辨率的子图像组成的金字塔形结构；
第二图像处理模块，用于对所述金字塔型结构中的多个子图像中每个子图像进行时域带通滤波处理，得到目标频带对应的变换信号；
第三图像处理模块，用于对所述变换信号对应的位移进行A倍放大，获得放大后信号，其中A的取值范围为(4，Amax)，其中Amax的值由目标频带和变换信号的位移函数确定；
放大视频输出模块，用于结合放大后信号和所述金字塔形结构进行金字塔重构，得到放大输出视频。
在某些实施例中，所述智能振动检测系统还包括：
控制模块，用于利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频；
参数获取模块，用于将所述多个电机振动视频分别作为目标振动视频，获取各电机振动视频对应的振动参数信息；
参数分析模块，用于对各电机振动视频对应的振动参数信息进行分析，提取出共性振动参数数据。
在某些实施例中，控制模块具体用于：
智能振动检测系统在接收到车辆的中控发送的电机检测指令时，利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频，所述电机检测指令是所述中控在所述车辆处于预设状态时发出的。
在某些实施例中，所述智能振动检测系统还包括；
监控清秀发送模块，用于当根据所述振动参数数据分析得到所述驱动电机处于第一预设故障状态时，向所述中控发送电机监控请求，以使得所述中控控制所述车辆进入电机监控状态，所述车辆处于电机监控状态时，所述中控按照预设时间间隔发送电机检测指令；
执行模块，用于在所述车辆处于电机监控状态，且根据所述振动参数数据分析得到所述驱动电机处于正常状态的次数超过预设次数时，向所述中控发送电机监控取消请求，以使得所述中控控制所述车辆退出电机监控状态。
其中，振动检测系统各个模块所实现的方法及对应的技术效果可参照本发明智能振动检测方法的各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有振动检测程序，其中振动检测程序被处理器执行时，实现上述任一实施例的智能振动检测方法的步骤。
其中，振动检测程序被执行时所实现的方法及对应的技术效果可参照本发明智能振动检测方法的各个实施例，此处不再赘述。
在上述实施例中，可全部或部分地通过软件、硬件、固件、或其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如光盘)、或者半导体介质(例如固态硬盘)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，也可以通过其它的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可结合或者可以集成到另一个系统，或一些特征可以忽略或不执行。另一点，所显示或讨论的相互之间的间接耦合或者直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例的方案的目的。
另外，在本发明各实施例中的各功能单元可集成在一个处理单元中，也可以是各单元单独物理存在，也可两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，或者也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质例如可包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或光盘等各种可存储程序代码的介质。

Claims (10)

1.一种智能振动检测方法，用于检测车辆的驱动电机，其特征在于，所述智能振动检测方法包括：
智能振动检测系统获取目标振动视频，并捕捉所述目标振动视频中的振动特征点，并从目标振动视频中提取出所述振动特征点对应的状态变化信号，所述目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；
智能振动检测系统利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。
2.根据权利要求1所述的智能振动检测方法，其特征在于，所述智能振动检测系统获取目标振动视频，并捕捉所述目标振动视频中的振动特征点，并从目标振动视频中提取出所述振动特征点对应的状态变化信号包括：
智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点；
智能振动检测系统利用光流法对所述多个振动特征点进行追踪，以从目标振动视频中提取出所述振动特征点的状态变化信号。
3.根据权利要求2所述的智能振动检测方法，其特征在于，所述智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点包括：
智能振动检测系统获取目标振动视频，选择所述目标视频中的至少一帧图像，根据所述至少一帧图像确定所述驱动电机的环境影像中在视频采集过程中处于相对静止状态的参考特征点；
智能振动检测系统根据所述参考特征点、所述目标振动视频、以及预设的运动特征点提取策略，从所述目标振动视频中提取稳定的多个振动特征点作为所述符合预设要求的多个振动特征点。
4.根据权利要求3所述的智能振动检测方法，其特征在于，所述图像采集装置包括成像模组及与所述成像模组固定连接的参照块，所述参照块在所述成像模组的视场范围内的预设位置，所述根据所述至少一帧图像确定所述驱动电机的环境影像中在视频采集过程中处于相对静止状态的参考特征点包括：
根据所述至少一帧图像中与所述预设位置对应的像素点，确定在视频采集过程中处于相对静止状态的参考特征点。
5.根据权利要求3或4所述的智能振动检测方法，其特征在于，所述智能振动检测系统根据所述参考特征点、所述目标振动视频、以及预设的运动特征点提取策略，从所述目标振动视频中提取稳定的多个振动特征点作为所述符合预设要求的多个振动特征点包括：
智能振动检测系统将所述目标振动视频中的至少一帧图像包括的每一帧图像进行矩形分区，并将所述分区根据N*N组合成多个基础分区；
智能振动检测系统检测每一个基础分区中的边缘分区是否包含相对振动特征点，所述相对振动特征点为针对所述参考特征点进行相对运动的振动特征点；
若不包含，则智能振动检测系统确定所述基础分区中不包含稳定的振动特征点；
若包含，则智能振动检测系统确定所述相对振动特征点的振动距离是否处于预设范围；
若是，则智能振动检测系统确定所述相对振动特征点组成稳定的多个振动特征点，并将所述稳定的多个振动特定点作为所述符合预设要求的多个振动特征点。
6.根据权利要求2所述的智能振动检测方法，其特征在于，所述智能振动检测系统获取目标振动视频，并对所述目标振动视频的图像帧进行校准，以获得符合预设要求的多个振动特征点包括：
智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，所述预设类型的特征点包括以下至少一种：角点、边缘点、暗区的亮点以及亮区的暗点；基于最小差值平方和SSD匹配，计算所述初始特征点的流向量；
智能振动检测系统根据所述初始特征点对应的流向量计算所述初始特征点的偏移距离；
智能振动检测系统对多个初始特征点对应的多个偏移距离进行聚类，采用K-means聚类算法对所述多个偏移距离进行聚类，其中，设置k值为3，获得3个聚类类簇；对所述3个聚类类簇求平均值，并获得第一聚类平均值，第二聚类平均值和第三聚类平均值，其中，第一聚类平均值<第二聚类平均值<第三聚类平均值；
智能振动检测系统确定所述第二聚类平均值中的偏移距离对应的初始特征点为所述稳定的多个运动特征点，并作为符合预设要求的多个振动特征点。
7.根据权利要求6所述的智能振动检测方法，其特征在于，所述智能振动检测系统根据所述目标振动视频提取所述驱动电机的图像帧在不同尺度空间下的预设类型的特征点作为初始特征点，包括：
智能振动检测系统获取所述驱动电机的影像在所述目标振动视频中的占比；
智能振动检测系统根据所述占比确定初始特征点的参考数量；
智能振动检测系统以所述驱动电机的物体类别为查询标识集，查询预设的特征点配比关系库，获取所述驱动电机的图像帧在不同尺度空间下的第一类型的特征点的占比配置，所述第一类型包括角点和边缘点；
智能振动检测系统获取所述目标振动视频的亮度信息，根据所述亮度信息确定第二类型的特征点的占比配置，所述第二类型包括暗区的亮点以及亮区的暗点；
智能振动检测系统根据所述参考数量、所述第一类型和所述第二类型的特征点的占比配置，从所述目标振动视频中提取所述驱动电机的角点、边缘点、暗区的亮点的数量以及亮区的暗点。
8.根据权利要求1-7任一项所述的智能振动检测方法，其特征在于，所述智能振动检测方法还包括：
智能振动检测系统利用图像采集装置连续拍摄车辆的驱动电机，得到时长相同的多个电机振动视频；
智能振动检测系统将所述多个电机振动视频分别作为目标振动视频，获取各电机振动视频对应的振动参数信息；
智能振动检测系统对各电机振动视频对应的振动参数信息进行分析，提取出共性振动参数数据。
9.一种智能振动检测系统，用于检测车辆的驱动电机，其特征在于，所述智能振动检测系统包括：
视频处理模块，用于获取目标振动视频，并捕捉所述目标振动视频中的振动特征点并从目标振动视频中提取出所述振动特征点对应的状态变化信号，所述目标振动视频为利用图像采集装置拍摄车辆的驱动电机得到的视频；
数据分析模块，用于利用主成分分析法对所述状态变化信号进行分析，以从所述状态变化信号中提取出所述目标振动视频对应的振动参数信息。
10.一种智能振动检测设备，其特征在于，包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的振动检测程序，其中所述振动检测程序被所述处理器执行时，实现权利要求1至8中任一项所述的智能振动检测方法的步骤的指令。
CN201910815007.1A 2019-08-30 2019-08-30 智能振动检测方法及相关产品 Active CN110675427B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910815007.1A CN110675427B (zh) 2019-08-30 2019-08-30 智能振动检测方法及相关产品
PCT/CN2020/105735 WO2021036669A1 (zh) 2019-08-30 2020-07-30 智能振动检测方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910815007.1A CN110675427B (zh) 2019-08-30 2019-08-30 智能振动检测方法及相关产品

Publications (2)

Publication Number Publication Date
CN110675427A true CN110675427A (zh) 2020-01-10
CN110675427B CN110675427B (zh) 2023-11-03

Family

ID=69075980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910815007.1A Active CN110675427B (zh) 2019-08-30 2019-08-30 智能振动检测方法及相关产品

Country Status (2)

Country Link
CN (1) CN110675427B (zh)
WO (1) WO2021036669A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036669A1 (zh) * 2019-08-30 2021-03-04 深圳市广宁股份有限公司 智能振动检测方法及相关产品
CN115836196A (zh) * 2020-09-01 2023-03-21 罗森内戈艾托姆联合股份公司 柴油发电机技术状况操作中监控方法
CN117576091A (zh) * 2024-01-15 2024-02-20 深圳昱拓智能有限公司 一种基于视频检测的冷却塔风机振动检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134329A1 (en) * 2009-12-04 2011-06-09 Chao-Ho Chen Stabilization method for vibrating video frames
CN104048744A (zh) * 2014-07-08 2014-09-17 安徽常春藤光电智能科技有限公司 一种非接触式的基于影像的实时在线振动测量方法
CN104240250A (zh) * 2014-09-16 2014-12-24 铁道第三勘察设计院集团有限公司 一种基于视频和图像配准的高铁车站雨棚震动检测方法
CN106845364A (zh) * 2016-12-28 2017-06-13 中国航天电子技术研究院 一种快速自动目标检测方法
CN107437258A (zh) * 2016-05-27 2017-12-05 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
CN107909575A (zh) * 2017-12-30 2018-04-13 煤炭科学研究总院唐山研究院 针对振动筛运行状态的双目视觉在线检测装置及检测方法
CN110068388A (zh) * 2019-03-29 2019-07-30 南京航空航天大学 一种基于视觉和盲源分离的振动检测方法
CN110108348A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675427B (zh) * 2019-08-30 2023-11-03 深圳市广宁股份有限公司 智能振动检测方法及相关产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134329A1 (en) * 2009-12-04 2011-06-09 Chao-Ho Chen Stabilization method for vibrating video frames
CN104048744A (zh) * 2014-07-08 2014-09-17 安徽常春藤光电智能科技有限公司 一种非接触式的基于影像的实时在线振动测量方法
CN104240250A (zh) * 2014-09-16 2014-12-24 铁道第三勘察设计院集团有限公司 一种基于视频和图像配准的高铁车站雨棚震动检测方法
CN107437258A (zh) * 2016-05-27 2017-12-05 株式会社理光 特征提取方法、运动状态估计方法以及运动状态估计装置
CN106845364A (zh) * 2016-12-28 2017-06-13 中国航天电子技术研究院 一种快速自动目标检测方法
CN107909575A (zh) * 2017-12-30 2018-04-13 煤炭科学研究总院唐山研究院 针对振动筛运行状态的双目视觉在线检测装置及检测方法
CN110068388A (zh) * 2019-03-29 2019-07-30 南京航空航天大学 一种基于视觉和盲源分离的振动检测方法
CN110108348A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CE LIU 等: "Motion Magnification", 《ACM SIGGRAPH 2005》 *
李丽霞 等: "基于运动放大的振动结构的模态识别", 《计算机测量与控制》 *
杨金钊 等: "非平稳强噪条件下的视频相位放大技术研究", 《机械与电子》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036669A1 (zh) * 2019-08-30 2021-03-04 深圳市广宁股份有限公司 智能振动检测方法及相关产品
CN115836196A (zh) * 2020-09-01 2023-03-21 罗森内戈艾托姆联合股份公司 柴油发电机技术状况操作中监控方法
CN117576091A (zh) * 2024-01-15 2024-02-20 深圳昱拓智能有限公司 一种基于视频检测的冷却塔风机振动检测方法及系统
CN117576091B (zh) * 2024-01-15 2024-04-09 深圳昱拓智能有限公司 一种基于视频检测的冷却塔风机振动检测方法及系统

Also Published As

Publication number Publication date
WO2021036669A1 (zh) 2021-03-04
CN110675427B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN101888535B (zh) 运动对象检测装置、运动对象检测方法和计算机程序
WO2021036669A1 (zh) 智能振动检测方法及相关产品
CN110956645B (zh) 多模输出的智能振动检测方法及装置
CN110909630B (zh) 一种异常游戏视频检测方法和装置
CN112418649B (zh) 基于多维mems惯性传感器的建筑楼梯人流量估计系统
JP6182607B2 (ja) 映像監視システム、監視装置
US11127127B2 (en) Full-field imaging learning machine (FILM)
WO2021036671A1 (zh) 基于数字孪生的智能振动检测方法及装置
CN110672342B (zh) 洗衣机振动故障检测方法及装置
CN110553714B (zh) 智能振动增强现实测试方法及相关产品
CN110674700A (zh) 基于数字孪生模型的电子设备的智能健康预测方法及装置
Silva et al. 3D structural vibration identification from dynamic point clouds
CN106612385B (zh) 视频检测方法和视频检测装置
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
CN115630278A (zh) 基于通道-时空注意力机制的网络的振动损伤检测方法
Lin Automatic recognition of image of abnormal situation in scenic spots based on Internet of things
Luo et al. Vehicle flow detection in real-time airborne traffic surveillance system
JP6384365B2 (ja) 脈拍計測装置及びその制御方法
CN116849643A (zh) 基于神经网络的可穿戴设备进行跌倒检测的方法
KR102600548B1 (ko) 구조물 건전성 경보 시스템 및 이를 이용한 경보 방법
CN115089162A (zh) 一种基于无人机视频的呼吸率检测方法及装置
CN115063714A (zh) 一种基于改进YOLOv5s网络的防鸟撞事故目标检测方法
CN114299421A (zh) 检测螺栓松动的方法、卷积神经网络、训练方法及系统
CN113496136A (zh) 无人机及其影像识别方法
CN114037646A (zh) 基于物联网的智能图像检测方法、系统、可读介质、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240902

Address after: Room 21A, Junhao Ge, No. 2 Xiangxuan Road, Donghai Community, Xiangmihu Street, Futian District, Shenzhen City, Guangdong Province 518040

Patentee after: SHENZHEN GUANGNING INDUSTRIAL Co.,Ltd.

Country or region after: China

Address before: 518000 7th floor, building 9, phase II software park, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN GUANGNING INDUSTRIAL Co.,Ltd.

Country or region before: China

Patentee before: Shenzhen Haoxi Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20250117

Address after: 907, No. 210, Tianwan Road, Tianliao Community, Yutang Street, Guangming District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Zongzheng Intellectual Property Service Co.,Ltd.

Country or region after: China

Address before: Room 21A, Junhao Ge, No. 2 Xiangxuan Road, Donghai Community, Xiangmihu Street, Futian District, Shenzhen City, Guangdong Province 518040

Patentee before: SHENZHEN GUANGNING INDUSTRIAL Co.,Ltd.

Country or region before: China