CN110674700A - 基于数字孪生模型的电子设备的智能健康预测方法及装置 - Google Patents

基于数字孪生模型的电子设备的智能健康预测方法及装置 Download PDF

Info

Publication number
CN110674700A
CN110674700A CN201910819514.2A CN201910819514A CN110674700A CN 110674700 A CN110674700 A CN 110674700A CN 201910819514 A CN201910819514 A CN 201910819514A CN 110674700 A CN110674700 A CN 110674700A
Authority
CN
China
Prior art keywords
vibration
image
air conditioner
parts
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910819514.2A
Other languages
English (en)
Other versions
CN110674700B (zh
Inventor
高风波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haoxi Intelligent Technology Co Ltd
Shenzhen Guangning Co Ltd
Original Assignee
Shenzhen Haoxi Intelligent Technology Co Ltd
Shenzhen Guangning Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haoxi Intelligent Technology Co Ltd, Shenzhen Guangning Co Ltd filed Critical Shenzhen Haoxi Intelligent Technology Co Ltd
Priority to CN201910819514.2A priority Critical patent/CN110674700B/zh
Publication of CN110674700A publication Critical patent/CN110674700A/zh
Priority to PCT/CN2020/104871 priority patent/WO2021036642A1/zh
Application granted granted Critical
Publication of CN110674700B publication Critical patent/CN110674700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/32—Responding to malfunctions or emergencies
    • F24F11/38—Failure diagnosis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供基于数字孪生模型的电子设备的智能健康预测方法和装置，包括：向空调发送携带第一运行频段的运行指令，运行指令用于指示空调在第一运行频段下运行；在检测到空调压缩机在第一运行频段运行时，通过影像采集设备获取N个零部件振动的第一视频；采用欧拉运动放大方法对第一视频进行处理得到振动信息；根据N个零部件与空调压缩机振动在第一运行频段的振动关系从数字孪生模型中获取与N个零部件对应的多个模拟振动信息；根据振动信息与多个模拟振动信息的相似度确定N个零部件的振动健康结果。实施本申请，有利于准确预判N个零部件与空调压缩机N个零部件的健康状况。

Description

基于数字孪生模型的电子设备的智能健康预测方法及装置
技术领域
本公开涉及互联网技术领域，具体涉及基于数字孪生模型的电子设备的智能健康预测方法及装置。
背景技术
互联网Internet属于传媒领域，又称国际网络，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协议相连，形成逻辑上的单一巨大国际网络。这种将计算机网络互相联接在一起的方法可称作“网络互联”，在这基础上发展出覆盖全世界的全球性互联网络称互联网，即是互相连接一起的网络结构。“互联网+”是创新2.0下的互联网发展的新业态，是知识社会创新2.0推动下的互联网形态演进及其催生的经济社会发展新形态。“互联网+”是互联网思维的进一步实践成果，推动经济形态不断地发生演变，从而带动社会经济实体的生命力，为改革、创新、发展提供广阔的网络平台。通俗的说，“互联网+”就是“互联网+各个传统行业”，但这并不是简单的两者相加，而是利用信息通信技术以及互联网平台，让互联网与传统行业进行深度融合，创造新的发展生态。它代表一种新的社会形态，即充分发挥互联网在社会资源配置中的优化和集成作用，将互联网的创新成果深度融合于经济、社会各域之中，提升全社会的创新力和生产力，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。
传统的故障监测机制一般是采用本地化检测设备，如在专用房间布置激光多普勒测振仪LDVs，通过该设备进行本地化的振动检测，以及故障预测等，但是LDVs存在价格昂贵，使用环境受限(测试环境的温度、光照等环境影响会使测量结果不准确)，测试区域小等缺点，难以满足日益增多的各类场景中的智能化的振动检测需求。
发明内容
有鉴于此，本公开的目的在于提供基于数字孪生模型的电子设备的智能健康预测方法及装置，实现了对多个零部件与空调压缩机的多个连接处健康状况的预判，也减少了本地化检测设备的布置，从而减少了故障检测成本。
具体的，本申请实施例所公开的振动检测方法中的数据传输流程可以基于互联网+技术，形成本地+云端或服务器的分布式智能化振动检测系统，一方面本地可以通过振动检测设备进行精确的原始影像采集和预处理，另一方面云端或服务器可以基于获取到的分布式数据，结合通过大数据技术统计分析得到的多个零部件与空调压缩机的多个连接处的专用故障检测模型，预测被检测目标的故障，实现互联网与传统故障监测行业的深度融合，提高故障监测的智能性和准确度，满足日益增多的各类场景中的智能化的振动检测需求。
为了解决上述技术问题，本申请实施例第一方面提供了基于数字孪生模型的电子设备的智能健康预测方法，所述方法应用于振动检测设备，所述振动检测设备包括影像采集设备，所述电子设备包括空调，所述空调包括空调压缩机和N个零部件，所述N个零部件与所述空调压缩机相连接，所述振动检测设备与所述空调建立通讯连接，其中，N为正整数，所述方法包括：
向所述空调发送携带第一运行频段的运行指令，所述运行指令用于指示所述空调在所述第一运行频段下运行，所述第一运行频段为所述空调正常工作的最低运行频段；
在检测到所述空调压缩机在所述第一运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的第一视频；
采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，其中，所述运动放大效果用于表示所述N个零部件发生往复运动的区域的运动情况在所述第一视频中是经过放大处理的；
对所述第二视频对应的帧序列采用相位相关算法计算所述第二视频对应的帧序列间的交叉互功率谱，得到第一交叉互功率谱；
对所述第一交叉互功率谱进行反傅立叶变换，得到所述第二视频中包含的振动信息；
根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；
根据所述振动信息与所述N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件的振动健康结果。
本申请实施例第二方面提供了基于数字孪生模型的电子设备的智能健康预测装置，所述电子设备包括空调，所述空调包括空调压缩机和N个零部件，所述N个零部件与所述空调压缩机相连接，所述振动检测设备与所述空调建立通讯连接，其中，N为正整数，包括：
发送单元，用于向所述空调发送携带第一运行频段的运行指令，所述运行指令用于指示所述空调在所述第一运行频段下运行，所述第一运行频段为所述空调正常工作的最低运行频段；
第一获取单元，用于在检测到所述空调压缩机在所述第一运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的第一视频；
放大单元，用于采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，其中，所述运动放大效果用于表示所述N个零部件发生往复运动的区域的运动情况在所述第一视频中是经过放大处理的；
计算单元，用于对所述第二视频对应的帧序列采用相位相关算法计算所述第二视频对应的帧序列间的交叉互功率谱，得到第一交叉互功率谱；
输出单元，用于对所述第一交叉互功率谱进行反傅立叶变换，得到所述第二视频中包含的振动信息；
第二获取单元，用于根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；
确定单元，用于根据所述振动信息与N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件的振动健康结果。
本申请实施例第三方面提供了基于数字孪生模型的电子设备的智能健康预测装置，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行第一方面对应方法的步骤的指令。
本申请实施例第四方面提供了一种存储介质，用于存储用于电子数据交换的计算机程序，其中，计算机程序使得计算机执行第一方面对应方法的步骤的指令。
可以看出，本申请实施例公开了基于数字孪生模型的电子设备的智能健康预测方法和装置，通过向空调发送携带第一运行频段的运行指令，从而让该空调在该空调正常工作的最低运行频段下开始运行，接着，检测在检测到该空调的空调压缩机在第一运行频段运行时，获取多个零部件振动的视频，通过采用欧拉运动放大方法放大视频中的微小运动，然后对视频中的振动信息进行提取，提升了信息提取的准确性，进而提升了振动分析的可靠性，紧接着，根据N个零部件与空调压缩机振动在第一运行频段的振动关系从数字孪生模型中获取与多个连接处对应的多个模拟振动信息，从而根据振动信息与多个模拟振动信息的相似度确定多个零部件的振动健康结果，实现了对多个零部件健康状况的预判，也减少了本地化检测设备的布置，从而减少了故障检测成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种空调压缩机与冷凝管连接示意图；
图2为本申请实施例提供的一种基于数字孪生模型的电子设备的智能健康预测方法流程示意图。
图3为本申请实施例提供的另一种基于数字孪生模型的电子设备的智能健康预测方法流程示意图。
图4A为本申请实施例提供的另一种基于数字孪生模型的电子设备的智能健康预测方法流程示意图。
图4B为本申请实施例提供的一种结构件力学模型示意图。
图5为本申请实施例提供的一种基于数字孪生模型的电子设备的智能健康预测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先，参见图1，图1为本申请实施例提供的一种空调压缩机与冷凝管连接示意图，如图1所示，空调压缩机110的排气口130与冷凝器120之间通过管路140连接。该管路140用于将冷媒、润滑油混合物传输至冷凝器。
请参阅图2，图2为本申请实施例提供的一种基于数字孪生模型的电子设备的智能健康预测方法流程示意图，如图2所示，基于数字孪生模型的电子设备的智能健康预测方法，所述方法应用于振动检测设备，所述振动检测设备包括影像采集设备，所述电子设备包括空调，所述空调包括空调压缩机和N个零部件，所述N个零部件与所述空调压缩机相连接，所述振动检测设备与所述空调建立通讯连接，其中，N为正整数。
其中，零部件例如可以包括配管、管路、螺丝、螺母、排气阀门、轴承等。
其中，N例如可以为1、2、3、5、8、11、13、20等数值。
其中，影像采集设备例如可以包括摄像头。
所述方法包括如下步骤：
201、向所述空调发送携带第一运行频段的运行指令，所述运行指令用于指示所述空调在所述第一运行频段下运行，所述第一运行频段为所述空调正常工作的最低运行频段。
当空调在第一运行频段下运行时，空调压缩机也会启动，那么基于共振原理，N个零部件也会振动，当N个零部件出现问题时，其振动频率可能会比正常情况下更大。
202、在检测到所述空调压缩机在所述第一运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的第一视频；
其中，由于空调的运行频段低，空调压缩机产生的振动频率也低，那么，N个零部件可能产生的振动频率相对于空调在更高运行频段运行的情况来说，振动频率可能更加难以从视频中提取出来。因此，需要反复减少图像帧的噪声。
进一步的，通过所述影像采集设备获取所述N个零部件振动的第一视频，包括：通过所述影像采集设备获取所述N个零部件振动的多个视频，其中，多个视频例如可以包括视频一、视频二。
进一步的，视频一和视频二为针对该N个零部件在相同时间内拍摄的不同源视频；获取视频一对应的第一图像帧和视频二对应的第二图像帧；对第一图像帧和第二图像帧进行重叠，对第一图像帧和第二图像帧不能重叠的像素点进行清除；
具体地，对该N个零部件在进行视频采集时，可能因为一些外界原因，例如摄像头晃动、摄像头故障等，使得采集的视频存在偏差，那么，用不同的摄像头在同一时间内拍摄同一N个零部件的不同源视频，获得视频一和视频二，并且对视频一对应的第一图像帧和视频二对应的第二图像帧进行重叠，在摄像头正常的情况下，两个图像帧对应的像素点应该完全重叠，那么清除掉第一图像帧和第二图像帧不能重叠的像素点，即为清除两个摄像头中的拍摄偏差像素点，获得的即为噪声更少的图像帧，再将噪声更少的多个图像帧进行组合作为第一视频。
同样的，还可以对该N个零部件拍摄更多的同一时间段内的不同源视频，进一步减少视频噪声。
另外，本申请中主要通过振动检测设备实现对该空调在第一运行频段运行时N个零部件的视频采集。该振动检测设备将收集的数据(视频)上传给云端或服务器。
203、采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，其中，所述运动放大效果用于表示所述N个零部件发生往复运动的区域的运动情况在所述第一视频中是经过放大处理的；
其中，第一视频中包含N个零部件的运动过程，这个运动过程非常微小，需要进行放大以便后续振动信息的提取。采用欧拉运动放大方法，可以通过将视频中的像素看作时间和空间的函数来分析整个场景图像中像素点的亮度值随时间的变化关系，实现对微小运动的放大。
204、对所述第二视频对应的帧序列采用相位相关算法计算所述第二视频对应的帧序列间的交叉互功率谱，得到第一交叉互功率谱；
相位相关算法采用如下的公式计算交叉互功率谱。
Figure BDA0002187146050000071
上式中，Fa为a图像帧的傅立叶变换，
Figure BDA0002187146050000072
为b图像帧的傅里叶变换的共轭信号，除式的下边为两个傅里叶变换的信号的相关积的模。R为本步骤的计算结果第一交叉互功率谱。
205、对所述第一交叉互功率谱进行反傅立叶变换，得到所述第二视频中包含的振动信息；
反傅立叶变换公式如下：
Figure BDA0002187146050000073
上式中，
Figure BDA0002187146050000081
表示对交叉互功率谱进行反傅里叶变换，R′是交叉互功率谱，得到r为振动信息。
可选的，所述第二视频中包含的振动信息包括振动频率、振动幅度、振动周期。
举例来说，零部件比如可以是螺丝，当螺丝松动时，在空调压缩机在第一运行频段运行时，由于该螺丝松动，那么对应的振动情况与螺丝在拧紧情况下的振动情况肯定不同。也就是，其振动频率、振动幅度和振动周期不同。
206、根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；
其中，所述数字孪生模型与所述电子设备同步运行。
空调在不同环境下，空调内部包含的所有零部件的健康状况不同，比如，零部件的磨损程度不同，零部件的松紧情况也不同，零部件的毁坏程度也不同等等。空调使用年限的不同，其零部件的健康状况也不同。因此，为了提高振动健康结果的精确性，在对N个零部件进行振动健康结果的研判时，需要通过数字孪生模型模拟一个与该空调运行环境、运行时长、体积、形状和材质相同但内部零部件处于不同健康状况的虚拟模型，且通过该数字孪生模型模拟该空调在不同运行频段运行时情况，并存储在不同运行频段下其内部模拟振动信息。
进一步的，数字孪生模型中存储的振动信息包括振动频率、振动幅度、振动周期、振动图形，这里的振动图形主要包括振动波形图、模态图和热力图。
207、根据所述振动信息与所述N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件的振动健康结果。
可选的，举例来说，振动健康结果可以包括N个零部件中一个或多个零部件的磨损情况、松紧情况、毁坏程度、故障程度等。
其中，多个模拟振动信息中包括在空调压缩机和N个零部件与对应的结构件力学模型的健康状况相同时的模拟振动信息。
可以看出，本申请实施例公开了基于数字孪生模型的电子设备的智能健康预测方法和装置，通过向空调发送携带第一运行频段的运行指令，从而让该空调在该空调正常工作的最低运行频段下开始运行，接着，检测在检测到该空调的空调压缩机在第一运行频段运行时，获取多个零部件振动的视频，通过采用欧拉运动放大方法放大视频中的微小运动，然后对视频中的振动信息进行提取，提升了信息提取的准确性，进而提升了振动分析的可靠性，紧接着，根据N个零部件与空调压缩机振动在第一运行频段的振动关系从数字孪生模型中获取与多个连接处对应的多个模拟振动信息，从而根据振动信息与多个模拟振动信息的相似度确定多个零部件的振动健康结果，实现了对多个零部件健康状况的预判，也减少了本地化检测设备的布置，从而减少了故障检测成本。
请参阅图3，图3为本申请实施例提供的又一种基于数字孪生模型的电子设备的智能健康预测方法流程示意图，如图3所示，所述N个零部件至少包括与所述空调压缩机的排气口连接的管路，其中，所述管路用于将冷媒、润滑油混合物传输至冷凝器，所述采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，包括如下步骤：
301、获取所述第一视频的多个图像帧；
302、从所述多个图像帧中确定包括所述管路的至少一个图像帧；
303、基于复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的至少一个第一子带图像集合，每个第一子带图像集合包括多个图像分辨率对应的多个子带图像，所述多个子带图像中任意两个子带图像的尺度和方向互不相同，且所述至少一个第一子带图像集合中的子带图像对应所述多个图像分辨率形成多个子带图像序列，每个子带图像序列中任意两个子带图像来自于不同的第一子带图像集合；
可选的，所述基于复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的至少一个第一子带图像集合，包括：将所述至少一个图像帧进行颜色空间变换，以得到所述管路在时域空间的多个YIQ图像；对所述多个YIQ图像中Y通道图像进行傅里叶变换，得到所述管路在频域空间的多个Y通道图像；基于复数可操作金字塔对所述多个Y通道图像进行空域分解，得到对应的至少一个第一子带图像集合。
通常获取到的视频是RGB颜色空间，因此需要将RGB颜色空间转换成YIQ颜色空间，RGB和YIQ的转换关系为：
Y＝0.299*R+0.587*G+0.114*B；
I＝0.596*R－0.275*G－0.321*B；
Q＝0.212*R－0.523*G+0.311*B。
其中，Y分量代表图像的亮度信息，I、Q两个分量则携带颜色信息。
可以看出，上述技术方案中，实现了对至少一个图像帧的空域分解，为后续的处理做准备。
可选的，一方面，所述基于复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的至少一个第一子带图像集合，包括：获取所述空调未运行下所述管路对应的图像以得到模板图像；将所述模板图像与所述至少一个图像帧中的每个图像帧进行灰度值的对比，以确定所述至少一个图像帧中灰度值变化最大的第一图像帧；确定所述第一图像帧的多个目标分区，其中，第一目标分区包括多个像素点，所述多个像素点一一对应的多个灰度值落入同一灰度值区间，所述第一目标分区为所述多个目标分区中的任意一个分区；按照所述多个目标分区将所述管路进行切分以得到多个第一管路；根据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质确定所述多个第一管路对应的多个形变率；从所述多个形变率中选取形变率最小的第一形变率；确定所述第一形变率对应的第一管路与相邻管路之间接触面积和所述第一管路对应的材质；在所述第一管路与相邻管路之间接触面积均大于预设接触面积或者所述第一管路对应的材质不属于预设材质库时，根据所述第一管路与所述空调压缩机振动在所述第一运行频段的振动关系对所述复数可操作金字塔中的分辨率层级进行调整，以得到分辨率层级最少的复数可操作金字塔，其中，在所述分辨率层级最少的复数可操作金字塔中的最底层分辨率层级对应的子图像分辨率越小时，所述第一运行频段越大；采用所述分辨率层级最少的复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的多个第一子带图像集合。
其中，预设接触面积可以由管理员设置。预设材质库包括杨氏模量小于预设模量的材料。比如，预设材质库包括塑胶等。举例来说，第一管路对应的材质为塑胶，或者第一管路与相邻管路之间接触面积均大于预设接触面积，在这种条件下，第一管路对应的第一形变率是多个形变率中最小的形变率，这意味着振动非常小。
可以看出，上述技术方案中，通过选取形变率最小第一管路，并确定第一管路与相邻管路之间接触面积均大于预设接触面积或者第一管路对应的材质不属于预设材质库，实现对第一运行频段下管路上最小振动的确定，从而为后续通过振动最小的信息调整分辨率层级做准备。进一步的，通过减少分辨率层级，减少了数据量。
304、对所述多个子带图像序列进行时域带通滤波，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列，以及根据所述至少一个子带图像序列确定多个第二子带图像集合，每个第二子带图像集合包括所述至少一个子带图像序列中每个子带图像序列所对应的一个子带图像，且所述至少一个子带图像序列用于反映所述管路的往复运动的运动特性；
可选的，一方面，基于复数可操作金字塔对所述多个Y通道图像进行空域分解，得到对应的至少一个第一子带图像集合，包括：获取所述空调未运行下所述管路对应的图像以得到模板图像；将所述模板图像与所述至少一个图像帧中的每个图像帧进行灰度值的对比，以确定所述至少一个图像帧中灰度值变化最大的第一图像帧；确定所述第一图像帧的多个目标分区，其中，第一目标分区包括多个像素点，所述多个像素点一一对应的多个灰度值落入同一灰度值区间，所述第一目标分区为所述多个目标分区中的任意一个分区；按照所述多个目标分区将所述管路进行切分以得到多个第一管路；根据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质确定所述多个第一管路对应的多个形变率；从所述多个形变率中选取形变率最小的第一形变率；确定所述第一形变率对应的第一管路与相邻管路之间接触面积和所述第一管路对应的材质；在所述第一管路与相邻管路之间接触面积均大于预设接触面积或者所述第一管路对应的材质不属于预设材质库时，根据所述第一管路与所述空调压缩机振动在所述第一运行频段的振动关系对所述复数可操作金字塔中的分辨率层级进行调整，以得到分辨率层级最少的复数可操作金字塔，其中，在所述分辨率层级最少的复数可操作金字塔中的最底层分辨率层级对应的子图像分辨率越小时，所述第一运行频段越大；采用所述分辨率层级最少的复数可操作金字塔对所述多个Y通道图像进行空域分解，得到对应的多个第一子带图像集合。
其中，在采用欧拉运动放大方法对第一视频进行放大处理时，由于空调的运行频段低，空调压缩机产生的振动频率也低，那么，管路可能产生的振动频率相对于空调在更高运行频段运行的情况来说，振动频率可能更加难以从视频中提取出来，且本身管路即使都有故障其振动频率也是很细微的，因此，在基于复数可操作金字塔对所述第一视频的多图像帧进行空域分解，需要根据管路与空调压缩机振动在第一运行频段的振动关系对复数可操作金字塔中的分辨率层级进行调整，从而使得最后得到的多个第一子带图像集合对应的图像分辨率刚好满足需求，且分辨率层级最少，这有利于减少计算量和计算周期。
进一步的，所述对所述多个子带图像序列进行时域带通滤波，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列，包括：将所述多个子带图像序列分成多个序列分组，其中，每个序列分组包含一个或多个子带图像序列，任意两个序列分组不包括相同的子带图像序列；针对所述多个序列分组和所述多个第一管路，所述多个第一管路中的每个第一管路对应参考振动频率区间，并行执行如下处理步骤：确定当前处理的子带图像序列对应的振动频率，将所述振动频率与所述多个第一管路中的每个第一管路对应参考振动频率区间进行比对，若所述振动频率属于所述多个第一管路中的每个第一管路对应参考振动频率，则确认筛选，反之则确认不筛选。
其中，在进行时域带通滤波处理时，可以采用理想带通滤波器，Butterworth带通滤波器，二阶无限脉冲响应滤波器等。
可以看出，上述方案中，通过分组并行检测每个序列的振动频率，做快速筛选，减少时间成本。
进一步的，所述将所述多个子带图像序列分成多个序列分组，包括：获取所述振动检测设备的处理器数量；确定所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状；所述振动检测设备的处理器数量和依据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状确定分组机制；按照所述分组机制将所述多个子带图像序列分成多个序列分组。
在振动检测设备的处理器数量较多时，可以通过多个处理并行检测每个序列的振动频率；另外，振动频率还受多个第一管路相邻管路的接触面积、接触角度以及多个第一管路中每个第一管路对应的材质、体积和形状的影响，在接触面积、接触角度、材质、体积和形状不同时，通过这多个因素的组合叠加，其振动情况也不同，因此，需要依据这些因素确定分组机制，从而可以加快筛选流程。
可选的，另一方面，所述对所述多个子带图像序列进行时域带通滤波，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列，包括：获取所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状；依据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状确定所述多个第一管路中的每个第一管路对应的参考振动频率区间；确定所述多个子带图像序列的振动频率是否落入所述多个第一管路中的每个第一管路对应的参考振动频率区间；若是，则得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列；若否，则根据所述多个子带图像序列对应的图像分辨率确定所述多个子带图像序列在所述分辨率层级最少的复数可操作金字塔中的分辨率层级，以及获取所述分辨率层级上一层对应的多个子带图像序列，在所述分辨率层级上一层对应的多个子带图像序列的振动频率落入所述多个第一管路中的每个第一管路对应的参考振动频率区间时，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列。
其中，在进行时域带通滤波处理时，可以采用理想带通滤波器，Butterworth带通滤波器，二阶无限脉冲响应滤波器等。
可以看出，上述方案中，通过依据多个第一管路相邻管路的接触面积、接触角度以及多个第一管路中每个第一管路对应的材质、体积和形状确定多个第一管路中的每个第一管路对应的参考振动频率区间，并判断多个子带图像序列的振动频率是否落入多个第一管路中的每个第一管路对应的参考振动频率区间，实现了快速筛选，减少时间成本。同时，依据多个第一管路相邻管路的接触面积、接触角度以及多个第一管路中每个第一管路对应的材质、体积和形状确定多个第一管路中的每个第一管路对应的参考振动频率区间，提高了参考振动频率区间确定的准确性。
305、放大所述多个第二子带图像集合，并将放大后的所述多个第二子带图像集合加入到所述多个第一子带图像集合，得到多个目标子带图像集合；
其中，放大所述多个第二子带图像集合，例如可以包括如下步骤：举例来说，图像一为所述多个第二子带图像集合中的任意一个第二子带图像，计算图像一的相似度灰度差值。
进一步的，在图像一中包括多个像素点，获取每个像素点对应的灰度值，其中，有一像素点x，令I(x，t)为点x在时刻t的灰度值，且初始值为f(x)，则：
Figure BDA0002187146050000141
其中δ(t)表示位移信号。
对I(x，t)放大α倍，即对位移信号进行放大，且放大后的信号为：
Figure BDA0002187146050000142
因为微小运动进行放大时，倍数太小是没有意义的，因此A的最小取值大于4。另外，放大倍数与空间频率相关，且满足如下关系：
Figure BDA0002187146050000143
其中，空间频率为ω，目标频带的空间波长为λ，λ＝2π/ω，则可通过目标频带和变换信号的位移函数确定α的最大值。Amax≤α。
306、对所述多个目标子带图像集合进行复数可操纵金字塔重建，得到具有运动放大效果的第二视频。
可选的，所述对所述多个目标子带图像集合进行复数可操纵金字塔重建，得到具有运动放大效果的第二视频，包括：对所述多个目标子带图像集合进行复数可操纵金字塔重建，得到放大后的多个Y通道图像；将放大后的所述多个Y通道图像进行反傅里叶变换，得到时域空间的多个Y通道图像；将放大后的时域空间的多个Y通道图像与所述多个YIQ图像中的多个I通道图像、多个Q通道图像相加，得到YIQ视频；将所述YIQ视频进行RGB色彩空间转换，得到具有运动放大效果的第二视频。
可以看出，上述技术方案中，实现了对细微振动的放大处理，提升了信息提取的准确性，进而提升了振动分析的可靠性。
请参阅图4A，图4A为本申请实施例提供的又一种基于数字孪生模型的电子设备的智能健康预测方法流程示意图，如图4A所示，所述根据所述N个零部件与所述空调压缩机同步振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件对应的多个模拟振动信息，包括：
401、构建所述数字孪生模型，其中，所述数字孪生模型至少包括所述空调压缩机和所述N个零部件在多种健康状况下对应的多种结构件力学模型；
其中，多种健康状况例如可以包括一下几种的任意一种或者多种的组合，具体来说，包括：不同磨损情况、不同松紧情况、不同毁坏程度、不同故障程度。
其中，空调压缩机和N个零部件在不同健康状况下时，构建的结构件力学模型也是不同的，进一步来说，N个零部件对应的结构件力学模型也是不同的。在构建结构件力学模型时，模拟的模型与空调压缩机和N个零部件实体对应的多种健康状况相同。
402、根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系对所述多种结构件力学模型中的多个指定位置沿径向施加径向力，其中，所述多个指定位置与所述N个零部件对应的，所述径向力依据所述N个零部件与所述空调压缩机同步振动在所述第一运行频段的振动关系生成；
其中，在空调运行频段不同时，N个零部件的振动频率也不同。在沿径向施加径向力时，为了提高振动健康结果的准确性，需要根据N个零部件与空调压缩机同步振动在第一运行频段的振动关系来调整径向力的大小，从而提高结构件力学模型的移动距离的精准性。换句话说，在实体与模型的健康状况相同时，这里的径向力的大小导致的振动情况与该空调在第一运行频段运行时导致的N个零部件的振动情况相同。
其中，结构件力学模型是虚拟零部件，也就是说，通过采用结构件力学模型来实现对空调压缩机和N个零部件的虚拟化。进一步的，通过三维扫描空调压缩机和N个零部件构建结构件力学模型。
其中，径向力沿径向均匀地施加在结构件力学模型，可抵消非径向力带来的结构件力学模型的移动，从而避免其移动导致的振动，也避免结果的不准确。
当对结构件力学模型施加径向力后，需对该径向力进行计算。
举例来说，参见图4B，图4B为本申请实施例提供的一种结构件力学模型示意图。设单位长度为h，入口半径为R1，出口半径是R2。相应地，其进口和出口地区
Figure BDA0002187146050000161
设t是一个作用于这个轴向元素的单位向量，n1和n2分别为入口和出口的法向单位向量。假设n1和n2之间的夹角足够小，将该结构件力学模型看作圆锥或圆柱体。设v1和v2分别为进出口速度的平均值。该结构件力学模型所受的径向力如下：
Figure BDA0002187146050000162
其中，
Figure BDA0002187146050000163
Figure BDA0002187146050000164
Figure BDA0002187146050000165
在结构件的每个细胞单元中计算出的这个力，由于细胞运动，形成了结构件上的所有力。通过扫描来的计算机辅助设计(CAD)模型，确定指定地方在结构件相对于轴心点位置的相对位置，将摩擦力和振动模型联系起来。
可选的，预设动力学算法包括：
Figure BDA0002187146050000171
其中，Is为惯性矩阵，Ks为刚度矩阵，Cs为联结矩阵，Mb为力矩矩阵。
其中，径向力由公式计算得到，该径向力可被分解成平行于三个轴的三部分力，确定指定位置处在三个轴上的力矩M1、M2和M3，生成矩阵Mb＝[M1M2 M3]T，代入上述预设动力学算法进行计算，得到角位移，将计算得到的角位移进一步转化为线性位移，再使用三角关系将线性位移投影到二维(Y－Z)平面上。
403、确定施加径向力之后的所述多种结构件力学模型的多个移动距离；
404、将所述多个移动距离输入预设动力学算法进行计算，以得到与所述N个零部件中每个零部件在多种健康状况下对应的多个模拟振动信息。
可选的，第一方面，在一种可能的实施方式中，所述方法还包括：每间隔预设时间向所述空调发送携带M个第二运行频段的运行指令，其中，所述M个第二运行频段中的每个第二运行频段与所述第一运行频段不同，M为正整数；在检测到所述空调压缩机在所述M个第二运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的M个第一视频；采用所述欧拉运动放大方法对所述M个第一视频进行放大处理，得到具有运动放大效果的M个第二视频；对所述M个第二视频对应的帧序列采用所述相位相关算法计算所述M个第一视频对应的帧序列间的交叉互功率谱，得到M个第一交叉互功率谱；对所述M个第一交叉互功率谱进行所述反傅立叶变换，得到所述M个第二视频中包含的M条振动信息；根据所述N个零部件与所述空调压缩机振动在所述M个第二运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；根据所述M条振动信息与所述N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件中每个零部件对应的M条振动健康结果；根据所述N个零部件中每个零部件对应的M条振动健康结果确定所述M个第二运行频段中的低优先级运行频段，其中，所述低优先级运行频段对应的振动健康结果为隐患产生等级高的振动健康结果；生成使用建议信息，其中，使用建议信息用于表示建议避开使用所述低优先级运行频段的信息；向终端发送携带所述使用建议信息的使用建议消息。
其中，M例如可以为1、2、3、5、8、11、13、20等数值。
其中，终端例如可以是平板电脑、笔记本电脑、掌上电脑、MID、台式电脑或其他终端设备。
通过振动健康结果得出某个或某几个运行频段为低优先级运行频段，从而生成使用建议，并将使用建议发送给用户，避免由于用户一直使用这类低优先级运行频段导致的安全隐患问题。
参阅图5，图5为本申请实施例提供的基于数字孪生模型的电子设备的智能健康预测装置的结构示意图，如图5所示，所述电子设备包括空调，所述空调包括空调压缩机和N个零部件，所述N个零部件与所述空调压缩机相连接，所述振动检测设备与所述空调建立通讯连接，其中，N为正整数。
其中，零部件例如可以包括配管、管路、螺丝、螺母、排气阀门、轴承等。
其中，N例如可以为1、2、3、5、8、11、13、20等数值。
其中，影像采集设备例如可以包括摄像头。
电子设备的健康预测装置500包括：
发送单元501，用于向所述空调发送携带第一运行频段的运行指令，所述运行指令用于指示所述空调在所述第一运行频段下运行，所述第一运行频段为所述空调正常工作的最低运行频段。
当空调在第一运行频段下运行时，空调压缩机也会启动，那么基于共振原理，N个零部件也会振动，当N个零部件出现问题时，其振动频率可能会比正常情况下更大。
第一获取单元502，用于在检测到所述空调压缩机在所述第一运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的第一视频；
其中，由于空调的运行频段低，空调压缩机产生的振动频率也低，那么，N个零部件可能产生的振动频率相对于空调在更高运行频段运行的情况来说，振动频率可能更加难以从视频中提取出来。因此，需要反复减少图像帧的噪声。
进一步的，通过所述影像采集设备获取所述N个零部件振动的第一视频，包括：通过所述影像采集设备获取所述N个零部件振动的多个视频，其中，多个视频例如可以包括视频一、视频二。
进一步的，视频一和视频二为针对该N个零部件在相同时间内拍摄的不同源视频；获取视频一对应的第一图像帧和视频二对应的第二图像帧；对第一图像帧和第二图像帧进行重叠，对第一图像帧和第二图像帧不能重叠的像素点进行清除；
具体地，对该N个零部件在进行视频采集时，可能因为一些外界原因，例如摄像头晃动、摄像头故障等，使得采集的视频存在偏差，那么，用不同的摄像头在同一时间内拍摄同一N个零部件的不同源视频，获得视频一和视频二，并且对视频一对应的第一图像帧和视频二对应的第二图像帧进行重叠，在摄像头正常的情况下，两个图像帧对应的像素点应该完全重叠，那么清除掉第一图像帧和第二图像帧不能重叠的像素点，即为清除两个摄像头中的拍摄偏差像素点，获得的即为噪声更少的图像帧，再将噪声更少的多个图像帧进行组合作为第一视频。
同样的，还可以对该N个零部件拍摄更多的同一时间段内的不同源视频，进一步减少视频噪声。
同样的，还可以对该N个零部件拍摄更多的同一时间段内的不同源视频，进一步减少视频噪声。
放大单元503，用于采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，其中，所述运动放大效果用于表示所述N个零部件发生往复运动的区域的运动情况在所述第一视频中是经过放大处理的；
其中，第一视频中包含N个零部件的运动过程，这个运动过程非常微小，需要进行放大以便后续振动信息的提取。采用欧拉运动放大方法，可以通过将视频中的像素看作时间和空间的函数来分析整个场景图像中像素点的亮度值随时间的变化关系，实现对微小运动的放大。
计算单元504，用于对所述第二视频对应的帧序列采用相位相关算法计算所述第二视频对应的帧序列间的交叉互功率谱，得到第一交叉互功率谱；
相位相关算法采用如下的公式计算交叉互功率谱。
Figure BDA0002187146050000201
上式中，Fa为a图像帧的傅立叶变换，为b图像帧的傅里叶变换的共轭信号，除式的下边为两个傅里叶变换的信号的相关积的模。R为本步骤的计算结果第一交叉互功率谱。
输出单元505，用于对所述第一交叉互功率谱进行反傅立叶变换，得到所述第二视频中包含的振动信息；
反傅立叶变换公式如下：
Figure BDA0002187146050000203
上式中，
Figure BDA0002187146050000204
表示对交叉互功率谱进行反傅里叶变换，R′是交叉互功率谱，得到r为振动信息。
可选的，所述第二视频中包含的振动信息包括振动频率、振动幅度、振动周期。
举例来说，零部件比如可以是螺丝，当螺丝松动时，在空调压缩机在第一运行频段运行时，由于该螺丝松动，那么对应的振动情况与螺丝在拧紧情况下的振动情况肯定不同。也就是，其振动频率、振动幅度和振动周期不同。
第二获取单元506，用于根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；
其中，所述数字孪生模型与所述电子设备同步运行。
空调在不同环境下，空调内部包含的所有零部件的健康状况不同，比如，零部件的磨损程度不同，零部件的松紧情况也不同，零部件的毁坏程度也不同等等。空调使用年限的不同，其零部件的健康状况也不同。因此，为了提高振动健康结果的精确性，在对N个零部件进行振动健康结果的研判时，需要通过数字孪生模型模拟一个与该空调运行环境、运行时长、体积、形状和材质相同但内部零部件处于不同健康状况的虚拟模型，且通过该数字孪生模型模拟该空调在不同运行频段运行时情况，并存储在不同运行频段下其内部模拟振动信息。
进一步的，数字孪生模型中存储的振动信息包括振动频率、振动幅度、振动周期、振动图形，这里的振动图形主要包括振动波形图、模态图和热力图。
确定单元507，用于根据所述振动信息与所述N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件的振动健康结果。
可选的，举例来说，振动健康结果可以包括N个零部件中一个或多个零部件的磨损情况、松紧情况、毁坏程度、故障程度等。
其中，多个模拟振动信息中包括在空调压缩机和N个零部件与对应的结构件力学模型的健康状况相同时的模拟振动信息。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法，可通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，方法或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.基于数字孪生模型的电子设备的智能健康预测方法，其特征在于，所述方法应用于振动检测设备，所述振动检测设备包括影像采集设备，所述电子设备包括空调，所述空调包括空调压缩机和N个零部件，所述N个零部件与所述空调压缩机相连接，所述振动检测设备与所述空调建立通讯连接，其中，N为正整数，所述方法包括：
向所述空调发送携带第一运行频段的运行指令，所述运行指令用于指示所述空调在所述第一运行频段下运行，所述第一运行频段为所述空调正常工作的最低运行频段；
在检测到所述空调压缩机在所述第一运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的第一视频；
采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，其中，所述运动放大效果用于表示所述N个零部件发生往复运动的区域的运动情况在所述第一视频中是经过放大处理的；
对所述第二视频对应的帧序列采用相位相关算法计算所述第二视频对应的帧序列间的交叉互功率谱，得到第一交叉互功率谱；
对所述第一交叉互功率谱进行反傅立叶变换，得到所述第二视频中包含的振动信息；
根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；
根据所述振动信息与所述N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件的振动健康结果。
2.根据权利要求1所述的方法，其特征在于，所述N个零部件至少包括与所述空调压缩机的排气口连接的管路，所述采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，包括：
获取所述第一视频的多个图像帧；
从所述多个图像帧中确定包括所述管路的至少一个图像帧；
基于复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的至少一个第一子带图像集合，每个第一子带图像集合包括多个图像分辨率对应的多个子带图像，所述多个子带图像中任意两个子带图像的尺度和方向互不相同，且所述至少一个第一子带图像集合中的子带图像对应所述多个图像分辨率形成多个子带图像序列，每个子带图像序列中任意两个子带图像来自于不同的第一子带图像集合；
对所述多个子带图像序列进行时域带通滤波，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列，以及根据所述至少一个子带图像序列确定多个第二子带图像集合，每个第二子带图像集合包括所述至少一个子带图像序列中每个子带图像序列所对应的一个子带图像，且所述至少一个子带图像序列用于反映所述管路的往复运动的运动特性；
放大所述多个第二子带图像集合，并将放大后的所述多个第二子带图像集合加入到所述多个第一子带图像集合，得到多个目标子带图像集合；
对所述多个目标子带图像集合进行复数可操纵金字塔重建，得到具有运动放大效果的第二视频。
3.根据权利要求2所述的方法，其特征在于，所述基于复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的至少一个第一子带图像集合，包括：
获取所述空调未运行下所述管路对应的图像以得到模板图像；
将所述模板图像与所述至少一个图像帧中的每个图像帧进行灰度值的对比，以确定所述至少一个图像帧中灰度值变化最大的第一图像帧；
确定所述第一图像帧的多个目标分区，其中，第一目标分区包括多个像素点，所述多个像素点一一对应的多个灰度值落入同一灰度值区间，所述第一目标分区为所述多个目标分区中的任意一个分区；
按照所述多个目标分区将所述管路进行切分以得到多个第一管路；
根据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质确定所述多个第一管路对应的多个形变率；
从所述多个形变率中选取形变率最小的第一形变率；
确定所述第一形变率对应的第一管路与相邻管路之间接触面积和所述第一管路对应的材质；
在所述第一管路与相邻管路之间接触面积均大于预设接触面积或者所述第一管路对应的材质不属于预设材质库时，根据所述第一管路与所述空调压缩机振动在所述第一运行频段的振动关系对所述复数可操作金字塔中的分辨率层级进行调整，以得到分辨率层级最少的复数可操作金字塔，其中，在所述分辨率层级最少的复数可操作金字塔中的最底层分辨率层级对应的子图像分辨率越小时，所述第一运行频段越大；
采用所述分辨率层级最少的复数可操作金字塔对所述至少一个图像帧进行空域分解，得到对应的多个第一子带图像集合。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述多个子带图像序列进行时域带通滤波，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列，包括：
将所述多个子带图像序列分成多个序列分组，其中，每个序列分组包含一个或多个子带图像序列，任意两个序列分组不包括相同的子带图像序列；
针对所述多个序列分组和所述多个第一管路，所述多个第一管路中的每个第一管路对应参考振动频率区间，并行执行如下处理步骤：确定当前处理的子带图像序列对应的振动频率，将所述振动频率与所述多个第一管路中的每个第一管路对应参考振动频率区间进行比对，若所述振动频率属于所述多个第一管路中的每个第一管路对应参考振动频率，则确认筛选，反之则确认不筛选。
5.根据权利要求4所述的方法，其特征在于，所述将所述多个子带图像序列分成多个序列分组，包括：
获取所述振动检测设备的处理器数量；
确定所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状；
所述振动检测设备的处理器数量和依据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状确定分组机制；
按照所述分组机制将所述多个子带图像序列分成多个序列分组。
6.根据权利要求2或3所述的方法，其特征在于，所述对所述多个子带图像序列进行时域带通滤波，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列，包括：
获取所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状；
依据所述多个第一管路相邻管路的接触面积、接触角度以及所述多个第一管路中每个第一管路对应的材质、体积和形状确定所述多个第一管路中的每个第一管路对应的参考振动频率区间；
确定所述多个子带图像序列的振动频率是否落入所述多个第一管路中的每个第一管路对应的参考振动频率区间；
若是，则得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列；
若否，则根据所述多个子带图像序列对应的图像分辨率确定所述多个子带图像序列在所述分辨率层级最少的复数可操作金字塔中的分辨率层级，以及获取所述分辨率层级上一层对应的多个子带图像序列，在所述分辨率层级上一层对应的多个子带图像序列的振动频率落入所述多个第一管路中的每个第一管路对应的参考振动频率区间时，得到被筛选出的至少一个图像分辨率对应的至少一个子带图像序列。
7.根据权利要求1所述的方法，其特征在于，所述根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息，包括：
构建所述数字孪生模型，其中，所述数字孪生模型至少包括所述空调压缩机和所述N个零部件在多种健康状况下对应的多种结构件力学模型；
根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系对所述多种结构件力学模型中的多个指定位置沿径向施加径向力，其中，所述多个指定位置与所述N个零部件对应的，所述径向力依据所述N个零部件与所述空调压缩机同步振动在所述第一运行频段的振动关系生成；
确定施加径向力之后的所述多种结构件力学模型的多个移动距离；
将所述多个移动距离输入预设动力学算法进行计算，以得到与所述N个零部件中每个零部件在多种健康状况下对应的多个模拟振动信息。
8.基于数字孪生模型的电子设备的智能健康预测装置，其特征在于，所述电子设备包括空调，所述空调包括空调压缩机和N个零部件，所述N个零部件与所述空调压缩机相连接，所述振动检测设备与所述空调建立通讯连接，其中，N为正整数，包括：
发送单元，用于向所述空调发送携带第一运行频段的运行指令，所述运行指令用于指示所述空调在所述第一运行频段下运行，所述第一运行频段为所述空调正常工作的最低运行频段；
第一获取单元，用于在检测到所述空调压缩机在所述第一运行频段运行时，通过所述影像采集设备获取所述N个零部件振动的第一视频；
放大单元，用于采用欧拉运动放大方法对所述第一视频进行放大处理，得到具有运动放大效果的第二视频，其中，所述运动放大效果用于表示所述N个零部件发生往复运动的区域的运动情况在所述第一视频中是经过放大处理的；
计算单元，用于对所述第二视频对应的帧序列采用相位相关算法计算所述第二视频对应的帧序列间的交叉互功率谱，得到第一交叉互功率谱；
输出单元，用于对所述第一交叉互功率谱进行反傅立叶变换，得到所述第二视频中包含的振动信息；
第二获取单元，用于根据所述N个零部件与所述空调压缩机振动在所述第一运行频段的振动关系从数字孪生模型中获取与所述N个零部件中每个零部件对应的多个模拟振动信息；
确定单元，用于根据所述振动信息与N个零部件中每个零部件对应的多个模拟振动信息的相似度确定所述N个零部件的振动健康结果。
9.基于数字孪生模型的电子设备的智能健康预测装置，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。
CN201910819514.2A 2019-08-31 2019-08-31 基于数字孪生模型的电子设备的智能健康预测方法及装置 Active CN110674700B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910819514.2A CN110674700B (zh) 2019-08-31 2019-08-31 基于数字孪生模型的电子设备的智能健康预测方法及装置
PCT/CN2020/104871 WO2021036642A1 (zh) 2019-08-31 2020-07-27 基于数字孪生模型的电子设备的智能健康预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910819514.2A CN110674700B (zh) 2019-08-31 2019-08-31 基于数字孪生模型的电子设备的智能健康预测方法及装置

Publications (2)

Publication Number Publication Date
CN110674700A true CN110674700A (zh) 2020-01-10
CN110674700B CN110674700B (zh) 2023-07-21

Family

ID=69076113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910819514.2A Active CN110674700B (zh) 2019-08-31 2019-08-31 基于数字孪生模型的电子设备的智能健康预测方法及装置

Country Status (2)

Country Link
CN (1) CN110674700B (zh)
WO (1) WO2021036642A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882660A (zh) * 2020-07-23 2020-11-03 广联达科技股份有限公司 基于cad图纸的三维显示方法和三维显示装置
CN112344516A (zh) * 2020-09-27 2021-02-09 国网浙江省电力有限公司绍兴供电公司 一种多分类融合模型的加热和制冷设备故障诊断系统
WO2021036642A1 (zh) * 2019-08-31 2021-03-04 深圳市广宁股份有限公司 基于数字孪生模型的电子设备的智能健康预测方法及装置
CN114808823A (zh) * 2022-04-28 2022-07-29 南通银烛节能技术服务有限公司 一种清扫车快速清理路面积液的智能控制方法及系统
CN114923261A (zh) * 2022-05-05 2022-08-19 青岛海信日立空调系统有限公司 中央空调机组故障监控方法、系统及中央空调机组单元

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022105681A1 (de) 2022-03-10 2023-09-14 Ebm-Papst Mulfingen Gmbh & Co. Kg Verfahren zur Ermittlung einer Schwingung eines Lüftungssystems
CN116933409B (zh) * 2023-06-14 2024-05-07 江苏海洋大学 一种面向数字孪生的煤矿井下设备模型压缩设计方法
CN116884557B (zh) * 2023-06-25 2024-03-22 深圳市梦网物联科技发展有限公司 基于数字孪生的体检报告生成方法、终端设备及介质
CN117704880B (zh) * 2023-12-13 2024-05-07 中建-大成建筑有限责任公司 一种蒸发器的节能温度监测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872011A (zh) * 2015-12-10 2017-06-20 空中客车防卫和太空有限责任公司 用于高速视频振动分析的模块化设备
US20180084195A1 (en) * 2016-09-19 2018-03-22 Los Alamos National Security, Llc System and method for automated extraction of high resolution structural dynamics from video
US20180189962A1 (en) * 2016-12-30 2018-07-05 Grundfos Holding A/S Method for detecting a condition of a pump assembly
CN108731788A (zh) * 2018-05-22 2018-11-02 河海大学常州校区 一种高空作业臂低频振动视觉检测装置及方法
CN109063763A (zh) * 2018-07-26 2018-12-21 合肥工业大学 基于pca的视频微小变化放大方法
CN109520690A (zh) * 2018-10-30 2019-03-26 西安交通大学 一种基于视频的旋转机械转子模态振型全局测量装置及方法
CN110108348A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080186169A1 (en) * 2007-02-01 2008-08-07 Seiko Epson Corporation Operation signal generation device
JP6395752B2 (ja) * 2016-03-31 2018-09-26 日立ジョンソンコントロールズ空調株式会社 空気調和装置の室外機
JP6762369B2 (ja) * 2016-10-31 2020-09-30 三菱電機株式会社 劣化診断装置および空気調和機
CN109100011A (zh) * 2018-09-04 2018-12-28 山东朗进科技股份有限公司 一种轨道空调振动监测与故障诊断系统及诊断方法
CN110674700B (zh) * 2019-08-31 2023-07-21 深圳市广宁股份有限公司 基于数字孪生模型的电子设备的智能健康预测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106872011A (zh) * 2015-12-10 2017-06-20 空中客车防卫和太空有限责任公司 用于高速视频振动分析的模块化设备
US20180084195A1 (en) * 2016-09-19 2018-03-22 Los Alamos National Security, Llc System and method for automated extraction of high resolution structural dynamics from video
US20180189962A1 (en) * 2016-12-30 2018-07-05 Grundfos Holding A/S Method for detecting a condition of a pump assembly
CN108731788A (zh) * 2018-05-22 2018-11-02 河海大学常州校区 一种高空作业臂低频振动视觉检测装置及方法
CN109063763A (zh) * 2018-07-26 2018-12-21 合肥工业大学 基于pca的视频微小变化放大方法
CN109520690A (zh) * 2018-10-30 2019-03-26 西安交通大学 一种基于视频的旋转机械转子模态振型全局测量装置及方法
CN110108348A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于运动放大光流跟踪的薄壁件微幅振动测量方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036642A1 (zh) * 2019-08-31 2021-03-04 深圳市广宁股份有限公司 基于数字孪生模型的电子设备的智能健康预测方法及装置
CN111882660A (zh) * 2020-07-23 2020-11-03 广联达科技股份有限公司 基于cad图纸的三维显示方法和三维显示装置
CN112344516A (zh) * 2020-09-27 2021-02-09 国网浙江省电力有限公司绍兴供电公司 一种多分类融合模型的加热和制冷设备故障诊断系统
CN114808823A (zh) * 2022-04-28 2022-07-29 南通银烛节能技术服务有限公司 一种清扫车快速清理路面积液的智能控制方法及系统
CN114923261A (zh) * 2022-05-05 2022-08-19 青岛海信日立空调系统有限公司 中央空调机组故障监控方法、系统及中央空调机组单元
CN114923261B (zh) * 2022-05-05 2023-07-18 青岛海信日立空调系统有限公司 中央空调机组故障监控方法、系统及中央空调机组单元

Also Published As

Publication number Publication date
WO2021036642A1 (zh) 2021-03-04
CN110674700B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110674700B (zh) 基于数字孪生模型的电子设备的智能健康预测方法及装置
Yang et al. Blind identification of full-field vibration modes of output-only structures from uniformly-sampled, possibly temporally-aliased (sub-Nyquist), video measurements
CN110595749B (zh) 电风扇振动故障检测方法及装置
Chen et al. Modal identification of simple structures with high-speed video using motion magnification
Mahmoud et al. Diffy: A Déjà vu-free differential deep neural network accelerator
Shu et al. Moment-based approaches in imaging. 1. Basic features [A Look At...]
Fahmy et al. Micro‐movement magnification in video signals using complex wavelet analysis
CN104990514A (zh) 一种动态傅里叶变换轮廓术数据处理装置及方法
Liu et al. Vision-based displacement measurement sensor using modified Taylor approximation approach
CN114612575A (zh) 一种相机参数的标定、三维数据生成方法和系统
Qian et al. FESSD: SSD target detection based on feature fusion and feature enhancement
Peng et al. A visual vibration characterization method for intelligent fault diagnosis of rotating machinery
Morlier et al. Virtual vibration measurement using KLT motion tracking algorithm
Tian et al. Automatic feature type selection in digital photogrammetry of piping
Wang et al. Single and simultaneous fault diagnosis of gearbox via wavelet transform and improved deep residual network under imbalanced data
CN116188822B (zh) 图像相似性判断方法、装置、电子设备和存储介质
CN109767480B (zh) 基于显著性和空间特征的三维网格动画压缩方法
Wang et al. Real-time vibration visualization using GPU-based high-speed vision
Lai et al. An efficient implementation of a census-based stereo matching and its applications in medical imaging
CN110675427A (zh) 智能振动检测方法及相关产品
Silva et al. Spatio-temporal decomposition of 2D travelling waves from video measurements
Sarrafi et al. Using 2D phase-based motion estimation and video magnification for binary damage identification on a wind turbine blade
CN116183226A (zh) 基于相位的轴承试验台振动位移测量及模态分析算法
CN114037731A (zh) 一种fpga实现的神经网络光流估计方法、装置及介质
CN112883976A (zh) 基于点云的语义分割方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant