CN110245651B - 质量智能检测方法及相关装置 - Google Patents

质量智能检测方法及相关装置 Download PDF

Info

Publication number
CN110245651B
CN110245651B CN201910735973.2A CN201910735973A CN110245651B CN 110245651 B CN110245651 B CN 110245651B CN 201910735973 A CN201910735973 A CN 201910735973A CN 110245651 B CN110245651 B CN 110245651B
Authority
CN
China
Prior art keywords
sub
band images
vibration
sequence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910735973.2A
Other languages
English (en)
Other versions
CN110245651A (zh
Inventor
高风波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haoxi Intelligent Technology Co Ltd
Shenzhen Guangning Co Ltd
Original Assignee
Shenzhen Haoxi Intelligent Technology Co Ltd
Shenzhen Guangning Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haoxi Intelligent Technology Co Ltd, Shenzhen Guangning Co Ltd filed Critical Shenzhen Haoxi Intelligent Technology Co Ltd
Priority to CN201910735973.2A priority Critical patent/CN110245651B/zh
Publication of CN110245651A publication Critical patent/CN110245651A/zh
Application granted granted Critical
Publication of CN110245651B publication Critical patent/CN110245651B/zh
Priority to PCT/CN2020/104870 priority patent/WO2021027542A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种质量智能检测方法及相关装置，方法包括：获取被检测产品在振动状态下的原始视频；处理原始视频得到多个分辨率对应的多个子带图像序列；按照预设的分区灰度值筛选策略从多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；放大处理至少一个子带图像序列得到放大处理后的至少一个子带图像序列；将放大处理后的至少一个子带图像序列和多个子带图像中除至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频；根据目标视频确定被检测产品的振动数据；将振动数据导入预训练的质量检测模型，输出质量检测结果。本申请有利于减少图像运算量和提高对原始视频的处理效率和准确率。

Description

质量智能检测方法及相关装置
技术领域
本申请涉及互联网技术领域，具体涉及一种质量智能检测方法及相关装置。
背景技术
近年来，“互联网+”已经是创新2.0下的互联网发展的新业态，是知识社会创新2.0推动下的互联网形态演进及其催生的经济社会发展新形态。“互联网+”就是“互联网+各个传统行业”，即利用信息通信技术以及互联网平台，让互联网与传统行业进行深度融合，充分发挥互联网在社会资源配置中的优化和集成作用，将互联网的创新成果深度融合于经济、社会各域之中，提升全社会的创新力和生产力，形成更广泛的以互联网为基础设施和实现工具的经济发展新形态。现有的故障监测机制一般是采用本地化检测设备，如在专用房间布置激光多普勒测振仪LDVs，通过该设备进行本地化的振动检测，以及故障预测等，但是LDVs存在价格昂贵，使用环境受限，例如测试环境的温度、光照等环境影响会使测量结果严重变坏，测试区域小、难以实现远程监控等缺点，难以满足日益增多的各类场景中的智能化的振动检测需求。因此提供一种基于互联网的智能化的振动检测方法很有必要。
发明内容
本申请实施例提供了一种质量智能检测方法及相关装置，以期提高针对产品的质量检测的效率和准确率。
具体的，本申请实施例所公开的振动检测方法中的数据传输流程可以基于互联网+技术，形成本地+云端或服务器的分布式智能化振动检测系统，一方面本地可以通过采集装置进行精确的原始影像采集和预处理，另一方面云端或服务器可以基于获取到的分布式数据，结合通过大数据技术统计分析得到的各类专用故障检测模型，预测被检测目标的故障，实现互联网与传统故障监测行业的深度融合，提高故障监测的智能性和准确度，满足日益增多的各类场景中的智能化的振动检测需求。
第一方面，本申请实施例提供一种质量智能检测方法，应用于振动检测设备，包括摄像装置和扬声器，所述方法包括：
获取被检测产品在振动状态下的原始视频；
处理所述原始视频得到多个分辨率对应的多个子带图像序列；
按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；
放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；
将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；
根据所述目标视频确定所述被检测产品的振动数据；
将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
第二方面，本申请实施例提供一种质量智能检测装置，应用于振动检测设备，应用于振动检测设备，包括摄像装置和扬声器，所述质量智能检测装置包括处理单元和通信单元，其中，
所述处理单元通过所述通信单元获取被检测产品在振动状态下的原始视频；以及处理所述原始视频得到多个分辨率对应的多个子带图像序列；以及按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；以及放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；以及将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；以及根据所述目标视频确定所述被检测产品的振动数据；以及将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
第三方面，本申请实施例提供一种振动检测设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，振动检测设备首先获取被检测产品在振动状态下的原始视频；然后处理所述原始视频得到多个分辨率对应的多个子带图像序列；其次按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；其次放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；其次将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；其次根据所述目标视频确定所述被检测产品的振动数据；最后将所述振动数据导入预训练的质量检测模型，输出质量检测结果。可见，通过振动检测设备获取原始视频，根据预设的分区灰度值筛选策略筛选出用于放大处理的至少一个子带图像序列，对所述至少一个子带图像序列放大处理，以及对放大处理后的至少一个子带图像序列进行融合，得到目标视频，减少了需要进行放大的图像处理运算量，以及提高了对原始视频的处理效率和准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种振动检测设备的装置图；
图2是本申请实施例提供的一种质量智能检测方法的流程示意图；
图3是本申请实施例提供的像素点的灰度值时域变化波形的示意图
图4A是本申请实施例提供的振动检测设备显示质量检测快捷键的主界面显示图；
图4B是本申请实施例提供的振动检测设备显示功能键的主界面；
图4C是本申请实施例提供的振动检测设备显示扫一扫界面；
图4D是本申请实施例提供的振动检测设备显示拍照识别界面；
图5是本申请实施例提供的一种振动检测设备的结构示意图；
图6是本申请实施例提供的一种质量智能检测装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的振动检测设备可以是具备摄像装置的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备（UserEquipment，UE），移动台（MobileStation，MS），终端设备（terminaldevice）等等。
下面对本申请实施例进行详细介绍。
请参阅图1，图1为振动检测设备的装置图，振动检测设备100包括摄像装置110，扬声器120，其中，摄像装置可以是高清摄像头或者可调焦距的摄像头。
请参阅图2，图2是本申请实施例提供了一种质量智能检测方法的流程示意图，应用于振动检测设备，所述振动检测设备包括摄像装置和扬声器，如图所示，本质量智能检测方法包括：
S201，振动检测设备获取被检测产品在振动状态下的原始视频；
其中，所述原始视频为所述振动检测设备录制的被检测产品的未经处理的振动视频。
S202，所述振动检测设备处理所述原始视频得到多个分辨率对应的多个子带图像序列；
其中，处理所述原始视频得到多个第一子带图像集合包括通过摄像装置采集被检测产品的原始视频；对原始视频的多帧图像进行颜色空间转换，得到被检测产品在时域空间的多个YIQ图像；对多个YIQ图像中的Y通道图像进行傅里叶变换，得到被检测产品在频域空间的多个Y通道图像；基于复数可操纵金子塔对多个Y通道图像进行空域分解，从而得到对应的多个第一子带图像集合。每个第一子带图像集合包括多个图像分辨率对应的多个子带图像，所述多个子带图像中任意两个子带图像的尺度和方向互不相同，且所述多个第一子带图像集合中的子带图像对应所述多个图像分辨率形成多个子带图像序列，每个子带图像序列中任意两个子带图像来自于不同的第一子带图像集合。
S203，所述振动检测设备按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；
其中，通过所述振动检测设备识别每个子带图像序列的每个像素内的灰度值，通过将每个子带图像序列中每个子带图像进行分区处理，确定分区后每个区域的像素点灰度值，从而筛选出用于放大处理的至少一个子带图像序列，这样可以提升对原始视频的处理效率，获得更准确的放大运动信息，也避免了对更高分辨率图像进行放大的需要增加的运算量。
其中，所述分区灰度值筛选策略可以基于所述每个子带图像序列的前景图像和后景图像的占比关系进行分区，还可以基于被检测产品的形状进行分区，例如被检测产品为圆形，可以从圆心开始，以不同半径的同心圆形状进行分区。
S204，所述振动检测设备放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；
其中，对所述至少一个子带图像序列集合进行放大处理可以是根据每个图像序列中同一个像素点在不同时刻的灰度值差值进行放大，即放大某个像素点的灰度值变化频率。
具体实现中，还可以进行分区放大处理，通过识别前景图像和后景图像，对所述前景图像的像素点的灰度值差值进行放大，从而得到放大处理后的至少一个子带图像序列。
S205，所述振动检测设备将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；
其中，将所述放大处理后的所述至少一个子带图像序列和所述多个子带图像中除所述至少一个子带图像序列之外的子带图像序列采取预设方式进行融合处理，得到目标视频，所述预设方式包括反傅里叶变换。
S206，所述振动检测设备根据所述目标视频确定所述被检测产品的振动数据；
其中，根据放大处理后的得到的目标视频确定所述被检测产品振动数据，根据所述目标视频中像素点灰度值随时间变化的关系得到所述振动数据。
具体实现中，可以通过确定所述目标视频中多个像素点的灰度值相同的图像，确定所述灰度值相同的图像的时间跨度，根据所述时间跨度确定所述被检测产品的振动数据。
S207，所述振动检测设备将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
其中，所述质量检测结果包括所述被检测产品是否为正品，质量等级以及质量评分等，质量等级包括优品、良品以及次品。所述预训练的质量参数模型，可以是在质量检测之前，所述振动检测设备获取所述云端大数据，以云端大数据作为样本，训练得到不同品类、不同产品的质量检测模型。例如，所述被检测产品为瓷砖时，获取瓷砖对应的质量检测模型，再将所述瓷砖的振动数据导入所述对应的质量检测模型，得到该瓷砖为正品，且为优品，质量评分高。
可以看出，本申请实施例中，振动检测设备首先获取被检测产品在振动状态下的原始视频；然后处理所述原始视频得到多个分辨率对应的多个子带图像序列；其次按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；其次放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；其次将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；其次根据所述目标视频确定所述被检测产品的振动数据；最后将所述振动数据导入预训练的质量检测模型，输出质量检测结果。可见，通过振动检测设备获取原始视频，根据预设的分区灰度值筛选策略筛选出用于放大处理的至少一个子带图像序列，对所述至少一个子带图像序列放大处理，以及对放大处理后的至少一个子带图像序列进行融合，得到目标视频，减少了需要进行放大的图像处理运算量，以及提高了对原始视频的处理效率和准确率。
在一个可能的示例中，所述按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列，包括：确定所述多个子带图像序列的前景图像和后景图像，所述前景图像包含所述被检测产品的发生往复运动的区域影像，所述后景图像为除所述被检测产品的影像之外的影像；确定所述前景图像在子带图像中的面积占比；根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量，并按照所述子分区数量划分所述前景图像为多个前景子分区；针对每个子带图像序列，执行以下操作（1）-（6）以得到所述每个子带图像序列的灰度值变化频率：（1）确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点；（2）根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图；（3）针对所述每个前景子分区执行如下（a）（b）（c）操作：（a）根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图，确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点；（b）若是，则标记所述当前处理的前景子分区为被选择的前景子分区；（c）若否，则标记所述当前处理的前景子分区为未被选择的前景子分区；（4）针对标记后的被选择的多个前景子分区，按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域；（5）确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点，以及确定每个参考像素点的灰度值变化频率；（6）加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率，得到所述当前处理的子带图像序列的灰度值变化频率；根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列。
其中，所述确定所述多个子带图像序列的前景图像和后景图像可以根据所述多个子带图像序列中每个图像的像素点灰度值进行确定；还可以根据所述多个子带图像序列确定在所述原始视频中处于相对静止状态的参考特征点进行确定。其次，根据所述多个子带图像序列中的每个子带图像及每个子带图像的前景图像确定所述前景图像在子带图像的面积占比，以及根据所述面积占比和预设的计算公式计算得到每个前景图像的前景子分区数量，其中，所述前景图像的面积占比越大，所述前景子分区的数量越多。
具体实现中，得到所述多个前景子分区后，根据预设策略确定所述每个前景子分区的被测像素点，如图3所示，图3为一个像素点的灰度值时域变化波形图的示意图，其中，横轴为时间，纵轴为该像素点的灰度值，该图根据子带图像序列中每个子带图像的某个待测像素点的灰度值变化生成。
所述根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图，确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点，确定所述灰度值时域变化波形图存在周期性波动的波形时，确定该像素点的灰度值为周期性变化，则选择该像素点所在的前景子分区，并进行标记；将被标记的多个前景子分区根据区域关联性或图像色彩空间关联性进行拼接，得到振动参考区域。根据所述参考振动区域的像素点的灰度值变化确定所述参考振动区域中呈周期变化的多个像素点，根据公式计算每个参考像素点的灰度值变化频率，例如：Ht1代表了t1时刻的某个像素点灰度值，Ht2代表了t2时刻的该点的灰度值，该点的灰度值变化频率为。对所述参考振动区域的多个像素点的灰度值变化频率进行加权计算，例如，所述参考振动区域的灰度值变化频率，然后根据所述灰度值变化频率H确定所述当前处理的子带图像序列的灰度值变化频率；进而筛选得到符合预设参考振动频率的至少一个子带图像序列。或者在将至少一个子带图像序列中的不同时间跨度的所述灰度值变化频率H相加，得到多个不同的变化频率值，从所述多个不同的变化频率值中选择符合预设参考振动频率，确定符合预设参考振动频率的至少一个子带图像序列。
具体实现中，还可以进一步将被检测产品的原始视频分为多个子带图像序列，将多个图像序列分为多个图像分组，再确定处每个分组的像素点的灰度值，根据像素点的灰度值变化确定至少一个子带图像序列，进行放大处理。
可见，本示例中，振动检测设备能够基于子带图像序列中前景图像的面积占比确定检测像素点灰度值的图像区域，以提升对原始视频的处理效率，也避免了对更高分辨率图像进行放大的需要增加的运算量。
在一个可能的示例中，所述预设的子分区计算公式为：其中，x为面积占比，y为子分区数量，x大于0且小于或等于1。
其中，所述预设公式的系数和底数可以根据所述子带图像的大小进行调整。
举例来说，当所述面积占比为50%时，所述分区数量为，结果可以采取四舍五入取整数。
可见，本示例中，振动检测设备通过所述前景图像的占比面积和所述预设的子分区计算公式得到前景子分区我的数量，对所述前景图像进行分区处理，避免了对后景图像的像素点处理的运算量，提升图像处理效率。
在一个可能的示例中，所述确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点包括以下至少一种：所述每个前景子分区的边缘像素点；所述每个前景子分区的中间区域的像素点；所述每个前景子分区的随机筛选出来的多个像素点。
其中，所述确定待测像素点选择每个前景子分区的边缘像素点，所述边缘像素点可以每个前景子分区边缘的全部像素点，或者边缘的部分像素点；所述确定待测像素点选择每个前景子分区的中间区域的像素点，可以是所述每个子分区的中间一点，也可以是每个子分区中间预设区域的像素点；或者是所述每个前景子分区的随机筛选出来的多个像素点，所述多个像素点是在所述前景子分区均匀分布的多个像素点。
可见，本示例中，振动检测设备通过被检测产品的前景图像进行分区处理，采用多种方式确定所述每个子分区的像素点，再根据待测像素点的灰度值变化筛选出符合产品参考振动频率的图像序列，实现了多种方式确认像素点，提高数据处理效率。
在一个可能的示例中，所述振动检测设备，包括摄像装置和扬声器，所述获取被检测产品在振动状态下的原始视频，包括：通过所述振动检测设备主界面显示质量检测快捷键；检测到用户对所述快捷键的点击操作时，确定所述被检测产品的类别；根据所述类别获取所述产品的振动触发条件；启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频。
其中，如图4A所示，图4A是所述振动检测设备显示质量检测快捷键310的主界面显示图。其中，所述振动检测设备检测到用户针对如图4A中的质量检测快捷键的点击操作时，通过启动摄像头识别所述被检测产品的类别，其中所述被检测产品的类别包括但不限于产品。例如，所述待测产品为瓷砖时，所述振动触发条件可以是用50g的小铁锤以预设力度进行单次敲击；或者，所述被检测产品为玻璃时，所述振动触发条件可以是用10g的玻璃珠从固定高度垂直下落进行敲击。
具体实现中，还可以通过根据被检测产品的类别查询对应的振动触发条件。
其中，获取振动触发条件后，启动所述扬声器，通过所述扬声器将所述振动触发条件传递给用户，使用户根据所述振动触发条件执行振动触发操作，并录制操作过程的原始视频。
可见，本示例中，振动检测设备通过摄像装置和扬声器等实现产品检测的人机交互，使检测过程更简单，更正确以及提高了产品检测的便捷性。
在一个可能的示例中，所述振动触发条件包括单次敲击或多次敲击，所述处理所述原始视频得到多个分辨率对应的多个子带图像序列，包括：所述振动触发条件为单次敲击时，根据所述原始视频确定所述单次敲击完成的第一节点；获取所述第一节点后的预设时间内的第一图像序列集合，所述预设时间为所述被检测产品的参考振动时长；根据所述第一图像序列集合确定多个子带图像序列；或，所述振动触发条件为连续多次敲击时，根据所述原始视频确定所述连续多次敲击完成的多个第二节点；获取所述第二节点后的多组第二图像序列集合；根据所述多组第二图像序列集合确定所述第二节点后的多个子带图像序列。
其中，一个被检测产品可有多个不同的振动触发条件。例如所述被检测产品为瓷砖时，瓷砖对应的第一振动触发条件包括单次敲击或多次敲击。其中，通过原始视频确定通过单次敲击完成的节点，再根据所述被检测产品的参考振动时长确定第一图像序列集合，所述预设时间可以是通过该产品的振动数据库获取的该瓷砖从敲击开始振动到振动停止的时间，然后处理所述第一图像序列集合确定多个子带图像序列。或者，通过多次敲击完成的节点确定出确定每次敲击后预设时间内的图像序列集合或者每次敲击后到下一次敲击时间内的第二图像序列集合，然后处理所述第二图像序列集合确定多个子带图像序列。
可见，本示例中，通过振动检测敲击的时间节点和图像序列集合的振动频率，确定多个子带图像序列，避免了对敲击前或振动结束后的不必要的图像进行处理而增加的运算量，提升了图像处理效率和检测的准确性。
在一个可能的示例中，所述振动触发条件为单次敲击时，所述启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，还包括：检测所述单次敲击所使用的物体和敲击力度；判断所述所使用的物体是否为预设物体和所述敲击力度是否在第一预设力度的阈值范围内；若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；若否，提示用户采用预设物体以及用第一预设力度执行振动触发操作并录制原始视频。
其中，当所述被检测产品为瓷砖，且振动触发条件为单次敲击时，通过原始视频首先检测操作过程是否符合要求。例如检测敲击工具是否符合要求，若为橡胶类材料在敲击过程中有减振效果，不适于用于敲击产品作振动检测。以及判断敲击力度是否适宜，力度太小不能保证振动检测的准确性，敲击力度太大可能会使该产品破碎。检测敲击力度可以通过敲击工具的重量和激振力得出。
具体实现中，单次敲击后，通过视频检测敲击后被检测产品的振幅、频率，将得到的振幅和频率进行预处理，例如可以先获取该被检测产品在当前尺寸等因素下的固有频率，固有频率为30~64Hz，将得到的频率与固有频率进行比较，若获取的频率在固有频率范围之外，确定当前被检测产品不合格，若在固有频率范围之内则获取振动数据，并将振动数据导入预训练的质量检测模型判断被检测产品的质量。
可见，本示例中，振动检测设备能够通过检测单次敲击产品，判断振动触发条件是否符合条件确定是否根据单次敲击下的视频获取振动数据，提高用户检测待检测物品的多样性和准确性。
在一个可能的示例中，所述振动触发条件为连续多次敲击时，启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，还包括：检测所述连续多次敲击的敲击频率和敲击力度；判断所述敲击频率是否在预设频率内和所述敲击力度是否在第二预设力度的阈值范围内；若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；若否，提示用户采用预设频率以及用第二预设力度执行振动触发操作并录制原始视频。
其中，当所述被检测产品为瓷砖，且振动触发条件为连续多次敲击时，通过原始视频首先检测操作过程是否符合要求。例如检测敲击工具和敲击力度是否符合要求，以及判断连续多次敲击的频率即间隔时间是否符合要求。例如若连续多次敲击的间隔时间大于单次敲击时瓷砖的振动时间时，不符合要求。
具体实现中，连续多次敲击后，通过视频检测敲击后被检测产品的振幅、频率和相位，进而判断被检测产品的质量。
可见，本示例中，振动检测设备能够通过检测连续多次敲击产品，判断振动触发条件是否符合条件确定是否根据连续多次敲击下的视频获取振动数据，提高用户检测待检测物品的多样性和准确性。
在一个可能的示例中，所述确定所述被检测产品的类别，包括：启动所述摄像装置；在所述振动检测设备主界面显示扫一扫功能键；检测到用户点击所述功能键时，显示扫一扫界面；提示用户扫描所述被检测产品的标识信息；根据所述标识信息查询所述被检测产品的类别。
其中，如图4B所示，图4B是所述设备显示功能键的主界面，所述功能键包括扫一扫功能键和拍照识别功能键。检测到用户点击扫一扫功能键之后，显示如图4C所示的扫一扫界面，扫描被检测产品的标识，所述标识包括但不限于名称、产品商标、标号、规格和价格，通过标识查询所述被检测产品的类别。例如，通过扫一扫识别到被检测产品的“蒙娜丽莎产品”的图文信息，则通过该图文信息确定被检测产品为瓷砖。
可见，本示例中，振动检测设备能够基于检测到用户点击扫一扫功能进行识别被检测产品的标识，确定所述被检测产品的类别，提高了识别被检测产品的灵活性和准确性。
在一个可能的示例中，所述启动所述摄像装置之后，还包括：拍摄所述被检测产品的图片；将所述图片导入预训练的图像识别模型，得到所述被检测产品的类别。
其中，如图4D所示，图4D是识别到用户点击拍照识别功能键后的拍照识别界面。所述预训练的图像识别模型是基于大量不同类别的产品图片为样本进行预先训练的图像识别模型，将所述拍摄的图片导入所述图像识别模型，输出该图片的产品对应的类别。例如，拍摄产品为正方形，边长为40cm，厚度1cm且表面光滑的图片，将该图片导入预训练的图像识别模型，输出该产品类别为瓷砖等。
具体实现中，还可以通过用户输入被检测产品信息，包括产品名称、材质、尺寸信息等，例如输入产品，产品尺寸等或者输入产品名称为防盗门，材质为合金，尺寸信息为宽一米，高两米，厚度为八厘米。
可见，本示例中，振动检测设备能够基于拍照识别所述被检测产品的类别，提高了识别被检测产品的灵活性和准确性。
与上述图2所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种振动检测设备500的结构示意图，如图所示，所述振动检测设备500包括应用处理器510、存储器520、通信接口550以及一个或多个程序521，其中，所述一个或多个程序521被存储在上述存储器520中，并且被配置由上述应用处理器510执行，所述一个或多个程序521包括用于执行以下步骤的指令；
获取被检测产品在振动状态下的原始视频；
处理所述原始视频得到多个分辨率对应的多个子带图像序列；
按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；
放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；
将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；
根据所述目标视频确定所述被检测产品的振动数据；
将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
可以看出，本申请实施例中，振动检测设备首先获取被检测产品在振动状态下的原始视频；然后处理所述原始视频得到多个分辨率对应的多个子带图像序列；其次按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；其次放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；其次将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；其次根据所述目标视频确定所述被检测产品的振动数据；最后将所述振动数据导入预训练的质量检测模型，输出质量检测结果。可见，通过振动检测设备获取原始视频，根据预设的分区灰度值筛选策略筛选出用于放大处理的至少一个子带图像序列，对所述至少一个子带图像序列放大处理，以及对放大处理后的至少一个子带图像序列进行融合，得到目标视频，减少了需要进行放大的图像处理运算量，以及提高了对原始视频的处理效率和准确率。
在一个可能的示例中，在所述按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列方面，所述程序中的指令具体用于执行以下操作：确定所述多个子带图像序列的前景图像和后景图像，所述前景图像包含所述被检测产品的发生往复运动的区域影像，所述后景图像为除所述被检测产品的影像之外的影像；确定所述前景图像在子带图像中的面积占比；根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量，并按照所述子分区数量划分所述前景图像为多个前景子分区；针对每个子带图像序列，执行以下操作（1）-（6）以得到所述每个子带图像序列的灰度值变化频率：（1）确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点；（2）根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图；（3）针对所述每个前景子分区执行如下（a）（b）（c）操作：（a）根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图，确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点；（b）若是，则标记所述当前处理的前景子分区为被选择的前景子分区；（c）若否，则标记所述当前处理的前景子分区为未被选择的前景子分区；（4）针对标记后的被选择的多个前景子分区，按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域；（5）确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点，以及确定每个参考像素点的灰度值变化频率；（6）加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率，得到所述当前处理的子带图像序列的灰度值变化频率；根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列。
在一个可能的示例中，所述振动检测设备，包括摄像装置和扬声器，所述获取被检测产品在振动状态下的原始视频方面，所述程序中的指令具体用于执行以下操作：通过所述振动检测设备主界面显示质量检测快捷键；检测到用户对所述快捷键的点击操作时，确定所述被检测产品的类别；根据所述类别获取所述产品的振动触发条件；启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频。
在一个可能的示例中，所述振动触发条件包括单次敲击或多次敲击，在所述处理所述原始视频得到多个分辨率对应的多个子带图像序列方面，所述程序中的指令具体用于执行以下操作：所述振动触发条件为单次敲击时，根据所述原始视频确定所述单次敲击完成的第一节点；获取所述第一节点后的预设时间内的第一图像序列集合，所述预设时间为所述被检测产品的参考振动时长；根据所述第一图像序列集合确定多个子带图像序列；或，所述振动触发条件为连续多次敲击时，根据所述原始视频确定所述连续多次敲击完成的多个第二节点；获取所述第二节点后的多组第二图像序列集合；根据所述多组第二图像序列集合确定所述第二节点后的多个子带图像序列。
在一个可能的示例中，所述程序还包括用于执行以下操作的指令：所述振动触发条件为单次敲击时，所述启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，检测所述单次敲击所使用的物体和敲击力度；判断所述所使用的物体是否为预设物体和所述敲击力度是否在第一预设力度的阈值范围内；若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；若否，提示用户采用预设物体以及用第一预设力度执行振动触发操作并录制原始视频。
在一个可能的示例中，所述程序还包括用于执行以下操作的指令：所述振动触发条件为连续多次敲击时，启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，检测所述连续多次敲击的敲击频率和敲击力度；判断所述敲击频率是否在预设频率内和所述敲击力度是否在第二预设力度的阈值范围内；若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；若否，提示用户采用预设频率以及用第二预设力度执行振动触发操作并录制原始视频。
在一个可能的示例中，在所述确定所述被检测产品的类别方面，所述程序中的指令具体用于执行以下操作：启动所述摄像装置；在所述振动检测设备主界面显示扫一扫功能键；检测到用户点击所述功能键时，显示扫一扫界面；提示用户扫描所述被检测产品的标识信息；根据所述标识信息查询所述被检测产品的类别。
在一个可能的示例中，所述程序还包括用于执行以下操作的指令：所述启动所述摄像装置之后，拍摄所述被检测产品的图片；将所述图片导入预训练的图像识别模型，得到所述被检测产品的类别。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图6是本申请实施例中所涉及的质量智能检测装置600的功能单元组成框图。该质量智能检测装置600应用于振动检测设备，包括摄像装置和扬声器，包括处理单元601和通信单元602，其中，
所述处理单元601用于通过所述通信单元602获取被检测产品在振动状态下的原始视频；以及处理所述原始视频得到多个分辨率对应的多个子带图像序列；以及按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；以及放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；以及将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；以及根据所述目标视频确定所述被检测产品的振动数据；以及将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
其中，所述质量智能检测装置600还可以包括存储单元605，用于存储电子设备的程序代码和数据。所述处理单元601可以是处理器，所述通信单元602可以是触控显示屏或者收发器，存储单元605可以是存储器。
可以看出，本申请实施例中，振动检测设备首先获取被检测产品在振动状态下的原始视频；然后处理所述原始视频得到多个分辨率对应的多个子带图像序列；其次按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列；其次放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；其次将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；其次根据所述目标视频确定所述被检测产品的振动数据；最后将所述振动数据导入预训练的质量检测模型，输出质量检测结果。可见，通过振动检测设备获取原始视频，根据预设的分区灰度值筛选策略筛选出用于放大处理的至少一个子带图像序列，对所述至少一个子带图像序列放大处理，以及对放大处理后的至少一个子带图像序列进行融合，得到目标视频，减少了需要进行放大的图像处理运算量，以及提高了对原始视频的处理效率和准确率。
在一个可能的示例中，在所述按照预设的分区灰度值筛选策略从所述多个子带图像序列筛选出用于放大处理的至少一个子带图像序列方面，所述处理单元601具体用于：确定所述多个子带图像序列的前景图像和后景图像，所述前景图像包含所述被检测产品的发生往复运动的区域影像，所述后景图像为除所述被检测产品的影像之外的影像；确定所述前景图像在子带图像中的面积占比；根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量，并按照所述子分区数量划分所述前景图像为多个前景子分区；针对每个子带图像序列，执行以下操作（1）-（6）以得到所述每个子带图像序列的灰度值变化频率：（1）确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点；（2）根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图；（3）针对所述每个前景子分区执行如下（a）（b）（c）操作：（a）根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图，确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点；（b）若是，则标记所述当前处理的前景子分区为被选择的前景子分区；（c）若否，则标记所述当前处理的前景子分区为未被选择的前景子分区；（4）针对标记后的被选择的多个前景子分区，按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域；（5）确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点，以及确定每个参考像素点的灰度值变化频率；（6）加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率，得到所述当前处理的子带图像序列的灰度值变化频率；根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列。
在一个可能的示例中，所述振动检测设备，包括摄像装置和扬声器，所述获取被检测产品在振动状态下的原始视频方面，所述处理单元601具体用于：通过所述振动检测设备主界面显示质量检测快捷键；检测到用户对所述快捷键的点击操作时，确定所述被检测产品的类别；根据所述类别获取所述产品的振动触发条件；启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频。
在一个可能的示例中，所述振动触发条件包括单次敲击或多次敲击，在所述处理所述原始视频得到多个分辨率对应的多个子带图像序列方面，所述处理单元601具体用于：所述振动触发条件为单次敲击时，根据所述原始视频确定所述单次敲击完成的第一节点；获取所述第一节点后的预设时间内的第一图像序列集合，所述预设时间为所述被检测产品的参考振动时长；根据所述第一图像序列集合确定多个子带图像序列；或，所述振动触发条件为连续多次敲击时，根据所述原始视频确定所述连续多次敲击完成的多个第二节点；获取所述第二节点后的多组第二图像序列集合；根据所述多组第二图像序列集合确定所述第二节点后的多个子带图像序列。
在一个可能的示例中，所述振动触发条件为单次敲击时，所述处理单元601在所述启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，还用于检测所述单次敲击所使用的物体和敲击力度；判断所述所使用的物体是否为预设物体和所述敲击力度是否在第一预设力度的阈值范围内；若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；若否，提示用户采用预设物体以及用第一预设力度执行振动触发操作并录制原始视频。
在一个可能的示例中，所述振动触发条件为连续多次敲击时，所述处理单元601在启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，还检测所述连续多次敲击的敲击频率和敲击力度；判断所述敲击频率是否在预设频率内和所述敲击力度是否在第二预设力度的阈值范围内；若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；若否，提示用户采用预设频率以及用第二预设力度执行振动触发操作并录制原始视频。
在一个可能的示例中，在所述确定所述被检测产品的类别方面，所述处理单元601具体用于：启动所述摄像装置；在所述振动检测设备主界面显示扫一扫功能键；检测到用户点击所述功能键时，显示扫一扫界面；提示用户扫描所述被检测产品的标识信息；根据所述标识信息查询所述被检测产品的类别。
在一个可能的示例中，所述处理单元601在所述启动所述摄像装置之后，还用于拍摄所述被检测产品的图片；将所述图片导入预训练的图像识别模型，得到所述被检测产品的类别。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：Read-OnlyMemory，简称：ROM）、随机存取器（英文：RandomAccessMemory，简称：RAM）、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种质量智能检测方法，其特征在于，应用于振动检测设备，包括摄像装置和扬声器，所述方法包括：
获取被检测产品在振动状态下的原始视频；
处理所述原始视频得到多个分辨率对应的多个子带图像序列；
确定所述多个子带图像序列的前景图像和后景图像，所述前景图像包含所述被检测产品的发生往复运动的区域影像，所述后景图像为除所述被检测产品的影像之外的影像；
确定所述前景图像在子带图像中的面积占比；
根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量，并按照所述子分区数量划分所述前景图像为多个前景子分区；
针对每个子带图像序列，执行以下操作(1)-(6)以得到所述每个子带图像序列的灰度值变化频率：
(1)确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点；
(2)根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图；
(3)针对所述每个前景子分区执行如下(a)(b)(c)操作：(a)根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图，确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点；(b)若是，则标记所述当前处理的前景子分区为被选择的前景子分区；(c)若否，则标记所述当前处理的前景子分区为未被选择的前景子分区；
(4)针对标记后的被选择的多个前景子分区，按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域；
(5)确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点，以及确定每个参考像素点的灰度值变化频率；
(6)加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率，得到所述当前处理的子带图像序列的灰度值变化频率；
根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列；
放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；
将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；
根据所述目标视频确定所述被检测产品的振动数据；
将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
2.根据权利要求1所述的方法，其特征在于，所述预设的子分区计算公式为：
其中，x为面积占比，y为子分区数量，x大于0且小于或等于1。
3.根据权利要求2所述的方法，其特征在于，所述确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点包括以下至少一种：
所述每个前景子分区的边缘像素点；
所述每个前景子分区的中间区域的像素点；
所述每个前景子分区的随机筛选出来的多个像素点。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述振动检测设备，包括摄像装置和扬声器，所述获取被检测产品在振动状态下的原始视频，包括：
通过所述振动检测设备主界面显示质量检测快捷键；
检测到用户对所述快捷键的点击操作时，确定所述被检测产品的类别；
根据所述类别获取所述产品的振动触发条件；
启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频。
5.根据权利要求4所述的方法，其特征在于，所述振动触发条件包括单次敲击或多次敲击，所述处理所述原始视频得到多个分辨率对应的多个子带图像序列，包括：
所述振动触发条件为单次敲击时，根据所述原始视频确定所述单次敲击完成的第一节点；
获取所述第一节点后的预设时间内的第一图像序列集合，所述预设时间为所述被检测产品的参考振动时长；
根据所述第一图像序列集合确定多个子带图像序列；或，
所述振动触发条件为连续多次敲击时，根据所述原始视频确定所述连续多次敲击完成的多个第二节点；
获取所述第二节点后的多组第二图像序列集合；
根据所述多组第二图像序列集合确定所述第二节点后的多个子带图像序列。
6.根据权利要求4所述的方法，其特征在于，所述振动触发条件为单次敲击时，所述启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，还包括：
检测所述单次敲击所使用的物体和敲击力度；
判断所述所使用的物体是否为预设物体和所述敲击力度是否在第一预设力度的阈值范围内；
若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；
若否，提示用户采用预设物体以及用第一预设力度执行振动触发操作并录制原始视频。
7.根据权利要求4所述的方法，其特征在于，所述振动触发条件为连续多次敲击时，启动所述扬声器提示用户根据所述振动触发条件执行振动触发操作并录制所述原始视频之后，还包括：
检测所述连续多次敲击的敲击频率和敲击力度；
判断所述敲击频率是否在预设频率内和所述敲击力度是否在第二预设的力度阈值范围内；
若是，则确定所述振动触发条件符合要求，并执行根据预设视频处理策略获取所述原始视频中被检测产品的振动数据；
若否，提示用户采用预设频率以及用第二预设力度执行振动触发操作并录制原始视频。
8.根据权利要求4所述的方法，其特征在于，所述确定所述被检测产品的类别，包括：
启动所述摄像装置；
在所述振动检测设备主界面显示扫一扫功能键；
检测到用户点击所述功能键时，显示扫一扫界面；
提示用户扫描所述被检测产品的标识信息；
根据所述标识信息查询所述被检测产品的类别。
9.根据权利要求8所述的方法，其特征在于，所述启动所述摄像装置之后，还包括：
拍摄所述被检测产品的图片；
将所述图片导入预训练的图像识别模型，得到所述被检测产品的类别。
10.一种质量智能检测装置，其特征在于，应用于振动检测设备，包括摄像装置和扬声器，所述质量智能检测装置包括处理单元和通信单元，其中，
所述处理单元通过所述通信单元获取被检测产品在振动状态下的原始视频；以及处理所述原始视频得到多个分辨率对应的多个子带图像序列；以及确定所述多个子带图像序列的前景图像和后景图像，所述前景图像包含所述被检测产品的发生往复运动的区域影像，所述后景图像为除所述被检测产品的影像之外的影像；以及确定所述前景图像在子带图像中的面积占比；以及根据所述面积占比和预设的子分区计算公式确定所述前景图像的子分区数量，并按照所述子分区数量划分所述前景图像为多个前景子分区；以及针对每个子带图像序列，执行以下操作(1)-(6)以得到所述每个子带图像序列的灰度值变化频率：(1)确定当前处理的子带图像序列中每个子带图像的每个前景子分区的被测像素点；(2)根据每个被测像素点在当前子带图像序列包含的多个子带图像的灰度值生成每个被测像素点的灰度值时域变化波形图；(3)针对所述每个前景子分区执行如下(a)(b)(c)操作：(a)根据当前处理的前景子分区包含的多个被测像素点的灰度值时域变化波形图，确定所述当前处理的前景子分区是否包含灰度值周期性变化的被测像素点；(b)若是，则标记所述当前处理的前景子分区为被选择的前景子分区；(c)若否，则标记所述当前处理的前景子分区为未被选择的前景子分区；(4)针对标记后的被选择的多个前景子分区，按照区域关联性将具有相邻关系的前景子分区拼接为振动参考区域；(5)确定所述振动参考区域中多个像素点中灰度值发生周期性变化的多个参考像素点，以及确定每个参考像素点的灰度值变化频率；(6)加权计算所述振动参考区域中所述多个参考像素点的灰度值变化频率，得到所述当前处理的子带图像序列的灰度值变化频率；以及根据所述每个子带图像序列的灰度值变化频率筛选出符合预设参考振动频率的至少一个子带图像序列；以及放大处理所述至少一个子带图像序列得到放大处理后的至少一个子带图像序列；以及将所述放大处理后的至少一个子带图像序列和所述多个子带图像序列中除所述至少一个子带图像序列之外的子带图像序列进行融合处理，得到具有运动放大效果的目标视频，所述运动放大效果是指针对所述原始视频中所述被检测产品的发生往复运动的区域影像的放大处理；以及根据所述目标视频确定所述被检测产品的振动数据；以及将所述振动数据导入预训练的质量检测模型，输出质量检测结果。
11.一种振动检测设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
12.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-9任一项所述的方法。
CN201910735973.2A 2019-08-09 2019-08-09 质量智能检测方法及相关装置 Active CN110245651B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910735973.2A CN110245651B (zh) 2019-08-09 2019-08-09 质量智能检测方法及相关装置
PCT/CN2020/104870 WO2021027542A1 (zh) 2019-08-09 2020-07-27 质量智能检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910735973.2A CN110245651B (zh) 2019-08-09 2019-08-09 质量智能检测方法及相关装置

Publications (2)

Publication Number Publication Date
CN110245651A CN110245651A (zh) 2019-09-17
CN110245651B true CN110245651B (zh) 2019-11-29

Family

ID=67893858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910735973.2A Active CN110245651B (zh) 2019-08-09 2019-08-09 质量智能检测方法及相关装置

Country Status (2)

Country Link
CN (1) CN110245651B (zh)
WO (1) WO2021027542A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110617965B (zh) * 2019-04-26 2021-10-15 深圳市豪视智能科技有限公司 齿轮组异常的检测方法及相关产品
CN110245651B (zh) * 2019-08-09 2019-11-29 深圳市广宁股份有限公司 质量智能检测方法及相关装置
CN112132456A (zh) * 2020-09-22 2020-12-25 珠海大横琴科技发展有限公司 一种质量检测方法、装置及电子设备
CN113343179B (zh) * 2021-06-02 2022-03-01 江苏邦鼎科技有限公司 一种基于斜向剪切的打击粉碎方法及系统
CN113938674B (zh) * 2021-10-25 2023-09-26 重庆紫光华山智安科技有限公司 视频质量检测方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103033253A (zh) * 2012-12-10 2013-04-10 太原科技大学 一种塔式起重机结构的非接触振动检测方法
CN104089697A (zh) * 2014-07-08 2014-10-08 安徽常春藤光电智能科技有限公司 一种基于线程池并发技术的实时在线的视觉振动测量方法
CN205373873U (zh) * 2016-02-29 2016-07-06 莆田学院 一种风力发电机振动检测装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07253353A (ja) * 1994-03-15 1995-10-03 Tlv Co Ltd 振動測定装置
JP2008203225A (ja) * 2007-02-22 2008-09-04 Kenwood Corp 振動検出装置
CN102680573B (zh) * 2012-05-07 2014-07-16 刘镇波 基于均匀力敲击方法的木材振动性能检测装置
CN108731788B (zh) * 2018-05-22 2020-06-09 河海大学常州校区 一种高空作业臂低频振动视觉检测装置及方法
CN110068388A (zh) * 2019-03-29 2019-07-30 南京航空航天大学 一种基于视觉和盲源分离的振动检测方法
CN110245651B (zh) * 2019-08-09 2019-11-29 深圳市广宁股份有限公司 质量智能检测方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103033253A (zh) * 2012-12-10 2013-04-10 太原科技大学 一种塔式起重机结构的非接触振动检测方法
CN104089697A (zh) * 2014-07-08 2014-10-08 安徽常春藤光电智能科技有限公司 一种基于线程池并发技术的实时在线的视觉振动测量方法
CN205373873U (zh) * 2016-02-29 2016-07-06 莆田学院 一种风力发电机振动检测装置

Also Published As

Publication number Publication date
WO2021027542A1 (zh) 2021-02-18
CN110245651A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110245651B (zh) 质量智能检测方法及相关装置
Kahl et al. Large-Scale Bird Sound Classification using Convolutional Neural Networks.
CN107527337B (zh) 一种基于深度学习的视频对象移除篡改检测方法
Acciarri et al. Convolutional neural networks applied to neutrino events in a liquid argon time projection chamber
CN105243388B (zh) 基于动态时间规整和划分算法的波形分类方法
CN109726683A (zh) 目标对象检测方法和装置、电子设备和存储介质
CN107480642A (zh) 一种基于时域分段网络的视频动作识别方法
CN106201898B (zh) 一种基于人工智能的测试软件的方法及装置
CN106612495B (zh) 一种基于传播损耗学习的室内定位方法及系统
Unger et al. A visual analysis concept for the validation of geoscientific simulation models
CN109413023A (zh) 机器识别模型的训练及机器识别方法、装置、电子设备
CN109978870A (zh) 用于输出信息的方法和装置
CN110263979A (zh) 基于强化学习模型预测样本标签的方法及装置
CN109102015A (zh) 一种基于复数神经网络的sar图像变化检测方法
Zhang et al. Shape and material from sound
CN114241422A (zh) 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法
CN109740567A (zh) 关键点定位模型训练方法、定位方法、装置及设备
CN106326632A (zh) 物体分析方法与物体分析系统
Mustafa et al. Measuring the effect of stochastic perturbation component in cellular automata urban growth model
CN110245683A (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN107221212A (zh) 一种基于时间序列的在线学习者认知风格分析方法
Yu et al. LPPN: A lightweight network for fast phase picking
CN110321960A (zh) 一种工厂生产要素的预测方法及系统
CN110493262A (zh) 一种改进分类的网络攻击检测方法及系统
CN109558898A (zh) 一种基于深度神经网络的高置信度的多选择学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant