具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所描述电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、视频矩阵、监控平台、移动互联网设备(MID,Mobile Internet Devices)、无人机、DV或穿戴式设备等,上述仅是举例,而非穷举,包含但不限于上述装置,当然,上述电子设备还可以为服务器。
请参阅图1A,为本申请实施例提供的一种振动检测方法的实施例流程示意图。本实施例中所描述的振动检测方法,包括以下步骤:
101、获取针对目标对象的预设部位的第一视频序列。
其中,目标对象可以为以下一种:机械设备(数控机床)、交通工具、通讯工具、医疗器械、建筑物、人、动物等等,在此不作限定。可以获取目标对象在一段时间内的第一视频序列,第一视频序列可以为RGB视频图像。预设部位可以由用户自行设置或者系统默认。本申请实施例可以应用于图1B所示的场景中,第一视频序列可以由摄像头对目标对象进行拍摄得到一视频序列,由电子设备对该视频序列进行分析,得到振动参数,并在显示界面展示振动参数。
本申请实施例中,电子设备可以包括至少一个摄像头,摄像头可以为以下至少一种:红外摄像头或者可见光摄像头,可见光摄像头可以为普通摄像头或者光角摄像头等等,在此不作限定。当然,电子设备还可以包括超声波传感器,通过超声波传感器可以获取目标对象的第一视频序列。第一视频序列可以为针对整个目标对象的全景视频图像,或者,目标对象的指定部位的视频图像,或者,目标对象的内部运作图像。
102、依据所述第一视频序列提取由所述预设部位振动产生的第一振动参数集。
其中,振动参数集可以包括以下至少一种振动参数:振动频率、振动幅度、振动次数、振动时域波形图、振动周期、振动范围等等,在此不作限定。
可选地,上述步骤102,依据所述第一视频序列提取由所述预设部位振动产生的第一振动参数集,可包括如下步骤:
21、将所述第一视频序列进行颜色空间变换,得到变换后的所述第一视频序列;
22、对变换后的所述第一视频序列进行分离,得到亮度分量信息和色度分量信息;
23、对所述亮度分量信息进行傅里叶变换,得到频域亮度分量信息;
24、对所述频域亮度分量信息进行运动放大处理,得到放大处理后的所述频域亮度分量;
25、对所述放大处理后的所述频域亮度分量进行反傅里叶变换,得到时域亮度分量信息;
26、将所述时域亮度信息和所述色度分量信息进行合成,得到合成视频序列;
27、对所述合成视频序列进行所述颜色空间变换对应的反变换,得到第二视频序列;
28、依据所述第二视频序列确定所述预设部位振动产生的第一振动参数集。
其中,上述颜色空间变换可以包括以下任一中:RGB转YCbCr颜色空间变换、RGB转YIQ颜色空间变换、RGB转HIS颜色空间变换、RGB转YUV颜色空间变换,在此不作限定。具体实现中,可以将第一视频序列进行颜色空间变换,得到变换后的第一视频序列,如此,能够便提取亮度分量,即对变换后的第一视频序列进行分离,得到亮度分量信息和色度分量信息,举例说明下,由摄像机拍摄含有振动的被测物体的一段视频,然后将该视频的序列帧由RGB颜色空间转换到YIQ颜色空间,分离视频帧的亮度分量信息和色度分量信息,后续的步骤都在YIQ视频的Y相也就是亮度信息进行运算,这样可减少算法运算量提高算法的运行速度。RGB和YIQ的转换关系为:
Y=0.299*R+0.587*G+0.114*B;
I=0.596*R–0.275*G–0.321*B;
Q=0.212*R-0.523*G+0.311*B。
进一步地,可以对亮度分量信息进行傅里叶变换,得到频域亮度分量信息,对频域亮度分量信息进行运动放大处理,得到放大处理后的频域亮度分,对放大处理后的频域亮度分量进行反傅里叶变换,得到时域亮度分量信息,将时域亮度信息和色度分量信息进行合成,得到合成视频序列,对合成视频序列进行所述颜色空间变换对应的反变换,得到第二视频序列,依据第二视频序列确定预设部位振动产生的第一振动参数集,如此,由于将振动对应的特征进行放大处理,便于更好地从视频序列中提取出振动参数。
进一步可选地,上述步骤28,依据所述第二视频序列所述预设部位振动产生的第一振动参数集,可包括如下步骤:
281、依据所述预设部位对所述第二视频序列进行图像分割,得到第三视频序列,所述第三视频序列中每一视频帧仅包括所述预设部位对应的影像;
281、确定所述第三视频序列对应的帧序列间的交叉互功率谱;
282、对所述交叉互功率谱进行插值滤波处理,得到处理后的所述交叉互功率谱;
283、对处理后的所述交叉互功率谱进行反傅里叶变换,并逐相位比较,得到所述预设部位振动产生的第一振动参数集。
具体实现中,可以依据预设部位对所述第二视频序列进行图像分割,得到第三视频序列,所述第三视频序列中每一视频帧仅包括预设部位对应的影像,进而,可以对视频运动放大处理后的帧序列采用相位相关算法计算帧序列间的交叉互功率谱,具体地,相位相关算法采用如下的公式计算交叉互功率谱。
其中,F
a为第三视频序列中的a帧图像的傅立叶变换,
为第三视频序列中的b帧图像的傅里叶变换的共轭信号,除式的下边为两个傅里叶变换的信号的相关积的模。R为本步骤的计算结果交叉互功率谱(包含频域噪音)。
进一步地,可以采用自适应滤波器组来重建运动信号,根据R的相关峰的位置自适应选择滤波器组进行滤波,滤波之后再进行反傅里叶变换,再进行相位比较(逐相位比较),此时,可会采用滑窗的自适应匹配方法来估计和提取振动参数,得到滤除频域噪音后的交叉互功率谱R′,再对交叉互功率谱进行反傅立叶变换,逐相位比较,便可得到视频中像素的振动信息计算公式如下。
r=F-1{R′}
其中,F-1表示对交叉互功率谱进行反傅里叶变换,R′为滤除频域噪音后的交叉互功率谱,得到r为视频中的像素对应的振动信息。
其中,可根据交叉互功率谱R的相关峰的位置自适应选择滤波器组进行滤波,得到滤波后的交叉互功率谱R'。
可选地,上述步骤282中,对所述交叉互功率谱进行插值滤波处理,得到处理后的所述交叉互功率谱,可包括以下步骤:
2821、获取所述交叉互功率谱对应的多个状态变化信号,状态变化信号为时域信号;
2822、从所述多个状态变化信号中提取预设长度的目标状态变化信号段,得到多个目标状态变化信号段,并获取所述多个目标状态变化信号段中每一目标状态变化信号段的目标频率,得到多个目标频率;
2823、根据所述多个状态变化信号中每一状态变化信号对应的目标频率设定对应的滑窗,得到多个滑窗,将所述多个状态变化信号中每一状态变化信号发送至对应的滑窗;
2824、将所述多个状态变化信号中不能通过对应的滑窗的状态变化信号作为非周期信号,得到至少一个非周期信号;
2825、去除所述多个状态变化信号中的所述至少一个非周期信号,得到;滤波后的交叉互功率谱。
其中,交叉互功率谱R为频域信号,其中包括一个或多个相关峰。将交叉互功率谱R进行反傅里叶变换之后即可得到各相关峰对应的状态变化信号。每个状态变化信号可以反应放大视频中的某个位置的状态变化情况,因此,可从所述多个状态变化信号中提取预设长度的目标状态变化信号段,得到多个目标状态变化信号段。状态变化信息包括振动数据和其他噪声信息,例如光照的变化也会导致视频画面中的状态变化,振动数据可以反应待振动物体的运行状况。待检测设备运行时自身的振动是周期性的,振动引起的状态变化也是周期性的。很多噪声信息虽然会导致放大视频中各像素点的状态变化,但是,噪声引起的状态变化常常不是周期性的,而且根据运行状况,呈周期性的振动才能用于反应设备运行状况,因为非周期性的振动常常是由外界环境导致的,而不是由设备自身引起的,这部分非周期性的信号也不能用于分析设备的运行状况。通过获取状态变化信号中的非周期信号获取不是由自身振动引起的噪声信号。由于非周期信号常常是对分析设备运行状况作用不大或者没有作用甚至会有干扰的信号,那么可去除这部分非周期信号,以使得从放大视频中获取到的状态变化信号中,有用信息更多。
其中,在获取多个状态变化信号之后,可判断各状态变化信号是否为周期信号,具体地,可先提取预设长度的目标状态变化信号段,获取目标变化信号段的目标频率,然后将状态变化信号中的其他部分的频率与目标频率比对,如果状态变化信号中的其他部分的频率与目标频率不一致,则可认为该状态变化信号为非周期信号。预设长度可以由用户设定一个确定的值,也可以在信号处理过程中根据信号的长度自行适配,例如可将预设长度设定为状态变化信号长度的1/10。获得目标状态变换信号段的目标频率之后,根据目标频率设定滑窗的窗口大小,例如可将滑窗的窗口大小设定为与目标频率一致,这样只有频率与目标频率一致的信号才能通过滑窗,而与目标频率不一致的信号则不能通过滑窗。如果状态变化信号不能通过对应的滑窗,则说明该状态变化信号中存在频率与目标频率不一致的信号段,也即该状态变化信号为非周期信号。如此,通过滑窗的方式判断状态变化信号中的其他部分的频率与目标频率是否一致,可以方便快捷地得到结论,计算量更小。
进一步可选地,上述步骤24,对所述频域亮度分量信息进行运动放大处理,得到放大处理后的所述频域亮度分量,可包括如下步骤:
2411、对所述频域亮度分量信息进行特征点提取,得到特征点集;
2412、对所述特征点集进行聚类,得到多类特征点;
2413、对所述频域亮度分量信息中的每一像素点进行光流场插值运算,得到稠密光流场;
2414、跟踪所述多类特征点中每一类特征点的运动轨迹,得到多个动作层,每一类特征点对应一个动作层;
2415、对所述多个动作层进行纹理填充,并将纹理填充后的所述多个动作层中的预设层进行放大处理,得到放大处理后的所述频域亮度分量。
其中,特征点提取可以为以下至少一种方式:harris角点检测、尺度不变特征提取(scale invariant feature transform,SIFT)、SURF特征提取算法等等,在此不作限定,具体实现中,可以对频域亮度分量信息进行特征点提取,得到特征点集,对特征点集进行聚类,得到多类特征点,对频域亮度分量信息中的每一像素点进行光流场插值运算,得到稠密光流场,跟踪多类特征点中每一类特征点的运动轨迹,得到多个动作层,每一类特征点对应一个动作层,对多个动作层进行纹理填充,并将纹理填充后的多个动作层中的预设层进行放大处理,得到放大处理后的频域亮度分量,预设层可以由用户自行设置或者系统默认。如此,可以实现将振动对应的特征进行放大,后续便于分析振动带来的影响。
可选地,在上述步骤241之前,还可以对频域亮度分量信息进行配准,得到配准图像,则在执行上述步骤241时,则可以对该配准图像进行特征点提取,得到特征点集,如此,可以防止由于相机晃动而产生的动作。
具体实现中,考虑到特征点的跟踪可能受到图像阴暗、遮挡等其他因素的影响,从而影响跟踪结果,运动层次分割的准确程度直接关系到最终的放大效果,而这个过程还可以结合人工干预,即人为选择一些运动层,如此,可以进一步提升跟踪精度。
进一步可选地,上述步骤24,对所述频域亮度分量信息进行运动放大处理,得到放大处理后的所述频域亮度分量,可包括如下步骤:
2421、对所述频域亮度分量进行空域分解,得到分解后的所述频域亮度分量;
2422、对分解后的所述频域亮度分量进行时域滤波,滤波后的所述频域亮度分量;
2423、对所述频域亮度分量进行放大处理,得到放大后的所述频域亮度分量;
2424、对所述频域亮度分量进行所述空域分解对应的反变换,得到反变换后的所述放大处理后的所述频域亮度分量。
其中,空域分解可以包括以下至少一种算法:快速傅里叶变换、轮廓波变换、非下采样轮廓波变换(Non-sampled contourlet transform,NSCT)、小波变换、脊波变换、剪切波变换等等,在此不作限定,举例说明下,空域分解具体可以为先FFT,再进行复数可操作金字塔空域分解。具体实现中,可以对频域亮度分量进行空域分解,得到分解后的频域亮度分量,对分解后的频域亮度分量进行时域滤波,滤波后的频域亮度分量,对频域亮度分量进行放大处理,得到放大后的频域亮度分量,对频域亮度分量进行空域分解对应的反变换,得到反变换后的放大处理后的所述频域亮度分量,能够将图像中的深层次细节加以放大,有助于精准提取图像中的关键特征点,在特征点受到图像阴暗、遮挡等影响的情况下,依旧可以实现较好跟踪特征点。
具体实现中,举例说明下,如图1C所示,将第一视频序列转化的YIQ色彩空间,保持I、Q通道不变,对Y通道进行空域分解(如FFT操作),将FFT变换后的Y通道图像进行复数可操纵金子塔空域分解,将Y通道空域分解后的不同尺度的图像进行时域带通滤波,放大时域带通滤波后感兴趣的运动信息,对感兴趣的运动信息进行复数可操纵金字塔重建,得到放大后的Y通道图像,最后将重建的Y通道图像与原来的I、Q通道图像相加,再转化为RGB色彩空间,得到第二视频序列,如此,能够精准提取目标对象对应的振动参数,有助于提升故障检测精度。
103、从所述第一振动参数集中提取出符合预设要求的第二振动参数集。
其中,预设要求可以由用户自行设置或者系统默认。例如,预设要求可以为振动幅度最大的测试点对应的振动参数,又例如,预设要求可以为预设测试点对应的振动参数,预设测试点可以由用户自行设置或者系统默认。
可选地,所述第一振动参数集可以包括多个振动参数;上述步骤103,从所述第一振动参数集中提取出符合预设要求的第二振动参数集,可包括如下步骤:
31、对所述第一振动参数集进行聚类分析,得到多个类,每一类对应一个测试点;
32、将所述多个类中对应的测试点为预设测试点对应的振动参数作为所述第二振动参数集。
其中,上述预设测试点可以由用户自行设置或者系统默认。具体实现中,以对第一振动参数集进行聚类分析,得到多个类,每一类对应一个测试点,将多个类中对应的测试点为预设测试点对应的振动参数作为第二振动参数集,进而,可以实现对振动参数进行筛选,以便精准实现定点分析。
104、依据所述第二振动参数集对所述预设部位进行位置标记,得到至少一个位置标记。
其中,第二振动参数集包括大量的振动参数,每一振动参数均可以对应预设部位中的一个点,进而,每个点至少可以包括一个振动参数,基于此,可以依据第二振动参数集对预设部位进行位置标记,得到至少一个位置标记。当然,也可以将第二振动参数集映射在预设部位,将预设部位划分为多个方格,将方格中振动参数数量大于预设数量的方格进行标记,得到至少一个位置标记,其中,上述预设数量可以由用户自行设置或者系统默认。
105、在所述第一视频序列中展示所述至少一个位置标记。
其中,具体实现中,可以展示至少一个位置标记中的任一位置标记在指定时间段的视频序列,指定时间段可以由用户自行设置或者系统默认。
可选地,上述步骤105,在所述第一视频序列中展示所述至少一个位置标记,可以包括如下步骤:
51、从所述第二振动参数集中提取针对位置标记i的目标振动参数,所述位置标记i为所述至少一个位置标记中的任一位置标记;
52、对所述目标振动参数进行处理,得到目标特征值;
53、按照预设的特征值与展示效果参数之间的映射关系,确定所述目标特征值对应的目标展示效果参数;
54、依据所述目标展示效果参数在所述第一视频序列中展示所述位置标记i。
其中,上述展示效果参数可以为以下至少一种:显示亮度、显示颜色、显示色调、是否需要加显示框、是否需要加箭头等等,在此不作限定。电子设备中还可以预先存储预设的特征值与展示效果参数之间的映射关系,具体实现中,由于不同的振动参数对应不同的标记,每一标记可以取以一个点作为中心,一定范围内的振动参数作为该点的振动参数,进而,可以从第二振动参数集中提取针对位置标记i的目标振动参数,位置标记i为至少一个位置标记中的任一位置标记,对目标振动参数进行处理,得到目标特征值,按照预设的特征值与展示效果参数之间的映射关系,确定目标特征值对应的目标展示效果参数,依据目标展示效果参数在第一视频序列中展示位置标记i,如此,可以针对振动差异,对不同的标记进行差异化显示,有助于用户快速且精准看到振动效果。
进一步可选地,上述步骤52,对所述目标振动参数进行处理,得到目标特征值,可包括如下步骤:
521、从所述目标振动参数中获取时域波形;
522、对所述时域波形进行预处理,得到目标时域波形;
523、将所述目标时域波形与预设时域波形进行比对;
524、在所述目标时域波形与所述预设时域波形进行比对成功时,确定所述目标时域波形的多个极值点;
525、依据所述多个极值点确定所述目标特征值。
其中,由于振动是一直振动,例如,设备在运动,则其部件也是在一直转动的,振动参数中可以包括大量振动数据,上述预处理可以包括以下至少一种:信号放大、降噪处理等等,在此不作限定。预设时域波形可以为故障状态对应的波形,预设时域波形可以由用户自行设置或者系统默认。具体实现中,可以从目标振动参数中获取时域波形,进而,对该目标时域波形进行预处理,得到目标时域波形,将目标时域波形与预设时域波形进行比对,在目标时域波形与所述预设时域波形进行比对成功时,确定目标时域波形的多个极值点,极值点可以包括极大值点或者极小值点,可以依据多个极值点确定目标特征值,反之,在目标时域波形与所述预设时域波形进行比对失败时,则可以说明目标对象运作正常,可以不进行振动展示,或者,提示用户设备运转正常。具体地,例如,将该多个极值点的均方差作为目标特征值,或者,可以将该多个极值点的数量作为目标特征值。
可选地,上述步骤525,依据所述多个极值点确定所述目标特征值,可以包括如下步骤:
5251、从所述多个极值点中选取绝对值大于预设阈值的极值点,得到多个目标极值点;
5252、将所述多个目标极值点分为两类,第一类包括多个极大值点,第二类包括多个极小值点;
5253、确定所述第一类中多个极大值点之间的第一均方差;
5254、确定所述第二类中的多个极小值之间的第二均方差;
5255、将所述第一均方差与所述第二均方差之间的比值的绝对值作为所述目标特征值。
其中,上述预设阈值可以由用户自行设置或者系统默认。具体实现中,可以从多个极值点中选取绝对值大于预设阈值的极值点,得到多个目标极值点,将多个目标极值点分为两类,第一类包括多个极大值点,第二类包括多个极小值点,确定第一类中多个极大值点之间的第一均方差,确定第二类中的多个极小值之间的第二均方差,将第一均方差与第二均方差之间的比值的绝对值作为目标特征值,如此,首先对极值点进行筛选,得到稳定的极值点,这些极值点更能分析目标对象的振动情况,另外,将这些极值点分为两类,极大值点和极小值点,通过该两类分别计算均方差,再将最终的比值的绝对值作为目标特征值,目标特征值由于充分把握了振幅在向上以及向下运动的分布情况,因此,这样的目标特征值能够精准反映振动趋势,有助于提升故障信息精度。
举例说明下,本申请实施例中,目标对象可以为机械设备,基于上述振动检测装置可以获取机械设备在工作状态下产生振动的视频序列,依据该视频序列提取振动参数,依据振动参数分析机械设备的故障信息。
举例说明下,本申请实施例中,目标对象可以为人,基于上述振动检测装置可以由超声波传感器获取用户关于心脏振动的视频序列,依据该视频序列提取振动参数,依据振动参数分析人的心脏功能,以及实现健康诊断,当然,还可以对孕妇进行检测,检测婴儿的成长情况。
基于上述本申请实施例,具体实现中,电子根据可以根据用户需求,在显示界面上显示目标对象的目标部位的实景图像或者影像,其中,实景图像或者影像是电子设备基于上述任意一种振动检测方法处理被检测对象的原始视频而得到的。对于显示的图像或者影像,本申请实施例,还可以进一步增强显示处理,可以分析得到最强振动位置,还可以将最强振动位置对应的区域的振动部件突出显示,具体地,可以以标记框、箭头、颜色处理的方式进行标记。当然,还可以基于用户设置或者自行标记振动部位,以及同步显示该对象的振动分析结果数据,如振幅、频率、时域波形等振动参数。
可以看出,通过本申请实施例振动检测方法,获取针对目标对象的预设部位的第一视频序列,依据第一视频序列提取由预设部位振动产生的第一振动参数集,从第一振动参数集中提取出符合预设要求的第二振动参数集,依据第二振动参数集对预设部位进行位置标记,得到至少一个位置标记,在第一视频序列中展示至少一个位置标记,进而,能够通过预设部分的视频分析出其对应的振动参数,并展示相应产生振动的位置。
与上述一致地,请参阅图2,为本申请实施例提供的一种振动检测方法的实施例流程示意图。本实施例中所描述的振动检测方法,包括以下步骤:
201、获取针对目标对象的预设部位的第一视频序列。
202、依据所述第一视频序列提取由所述预设部位振动产生的第一振动参数集。
203、从所述第一振动参数集中提取出符合预设要求的第二振动参数集。
204、依据所述第二振动参数集对所述预设部位进行位置标记,得到至少一个位置标记。
205、从所述第二振动参数集中提取针对位置标记i的目标振动参数,所述位置标记i为所述至少一个位置标记中的任一位置标记。
206、对所述目标振动参数进行处理,得到目标特征值。
207、按照预设的特征值与展示效果参数之间的映射关系,确定所述目标特征值对应的目标展示效果参数。
208、依据所述目标展示效果参数在所述第一视频序列中展示所述位置标记i。
其中,上述步骤201-步骤208所描述的振动检测方法可参考图1A所描述的振动检测方法的对应步骤。
可以看出,通过本申请实施例振动检测方法,获取针对目标对象的预设部位的第一视频序列,依据第一视频序列提取由预设部位振动产生的第一振动参数集,从第一振动参数集中提取出符合预设要求的第二振动参数集,依据第二振动参数集对预设部位进行位置标记,得到至少一个位置标记,在第一视频序列中展示至少一个位置标记,进而,能够通过预设部分的视频分析出其对应的振动参数,并展示相应产生振动的位置。
与上述一致地,以下为实施上述振动检测方法的装置,具体如下:
请参阅图3,为本申请实施例提供的一种振动检测装置的实施例结构示意图。本实施例中所描述的振动检测装置,包括:获取单元301、提取单元302、标记单元303和展示单元304,具体如下:
获取单元301,用于获取针对目标对象的预设部位的第一视频序列;
提取单元302,用于依据所述第一视频序列提取由所述预设部位振动产生的第一振动参数集;以及从所述第一振动参数集中提取出符合预设要求的第二振动参数集;
标记单元303,用于依据所述第二振动参数集对所述预设部位进行位置标记,得到至少一个位置标记;
展示单元304,用于在所述第一视频序列中展示所述至少一个位置标记。
可以看出,通过本申请实施例振动检测装置,获取针对目标对象的预设部位的第一视频序列,依据第一视频序列提取由预设部位振动产生的第一振动参数集,从第一振动参数集中提取出符合预设要求的第二振动参数集,依据第二振动参数集对预设部位进行位置标记,得到至少一个位置标记,在第一视频序列中展示至少一个位置标记,进而,能够通过预设部分的视频分析出其对应的振动参数,并展示相应产生振动的位置。
可选地,在所述依据所述第一视频序列提取所述预设部位振动产生的第一振动参数集方面,所述提取单元302具体用于:
将所述第一视频序列进行颜色空间变换,得到变换后的所述第一视频序列;
对变换后的所述第一视频序列进行分离,得到亮度分量信息和色度分量信息;
对所述亮度分量信息进行傅里叶变换,得到频域亮度分量信息;
对所述频域亮度分量信息进行运动放大处理,得到放大处理后的所述频域亮度分量;
对所述放大处理后的所述频域亮度分量进行反傅里叶变换,得到时域亮度分量信息;
将所述时域亮度信息和所述色度分量信息进行合成,得到合成视频序列;
对所述合成视频序列进行所述颜色空间变换对应的反变换,得到第二视频序列;
依据所述第二视频序列确定所述预设部位振动产生的第一振动参数集。
可选地,所述第一振动参数集可以包括多个振动参数;
在所述从所述第一振动参数集中提取出符合预设要求的第二振动参数集方面,所述提取单元302具体用于:
对所述第一振动参数集进行聚类分析,得到多个类,每一类对应一个测试点;
将所述多个类中对应的测试点为预设测试点对应的振动参数作为所述第二振动参数集。
可选地,所述在所述第一视频序列中展示所述至少一个位置标记方面,所述展示单元404具体用于:
从所述第二振动参数集中提取针对位置标记i的目标振动参数,所述位置标记i为所述至少一个位置标记中的任一位置标记;
对所述目标振动参数进行处理,得到目标特征值;
按照预设的特征值与展示效果参数之间的映射关系,确定所述目标特征值对应的目标展示效果参数;
依据所述目标展示效果参数在所述第一视频序列中展示所述位置标记i。
可选地,在所述对所述目标振动参数进行处理,得到目标特征值方面,所述展示单元404具体用于:
从所述目标振动参数中获取时域波形;
对所述时域波形进行预处理,得到目标时域波形;
将所述目标时域波形与预设时域波形进行比对;
在所述目标时域波形与所述预设时域波形进行比对成功时,确定所述目标时域波形的多个极值点;
依据所述多个极值点确定所述目标特征值。
可以理解的是,本实施例的振动检测装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
与上述一致地,请参阅图4,为本申请实施例提供的一种电子设备的实施例结构示意图。本实施例中所描述的电子设备,包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器,也可为非易失存储器(non-volatilememory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于:
获取针对目标对象的预设部位的第一视频序列;
依据所述第一视频序列提取由所述预设部位振动产生的第一振动参数集;
从所述第一振动参数集中提取出符合预设要求的第二振动参数集;
依据所述第二振动参数集对所述预设部位进行位置标记,得到至少一个位置标记;
在所述第一视频序列中展示所述至少一个位置标记。
可以看出,通过本申请实施例所描述的电子设备,获取针对目标对象的预设部位的第一视频序列,依据第一视频序列提取由预设部位振动产生的第一振动参数集,从第一振动参数集中提取出符合预设要求的第二振动参数集,依据第二振动参数集对预设部位进行位置标记,得到至少一个位置标记,在第一视频序列中展示至少一个位置标记,进而,能够通过预设部分的视频分析出其对应的振动参数,并展示相应产生振动的位置。
可选地,在所述依据所述第一视频序列提取所述预设部位振动产生的第一振动参数集方面,上述处理器3000具体用于:
将所述第一视频序列进行颜色空间变换,得到变换后的所述第一视频序列;
对变换后的所述第一视频序列进行分离,得到亮度分量信息和色度分量信息;
对所述亮度分量信息进行傅里叶变换,得到频域亮度分量信息;
对所述频域亮度分量信息进行运动放大处理,得到放大处理后的所述频域亮度分量;
对所述放大处理后的所述频域亮度分量进行反傅里叶变换,得到时域亮度分量信息;
将所述时域亮度信息和所述色度分量信息进行合成,得到合成视频序列;
对所述合成视频序列进行所述颜色空间变换对应的反变换,得到第二视频序列;
依据所述第二视频序列确定所述预设部位振动产生的第一振动参数集。
可选地,所述第一振动参数集可以包括多个振动参数;
在所述从所述第一振动参数集中提取出符合预设要求的第二振动参数集方面,上述处理器3000具体用于:
对所述第一振动参数集进行聚类分析,得到多个类,每一类对应一个测试点;
将所述多个类中对应的测试点为预设测试点对应的振动参数作为所述第二振动参数集。
可选地,所述在所述第一视频序列中展示所述至少一个位置标记方面,上述处理器3000具体用于:
从所述第二振动参数集中提取针对位置标记i的目标振动参数,所述位置标记i为所述至少一个位置标记中的任一位置标记;
对所述目标振动参数进行处理,得到目标特征值;
按照预设的特征值与展示效果参数之间的映射关系,确定所述目标特征值对应的目标展示效果参数;
依据所述目标展示效果参数在所述第一视频序列中展示所述位置标记i。
可选地,在所述对所述目标振动参数进行处理,得到目标特征值方面,上述处理器3000具体用于:
从所述目标振动参数中获取时域波形;
对所述时域波形进行预处理,得到目标时域波形;
将所述目标时域波形与预设时域波形进行比对;
在所述目标时域波形与所述预设时域波形进行比对成功时,确定所述目标时域波形的多个极值点;
依据所述多个极值点确定所述目标特征值。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种振动检测方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例上述任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白,本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。