CN117596487A - 相机扰动自矫正方法、装置、设备及存储介质 - Google Patents

相机扰动自矫正方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117596487A
CN117596487A CN202410071711.1A CN202410071711A CN117596487A CN 117596487 A CN117596487 A CN 117596487A CN 202410071711 A CN202410071711 A CN 202410071711A CN 117596487 A CN117596487 A CN 117596487A
Authority
CN
China
Prior art keywords
corner
camera
signal
disturbance
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410071711.1A
Other languages
English (en)
Other versions
CN117596487B (zh
Inventor
谭志森
翟国华
马天骄
金楠
施钟淇
凡红
周艳兵
许向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seismological Bureau Of Hubei Province
Shenzhen Graduate School Harbin Institute of Technology
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Original Assignee
Seismological Bureau Of Hubei Province
Shenzhen Graduate School Harbin Institute of Technology
Shenzhen Technology Institute of Urban Public Safety Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seismological Bureau Of Hubei Province, Shenzhen Graduate School Harbin Institute of Technology, Shenzhen Technology Institute of Urban Public Safety Co Ltd filed Critical Seismological Bureau Of Hubei Province
Priority to CN202410071711.1A priority Critical patent/CN117596487B/zh
Publication of CN117596487A publication Critical patent/CN117596487A/zh
Application granted granted Critical
Publication of CN117596487B publication Critical patent/CN117596487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种相机扰动自矫正方法、装置、设备及存储介质，该方法通过获取边角信号并对边角信号进行模态频谱分析，得到频域函数群，然后根据频域函数群与相似值度量公式确定同阶频谱函数的相似值，再通过最大相似值确定扰动信号，进而将该扰动信号从待处理信号中剔除，得到扰动消除信号。本发明通过对边角信号进行模态频谱分析，然后根据模态频谱分析后得到的频域函数群与相似值度量公式确定每一同阶频谱函数的相似值，进而通过相似值确定扰动效果严重的部分并将该部分从待处理信号中剔除，得到扰动消除信号，实现了相机扰动自矫正。

Description

相机扰动自矫正方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种相机扰动自矫正方法、装置、设备及存储介质。
背景技术
在基于视觉的振动测量技术中，由于不可避免会受到外界环境振动噪声的干扰，导致摄像头在采集影像数据的过程中存在相机扰动，进而影响基于影像数据分析得到的结构振动时程信号的准确性。现有对于相机扰动效果的自矫正都需要安装加速度传感器，当监测场景无法布设加速度传感器时，便无法实现相机扰动自矫正。因此，如何独立自矫正相机扰动效果，成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种相机扰动自矫正方法、装置、设备及存储介质，旨在解决独立矫正相机扰动效果的技术问题。
为实现上述目的，本发明提供了一种相机扰动自矫正方法，所述方法包括以下步骤:
获取待处理信号与边角信号，其中，所述待处理信号为对相机所拍摄视频进行分析后得到的信号，所述边角信号为对相机所拍摄视频的边角区域进行分析后得到的信号；
对所述边角信号进行模态频谱分析，得到频域函数群；
根据所述频域函数群与相似值度量公式，确定同阶频谱函数相似值，得到相似值集；
所述相似值度量公式为：
，
其中，CCD kp j表示第k个角点和第p个角点之间的相似程度指标；f kj i表示第k个角点第j阶模态频谱函数的第i个频率点，表示第k个角点第j阶模态频谱函数的平均值，m表示频率点个数，/>表示第k个角点的第j阶模态频谱函数的标准差，/>表示第P个角点的第j阶模态频谱函数的标准差；
从所述相似值集中确定最大相似值，根据所述最大相似值确定扰动信号，并将所述扰动信号从所述待处理信号中剔除，得到扰动消除信号。
可选地，在所述获取待处理信号与边角信号之前，还包括：
根据预设尺寸参数设定多个边角区域，并分别提取所述多个边角区域的顶点位置；
根据所述多个边角区域的顶点位置，生成多个第一匹配模板；
根据所述多个第一匹配模板与所述相机所拍摄的视频确定多个边角信号。
可选地，在所述根据预设尺寸参数设定多个边角区域，并分别提取所述多个边角区域的顶点位置之前，还包括：
对所述相机所拍摄的视频进行视频分解优化，得到优化视频；
在所述优化视频上截取振动区域并作为第二匹配模板，根据所述第二匹配模板与所述相机所拍摄的视频，得到待处理信号。
可选地，所述根据所述多个第一匹配模板与所述相机所拍摄的视频确定所述多个边角信号，包括：
分别对所述多个第一匹配模板与所述相机所拍摄的视频进行归一化处理，得到多个归一化第一模板与归一化视频；
将所述归一化视频进行分帧，得到分帧帧集；
根据所述多个归一化第一模板与所述分帧帧集，构建多个映射矩阵；
选取所述多个映射矩阵中每一映射矩阵对应的最大值位置，得到最大值集，并根据所述最大值集，确定所述多个边角信号。
可选地，所述对所述相机所拍摄的视频进行视频分解优化，得到优化视频，包括：
将所述相机所拍摄的视频进行空间域分解，得到金字塔分解视频；
将所述金字塔分解视频进行时间域滤波，得到滤波视频；
对所述滤波视频进行放大重构，得到优化视频。
可选地，所述对所述边角信号进行模态频谱分析，得到频域函数群，包括：
根据所述边角信号初始化生成模态矩阵群；
对所述模态矩阵群进行优化，得到优化矩阵群；
对所述优化矩阵群进行频谱分析，得到频域函数群。
可选地，所述对所述模态矩阵群进行优化，得到优化矩阵群，包括：
基于所述模态矩阵群构建对角权重矩阵与频率矩阵，并根据所述对角权重矩阵、所述频率矩阵与预设参数矩阵确定所述模态矩阵群的偏导数；
根据所述模态矩阵群的偏导数，对所述模态矩阵群进行优化，得到所述优化矩阵群。
此外，为实现上述目的，本发明还提出一种相机扰动自矫正装置，所述相机扰动自矫正装置包括：
信号获取模块，用于获取待处理信号与边角信号，其中，所述待处理信号为对相机所拍摄视频进行分析后得到的信号，所述边角信号为对相机所拍摄视频的边角区域进行分析后得到的信号；
频谱分析模块，用于对所述边角信号进行模态频谱分析，得到频域函数群；
相似度量模块，用于根据所述频域函数群与相似值度量公式，确定同阶频谱函数相似值，得到相似值集；
所述相似值度量公式为：
，
其中，CCD kp j表示第k个角点和第p个角点之间的相似程度指标；f kj i表示第k个角点第j阶模态频谱函数的第i个频率点，表示第k个角点第j阶模态频谱函数的平均值，m表示频率点个数，/>表示第k个角点的第j阶模态频谱函数的标准差，/>表示第P个角点的第j阶模态频谱函数的标准差；
扰动消除模块，用于从所述相似值集中确定最大相似值，根据所述最大相似值确定扰动信号，并将所述扰动信号从所述待处理信号中剔除，得到扰动消除信号。
此外，为实现上述目的，本发明还提出一种相机扰动自矫正设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的相机扰动自矫正程序，所述相机扰动自矫正程序配置为实现如上文所述的相机扰动自矫正方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有相机扰动自矫正程序，所述相机扰动自矫正程序被处理器执行时实现如上文所述的相机扰动自矫正方法的步骤。
本发明通过获取边角信号并对边角信号进行模态频谱分析，得到频域函数群，然后根据频域函数群与相似值度量公式确定同阶频谱函数的相似值，再通过最大相似值确定扰动信号，进而实现将该扰动信号从待处理信号中剔除，得到扰动消除信号。本发明通过对边角信号进行模态频谱分析，然后根据模态频谱分析后得到的频域函数群与相似值度量公式确定每一同阶频谱函数的相似值，用以量化评价每一同阶频谱函数的扰动效果，进而通过相似值确定扰动效果严重的部分，最后将该部分从待处理信号中剔除，得到扰动消除信号，提升了振动测量的准确度，实现了相机扰动自矫正。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的相机扰动自矫正设备的结构示意图；
图2为本发明相机扰动自矫正方法第一实施例的流程示意图；
图3为本发明相机扰动自矫正方法第二实施例的流程示意图；
图4为本发明相机扰动自矫正方法第三实施例中一子流程示意图；
图5为本发明相机扰动自矫正方法第三实施例中又一子流程示意图；
图6为本发明相机扰动自矫正装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的相机扰动自矫正设备结构示意图。
如图1所示，该相机扰动自矫正设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对相机扰动自矫正设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及相机扰动自矫正程序。
在图1所示的相机扰动自矫正设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明相机扰动自矫正设备中的处理器1001、存储器1005可以设置在相机扰动自矫正设备中，所述相机扰动自矫正设备通过处理器1001调用存储器1005中存储的相机扰动自矫正程序，并执行本发明实施例提供的相机扰动自矫正方法。
本发明实施例提供了一种相机扰动自矫正方法，参照图2，图2为本发明相机扰动自矫正方法第一实施例的流程示意图。
本实施例中，所述相机扰动自矫正方法包括以下步骤：
步骤S1：获取待处理信号与边角信号，其中，所述待处理信号为对相机所拍摄视频进行分析后得到的信号，所述边角信号为对相机所拍摄视频的边角区域进行分析后得到的信号；
需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，还可以是能够实现相同或相似功能的其他电子设备。此处以上述相机扰动自矫正设备对本实施例和下述各实施例提供的相机扰动自矫正方法进行具体说明。
具体的，待处理信号为获取相机所拍摄视频后，再对该所拍摄视频中的被测物体进行位移时程分析，进而得到的位移时程信号。其中，位移时程分析指的是对被测物体所发生位移与时间的关系进行记录与分析。边角信号为对相机所拍摄视频的边角区域进行提取后，再进行位移时程分析得到的信号。
进一步的，边角区域具体指的是在所拍摄视频的边缘与顶点附近的区域。应当理解的是，在边角区域，噪声振动与结构振动的影响占比较高，分析得到的振动信号中，扰动成分的占比大。
进一步的，取多个边角区域进行分析，外部干扰的影响会造成视频整体扰动，即在四个边角区域提取出来的扰动成分具有极高的相似性，因此可通过分析边角区域的扰动振动相似性来提取扰动成分，因此提取所拍摄视频的边角区域后再进行位移时程分析。
需要说明的是，边角区域可根据实际情况进行具体的选取，对此不做具体限制。通过获取边角信号，便于后续找出待处理信号中扰动效果严重的部分，提高了确认扰动信号的精准度，进而提高了相机扰动自矫正效果。
步骤S2：对所述边角信号进行模态频谱分析，得到频域函数群；
具体的，先对边角信号进行模态分析后再进行优化，优化后再进行频域分析以得到频域函数群。模态指的是结构的固有振动特性，每一个模态都有特定的固有频率、阻尼比和模态振型等。模态分析指的是对这些模态参数进行分析的过程，通过模态分析可以预测物体在未知条件下的振动行为。频谱分析指的是基于振动信号的频率分量进行分析的方法，可以找出一个信号在不同频率下的信息，它将振动信号转换成频谱图，显示不同频率成分的幅值和相位。进行频域分析后，可以通过频谱图显示出振动信号中各个频率的贡献，从而找出特定频率的共振、自然频率和频率成分的异常。
在本实施例中，先对边角信号进行模态分析后再进行优化，优化后再进行频域分析，便于后续找出待处理信号中的扰动信号，进而提高相机扰动自矫正效率。需要说明的是，对于进行频谱分析的具体方法，在此并无具体限制，例如可采用傅里叶变换或者小波变换等。
步骤S3：根据所述频域函数群与相似值度量公式，确定同阶频谱函数相似值，得到相似值集；
所述相似值度量公式为：
其中，CCD kp j表示第k个角点和第p个角点之间的相似程度指标；f kj i表示第k个角点第j阶模态频谱函数的第i个频率点，表示第k个角点第j阶模态频谱函数的平均值，m表示频率点个数，/>表示第k个角点的第j阶模态频谱函数的标准差，/>表示第P个角点的第j阶模态频谱函数的标准差。
具体的，将从频域函数群中获取到的信息代入该相似值度量公式，求得第k个角点和第p个角点之间的相似程度指标，由于边角信号存在多个角点，若需求得同一阶频谱函数的相似值，需先求解边角信号中任一两个角点间的相似值，再将各个求得的相似值之和作为该同阶频谱函数的相似值。例如，若该边角信号存在4个角点，可用公式1求解该同阶频谱函数的相似值。该公式1为：
其中，表示第一角点与第二角点的相似值，/>表示第一角点与第三角点的相似值，/>表示第一角点与第四角点的相似值，/>表示第二角点与第三角点的相似值，/>表示第二角点与第四角点的相似值，/>表示第三角点与第四角点的相似值。应当理解的是，对于第一角点、第二角点、第三角点与第四角点的顺序设置并无限制，对于各个相似值的求解顺序也无限制。
进一步的，对于所选定的边角信号的数量，也无限制，在一定范围内（计算量不溢出），在边角区域所选定的边角信号数量越多，对于扰动信号的确认精度越高，进而使得相机扰动自矫正的效果更好。
通过频域函数群与相似值度量公式，确定同阶频谱函数相似值，进而通过相似值来找出待处理信号中相机扰动效果接近边角信号相机扰动效果的部分，提高了相机扰动自矫正的效率与效果。
S4：从所述相似值集中确定最大相似值，根据所述最大相似值确定扰动信号，并将所述扰动信号从所述待处理信号中剔除，得到扰动消除信号。
具体的，最大相似值为所求得的多个相似值中最大的相似值，扰动信号为待处理信号中需要剔除的（相机扰动效果较严重）的部分信号，扰动消除信号为将扰动信号从待处理信号中剔除后得到的信号（即实现了相机扰动效果的自矫正）。
进一步的，根据最大相似值确定该最大相似值对应的模态函数，然后选定该模态函数之前预设相似数量的模态函数，并将该模态函数与该模态函数之前预设相似数量的模态函数作为整体后进行重构，得到扰动信号。
需要说明的是，预设相似数量为根据不同需求人为设定的一个数值。例如，若预相似数量为10，那么将最大相似值对应的模态函数以及该模态函数之前的10个模态函数一起进行重构，得到扰动信号。在一定范围内，预设相似数量越大，确认的扰动信号就越大，即相机扰动自矫正的效果就越好。应当理解的是，预设相似数量不能超过频域函数群中模态函数的数量，以避免将整个待处理信号全部剔除。
通过从相似值集中确定最大相似值，再根据最大相似值确定扰动信号，并将扰动信号从待处理信号中剔除，得到扰动消除信号，提高了扰动信号的确认效率，实现了相机扰动效果的自矫正。
本发明通过获取边角信号并对边角信号进行模态频谱分析，得到频域函数群，然后根据频域函数群与相似值度量公式确定同阶频谱函数的相似值，再通过最大相似值确定扰动信号，进而实现将该扰动信号从待处理信号中剔除，得到扰动消除信号。本发明通过对边角信号进行模态频谱分析，然后根据模态频谱分析后得到的频域函数群与相似值度量公式确定每一同阶频谱函数的相似值，用以量化评价每一同阶频谱函数的扰动效果，进而通过相似值确定扰动效果严重的部分，最后将该部分从待处理信号中剔除，得到扰动消除信号，提升了振动测量的准确度，实现了相机扰动自矫正。
请参阅图3，图3为本发明相机扰动自矫正方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S2包括：
S21:根据所述边角信号初始化生成模态矩阵群；
S22:对所述模态矩阵群进行优化，得到优化矩阵群；
S23:对所述优化矩阵群进行频谱分析，得到频域函数群;
所述步骤S22包括：
S221:基于所述模态矩阵群构建对角权重矩阵与频率矩阵，并根据所述对角权重矩阵、所述频率矩阵与预设参数矩阵确定所述模态矩阵群的偏导数；
S222:根据所述模态矩阵群的偏导数，对所述模态矩阵群进行优化，得到所述优化矩阵群;
基于上述第一实施例，若选定边角信号数量为4个。（边角信号选定的数量并无限制，在上述实施例中已做说明。）
设定四个边角信号分别为f1(t),f2(t),f3(t)和f4(t)，设置初始的正则化参数，/>，/>，/>，/>，模态数量K，拉格朗日乘子参数/>，/>，/>，/>以及相机帧率fps。
将f1(t),f2(t),f3(t)和f4(t)转换成矩阵形式F：
其中，M是时间点的数量。
构建对角权重矩阵W：
初始化频率范围ω=(0,fps/2)，并将频率范围离散成多个频率点。
构建频率矩阵E：
构建拉格朗日乘子矩阵L：
初始化生成模态函数矩阵U：
设定矩阵优化准则：
交替最小化优化：
（1）固定U矩阵，更新F矩阵：通过最小化目标函数关于F矩阵的偏导数来更新频率矩阵。
（2）固定F矩阵，更新U矩阵：通过最小化目标函数关于U矩阵的偏导数来更新模态函数矩阵U。
迭代上述交替最小化优化步骤，直至迭代次数超过预设优化次数，得到最终的模态函数矩阵U以及频率矩阵E。其中，预设优化次数为进行交替最小化优化的次数。
计算模态函数：
其中，为第k个模态函数；/>为模态函数U中的元素；t m为时间序列的第m个时间点。
对四处边角振动时程信号f1(t),f2(t),f3(t)和f4(t)，分别计算得到模态函数群：
其中f ik(t)表示第i个角点的第k阶模态信号。
对模态函数群进行频谱分析，得到频域函数群：
其中f ik(w)表示第i个角点的第k阶模态的频谱函数。
通过设置矩阵优化准则并采用交替最小化优化的方式对初始化生成的模态函数矩阵进行优化，使得得到的优化矩阵（优化后的模态函数矩阵）更加准确，有利于提高后续确定扰动信号的精确度。
进一步的，初始化处理指的是将待处理信号分解成多阶模态信号与多阶模态频率。需要说明的是，初始化处理的具体手段可以为对该待处理信号进行傅里叶变换，也可以是小波变换，在此不做具体限制。
请参阅图4，图4为本发明相机扰动自矫正方法第三实施例中一子流程示意图。
基于上述实施例，在本实施例中，在步骤S1之前，还包括：
S1a：根据预设尺寸参数设定多个边角区域，并分别提取所述多个边角区域的顶点位置；
S1b：根据所述多个边角区域的顶点位置，生成多个第一匹配模板；
S1c：根据所述多个第一匹配模板与所述相机所拍摄的视频确定所述多个边角信号；
其中，步骤S1c包括：
S1c1：分别对所述多个第一匹配模板与所述相机所拍摄的视频进行归一化处理，得到多个归一化第一模板与归一化视频；
S1c2：将所述归一化视频进行分帧，得到分帧帧集；
S1c3：根据所述多个归一化第一模板与所述分帧帧集，构建多个映射矩阵；
S1c4：选取所述多个映射矩阵中每一映射矩阵对应的最大值位置，得到最大值集，并根据所述最大值集，确定所述多个边角信号；
具体的，从相机所拍摄视频的边角区域选定四个边角信号（关于边角信号的数量问题已在上述实施例中说明，在此不再赘述）。
步骤A1，预设相机所拍摄视频的边角区域尺寸参数为w和h，并选定四处视频边角特征区域（即所选定的四个边角信号在边角区域的对应位置）的左顶点位置（x1,y1），（x2,y2），（x3,y3），（x4,y4）。
步骤A2，提取四处边角特征区域追踪模板T1，T2，T3和T4：
T1={(x,y)|x1≤x≤x1+w，y1≤y≤y1+h}
T2={(x,y)|x2≤x≤x2+w，y2≤y≤y2+h}
T3={(x,y)|x3≤x≤x3+w，y3≤y≤y3+h}
T4={(x,y)|x4≤x≤x4+w，y4≤y≤y4+h}
步骤A3，对追踪模板T1，T2，T3，T4以及相机所拍摄视频I，分别进行归一化处理，得到，/>，/>，/>以及/>：
步骤A4，计算映射关系矩阵R。在/>上，从左到右，从上向下进行滑动，每次移动一个像素位置并计算该位置的映射值，最终计算得到四个边角特征区域的映射矩阵/>，/>，，/>：
式中：(x,y)为上某一点坐标；/>图像大小为w×h；映射矩阵Ri(x,y)上一点(x,y)代表了/>中以(x,y)为左上角点，大小与模板图像/>(x,y)相同的图像子块与T(x,y)的相关度。
步骤A5，选取映射矩阵最大值的位置作为匹配结果，并对相机所拍摄视频中的所有帧，重复上述流程。最终得到四处边角信号f1(t),f2(t),f3(t)和f4(t)。
具体的，预设尺寸参数为根据实际情况人为设置的一个长与宽的值，用来选定边角区域。顶点位置指的是各边角区域边缘上任意选定的顶点。第一匹配模板指的是上述步骤中得到的，/>，/>以及/>。
在本实施例中，通过划分边角区域，然后根据边角区域的顶点位置构建第一匹配模板，再基于第一匹配模板与相机所拍摄的视频得到多个边角信号，便于后续对边角信号进行频域分析，进而提高了相机扰动自矫正的效果与效率。
请参阅图5，图5为本发明相机扰动自矫正方法第三实施例中又一子流程示意图。
基于上述实施例，在本实施例中，在步骤S1a之前，还包括：
S1aa：对所述相机所拍摄的视频进行视频分解优化，得到优化视频；
S1ab：在所述优化视频上截取振动区域并作为第二匹配模板，根据所述第二匹配模板与所述相机所拍摄的视频，得到待处理信号；
其中，步骤S1aa包括：
S1aa1：将所述相机所拍摄的视频进行空间域分解，得到金字塔分解视频；
S1aa2：将所述金字塔分解视频进行时间域滤波，得到滤波视频；
S1aa3：对所述滤波视频进行放大重构，得到优化视频；
上述步骤具体包括：
步骤B1，获取相机所拍摄的视频；
步骤B2，对该相机所拍摄的视频中时间序列方向的每张图像进行空间域分解，包括：对图像进行次下采样，得到/>+1阶图像金字塔；对/>+1阶图像金字塔，从顶层开始，依次选取相邻的两阶金字塔图像，对所选两阶金字塔图像中的上层图像矩阵进行上采样然后与下层图像矩阵进行矩阵相减，得到拉普拉斯图像金字塔；
步骤B3，进行时间域滤波，包括：依次对每张所述图像金字塔中的每个像素点在时域上使用理想带通滤波器基于[，/>]频带进行滤波；
步骤B4，对视频进行放大和重构，包括：对滤波后的图像金字塔，从底层图像开始，对图像金字塔逐级进行倍放大以及上采样处理后，叠加至上一层图像金字塔，直至顶层金字塔图像。
步骤B5，选取放大后的视频的特征区域（即视频上振动区域）作为第二匹配模板T，相机所拍摄的视频I，分别进行归一化处理，得到和/>：
步骤B6，计算映射关系矩阵R。在/>上，从左到右，从上向下进行滑动，每次移动一个像素位置并计算该位置的映射值，最终计算得到映射矩阵R：
式中：(x,y)为上某一点坐标；T图像大小为w×h；I为待匹配图像；映射矩阵R(x,y)上一点(x,y)代表了待匹配图像I中以(x,y)为左上角点，大小与第二匹配模板图像T(x,y)相同的图像子块与T(x,y)的相关度。
步骤B7，选取映射矩阵最大值的位置作为匹配结果，并对振动视频中的所有帧，重复上述流程（B1-B7），最终得到待处理信号。
通过对所述相机所拍摄的视频进行视频分解优化，得到优化视频，然后在所述优化视频上截取振动区域并作为第二匹配模板，最后根据第二匹配模板与相机所拍摄的视频，得到待处理信号，以使对相机所拍摄的视频更好的进行分析，进而有利于提高后续对相机扰动效果的自矫正效果与效率。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有相机扰动自矫正程序，该相机扰动自矫正程序被处理器执行时实现如上文所述的相机扰动自矫正方法的步骤。
参照图6，图6为本发明相机扰动自矫正装置第一实施例的结构框图。该相机扰动自矫正装置包括：
信号获取模块701，用于获取待处理信号与边角信号，其中，所述待处理信号为对相机所拍摄视频进行分析后得到的信号，所述边角信号为对相机所拍摄视频的边角区域进行分析后得到的信号；
频谱分析模块702，用于对所述边角信号进行模态频谱分析，得到频域函数群；
相似度量模块703，用于根据所述频域函数群与相似值度量公式，确定同阶频谱函数相似值，得到相似值集；
所述相似值度量公式为：
，
其中，CCD kp j表示第k个角点和第p个角点之间的相似程度指标；f kj i表示第k个角点第j阶模态频谱函数的第i个频率点，表示第k个角点第j阶模态频谱函数的平均值，m表示频率点个数，/>表示第k个角点的第j阶模态频谱函数的标准差，/>表示第P个角点的第j阶模态频谱函数的标准差；
扰动消除模块704，用于从所述相似值集中确定最大相似值，根据所述最大相似值确定扰动信号，并将所述扰动信号从所述待处理信号中剔除，得到扰动消除信号。
其中，信号获取模块701还用于根据预设尺寸参数设定多个边角区域，并分别提取所述多个边角区域的顶点位置；根据所述多个边角区域的顶点位置，生成多个第一匹配模板；根据所述多个第一匹配模板与所述相机所拍摄的视频确定所述多个边角信号。
可选的，信号获取模块701还用于对所述相机所拍摄的视频进行视频分解优化，得到优化视频；在所述优化视频上截取振动区域并作为第二匹配模板，根据所述第二匹配模板与所述相机所拍摄的视频，得到待处理信号。
可选的，信号获取模块701还用于分别对所述多个第一匹配模板与所述相机所拍摄的视频进行归一化处理，得到多个归一化第一模板与归一化视频；将所述归一化视频进行分帧，得到分帧帧集；根据所述多个归一化第一模板与所述分帧帧集，构建多个映射矩阵；选取所述多个映射矩阵中每一映射矩阵对应的最大值位置，得到最大值集，并根据所述最大值集，确定所述多个边角信号。
可选的，信号获取模块701还用于将所述相机所拍摄的视频进行空间域分解，得到金字塔分解视频；将所述金字塔分解视频进行时间域滤波，得到滤波视频；对所述滤波视频进行放大重构，得到优化视频。
频谱分析模块702包括：
模态矩阵单元，用于根据所述边角信号初始化生成模态矩阵群；
矩阵优化单元，用于对所述模态矩阵群进行优化，得到优化矩阵群；
频谱分析单元，用于对所述优化矩阵群进行频谱分析，得到频域函数群。
可选的，频谱分析模块702还用于基于所述模态矩阵群构建对角权重矩阵与频率矩阵，并根据所述对角权重矩阵、所述频率矩阵与预设参数矩阵确定所述模态矩阵群的偏导数；根据所述模态矩阵群的偏导数，对所述模态矩阵群进行优化，得到所述优化矩阵群。
本发明通过获取边角信号并对边角信号进行模态频谱分析，得到频域函数群，然后根据频域函数群与相似值度量公式确定同阶频谱函数的相似值，再通过最大相似值确定扰动信号，进而实现将该扰动信号从待处理信号中剔除，得到扰动消除信号。本发明通过对边角信号进行模态频谱分析，然后根据模态频谱分析后得到的频域函数群与相似值度量公式确定每一同阶频谱函数的相似值，用以量化评价每一同阶频谱函数的扰动效果，进而通过相似值确定扰动效果严重的部分，最后将该部分从待处理信号中剔除，得到扰动消除信号，提升了振动测量的准确度，实现了相机扰动自矫正。
本发明相机扰动自矫正装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种相机扰动自矫正方法，其特征在于，包括：
获取待处理信号与边角信号，其中，所述待处理信号为对相机所拍摄视频进行分析后得到的信号，所述边角信号为对相机所拍摄视频的边角区域进行分析后得到的信号；
对所述边角信号进行模态频谱分析，得到频域函数群；
根据所述频域函数群与相似值度量公式，确定同阶频谱函数相似值，得到相似值集；
所述相似值度量公式为：
，
其中，CCD kp j表示第k个角点和第p个角点之间的相似程度指标；f kj i表示第k个角点第j阶模态频谱函数的第i个频率点，表示第k个角点第j阶模态频谱函数的平均值，m表示频率点个数，/>表示第k个角点的第j阶模态频谱函数的标准差，/>表示第P个角点的第j阶模态频谱函数的标准差；
从所述相似值集中确定最大相似值，根据所述最大相似值确定扰动信号，并将所述扰动信号从所述待处理信号中剔除，得到扰动消除信号。
2.根据权利要求1所述的相机扰动自矫正方法，其特征在于，在所述获取待处理信号与边角信号之前，还包括：
根据预设尺寸参数设定多个边角区域，并分别提取所述多个边角区域的顶点位置；
根据所述多个边角区域的顶点位置生成多个第一匹配模板；
根据所述多个第一匹配模板与所述相机所拍摄的视频确定多个边角信号。
3.根据权利要求2所述的相机扰动自矫正方法，其特征在于，在所述根据预设尺寸参数设定多个边角区域，并分别提取所述多个边角区域的顶点位置之前，还包括：
对所述相机所拍摄的视频进行视频分解优化，得到优化视频；
在所述优化视频上截取振动区域并作为第二匹配模板，根据所述第二匹配模板与所述相机所拍摄的视频，得到待处理信号。
4.根据权利要求2所述的相机扰动自矫正方法，其特征在于，所述根据所述多个第一匹配模板与所述相机所拍摄的视频确定所述多个边角信号，包括：
分别对所述多个第一匹配模板与所述相机所拍摄的视频进行归一化处理，得到多个归一化第一模板与归一化视频；
将所述归一化视频进行分帧，得到分帧帧集；
根据所述多个归一化第一模板与所述分帧帧集，构建多个映射矩阵；
选取所述多个映射矩阵中每一映射矩阵对应的最大值位置，得到最大值集，并根据所述最大值集，确定所述多个边角信号。
5.根据权利要求3所述的相机扰动自矫正方法，其特征在于，所述对所述相机所拍摄的视频进行视频分解优化，得到优化视频，包括：
将所述相机所拍摄的视频进行空间域分解，得到金字塔分解视频；
将所述金字塔分解视频进行时间域滤波，得到滤波视频；
对所述滤波视频进行放大重构，得到优化视频。
6.根据权利要求1-5任一项所述的相机扰动自矫正方法，其特征在于，所述对所述边角信号进行模态频谱分析，得到频域函数群，包括：
根据所述边角信号初始化生成模态矩阵群；
对所述模态矩阵群进行优化，得到优化矩阵群；
对所述优化矩阵群进行频谱分析，得到频域函数群。
7.根据权利要求6所述的相机扰动自矫正方法，其特征在于，所述对所述模态矩阵群进行优化，得到优化矩阵群，包括：
基于所述模态矩阵群构建对角权重矩阵与频率矩阵，并根据所述对角权重矩阵、所述频率矩阵与预设参数矩阵确定所述模态矩阵群的偏导数；
根据所述模态矩阵群的偏导数，对所述模态矩阵群进行优化，得到所述优化矩阵群。
8.一种相机扰动自矫正装置，其特征在于，包括：
信号获取模块，用于获取待处理信号与边角信号，其中，所述待处理信号为对相机所拍摄视频进行分析后得到的信号，所述边角信号为对相机所拍摄视频的边角区域进行分析后得到的信号；
频谱分析模块，用于对所述边角信号进行模态频谱分析，得到频域函数群；
相似度量模块，用于根据所述频域函数群与相似值度量公式，确定同阶频谱函数相似值，得到相似值集；
所述相似值度量公式为：
，
其中，CCD kp j表示第k个角点和第p个角点之间的相似程度指标；f kj i表示第k个角点第j阶模态频谱函数的第i个频率点，表示第k个角点第j阶模态频谱函数的平均值，m表示频率点个数，/>表示第k个角点的第j阶模态频谱函数的标准差，/>表示第P个角点的第j阶模态频谱函数的标准差；
扰动消除模块，用于从所述相似值集中确定最大相似值，根据所述最大相似值确定扰动信号，并将所述扰动信号从所述待处理信号中剔除，得到扰动消除信号。
9.一种相机扰动自矫正设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的相机扰动自矫正方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的相机扰动自矫正方法。
CN202410071711.1A 2024-01-18 2024-01-18 相机扰动自矫正方法、装置、设备及存储介质 Active CN117596487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410071711.1A CN117596487B (zh) 2024-01-18 2024-01-18 相机扰动自矫正方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410071711.1A CN117596487B (zh) 2024-01-18 2024-01-18 相机扰动自矫正方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117596487A true CN117596487A (zh) 2024-02-23
CN117596487B CN117596487B (zh) 2024-04-26

Family

ID=89911926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410071711.1A Active CN117596487B (zh) 2024-01-18 2024-01-18 相机扰动自矫正方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117596487B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310456A (zh) * 2013-06-18 2013-09-18 西北工业大学 基于Gaussian-Hermite矩的多时相/多模态遥感图像配准方法
CN104063710A (zh) * 2014-06-13 2014-09-24 武汉理工大学 基于支持向量机模型的实测光谱曲线中异常光谱剔除方法
CN105279769A (zh) * 2015-07-16 2016-01-27 北京理工大学 一种联合多特征的层次粒子滤波跟踪方法
CN109222948A (zh) * 2018-09-17 2019-01-18 歌尔科技有限公司 消除运动干扰噪声的方法、装置、电子设备和存储介质
AU2020101196A4 (en) * 2020-06-30 2020-08-06 Hunan University Of Science And Technology Method and system for testing working modality of thin-walled member based on monocular visual optical flow tracking
CN111783834A (zh) * 2020-06-03 2020-10-16 河海大学 一种基于联合图频谱特征分析的异源图像匹配方法
CN112001361A (zh) * 2019-12-26 2020-11-27 合肥工业大学 一种基于欧拉视角的多目标微小振动频率测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310456A (zh) * 2013-06-18 2013-09-18 西北工业大学 基于Gaussian-Hermite矩的多时相/多模态遥感图像配准方法
CN104063710A (zh) * 2014-06-13 2014-09-24 武汉理工大学 基于支持向量机模型的实测光谱曲线中异常光谱剔除方法
CN105279769A (zh) * 2015-07-16 2016-01-27 北京理工大学 一种联合多特征的层次粒子滤波跟踪方法
CN109222948A (zh) * 2018-09-17 2019-01-18 歌尔科技有限公司 消除运动干扰噪声的方法、装置、电子设备和存储介质
CN112001361A (zh) * 2019-12-26 2020-11-27 合肥工业大学 一种基于欧拉视角的多目标微小振动频率测量方法
CN111783834A (zh) * 2020-06-03 2020-10-16 河海大学 一种基于联合图频谱特征分析的异源图像匹配方法
AU2020101196A4 (en) * 2020-06-30 2020-08-06 Hunan University Of Science And Technology Method and system for testing working modality of thin-walled member based on monocular visual optical flow tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SOREN D. KONECKY; TYLER B. RICE; ANTHONY J. DURKIN; BRUCE J. TROMBERG: "maging scattering orientation with spatial frequency domain imaging", 《JOURNAL OF BIOMEDICAL OPTICS》, vol. 16, no. 12, 31 December 2011 (2011-12-31) *
郝铎: "雨天车载光电系统运动物体检测关键技术研究", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, no. 02, 15 February 2020 (2020-02-15) *

Also Published As

Publication number Publication date
CN117596487B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
JP7490141B2 (ja) 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム
Montazer et al. An improved radial basis function neural network for object image retrieval
JP2009037597A (ja) 入力画像をフィルタリングして出力画像を作成する方法
US20120182442A1 (en) Hardware generation of image descriptors
CN111476813B (zh) 图像变化检测方法、装置、电子设备及存储介质
US9552631B2 (en) Image processing using a bilateral grid
CN110263809B (zh) 池化特征图处理方法、目标检测方法、系统、装置和介质
WO2014070489A1 (en) Recursive conditional means image denoising
Shukla et al. Generalized fractional filter-based algorithm for image denoising
JP2002216127A (ja) 最新の統計に利用するデジタルイメージのためのノイズ推定
CN114528887A (zh) 基于微小振动放大技术的桥梁监测方法、系统及装置
Tiwari et al. Blur parameters identification for simultaneous defocus and motion blur
Xi et al. Super resolution reconstruction algorithm of video image based on deep self encoding learning
CN117596487B (zh) 相机扰动自矫正方法、装置、设备及存储介质
Vasil’ev et al. Image representation and processing using autoregressive random fields with multiple roots of characteristic equations
CN112085684A (zh) 一种遥感图像融合的方法及装置
Mai et al. A modified unsharp masking method using particle swarm optimization
Yang et al. Infrared image super-resolution with parallel random Forest
CN114972119A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN117528065B (zh) 相机扰动效果评估及消除方法、装置、设备及存储介质
Abraham Sundar et al. Multi-frame super-resolution using adaptive normalized convolution
CN113506212A (zh) 一种改进的基于pocs的高光谱图像超分辨率重建方法
CN113962907B (zh) 一种图像去噪方法、装置及设备
Liu et al. Reduction of non-white noise from hyperspectral images based on tensor decomposition
CN117636113A (zh) 一种gis设备的多光谱图像融合方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant