CN110677578A - 基于仿生眼平台的混合稳像方法和装置 - Google Patents

基于仿生眼平台的混合稳像方法和装置 Download PDF

Info

Publication number
CN110677578A
CN110677578A CN201910753067.5A CN201910753067A CN110677578A CN 110677578 A CN110677578 A CN 110677578A CN 201910753067 A CN201910753067 A CN 201910753067A CN 110677578 A CN110677578 A CN 110677578A
Authority
CN
China
Prior art keywords
image
image stabilization
platform
bionic eye
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910753067.5A
Other languages
English (en)
Inventor
陈晓鹏
徐阳
兰昆艳
黄强
陈学超
余张国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Beijing Institute of Technology BIT
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910753067.5A priority Critical patent/CN110677578A/zh
Publication of CN110677578A publication Critical patent/CN110677578A/zh
Priority to PCT/CN2020/086889 priority patent/WO2021027323A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于仿生眼平台的混合稳像方法和装置。所述方法包括以下步骤：通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制；利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；通过kalman滤波方法对参数进行低通滤波。本发明不仅不需要在原有平台的基础上增加额外的稳像辅助设备，同时将机械稳像与电子稳像的优势进行结合，能够实现对视频信息的实时处理。

Description

基于仿生眼平台的混合稳像方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于仿生眼平台的混合稳像方法和装置。
背景技术
机器人视觉系统为复杂移动机器人的半自主甚至自主操作提供了环境感知功能，图像稳定是移动机器人视觉系统最重要的定性特征之一，然而机器人系统在运动过程中姿态在X、Y、Z方向上可能发生位移或抖动造成图像模糊。现有的稳像技术总体上可以分为三大类：光学稳像、机械稳像和数字稳像。
现有的机器人平台大都采用机械稳像的方式，亦或是在后期图像处理中增加去抖动的算法，然而机械稳像为达到稳定精度常需要配合光学稳像，不要增加许多机械和光学设备，不利于设备小型化，单独的实时电子稳像又难以适应复杂多变的外界环境。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于仿生眼平台的混合稳像方法。
一种基于仿生眼平台的混合稳像方法，包括以下步骤：
通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制；
利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；
利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；
通过kalman滤波方法对参数进行低通滤波，并对参数设置阈值进行异常值剔除；
利用滤波前后的透视变换矩阵，对原有的抖动图像进行图像补偿获得稳像后图像Iestab1；
通过Shi-Tomasi角点检测查找到关键点，之后通过金字塔Lucas-Kanande算法跟踪相邻帧之间的运动，对于无匹配的关键点采用RANSAC算法进行剔除；
采用仿射变换模型，利用匹配后的连续两帧图像Iestab11和Iestab12之间的特征点，获得最终的仿射变换模型参数Hfinal；
利用获得的矩阵参数Hfinal对Iestab1进行图像变换获得最终稳像后图像Istab。
可选地，四元数插值几何方程表示为：。
可选地，在所述通过kalman滤波方法对参数进行低通滤波中，在低通滤波过程中，忽略相机平移运动的影响先获得透视模型的变换参数。
可选地，在所述对原有的抖动图像进行图像补偿获得稳像后图像Iestab1中，稳像后图像Iestab1为忽略平移影响后获得的图像。
第二方面，本申请还提供了一种基于仿生眼平台的混合稳像装置，包括：
机械稳像模块，用于通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制；
第一获取模块，用于利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；
第二获取模块，用于利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；
第一处理模块，用于通过kalman滤波方法对参数进行低通滤波，并对参数设置阈值进行异常值剔除；
第二处理模块，用于利用滤波前后的透视变换矩阵，对原有的抖动图像进行图像补偿获得稳像后图像Iestab1；
第三处理模块，用于通过Shi-Tomasi角点检测查找到关键点，之后通过金字塔Lucas-Kanande算法跟踪相邻帧之间的运动，对于无匹配的关键点采用RANSAC算法进行剔除；
第四处理模块，用于采用仿射变换模型，利用匹配后的连续两帧图像Iestab11和Iestab12之间的特征点，获得最终的仿射变换模型参数Hfinal；
图像变换模块，用于利用获得的矩阵参数Hfinal对Iestab1进行图像变换获得最终稳像后图像Istab。
可选地，四元数插值几何方程表示为：。
可选地，所述第一处理模块，用于：
在低通滤波过程中，忽略相机平移运动的影响先获得透视模型的变换参数。
可选地，所述第二处理模块获得的稳像后图像Iestab1为忽略平移影响后获得的图像。
第三方面，本申请还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的基于仿生眼平台的混合稳像方法。
第四方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的基于仿生眼平台的混合稳像方法被执行。
本发明提出的一种基于仿生眼平台的混合稳像方法，基于九自由度仿生眼视觉平台，提出机械与电子混合的快速运动补偿的实时稳像技术，其中机械稳像控制过程中通过把可观测扰动量进行测量并进行补偿，有效地抑制扰动速度的影响，提高了系统的位置伺服对扰动的抑制能力。而第二级电子稳像则利用陀螺仪获取平台三维空间中的旋转信息，在配合二维电子稳像方法进行多次滤波，从而获得最终平台稳像后的效果。本发明不仅不需要在原有平台的基础上增加额外的稳像辅助设备，同时将机械稳像与电子稳像的优势进行了结合，能够实现对视频信息的实时处理，适宜推广。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种基于仿生眼平台的混合稳像方法的流程示意图，其中虚线框为电子稳像流程示意图；
图2为本申请实施例提供的一种仿生眼平台的DH数学模型示意图；
图3为本申请实施例提供的一种滤波前后矩阵变换示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
下面结合具体实施例对本发明作进一步解说。
参照图1-3，本发明提出的一种基于仿生眼平台的混合稳像方法，包括以下步骤：
Sa、机械稳像：通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制，此处为平台颈部的三个电机，有效地抑制扰动速度的影响，提高了系统的位置伺服对扰动的抑制能力；
Sb、电子稳像：
b1、利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；
b2、利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；
b3、忽略相机平移运动的影响获得透视模型的变换参数，通过kalman滤波方法对参数进行低通滤波，由于滤波过程中可能会有误差累计的情况，基于连续两帧间变换参数变化较小的实时参数，通过对参数设置阈值进行异常值剔除；
b4、利用滤波前后的透视变换矩阵，利用如图2所示的变换方式，对原有的抖动图像进行图像补偿获得忽略平移影响的稳像后图像Iestab1；
b5、通过Shi-Tomasi角点检测查找到关键点，之后通过金字塔Lucas-Kanande算法跟踪相邻帧之间的运动，对于无匹配的关键点采用RANSAC算法进行剔除；
b6、采用仿射变换模型，利用匹配后的连续两帧图像Iestab11和Iestab12之间的特征点，获得最终的仿射变换模型参数Hfinal；
b7、利用获得的矩阵参数Hfinal对Iestab1进行图像变换获得最终稳像后图像Istab。
本实施例中，为了保证模型变换参数的准确性，必须获取同一时刻下的图像信息和陀螺仪数据，而仿生眼平台的视觉信息与陀螺仪信息分别由FPGA和MEMS陀螺仪获得，双方独立控制互不干扰。因此将陀螺仪获得的角度信息转换为四元数，最后采用四元数球面线性插值实现图像信息与陀螺仪数据的同步。四元数插值几何方程可写做：
Figure BDA0002167102780000061
陀螺仪采集到的方位角经过slerp插值之后获得与视频信息同一时刻下的
Figure BDA0002167102780000062
θ、ψ，分别表示绕轴Z、Y、X的旋转角，由此可得到当前时刻的旋转矩阵：
通过建立仿生眼平台的DH模型，计算陀螺仪数据与相机之间的变换矩阵，陀螺仪坐标系相对于相机坐标系的旋转矩阵：
最终可得到摄像机的外参数矩阵为：
Figure BDA0002167102780000071
世界坐标系与图像坐标系的转换公式如下
x＝K[R t]X
其中x为图像坐标，K和[R t]分别为摄像机的内、外参数，X为世界坐标。
如果不考虑平移矢量的影响，则原始帧图像I和稳定帧图像I'对应图像坐标系中的坐标分别表示为：
x＝KRX
x′＝KR′X
同一图像原始帧I和稳定帧I'之间的转换关系为：
x′＝KR′*K-1R-1x
由此可得到转换方程：
Figure BDA0002167102780000072
稳定帧的图像坐标：
在忽略平移的情况下，转换矩阵W＝KR′*K-1R-1即为透视变换矩阵，可采用透视变换模型实现原始帧与稳定帧之间的坐标变换，消除平台旋转造成的图像抖动。
如图3所示，原始视频序列为I，相邻图像帧之间的变换矩阵为H，滤波后获得的视频序列为
Figure BDA0002167102780000074
相邻图像帧之间的变换矩阵为同一时刻下原始帧与稳定帧之间的变换矩阵为
Figure BDA0002167102780000076
Figure BDA0002167102780000081
Figure BDA0002167102780000082
通过数学推导可以得到原始帧与稳定帧之间的变换矩阵：
Figure BDA0002167102780000084
本实施例中，在九自由度仿生眼视觉平台上进行了稳像的相关实验，运动控制部分包括九轴的运动控制，采用CANOpen通讯，搭建ROS环境以方便控制仿生眼平台。硬件上通过FPGA采集图像，采用NVIDIATX2作为控制机。在运行稳像功能时，机械稳像部分只对颈部三个关节做了扰动抑制处理，因此对于眼球的另外6个自由度处于锁死状态。利用帧间变换保真度(ITF，PSNR为峰值信噪比，MSE为均方差)对稳像后的视频进行质量评价，稳像质量评价公式为：
Figure BDA0002167102780000085
该算法在仿生眼视觉平台上有较好的表现，根据运行场景的变换(光照条件、背景复杂度等)视频ITF分别提高5％和20％不等，稳像后的帧率可以达到30fps，X，Y方向上像素移动均值均在一个像素内。
因此，本发明基于九自由度仿生眼视觉平台，提出机械与电子混合的快速运动补偿的实时稳像技术，其中机械稳像控制过程中通过把可观测扰动量进行测量并进行补偿，有效地抑制扰动速度的影响，提高了系统的位置伺服对扰动的抑制能力。而第二级电子稳像则利用陀螺仪获取平台三维空间中的旋转信息，在配合二维电子稳像方法进行多次滤波，从而获得最终平台稳像后的效果。另外，也不仅不需要在原有平台的基础上增加额外的稳像辅助设备，同时将机械稳像与电子稳像的优势进行了结合，能够实现对视频信息的实时处理。
基于相同的技术构思，本申请还提供了一种基于仿生眼平台的混合稳像装置，包括：
机械稳像模块，用于通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制；
第一获取模块，用于利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；
第二获取模块，用于利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；
第一处理模块，用于通过kalman滤波方法对参数进行低通滤波，并对参数设置阈值进行异常值剔除；
第二处理模块，用于利用滤波前后的透视变换矩阵，对原有的抖动图像进行图像补偿获得稳像后图像Iestab1；
第三处理模块，用于通过Shi-Tomasi角点检测查找到关键点，之后通过金字塔Lucas-Kanande算法跟踪相邻帧之间的运动，对于无匹配的关键点采用RANSAC算法进行剔除；
第四处理模块，用于采用仿射变换模型，利用匹配后的连续两帧图像Iestab11和Iestab12之间的特征点，获得最终的仿射变换模型参数Hfinal；
图像变换模块，用于利用获得的矩阵参数Hfinal对Iestab1进行图像变换获得最终稳像后图像Istab。
可选地，四元数插值几何方程表示为：。
可选地，所述第一处理模块，用于：
在低通滤波过程中，忽略相机平移运动的影响先获得透视模型的变换参数。
可选地，所述第二处理模块获得的稳像后图像Iestab1为忽略平移影响后获得的图像。
基于相同的技术构思，本申请还提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述的基于仿生眼平台的混合稳像方法。
在一个典型的配置中，计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
基于相同的技术构思，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，上述的基于仿生眼平台的混合稳像方法被执行。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于仿生眼平台的混合稳像方法，其特征在于，包括以下步骤：
通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制；
利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；
利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；
通过kalman滤波方法对参数进行低通滤波，并对参数设置阈值进行异常值剔除；
利用滤波前后的透视变换矩阵，对原有的抖动图像进行图像补偿获得稳像后图像Iestab1；
通过Shi-Tomasi角点检测查找到关键点，之后通过金字塔Lucas-Kanande算法跟踪相邻帧之间的运动，对于无匹配的关键点采用RANSAC算法进行剔除；
采用仿射变换模型，利用匹配后的连续两帧图像Iestab11和Iestab12之间的特征点，获得最终的仿射变换模型参数Hfinal；
利用获得的矩阵参数Hfinal对Iestab1进行图像变换获得最终稳像后图像Istab。
2.根据权利要求1所述的一种基于仿生眼平台的混合稳像方法，其特征在于，四元数插值几何方程表示为：。
3.根据权利要求1所述的一种基于仿生眼平台的混合稳像方法，其特征在于，在所述通过kalman滤波方法对参数进行低通滤波中，在低通滤波过程中，忽略相机平移运动的影响先获得透视模型的变换参数。
4.根据权利要求1所述的一种基于仿生眼平台的混合稳像方法，其特征在于，在所述对原有的抖动图像进行图像补偿获得稳像后图像Iestab1中，稳像后图像Iestab1为忽略平移影响后获得的图像。
5.一种基于仿生眼平台的混合稳像装置，其特征在于，包括：
机械稳像模块，用于通过把可观测扰动速度进行测量以及电机控制量补偿，同时对机械稳像的电机进行控制；
第一获取模块，用于利用陀螺仪获取平台三维空间中的旋转信息，将获得的IMU信息与视频信息通过四元数插值的方式进行插值同步，获得时间戳相同下的图像与陀螺仪数据；
第二获取模块，用于利用陀螺仪数据和仿生眼平台的数学模型，获得眼球相机相对于世界坐标系的旋转矩阵，即相机模型的旋转外参；
第一处理模块，用于通过kalman滤波方法对参数进行低通滤波，并对参数设置阈值进行异常值剔除；
第二处理模块，用于利用滤波前后的透视变换矩阵，对原有的抖动图像进行图像补偿获得稳像后图像Iestab1；
第三处理模块，用于通过Shi-Tomasi角点检测查找到关键点，之后通过金字塔Lucas-Kanande算法跟踪相邻帧之间的运动，对于无匹配的关键点采用RANSAC算法进行剔除；
第四处理模块，用于采用仿射变换模型，利用匹配后的连续两帧图像Iestab11和Iestab12之间的特征点，获得最终的仿射变换模型参数Hfinal；
图像变换模块，用于利用获得的矩阵参数Hfinal对Iestab1进行图像变换获得最终稳像后图像Istab。
6.根据权利要求5所述的一种基于仿生眼平台的混合稳像装置，其特征在于，四元数插值几何方程表示为：。
7.根据权利要求5所述的一种基于仿生眼平台的混合稳像装置，其特征在于，所述第一处理模块，用于：
在低通滤波过程中，忽略相机平移运动的影响先获得透视模型的变换参数。
8.根据权利要求5所述的一种基于仿生眼平台的混合稳像装置，其特征在于，所述第二处理模块获得的稳像后图像Iestab1为忽略平移影响后获得的图像。
9.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当一个或多个计算机程序被一个或多个处理器执行时，使得一个或多个处理器实现如权利要求1-4任一项所述的基于仿生眼平台的混合稳像方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1-4任一项所述的基于仿生眼平台的混合稳像方法被执行。
CN201910753067.5A 2019-08-14 2019-08-14 基于仿生眼平台的混合稳像方法和装置 Pending CN110677578A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910753067.5A CN110677578A (zh) 2019-08-14 2019-08-14 基于仿生眼平台的混合稳像方法和装置
PCT/CN2020/086889 WO2021027323A1 (zh) 2019-08-14 2020-04-25 基于仿生眼平台的混合稳像方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910753067.5A CN110677578A (zh) 2019-08-14 2019-08-14 基于仿生眼平台的混合稳像方法和装置

Publications (1)

Publication Number Publication Date
CN110677578A true CN110677578A (zh) 2020-01-10

Family

ID=69075351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910753067.5A Pending CN110677578A (zh) 2019-08-14 2019-08-14 基于仿生眼平台的混合稳像方法和装置

Country Status (2)

Country Link
CN (1) CN110677578A (zh)
WO (1) WO2021027323A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027323A1 (zh) * 2019-08-14 2021-02-18 北京理工大学 基于仿生眼平台的混合稳像方法和装置
CN113359462A (zh) * 2021-06-25 2021-09-07 北京理工大学 一种基于扰动解耦与补偿的仿生眼稳像系统及方法
CN113406646A (zh) * 2021-06-18 2021-09-17 北京师范大学 基于多方向超声测距及imu进行三维定位的方法和设备
CN113949812A (zh) * 2021-10-21 2022-01-18 浙江大立科技股份有限公司 一种基于分块kalman运动预测的电子稳像方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240597B (zh) * 2021-05-08 2024-04-26 西北工业大学 基于视觉惯性信息融合的三维软件稳像方法
CN114567726A (zh) * 2022-02-25 2022-05-31 苏州安智汽车零部件有限公司 一种类人眼自适应消抖前视摄像头
CN114979489A (zh) * 2022-05-30 2022-08-30 西安理工大学 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统
CN116208855B (zh) * 2023-04-28 2023-09-01 杭州未名信科科技有限公司 一种多塔机云台全景图像抖动协调抑制方法和系统
CN117687346A (zh) * 2024-02-01 2024-03-12 中国科学院长春光学精密机械与物理研究所 舰载光电经纬仪的空间稳像控制系统及控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316368A (zh) * 2008-07-18 2008-12-03 西安电子科技大学 基于全局特征点迭代的全景稳像方法
CN102148934A (zh) * 2011-04-02 2011-08-10 北京理工大学 一种多模式实时电子稳像系统
CN104135598A (zh) * 2014-07-09 2014-11-05 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN105976330A (zh) * 2016-04-27 2016-09-28 大连理工大学 一种嵌入式雾天实时视频稳像方法
CN108307118A (zh) * 2018-02-10 2018-07-20 北京理工大学 一种基于惯导参数流形优化的低延时视频稳像方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729783B (zh) * 2009-12-22 2011-08-10 上海大学 基于类人眼球前庭动眼反射的双目视觉系统在颠簸环境中的图像稳定方法
CN102572220A (zh) * 2012-02-28 2012-07-11 北京大学 3-3-2空间信息转换新模式的仿生复眼运动目标检测
CN105306785A (zh) * 2015-10-27 2016-02-03 武汉工程大学 一种基于sift特征匹配和vfc算法的电子稳像方法及系统
US11496684B2 (en) * 2017-12-11 2022-11-08 Gopro, Inc. Combined mechanical and electronic image stabilization
CN110677578A (zh) * 2019-08-14 2020-01-10 北京理工大学 基于仿生眼平台的混合稳像方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316368A (zh) * 2008-07-18 2008-12-03 西安电子科技大学 基于全局特征点迭代的全景稳像方法
CN102148934A (zh) * 2011-04-02 2011-08-10 北京理工大学 一种多模式实时电子稳像系统
CN104135598A (zh) * 2014-07-09 2014-11-05 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN105976330A (zh) * 2016-04-27 2016-09-28 大连理工大学 一种嵌入式雾天实时视频稳像方法
CN108307118A (zh) * 2018-02-10 2018-07-20 北京理工大学 一种基于惯导参数流形优化的低延时视频稳像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN XIAOPENG等: "Hybrid Image Stabilization of Robotic Bionic Eyes", 《2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027323A1 (zh) * 2019-08-14 2021-02-18 北京理工大学 基于仿生眼平台的混合稳像方法和装置
CN113406646A (zh) * 2021-06-18 2021-09-17 北京师范大学 基于多方向超声测距及imu进行三维定位的方法和设备
CN113359462A (zh) * 2021-06-25 2021-09-07 北京理工大学 一种基于扰动解耦与补偿的仿生眼稳像系统及方法
CN113949812A (zh) * 2021-10-21 2022-01-18 浙江大立科技股份有限公司 一种基于分块kalman运动预测的电子稳像方法

Also Published As

Publication number Publication date
WO2021027323A1 (zh) 2021-02-18

Similar Documents

Publication Publication Date Title
CN110677578A (zh) 基于仿生眼平台的混合稳像方法和装置
US10594941B2 (en) Method and device of image processing and camera
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
JP6534664B2 (ja) カメラ動き予測及び修正のための方法
US10109104B2 (en) Generation of 3D models of an environment
US9635251B2 (en) Visual tracking using panoramas on mobile devices
CN105284101B (zh) 低光高动态范围图像的无运动模糊捕捉
CN110520694A (zh) 一种视觉里程计及其实现方法
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
US10825249B2 (en) Method and device for blurring a virtual object in a video
CN107222662A (zh) 一种基于改进的klt和卡尔曼滤波的电子稳像方法
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN111405187A (zh) 用于监控器材的图像防抖方法、系统、设备和存储介质
WO2020039747A1 (ja) 信号処理装置、撮像装置、信号処理方法
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
CN116012227A (zh) 图像处理方法、装置、存储介质及处理器
CN109462717A (zh) 电子稳像方法及终端
CN114679576A (zh) 用于处理视频数据的方法和装置
CN115147495A (zh) 一种针对车载系统的标定方法、装置以及系统
JP2019062340A (ja) 像振れ補正装置および制御方法
US10313654B1 (en) Image processing method, electronic device, and non-transitory computer readable storage medium
CN113159197A (zh) 一种纯旋转运动状态判定方法及装置
Pathak et al. Spherical video stabilization by estimating rotation from dense optical flow fields
Reina et al. Robust gyroscope-aided camera self-calibration
CN111161421A (zh) 一种基于ar的移动端在线空间漫游方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110