CN113177901B - 一种机器人视觉的多帧运动图像融合方法及系统 - Google Patents

一种机器人视觉的多帧运动图像融合方法及系统 Download PDF

Info

Publication number
CN113177901B
CN113177901B CN202110353476.3A CN202110353476A CN113177901B CN 113177901 B CN113177901 B CN 113177901B CN 202110353476 A CN202110353476 A CN 202110353476A CN 113177901 B CN113177901 B CN 113177901B
Authority
CN
China
Prior art keywords
image
registration
robot
frame
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110353476.3A
Other languages
English (en)
Other versions
CN113177901A (zh
Inventor
潘京辉
彭开香
潘月斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110353476.3A priority Critical patent/CN113177901B/zh
Publication of CN113177901A publication Critical patent/CN113177901A/zh
Application granted granted Critical
Publication of CN113177901B publication Critical patent/CN113177901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种机器人视觉的多帧运动图像融合方法及系统，该方法包括：获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；将筛选出的图像进行邻帧图像配准，得到配准后的图像；将配准后的图像进行邻帧图像融合，得到多帧图像的融合结果，从而实现高质量的图像。本发明解决了机器人六自由度的随机运动引起图像模糊的技术问题，可以广泛应用于机器人视频图像处理领域。

Description

一种机器人视觉的多帧运动图像融合方法及系统
技术领域
本发明涉及机器人视觉技术领域，特别涉及一种机器人视觉的多帧运动图像融合方法及系统。
背景技术
由于机器人视觉图像中蕴含丰富的数据，已成为当今人们获取信息的一种重要途径。然而，在曝光时间内，机器人的六自由度随机运动导致原本清晰的图像经旋转、缩放和平移运动后，使得高频信息丢失，增加了图像分析识别的难度，给人们生活带来了巨大的困扰。
目前，机器人视觉技术已逐渐普及到工业、医疗、安防和航空航天等不同的行业和领域。传统的运动机器人图像复原方法主要包括基于点扩散函数的图像复原、基于生成式对抗网络GAN的深度学习的图像复原等。
基于点扩散函数的图像复原是通过估计的模糊核和获取的模糊图像进行反卷积处理实现模糊图像的复原，但其在曝光时间内六自由度的随机运动导致随时间和空间变化的点扩散函数估计不准确。基于GAN的深度学习的图像复原是通过对抗的方式学习数据分布，避开了点扩散函数对近似优化方法的使用，巧妙解决了生成模型的瓶颈，直接复原运动模糊图像，但其依赖于GAN训练的稳定性，当GAN训练结果不理想时无法修复。
综上所述，目前机器人视觉亟需一种快速、准确的多帧运动图像融合的方法，实现强纹理细节和高信噪比的图像。
发明内容
本发明提供了一种机器人视觉的多帧运动图像融合方法及系统，以解决现有的图像融合方法结果不够准确或依赖模型训练稳定性的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供一种机器人视觉的多帧运动图像融合方法，包括：
获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；
获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；
将筛选出的图像进行邻帧图像配准，得到配准后的图像；
将配准后的图像进行邻帧图像融合，得到多帧图像的融合结果。
进一步地，所述获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间，包括：
利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度；其中，所述惯性传感器安装在机器人的视觉传感器上，且所述惯性传感器与所述视觉传感器同轴系设置；
根据检测到的角速度和线加速度，通过预积分方式计算视觉传感器的六自由度的位姿数据；
根据计算出的位姿数据估计视觉传感器的合运动，将估计出的合运动的幅度值与预设幅度值进行比较，并根据比较结果设置长短不同的曝光时间。
进一步地，所述根据清晰度对获取的图像进行质量评估，包括：
采用NRSS非参考图像评价方法对获取的图像进行质量评估。
进一步地，在筛选出清晰度大于预设清晰度阈值的图像之后，所述方法还包括：
获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据；
所述将筛选出的图像进行邻帧图像配准，得到配准后的图像，包括：
根据待配准的两张图像所对应的视觉传感器的位姿数据，计算出位姿转换矩阵；
根据所述位姿转换矩阵将前一帧图像投影到后一帧上，得到第一配准图像：
Figure BDA0003002807210000021
其中，fi 2(ui,vi)表示所述第一配准图像，K表示机器人的视觉传感器的内部参数，Rt表示3×3的视觉传感器的姿态转换矩阵，Tt表示1×3的视觉传感器的位置转换矩阵，fi 1(ui,vi)表示待配准的前一帧图像；
基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像：
利用预设的频域相位算法，实现所述第二配准图像与后一帧图像的配准。
进一步地，所述根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，包括：
以后一帧图像的特征点为中心，采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点，在平面坐标系通过所述单应性矩阵实现图像配准。
另一方面，本发明还提供一种机器人视觉的多帧运动图像融合系统，包括：
曝光时间自适应调整模块，用于获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；
图像质量评估及筛选模块，用于获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；
图像配准模块，用于将所述图像质量评估及筛选模块筛选出的图像进行邻帧图像配准，得到配准后的图像；
图像融合模块，用于将经过所述图像配准模块配准后的图像进行邻帧图像融合，得到多帧图像的融合结果。
进一步地，所述曝光时间自适应调整模块具体用于：
利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度；其中，所述惯性传感器安装在机器人的视觉传感器上，且所述惯性传感器与所述视觉传感器同轴系设置；
根据检测到的角速度和线加速度，通过预积分方式计算视觉传感器的六自由度的位姿数据；
根据计算出的位姿数据估计视觉传感器的合运动，将估计出的合运动的幅度值与预设幅度值进行比较，并根据比较结果设置长短不同的曝光时间。
进一步地，所述图像质量评估及筛选模块具体用于：
采用NRSS非参考图像评价方法对获取的图像进行质量评估。
进一步地，所述图像质量评估及筛选模块还用于：
获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据；
所述图像配准模块具体用于：
根据待配准的两张图像所对应的视觉传感器的位姿数据，计算出位姿转换矩阵；
根据所述位姿转换矩阵将前一帧图像投影到后一帧上，得到第一配准图像：
Figure BDA0003002807210000041
其中，fi 2(ui,vi)表示所述第一配准图像，K表示机器人的视觉传感器的内部参数，Rt表示3×3的视觉传感器的姿态转换矩阵，Tt表示1×3的视觉传感器的位置转换矩阵，fi 1(ui,vi)表示待配准的前一帧图像；
基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像：
利用预设的频域相位算法，实现所述第二配准图像与后一帧图像的配准。
进一步地，所述图像配准模块具体还用于：
以后一帧图像的特征点为中心，采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点，在平面坐标系通过所述单应性矩阵实现图像配准。
再一方面，本发明还提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
1、本发明借助惯性传感器检测机器人六自由度的位姿信息，并与预先计算的设定幅度值进行比较，设置不等长的曝光时间。当六自由度运动较大的情况下，曝光时间较短，反之，曝光时间较长，从而实现了根据机器人运动幅度自适应的调整曝光时间，保证了获取的图像无模糊现象。
2、本发明借助NRSS无参考图像评价方法对获取的图像进行质量评估，将低质量图像剔除，保存高质量图像。从而减少了对低质量图像的保存、图像配准和融合处理等资源地消耗。
3、本发明提出基于惯性传感器、特征匹配和频域相关的逐步逼近的配准方法。利用惯性传感器建立邻帧图像的位姿转换矩阵，缩短邻帧图像配准时间，再利用特征点匹配估计的单应性矩阵和频域相关算法，提高邻帧图像配准精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的机器人视觉的多帧运动图像融合方法的流程图；
图2为机器人视觉传感器和惯性传感器同轴系成像示意图；
图3为本发明实施例提供的邻帧图像配准流程图；
图4为本发明实施例提供的5×5逆时针由内向外地搜索示意图；
图5为本发明实施例提供的固定成像周期的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种快速、准确且应用广泛，适用于运动载体的机器人视觉的多帧运动图像融合方法，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：
S1，获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；
S2，获取机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；
S3，将筛选出的图像进行邻帧图像配准，得到配准后的图像；
S4，将配准后的图像进行邻帧图像融合，得到融合后的图像；
S5，依次执行S2～S4，实现固定成像周期内的多帧图像的融合，以获取强纹理细节和高信噪比的图像。
具体地，如图2所示，在本实施例中，上述S1的实现方式如下：
S11，将惯性传感器安装在机器人视觉传感器上，并保证视觉传感器和惯性传感器同轴系。视觉传感器和惯性传感器三轴重合，其运动参数如表1所示。
表1运动参数
Figure BDA0003002807210000051
Figure BDA0003002807210000061
S12，利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度，即为视觉传感器的位姿信息，通过预积分方式计算出视觉传感器的六自由度的位姿数据。
公式(1)-(3)采用预积分获取由时刻t到时刻(t+Δt)的姿态、速度和位置信息。
Figure BDA0003002807210000062
Figure BDA0003002807210000063
Figure BDA0003002807210000064
其中，Δψ(t+Δt)表示在时刻(t+Δt)的姿态角变化，ω(τ)表示τ在时刻t到(t+Δt)内的角速度值，τ表示在时刻t到(t+Δt)内的时间，v(t+Δt)表示在时刻(t+Δt)的线速度值，v(t)表示在时刻t的线速度值，a(τ)表示τ在时刻t到(t+Δt)内的线加速度值，aB表示线加速度的零偏误差，Δp(t+Δt)表示在时刻Δt的位置变化信息，p(t+Δt)表示在时刻(t+Δt)的位置信息，p(t)表示在时刻t的位置信息，a(t)表示在时刻t的线加速度值。
S13，根据惯性传感器的三轴加速度计估计Δt时间内的三轴线运动的合，再结合表1中的视觉传感器到场景中心的距离L，计算Δt时间内的三轴线运动的合引起的姿态变化量。
Figure BDA0003002807210000065
其中，ΔψL(t+Δt)表示线运动引起的姿态角度变化量。
根据视觉成像中曝光时间内图像的运动超出二分之一的瞬时视场角被认为是模糊图像，因此将线运动引起的姿态变化与三轴陀螺仪估计出Δt内的三轴姿态角的合相结合小于瞬时视场角的一半，此时计算最大的Δt即为曝光时间，如果超出这个值立刻停止曝光，启动下次曝光，保证获取的图像无模糊现象。
Figure BDA0003002807210000071
其中，||·||表示向量的模，IFOV表示瞬时视场角。
上述S2的实现方式如下：
S21，将视觉传感器输出的图像进行低通滤波，构造出参考图像；
S22，利用参考图像与待评价图像的结构相似度来评价图像的清晰度，对于不同的两个图像块x与y，构建参考图像与待评价图像的亮度、对比度、结构信息和相似度模型：
亮度比较：
Figure BDA0003002807210000072
对比度比较：
Figure BDA0003002807210000073
结构信息比较：
Figure BDA0003002807210000074
结构相似度：
SSSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ (9)
S23，建立无参考结构清晰度模型，评价图像的清晰度；
无参考结构清晰度定义：
Figure BDA0003002807210000075
其中，l(x,y)表示两幅图像块x与y的亮度比较函数，μx表示图像块x的灰度均值，μy表示图像块y的灰度均值，c(x,y)表示两幅图像块x与y的对比度比较函数，σx表示图像块x的灰度方差值，σy表示图像块y的灰度方差值，s(x,y)表示两幅图像块x与y的结构信息比较函数，σxy表示图像块x和图像块y的相关灰度方差值，SNRSS(x,y)表示两幅图像块x与y的结构相似度函数，α，β，γ，C1、C2和C3均设置为1。
S24，将清晰度评价参数与预先设定的阈值(0.75)进行比较，剔除低阈值图像，保存高阈值图像和高阈值图像对应的惯性传感器信息。
说明：通过NRSS评价值范围是0和1之间，本方法将阈值设为0.75。
如图3所示，上述S3的实现过程如下：
S31，曝光时间内成像系统的运动与帧间的运动具有很强的相关性，因此，利用安装在机器人视觉传感器上的惯性传感器，将成像系统的运动投影到邻帧图像之间的运动。根据惯性传感器的三轴陀螺仪和三轴加速度计的检测结果解算出视觉传感器的位姿信息，求解位姿转换矩阵，由位姿转换矩阵将前一帧图像投影到后一帧上，实现粗匹配，确保匹配图像的同名点出现在一定的区域内，从而提高同名点匹配的准确率，减少匹配的计算量和缩短匹配的时间。
通过惯性传感器估计邻帧图像的投影矩阵：
Figure BDA0003002807210000081
其中，fi 2(ui,vi)表示所述第一配准图像，K表示机器人的视觉传感器的内部参数，其中包括相机的焦距，图像x轴和y轴中心偏差值构成的矩阵；Rt表示3×3的视觉传感器的姿态转换矩阵；Tt表示1×3的视觉传感器的位置转换矩阵，fi 1(ui,vi)表示待配准的前一帧图像；
S32，粗配准后，基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像。具体过程如下：
如图4所示，以后一帧图像的特征点为中心采用5×5搜索框逆时针由内向外地搜索粗配准后的前一帧图像的同名点，在平面坐标系通过单应性矩阵实现中配准。其中，前一帧图像经粗配准生成的第一配准图像为fi 2(ui,vi)，后一帧图像为
Figure BDA0003002807210000082
则两点转换关系如下：
Figure BDA0003002807210000083
即：
Figure BDA0003002807210000091
其中，ui表示粗配准图像前一帧fi 2(ui,vi)的像素点u轴值，、vi表示粗配准图像前一帧fi 2(ui,vi)的像素点v轴值、ui’表示粗配准图像后一帧fi 2(ui,vi)的像素点u轴值，vi’表示粗配准图像后一帧fi 2(ui,vi)的像素点v轴值，h1～h9表示解算粗配准后连续两帧图像的转换矩阵，Ai表示由粗配准后的连续两帧图像转换矩阵；
提取fi 2(ui,vi)和
Figure BDA0003002807210000092
四对特征点估计单应性矩阵h，将fi 2(ui,vi)投影到后一帧图像
Figure BDA0003002807210000093
生成fi 3(ui,vi)。
fi 3(ui,vi)＝hfi 2(ui,vi) (14)
S33，中配准后，利用频域相位相关算法实现所述第二配准图像与后一帧图像的精配准。将前一帧中配准后的fi 3(ui,vi)通过PCA法投影到后一帧图像
Figure BDA0003002807210000094
进行精配准，其亚像素级平移运动矢量[u0,v0]。根据图像运动模型关系：
fi 4(ui,vi)＝fi 3(ui-u0,vi-v0) (15)
其中，fi 4(ui,vi)表示精配准后的图像、u0表示基于精配准的像素的u轴偏差值、v0表示基于精配准的像素的v轴偏差值。
设F1(xi,yi)和F2(xi,yi)分别表示fi 3(ui,vi)和fi 4(ui,vi)的傅里叶变化，则有
F2(xi,yi)＝F1(xi,yi)exp[-j2π(xiu0+yiv0)] (16)
其中，j表示复数值。
相位相关函数表达式：
Figure BDA0003002807210000095
式中，F1 *(xi,yi)是F1(xi,yi)的复共轭，δ(ui-x0,vi-y0)是典型的Dirachlet函数。其中心点(u0,v0)处不为0，其他位置为0，通过估计[u0,v0]，获取相关函数的峰值幅度最大值，即两幅图像匹配最佳。
P(ui,vi)表示相位相关函数、δ表示脉冲函数、x0表示基于相位相关方法的像素的u轴偏差值、y0表示基于相位相关方法的像素的v轴偏差值。
上述S4的实现过程如下：
将配准的前一帧图像按照对应像素叠加到后一帧图像上，实现邻帧图像融合。其中，平均后的图像中的信噪比提高
Figure BDA0003002807210000101
倍，同理原图像通过图像叠加增加
Figure BDA0003002807210000102
倍，叠加图像
Figure BDA0003002807210000103
Figure BDA0003002807210000104
其中，
Figure BDA0003002807210000105
表示m帧融合后的图像，m表示融合图像的数量，fm(u,v)表示第m帧图像，fi 4(u,v)表示经过多次配准后的第i帧图像，i表示1到(m-1)帧图像。
说明：连续的配准后的多帧图像融合可以提高信噪比，这是公认的。
上述S5的实现过程如下：
依次执行S2、S3和S4，图像评估-图像配准-图像叠加融合实现固定成像周期内的多帧图像融合，以获取强纹理细节和高信噪比的图像。其中，成像参数示意图如图5所示，参数说明如表2所示。
表2时间参数说明
参数 说明
T<sub>Eij</sub> 第i次成像周期内，第j个曝光时间
T<sub>Ein</sub> 第i次成像周期内，第n个曝光时间
P<sub>Ii</sub> 第i次成像周期
T<sub>Emj</sub> 第m次成像周期内，第j个曝光时间
T<sub>Emn</sub> 第m次成像周期内，第n个曝光时间
P<sub>Im</sub> 第m次成像周期
综上，本实施例的方法首先根据运动幅度自适应地调整曝光时间；其次根据NRSS非参考图像评价方法剔除低质量图像，避免低质量图像噪声的引入；再根据分步逼近的配准方法实现邻帧图像亚像素级配准；然后根据图像叠加方法将邻帧图像对应像素融合处理；最后，在固定成像周期内，将多帧图像依次采用配准和叠加融合的方法，实现高质量的图像。解决了机器人六自由度的随机运动引起图像模糊的技术问题，可以广泛应用于机器人视频图像处理领域。
第二实施例
本实施例提供了一种机器人视觉的多帧运动图像融合系统，包括以下模块：
曝光时间自适应调整模块，用于获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；
图像质量评估及筛选模块，用于获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；
图像配准模块，用于将所述图像质量评估及筛选模块筛选出的图像进行邻帧图像配准，得到配准后的图像；
图像融合模块，用于将经过所述图像配准模块配准后的图像进行邻帧图像融合，得到多帧图像的融合结果。
本实施例的机器人视觉的多帧运动图像融合系统与上述第一实施例的机器人视觉的多帧运动图像融合方法相对应；其中，本实施例的机器人视觉的多帧运动图像融合系统中的各功能模块所实现的功能与上述第一实施例的机器人视觉的多帧运动图像融合方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (8)

1.一种机器人视觉的多帧运动图像融合方法，其特征在于，包括：
获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；
获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；
将筛选出的图像进行邻帧图像配准，得到配准后的图像；
将配准后的图像进行邻帧图像融合，得到多帧图像的融合结果；
在筛选出清晰度大于预设清晰度阈值的图像之后，所述方法还包括：
获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据；
所述将筛选出的图像进行邻帧图像配准，得到配准后的图像，包括：
根据待配准的两张图像所对应的视觉传感器的位姿数据，计算出位姿转换矩阵；
根据所述位姿转换矩阵将前一帧图像投影到后一帧上，得到第一配准图像：
Figure FDA0003280135510000011
其中，fi 2(ui,vi)表示所述第一配准图像，K表示机器人的视觉传感器的内部参数，Rt表示3×3的视觉传感器的姿态转换矩阵，Tt表示1×3的视觉传感器的位置转换矩阵，fi 1(ui,vi)表示待配准的前一帧图像；
基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像：
利用预设的频域相位算法，实现所述第二配准图像与后一帧图像的配准。
2.如权利要求1所述的机器人视觉的多帧运动图像融合方法，其特征在于，所述获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间，包括：
利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度；其中，所述惯性传感器安装在机器人的视觉传感器上，且所述惯性传感器与所述视觉传感器同轴系设置；
根据检测到的角速度和线加速度，通过预积分方式计算视觉传感器的六自由度的位姿数据；
根据计算出的位姿数据估计视觉传感器的合运动，将估计出的合运动的幅度值与预设幅度值进行比较，并根据比较结果设置长短不同的曝光时间；其中，所述合运动指的是所述惯性传感器检测到的三轴线运动的合。
3.如权利要求1所述的机器人视觉的多帧运动图像融合方法，其特征在于，所述根据清晰度对获取的图像进行质量评估，包括：
采用NRSS非参考图像评价方法对获取的图像进行质量评估。
4.如权利要求1所述的机器人视觉的多帧运动图像融合方法，其特征在于，所述根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，包括：
以后一帧图像的特征点为中心，采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点，在平面坐标系通过所述单应性矩阵实现图像配准。
5.一种机器人视觉的多帧运动图像融合系统，其特征在于，包括：
曝光时间自适应调整模块，用于获取机器人的运动幅度，根据运动幅度设置长短不同的曝光时间；
图像质量评估及筛选模块，用于获取预设成像周期内机器人的视觉传感器输出的图像，根据清晰度对获取的图像进行质量评估，筛选出清晰度大于预设清晰度阈值的图像；
图像配准模块，用于将所述图像质量评估及筛选模块筛选出的图像进行邻帧图像配准，得到配准后的图像；
图像融合模块，用于将经过所述图像配准模块配准后的图像进行邻帧图像融合，得到多帧图像的融合结果；
所述图像质量评估及筛选模块还用于：
获取筛选出的每一图像所对应的拍摄时的视觉传感器的位姿数据；
所述图像配准模块具体用于：
根据待配准的两张图像所对应的视觉传感器的位姿数据，计算出位姿转换矩阵；
根据所述位姿转换矩阵将前一帧图像投影到后一帧上，得到第一配准图像：
Figure FDA0003280135510000021
其中，fi 2(ui,vi)表示所述第一配准图像，K表示机器人的视觉传感器的内部参数，Rt表示3×3的视觉传感器的姿态转换矩阵，Tt表示1×3的视觉传感器的位置转换矩阵，fi 1(ui,vi)表示待配准的前一帧图像；
基于特征点匹配计算出所述第一配准图像和后一帧图像的单应性矩阵，根据所述单应性矩阵实现第一配准图像和后一帧图像的配准，得到第二配准图像：
利用预设的频域相位算法，实现所述第二配准图像与后一帧图像的配准。
6.如权利要求5所述的机器人视觉的多帧运动图像融合系统，其特征在于，所述曝光时间自适应调整模块具体用于：
利用惯性传感器的三轴陀螺仪和三轴加速度计检测机器人六自由度随机运动的角速度和线加速度；其中，所述惯性传感器安装在机器人的视觉传感器上，且所述惯性传感器与所述视觉传感器同轴系设置；
根据检测到的角速度和线加速度，通过预积分方式计算视觉传感器的六自由度的位姿数据；
根据计算出的位姿数据估计视觉传感器的合运动，将估计出的合运动的幅度值与预设幅度值进行比较，并根据比较结果设置长短不同的曝光时间；其中，所述合运动指的是所述惯性传感器检测到的三轴线运动的合。
7.如权利要求5所述的机器人视觉的多帧运动图像融合系统，其特征在于，所述图像质量评估及筛选模块具体用于：
采用NRSS非参考图像评价方法对获取的图像进行质量评估。
8.如权利要求5所述的机器人视觉的多帧运动图像融合系统，其特征在于，所述图像配准模块具体还用于：
以后一帧图像的特征点为中心，采用5×5搜索框逆时针由内向外地搜索所述第一配准图像的同名点，在平面坐标系通过所述单应性矩阵实现图像配准。
CN202110353476.3A 2021-04-01 2021-04-01 一种机器人视觉的多帧运动图像融合方法及系统 Active CN113177901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110353476.3A CN113177901B (zh) 2021-04-01 2021-04-01 一种机器人视觉的多帧运动图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110353476.3A CN113177901B (zh) 2021-04-01 2021-04-01 一种机器人视觉的多帧运动图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN113177901A CN113177901A (zh) 2021-07-27
CN113177901B true CN113177901B (zh) 2021-11-30

Family

ID=76922935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110353476.3A Active CN113177901B (zh) 2021-04-01 2021-04-01 一种机器人视觉的多帧运动图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN113177901B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888453A (zh) * 2021-09-27 2022-01-04 邹子杰 工业质检图像文字匹配方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105865419A (zh) * 2015-01-22 2016-08-17 青岛通产软件科技有限公司 基于地面特征的移动机器人的自主精确定位系统及方法
CN105338262B (zh) * 2015-10-09 2018-09-21 浙江大华技术股份有限公司 一种热成像图像处理方法及装置
CN108012080B (zh) * 2017-12-04 2020-02-04 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108717715B (zh) * 2018-06-11 2022-05-31 华南理工大学 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN110753178B (zh) * 2018-07-24 2021-03-12 杭州海康威视数字技术股份有限公司 一种曝光时间调整方法及装置、摄像机
CN109141433A (zh) * 2018-09-20 2019-01-04 江阴市雷奥机器人技术有限公司 一种机器人室内定位系统及定位方法
CN111354042B (zh) * 2018-12-24 2023-12-01 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
US10853927B2 (en) * 2019-03-19 2020-12-01 Apple Inc. Image fusion architecture
CN112335224A (zh) * 2019-08-30 2021-02-05 深圳市大疆创新科技有限公司 可移动平台的图像采集方法、设备及存储介质

Also Published As

Publication number Publication date
CN113177901A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110493488B (zh) 视频稳像方法、视频稳像装置和计算机可读存储介质
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
US20150279021A1 (en) Video object tracking in traffic monitoring
WO2020253618A1 (zh) 一种视频抖动的检测方法及装置
CN113269682B (zh) 一种结合帧间信息的非均匀运动模糊视频复原方法
CN110033461B (zh) 一种基于目标位移量估计的手机防抖功能评估方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN113011401B (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN111798485B (zh) 一种利用imu增强的事件相机光流估计方法及系统
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN110942470A (zh) 图像处理装置
CN113177901B (zh) 一种机器人视觉的多帧运动图像融合方法及系统
CN116310131A (zh) 一种考虑多视图融合策略的三维重建方法
CN109544584B (zh) 一种实现巡检稳像精度测量的方法及系统
CN111462246A (zh) 一种结构光测量系统的设备标定方法
CN113409353A (zh) 运动前景检测方法、装置、终端设备及存储介质
CN114332447B (zh) 一种车牌矫正方法、车牌矫正装置和计算机可读存储介质
Vlahović et al. Deep learning in video stabilization homography estimation
CN110232711B (zh) 面向海产品抓取的双目视觉实时感知定位方法、系统、装置
CN110059651B (zh) 一种相机实时跟踪注册方法
CN111369592A (zh) 一种基于牛顿插值的快速全局运动估计方法
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
CN112102412A (zh) 一种无人机降落过程中视觉锚点的检测方法及系统
CN112233020A (zh) 无人机图像拼接方法、装置、计算机设备及存储介质
CN115546876B (zh) 一种瞳孔追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant