CN112792821B - 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统 - Google Patents

惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统 Download PDF

Info

Publication number
CN112792821B
CN112792821B CN202110353103.6A CN202110353103A CN112792821B CN 112792821 B CN112792821 B CN 112792821B CN 202110353103 A CN202110353103 A CN 202110353103A CN 112792821 B CN112792821 B CN 112792821B
Authority
CN
China
Prior art keywords
motion
freedom
uniform
degree
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110353103.6A
Other languages
English (en)
Other versions
CN112792821A (zh
Inventor
王哲
李希胜
潘月斗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110353103.6A priority Critical patent/CN112792821B/zh
Publication of CN112792821A publication Critical patent/CN112792821A/zh
Application granted granted Critical
Publication of CN112792821B publication Critical patent/CN112792821B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G06T5/73—

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统，该方法包括：对惯性传感器进行标定；其中，惯性传感器与机器人的视觉传感器同轴系设置；通过标定好的惯性传感器检测视觉传感器的六自由度的位姿信息，建立视觉传感器的运动轨迹模型；将曝光时间内的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；基于点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。本发明解决了长曝光下的运动机器人图像模糊的问题，可广泛应用于机器人图像处理领域。

Description

惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统
技术领域
本发明涉及机器人视觉技术领域，特别涉及一种惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统。
背景技术
随着机器人视觉的小型化、智能化地发展，对图像清晰化要求越来越高。然而，由于光线条件较差或高信噪比的图像需求，要求较长的曝光时间，在这样的情况下，机器人运动引起的图像模糊严重影响机器人在工业、医疗、安防和机器人航天等领域的应用。
针对相机运动模糊展开研究，解决途径大致可分为：图像稳定设备、探测器自身处理、计算机图形学、多传感器辅助视觉。图像稳定设备使用机械手段通过偏移镜头元件或平移传感器来抑制相机运动。但是，该硬件补偿的方法要求精细化的结构设计，并且补偿的速度和范围受限。平均对齐和对齐使用较短的曝光时间捕获多个无模糊但有噪点的图像，并在对齐后将它们合并。较短的曝光会遭受更严重的读取噪声和光子散粒噪声的影响，同时对图像配准技术要求高。计算机图像采用数学建模的方法求取点扩散函数，再根据图像复原模型实现图像清晰化处理。由于模糊核估计需要大量的训练数据和运行时间，同时对图像处理设备硬件要求较高，从而导致了这些方法不能较好地被实际应用。多传感器辅助视觉采用高速或多目视觉、惯性传感器等手段解决相机的欠定问题，通过寻求额外的先验信息来解决图像模糊。由于增加视觉传感器又引入图像分析处理的问题，而引入惯性传感器可以从路径方法解决图像模糊的问题。
综上所述，目前机器人视觉亟需一种快速、准确地解决长曝光时间下运动图像去模糊的方法，实现强纹理细节和高信噪比的图像。
发明内容
本发明提供了一种惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统，以解决现有去模糊方法实现困难，不能较好地被实际应用的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种惯性辅助长曝光下的运动机器人视觉去模糊的方法，该惯性辅助长曝光下的运动机器人视觉去模糊的方法包括：
对机器人的惯性传感器进行零偏误差标定；其中，所述惯性传感器安装在机器人的视觉传感器上，并与所述视觉传感器同轴系设置；
通过标定好的惯性传感器检测所述视觉传感器的六自由度的位姿信息，并基于所述位姿信息，建立所述视觉传感器的六自由度的运动轨迹模型；
将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；
基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。
进一步地，所述对机器人的惯性传感器进行零偏误差标定，包括：
在预设的标定周期内，为机器人设置固定的六自由度运动模式，所述六自由度运动模式包括旋转运动模式和线运动模式，所述旋转运动模式为：首先三轴同时正向旋转x，再反向旋转2x，然后再正向旋转x，姿态归零；其中，x为预设的角度值；所述线运动模式为：首先三轴同时正向直线运动y，再反向直线运动2y，然后再正向直线运动y，位置归零；其中，y为预设的距离值；
机器人六自由度归零，启动所述旋转运动模式，再启动所述线运动模式；
通过惯性传感器检测标定周期内的视觉传感器的六自由度的位姿数据，并将惯性传感器检测的位姿数据与机器人自身的运动传感器反馈的视觉传感器的六自由度的位姿数据进行比较，根据比较结果标定所述惯性传感器的零偏误差。
进一步地，所述将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，包括：
将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型分解成三自由度的旋转运动和三自由度的线运动；
将分解出的三自由度的旋转运动分解成离散化的多个匀速旋转运动，将分解出的三自由度的线运动分解成离散化的多个匀速线运动。
进一步地，将分解出的三自由度的旋转运动分解成离散化的多个匀速旋转运动，将分解出的三自由度的线运动分解成离散化的多个匀速线运动，包括：
将旋转运动的合运动值与预设的匀速旋转合运动阈值进行比较，若当前旋转运动的合运动值落入所述匀速旋转合运动阈值内，则认为当前旋转运动为一档匀速运动，从而将三自由度的旋转运动分解成离散化的多个匀速旋转运动；
将线运动的合运动值与预设的匀速直线合运动阈值进行比较，若当前线运动的合运动值落入所述匀速直线合运动阈值内，则认为当前线运动为一档匀速运动，从而将三自由度的线运动分解成离散化的多个匀速线运动。
进一步地，所述基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊，包括：
对所述点扩散函数模型进行卷积处理；
对待处理图像进行卷积处理；
对所述点扩散函数模型的卷积处理结果和所述待处理图像的卷积处理结果进行反模糊处理，实现对所述待处理图像的去模糊处理。
另一方面，本发明还提供了一种惯性辅助长曝光下的运动机器人视觉去模糊的系统，该惯性辅助长曝光下的运动机器人视觉去模糊的系统包括：
惯性传感器标定模块，用于对机器人的惯性传感器进行零偏误差标定；其中，所述惯性传感器安装在机器人的视觉传感器上，并与所述视觉传感器同轴系设置；
运动轨迹模型构建模块，用于通过标定好的惯性传感器检测所述视觉传感器的六自由度的位姿信息，并基于所述位姿信息，建立所述视觉传感器的六自由度的运动轨迹模型；
点扩散函数模型构建模块，用于将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；
图像去模糊模块，用于基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。
进一步地，所述惯性传感器标定模块具体用于：
在预设的标定周期内，为机器人设置固定的六自由度运动模式，所述六自由度运动模式包括旋转运动模式和线运动模式，所述旋转运动模式为：首先三轴同时正向旋转x，再反向旋转2x，然后再正向旋转x，姿态归零；其中，x为预设的角度值；所述线运动模式为：首先三轴同时正向直线运动y，再反向直线运动2y，然后再正向直线运动y，位置归零；其中，y为预设的距离值；
机器人六自由度归零，启动所述旋转运动模式，再启动所述线运动模式；
通过惯性传感器检测标定周期内的视觉传感器的六自由度的位姿数据，并将惯性传感器检测的位姿数据与机器人自身的运动传感器反馈的视觉传感器的六自由度的位姿数据进行比较，根据比较结果标定所述惯性传感器的零偏误差。
进一步地，所述点扩散函数模型构建模块具体用于：
将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型分解成三自由度的旋转运动和三自由度的线运动；
将分解出的三自由度的旋转运动分解成离散化的多个匀速旋转运动，将分解出的三自由度的线运动分解成离散化的多个匀速线运动。
进一步地，所述点扩散函数模型构建模块具体还用于：
将旋转运动的合运动值与预设的匀速旋转合运动阈值进行比较，若当前旋转运动的合运动值落入所述匀速旋转合运动阈值内，则认为当前旋转运动为一档匀速运动，从而将三自由度的旋转运动分解成离散化的多个匀速旋转运动；
将线运动的合运动值与预设的匀速直线合运动阈值进行比较，若当前线运动的合运动值落入所述匀速直线合运动阈值内，则认为当前线运动为一档匀速运动，从而将三自由度的线运动分解成离散化的多个匀速线运动。
进一步地，所述图像去模糊模块具体用于：
对所述点扩散函数模型进行卷积处理；
对待处理图像进行卷积处理；
对所述点扩散函数模型的卷积处理结果和所述待处理图像的卷积处理结果进行反模糊处理，实现对所述待处理图像的去模糊处理。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括：
1、针对惯性传感器的陀螺仪和加速度计随着时间增加零偏误差增大的问题，本发明提出一种在线对惯性传感器标定的方法，通过在机器人的六自由度短暂的固定周期内对三轴旋转和三轴线运动调速，通过机器人自身传感器反馈值与惯性传感器的检测值进行比较，线性地弥补陀螺仪和加速度计的零偏。
2、机器人六自由度的运动是随机的，存在三自由度的旋转和三自由度的线运动，现有相关研究注重旋转运动、平移运动、忽视景深的远距离成像不同。对此，本发明提出具有挑战的六自由度成像模式，建立六自由度运动模型，注重各轴运动对成像的影响。
3、长曝光时间的情况下，机器人存在非线性运动，对此，本发明提出将长曝光时间内无规则的线运动进行线性离散化处理，构成若干匀速运动序列，再基于六自由度离散化后的运动估计模糊核序列。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的惯性辅助长曝光下的运动机器人视觉去模糊的方法的流程示意图；
图2为机器人视觉传感器和惯性传感器同轴系成像示意图；
图3为本发明实施例提供的实现惯性传感器标定的流程示意图；
图4为机器人成像示意图；
图5为本发明实施例提供的曝光时间内运动离散化示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种快速、准确、应用广泛，适用于运动载体的惯性辅助长曝光下的运动机器人视觉去模糊的方法，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：
S1，对机器人的惯性传感器进行零偏误差标定；其中，所述惯性传感器安装在机器人的视觉传感器上，并与所述视觉传感器同轴系设置；
S2，通过标定好的惯性传感器检测所述视觉传感器的六自由度的位姿信息，并基于所述位姿信息，建立所述视觉传感器的六自由度的运动轨迹模型；
S3，将待处理图像的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；
S4，基于点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。
具体地，上述S1的实现过程如下：
S11，如图2所示，将惯性传感器安装在机器人视觉传感器上，保证机器人视觉传感器和惯性传感器同轴系。机器人视觉传感器和惯性传感器三轴重合，其运动参数如表1所示。
表1 运动参数
Figure DEST_PATH_IMAGE001
S12，如图3所示，在短暂的标定周期内，预先设计机器人运动模式，包括：首先机器人六自由度归零。启动旋转运动模式，首先三轴同时正向旋转x°（按照右手规则），再反向旋转2x°，然后再正向旋转x°，姿态归零；再启动线运动模式，首先三轴同时正向直线运动y m，再反向直线运动2y m，然后再正向直线运动y m，位置归零。惯性传感器标定完毕。其中，x为预设的角度值；y为预设的距离值。
S13，将标定周期
Figure 833817DEST_PATH_IMAGE002
内的三轴陀螺仪和三轴加速度计检测的姿态和位置，通过预积分方式计算出视觉传感器的六自由度的位姿数据。公式(1)~(3)为采用预积分获取由时刻
Figure 871043DEST_PATH_IMAGE003
到时刻
Figure 743053DEST_PATH_IMAGE004
的姿态、速度和位置信息。
Figure 828821DEST_PATH_IMAGE005
(1)
Figure 446884DEST_PATH_IMAGE006
(2)
Figure 45224DEST_PATH_IMAGE007
(3)
其中，
Figure 686421DEST_PATH_IMAGE008
表示在时刻
Figure 638197DEST_PATH_IMAGE004
的姿态角，
Figure 495120DEST_PATH_IMAGE009
表示在时刻
Figure 874149DEST_PATH_IMAGE003
的姿态角，
Figure 2642DEST_PATH_IMAGE010
表示
Figure 882742DEST_PATH_IMAGE011
在时刻
Figure 475397DEST_PATH_IMAGE003
到
Figure 963010DEST_PATH_IMAGE004
内的角速度值，
Figure 765750DEST_PATH_IMAGE012
表示角速度的零偏误差，
Figure 731432DEST_PATH_IMAGE013
表示在时刻
Figure 444173DEST_PATH_IMAGE003
到
Figure 555218DEST_PATH_IMAGE004
内的任一时间，
Figure 720620DEST_PATH_IMAGE014
表示在时刻
Figure 693255DEST_PATH_IMAGE004
的线速度值，
Figure 260503DEST_PATH_IMAGE015
表示在时刻
Figure 542448DEST_PATH_IMAGE003
的线速度值，
Figure 460726DEST_PATH_IMAGE016
表示
Figure 971473DEST_PATH_IMAGE011
在时刻
Figure 658806DEST_PATH_IMAGE003
到
Figure 111653DEST_PATH_IMAGE004
内的线加速度值，
Figure 923751DEST_PATH_IMAGE017
表示线加速度的零偏误差，
Figure 628402DEST_PATH_IMAGE018
表示在时刻
Figure 29296DEST_PATH_IMAGE004
的位置信息，
Figure 528411DEST_PATH_IMAGE019
表示在时刻
Figure 31067DEST_PATH_IMAGE003
的位置信息，
Figure 8250DEST_PATH_IMAGE020
表示在时刻
Figure 794810DEST_PATH_IMAGE003
的线加速度值。
将惯性传感器检测的位姿数据与机器人自身运动传感器反馈的视觉传感器的位姿数据进行比较，分别标定三轴陀螺仪和三轴加速度计的零偏误差。
Figure 136929DEST_PATH_IMAGE021
(4)
Figure 985937DEST_PATH_IMAGE022
(5)
其中，
Figure 694042DEST_PATH_IMAGE023
，在短暂的标定周期
Figure 85840DEST_PATH_IMAGE002
内认为角速度和加速度零偏值不变，
Figure 661178DEST_PATH_IMAGE024
为惯性传感器采样率，则角速度和线加速度的零偏误差为：
Figure 387694DEST_PATH_IMAGE025
(6)
Figure 972259DEST_PATH_IMAGE026
(7)
其中，
Figure 218564DEST_PATH_IMAGE027
表示在时刻
Figure 230382DEST_PATH_IMAGE003
的角速度值，
Figure 975353DEST_PATH_IMAGE020
表示在时刻
Figure 566872DEST_PATH_IMAGE003
的线加速度值。
上述S2的实现过程如下：
S21，如图4所示，可将成像周期分为曝光时间
Figure 464420DEST_PATH_IMAGE028
和非曝光时间
Figure 771774DEST_PATH_IMAGE029
，参数如下表所示。
表2 时间参数说明
Figure 348249DEST_PATH_IMAGE030
S22，由于曝光时间较长，难免在曝光时间内运动是非线性的，根据公式（6）和（7）标定的陀螺仪和加速度计的零偏误差代入到公式（4）和（5）获取标定的角速度和线加速度。由于曝光时间较长和运动的随机性，再通过标定后的惯性传感器检测三自由度的姿态和三自由度的位置信息，构建精确的非线性运动轨迹。
说明：现有的方法对于惯性传感器不进行标定，忽略陀螺仪和加速度计的零偏误差；其次，假设曝光时间内的运动是匀速的。具体实现过程在S4中体现运动轨迹模型的建立。
上述S3的实现过程如下：
S31，模糊参数是描述成像系统的运动轨迹，由旋转运动模型和线运动模型构成。视觉传感器在曝光时间的运动轨迹模型分解成三自由度的旋转运动和三自由度的线运动；
S32，利用惯性传感器中的陀螺仪估计三自由度的旋转运动与预设的匀速旋转合运动阈值
Figure DEST_PATH_IMAGE031
比较，利用惯性传感器中的加速度计估计三自由度的线运动与匀速直线合运动阈值
Figure 415562DEST_PATH_IMAGE032
比较，若三自由度的旋转运动的合运动值落入一定阈值
Figure 620147DEST_PATH_IMAGE031
内，则被认为是一档匀速运动，同理，若三自由度的直线运动的合运动值落入一定阈值
Figure 239347DEST_PATH_IMAGE032
内，则被认为是一档匀速运动：
Figure 709643DEST_PATH_IMAGE033
(8)
Figure 298756DEST_PATH_IMAGE034
(9)
其中，
Figure 498793DEST_PATH_IMAGE035
表示第i个匀速姿态运动角度值；
Figure 898682DEST_PATH_IMAGE036
表示匀速姿态运动角偏差，取值为瞬时视场角的三分之一；
Figure 918590DEST_PATH_IMAGE037
表示第i个匀速运动线速度值；
Figure 576974DEST_PATH_IMAGE038
表示匀速运动线速度偏差，取值为瞬时视场角的三分之一对应的弧长。
S33，如图5所示，将六自由度运动轨迹离散化为若干三自由度的匀速旋转运动和若干三自由度的匀速线运动。利用陀螺仪绘制旋转运动曲线，根据公式（8）将旋转运动峰峰值在
Figure 631517DEST_PATH_IMAGE039
内认为是匀速旋转运动；同理，利用加速度计绘制线运动曲线，根据公式（9）将线运动峰峰值在
Figure 999045DEST_PATH_IMAGE040
内认为是匀速线运动。同时满足匀速旋转运动和匀速线运动的状态进行归一化处理，将T 0 -T E 分解为四个阶段，形成一组连续的匀速的混合运动模型构建一组点扩散函数模型。
说明：现有技术认为曝光时间内的运动是匀速的，忽视其变速运动。
上述S4的实现过程如下：
S41，将上述S33构建的一组点扩散函数模型进行卷积处理；
线运动模型：
Figure 896463DEST_PATH_IMAGE041
(10)
其中，
Figure 702744DEST_PATH_IMAGE042
表示在Ti时刻
Figure 283899DEST_PATH_IMAGE043
轴和
Figure 292435DEST_PATH_IMAGE044
轴直线运动的合位移，
Figure 959040DEST_PATH_IMAGE045
表示在Ti时刻
Figure 569013DEST_PATH_IMAGE043
轴和
Figure 253941DEST_PATH_IMAGE044
轴直线运动的夹角。
旋转运动模型：
Figure 619063DEST_PATH_IMAGE046
(11)
Figure 100860DEST_PATH_IMAGE047
(12)
Figure 186628DEST_PATH_IMAGE048
Figure 929325DEST_PATH_IMAGE049
(13)
Figure 137452DEST_PATH_IMAGE050
(14)
其中，k表示相机自身参数，f表示相机的焦距，
Figure 778649DEST_PATH_IMAGE051
表示相机x轴方向光学中心偏移值，
Figure 120638DEST_PATH_IMAGE052
表示相机y轴方向光学中心偏移值，
Figure 858787DEST_PATH_IMAGE053
表示相机的外参旋转矩阵，
Figure 378761DEST_PATH_IMAGE054
表示相机相机的旋转矩阵，
Figure 835150DEST_PATH_IMAGE055
表示曝光下的能量，T表示曝光时间，
Figure 715250DEST_PATH_IMAGE056
表示曝光下的能量函数，
Figure 307905DEST_PATH_IMAGE057
表示二维空间到一维的单应矩阵，
Figure 998781DEST_PATH_IMAGE058
表示在t时刻相机的旋转角度，
Figure 676887DEST_PATH_IMAGE059
表示旋转模糊函数,
Figure 157416DEST_PATH_IMAGE060
表示
Figure 745523DEST_PATH_IMAGE061
的脉冲函数。
由线运动和旋转运动构成点扩散函数：
Figure 731933DEST_PATH_IMAGE062
(15)
S42，将长曝光时间内获取的模糊图像进行卷积处理；
在不考虑噪声的情况下，运动模糊图像
Figure 287549DEST_PATH_IMAGE063
形成的过程可以看作是清晰图像
Figure 384818DEST_PATH_IMAGE064
与点扩散函数
Figure 827431DEST_PATH_IMAGE065
的卷积过程。图像的卷积模型：
Figure 984743DEST_PATH_IMAGE066
(16)
S43，将S41和S42的结果进行反模糊处理实现图像去模糊。
Figure 502355DEST_PATH_IMAGE067
(17)
其中，
Figure 403315DEST_PATH_IMAGE068
表示傅里叶逆变换函数；
Figure 966015DEST_PATH_IMAGE069
表示清晰图像
Figure 294228DEST_PATH_IMAGE064
的傅里叶变换；
Figure 558856DEST_PATH_IMAGE070
表示模糊图像
Figure 670032DEST_PATH_IMAGE071
的傅里叶变换；
Figure 211871DEST_PATH_IMAGE072
表示点扩散函数
Figure 835620DEST_PATH_IMAGE073
的傅里叶变换，并根据公式（8）和公式（9）离散化n个匀速运动。
综上，本实施例首先提出利用机器人自我控制方式在短暂的固定周期内标定惯性传感器零偏，其次通过标定的惯性传感器检测的位姿信息建立运动轨迹模型，然后将该轨迹模型按照模糊参数和模糊类型进行匀速离散化处理，最后通过卷积和反模糊处理实现长曝光时间下的机器人运动图像去模糊。从而解决了长曝光下的运动机器人图像模糊的问题，可广泛应用于机器人图像处理领域。
第二实施例
本实施例提供了一种惯性辅助长曝光下的运动机器人视觉去模糊的系统，该惯性辅助长曝光下的运动机器人视觉去模糊的系统包括以下模块：
惯性传感器标定模块，用于对机器人的惯性传感器进行零偏误差标定；其中，所述惯性传感器安装在机器人的视觉传感器上，并与所述视觉传感器同轴系设置；
运动轨迹模型构建模块，用于通过标定好的惯性传感器检测所述视觉传感器的六自由度的位姿信息，并基于所述位姿信息，建立所述视觉传感器的六自由度的运动轨迹模型；
点扩散函数模型构建模块，用于将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；
图像去模糊模块，用于基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。
本实施例的惯性辅助长曝光下的运动机器人视觉去模糊的系统与上述第一实施例的惯性辅助长曝光下的运动机器人视觉去模糊的方法相对应；其中，本实施例的惯性辅助长曝光下的运动机器人视觉去模糊的系统中的各功能模块所实现的功能与上述第一实施例的惯性辅助长曝光下的运动机器人视觉去模糊的方法中的各流程步骤一一对应；故，在此不再赘述。
第三实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种惯性辅助长曝光下的运动机器人视觉去模糊的方法，其特征在于，所述惯性辅助长曝光下的运动机器人视觉去模糊的方法包括：
对机器人的惯性传感器进行零偏误差标定；其中，所述惯性传感器安装在机器人的视觉传感器上，并与所述视觉传感器同轴系设置；
通过标定好的惯性传感器检测所述视觉传感器的六自由度的位姿信息，并基于所述位姿信息，建立所述视觉传感器的六自由度的运动轨迹模型；
将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；
基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。
2.如权利要求1所述的惯性辅助长曝光下的运动机器人视觉去模糊的方法，其特征在于，所述对机器人的惯性传感器进行零偏误差标定，包括：
在预设的标定周期内，为机器人设置固定的六自由度运动模式，所述六自由度运动模式包括旋转运动模式和线运动模式，所述旋转运动模式为：首先三轴同时正向旋转x，再反向旋转2x，然后再正向旋转x，姿态归零；其中，x为预设的角度值；所述线运动模式为：首先三轴同时正向直线运动y，再反向直线运动2y，然后再正向直线运动y，位置归零；其中，y为预设的距离值；
机器人六自由度归零，启动所述旋转运动模式，再启动所述线运动模式；
通过惯性传感器检测标定周期内的视觉传感器的六自由度的位姿数据，并将惯性传感器检测的位姿数据与机器人自身的运动传感器反馈的视觉传感器的六自由度的位姿数据进行比较，根据比较结果标定所述惯性传感器的零偏误差。
3.如权利要求1所述的惯性辅助长曝光下的运动机器人视觉去模糊的方法，其特征在于，所述将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，包括：
将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型分解成三自由度的旋转运动和三自由度的线运动；
将分解出的三自由度的旋转运动分解成离散化的多个匀速旋转运动，将分解出的三自由度的线运动分解成离散化的多个匀速线运动。
4.如权利要求3所述的惯性辅助长曝光下的运动机器人视觉去模糊的方法，其特征在于，所述将分解出的三自由度的旋转运动分解成离散化的多个匀速旋转运动，将分解出的三自由度的线运动分解成离散化的多个匀速线运动，包括：
将旋转运动的合运动值与预设的匀速旋转合运动阈值进行比较，若当前旋转运动的合运动值落入所述匀速旋转合运动阈值内，则认为当前旋转运动为一档匀速运动，从而将三自由度的旋转运动分解成离散化的多个匀速旋转运动；
将线运动的合运动值与预设的匀速直线合运动阈值进行比较，若当前线运动的合运动值落入所述匀速直线合运动阈值内，则认为当前线运动为一档匀速运动，从而将三自由度的线运动分解成离散化的多个匀速线运动。
5.如权利要求1所述的惯性辅助长曝光下的运动机器人视觉去模糊的方法，其特征在于，所述基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊，包括：
对所述点扩散函数模型进行卷积处理；
对待处理图像进行卷积处理；
对所述点扩散函数模型的卷积处理结果和所述待处理图像的卷积处理结果进行反模糊处理，实现对所述待处理图像的去模糊处理。
6.一种惯性辅助长曝光下的运动机器人视觉去模糊的系统，其特征在于，所述惯性辅助长曝光下的运动机器人视觉去模糊的系统包括：
惯性传感器标定模块，用于对机器人的惯性传感器进行零偏误差标定；其中，所述惯性传感器安装在机器人的视觉传感器上，并与所述视觉传感器同轴系设置；
运动轨迹模型构建模块，用于通过标定好的惯性传感器检测所述视觉传感器的六自由度的位姿信息，并基于所述位姿信息，建立所述视觉传感器的六自由度的运动轨迹模型；
点扩散函数模型构建模块，用于将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型进行匀速离散化处理，得到离散化的三自由度的匀速旋转运动序列和三自由度的匀速线运动序列，并建立一组匀速旋转运动序列和匀速线运动序列的点扩散函数模型；
图像去模糊模块，用于基于所述点扩散函数模型，对待处理图像进行逆序解卷积实现图像去模糊。
7.如权利要求6所述的惯性辅助长曝光下的运动机器人视觉去模糊的系统，其特征在于，所述惯性传感器标定模块具体用于：
在预设的标定周期内，为机器人设置固定的六自由度运动模式，所述六自由度运动模式包括旋转运动模式和线运动模式，所述旋转运动模式为：首先三轴同时正向旋转x，再反向旋转2x，然后再正向旋转x，姿态归零；其中，x为预设的角度值；所述线运动模式为：首先三轴同时正向直线运动y，再反向直线运动2y，然后再正向直线运动y，位置归零；其中，y为预设的距离值；
机器人六自由度归零，启动所述旋转运动模式，再启动所述线运动模式；
通过惯性传感器检测标定周期内的视觉传感器的六自由度的位姿数据，并将惯性传感器检测的位姿数据与机器人自身的运动传感器反馈的视觉传感器的六自由度的位姿数据进行比较，根据比较结果标定所述惯性传感器的零偏误差。
8.如权利要求6所述的惯性辅助长曝光下的运动机器人视觉去模糊的系统，其特征在于，所述点扩散函数模型构建模块具体用于：
将待处理图像对应的曝光时间内的视觉传感器的运动轨迹模型分解成三自由度的旋转运动和三自由度的线运动；
将分解出的三自由度的旋转运动分解成离散化的多个匀速旋转运动，将分解出的三自由度的线运动分解成离散化的多个匀速线运动。
9.如权利要求8所述的惯性辅助长曝光下的运动机器人视觉去模糊的系统，其特征在于，所述点扩散函数模型构建模块具体还用于：
将旋转运动的合运动值与预设的匀速旋转合运动阈值进行比较，若当前旋转运动的合运动值落入所述匀速旋转合运动阈值内，则认为当前旋转运动为一档匀速运动，从而将三自由度的旋转运动分解成离散化的多个匀速旋转运动；
将线运动的合运动值与预设的匀速直线合运动阈值进行比较，若当前线运动的合运动值落入所述匀速直线合运动阈值内，则认为当前线运动为一档匀速运动，从而将三自由度的线运动分解成离散化的多个匀速线运动。
10.如权利要求6所述的惯性辅助长曝光下的运动机器人视觉去模糊的系统，其特征在于，所述图像去模糊模块具体用于：
对所述点扩散函数模型进行卷积处理；
对待处理图像进行卷积处理；
对所述点扩散函数模型的卷积处理结果和所述待处理图像的卷积处理结果进行反模糊处理，实现对所述待处理图像的去模糊处理。
CN202110353103.6A 2021-04-01 2021-04-01 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统 Expired - Fee Related CN112792821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110353103.6A CN112792821B (zh) 2021-04-01 2021-04-01 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110353103.6A CN112792821B (zh) 2021-04-01 2021-04-01 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统

Publications (2)

Publication Number Publication Date
CN112792821A CN112792821A (zh) 2021-05-14
CN112792821B true CN112792821B (zh) 2021-06-25

Family

ID=75816030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110353103.6A Expired - Fee Related CN112792821B (zh) 2021-04-01 2021-04-01 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统

Country Status (1)

Country Link
CN (1) CN112792821B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538294B (zh) * 2021-08-20 2023-09-12 西安交通大学 一种消除图像运动模糊的方法及系统
CN113984090B (zh) * 2021-10-25 2023-07-04 北京科技大学 一种轮式机器人imu误差在线标定与补偿方法及装置
CN115147415B (zh) * 2022-09-02 2022-12-02 山东微山湖酒业有限公司 基于图像处理的酒盒缺陷检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108161938A (zh) * 2017-12-27 2018-06-15 华南智能机器人创新研究院 一种机器人中的视觉跟踪方法及系统
CN108717715A (zh) * 2018-06-11 2018-10-30 华南理工大学 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN110640744A (zh) * 2018-11-07 2020-01-03 宁波赛朗科技有限公司 一种电机模糊控制的工业机器人
CN111275627A (zh) * 2019-02-27 2020-06-12 中国科学院沈阳自动化研究所 一种基于雪模型和深度学习融合的图像去雪算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910009B2 (ja) * 2017-02-03 2021-07-28 パナソニックＩｐマネジメント株式会社 撮像装置およびカメラシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108161938A (zh) * 2017-12-27 2018-06-15 华南智能机器人创新研究院 一种机器人中的视觉跟踪方法及系统
CN108717715A (zh) * 2018-06-11 2018-10-30 华南理工大学 一种用于弧焊机器人的线结构光视觉系统自动标定方法
CN110640744A (zh) * 2018-11-07 2020-01-03 宁波赛朗科技有限公司 一种电机模糊控制的工业机器人
CN111275627A (zh) * 2019-02-27 2020-06-12 中国科学院沈阳自动化研究所 一种基于雪模型和深度学习融合的图像去雪算法

Also Published As

Publication number Publication date
CN112792821A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112792821B (zh) 惯性辅助长曝光下的运动机器人视觉去模糊的方法及系统
Joshi et al. Image deblurring using inertial measurement sensors
CN103440624A (zh) 一种基于运动检测的图像去模糊方法及装置
CN106709222B (zh) 基于单目视觉的imu漂移补偿方法
US20110109755A1 (en) Hardware assisted image deblurring
CN110954134B (zh) 陀螺仪偏差校正方法、校正系统、电子设备及存储介质
JP2006099109A (ja) ２つの２軸線形加速度計を用いて画像取込装置の動きを検出するためのシステムおよび方法
CN112333402B (zh) 一种基于声波的图像对抗样本生成方法及系统
CN110617813A (zh) 单目视觉信息和imu信息相融合的尺度估计系统及方法
CN109922258A (zh) 车载相机的电子稳像方法、装置及可读存储介质
CN109029425A (zh) 一种采用区域滤波的模糊星图复原方法
CN111932616A (zh) 一种利用并行计算加速的双目视觉惯性里程计方法
CN114338994A (zh) 光学防抖方法、装置、电子设备和计算机可读存储介质
CN107942090B (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
CN116193108A (zh) 一种摄像头在线自校准方法、装置、设备及介质
CN112907633B (zh) 动态特征点识别方法及其应用
Negahdaripour et al. Determining 3-D Motion of Planar Objects from Image Brightness Patterns.
CN116952229A (zh) 无人机定位方法、装置、系统和存储介质
De Marco et al. Position, velocity, attitude and accelerometer-bias estimation from imu and bearing measurements
CN114170376B (zh) 一种针对室外大场景的多源信息融合分组式运动恢复结构方法
CN109462717A (zh) 电子稳像方法及终端
Yalcinkaya et al. A Multimodal Tracking Approach For Augmented Reality Applications
CN114119856A (zh) 一种遥感成像图像仿真方法及系统
CN114137247B (zh) 基于事件相机的速度感知方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210625