CN112987571A - 高动态视觉控制系统及其视觉量测性能衰减容错控制方法 - Google Patents

高动态视觉控制系统及其视觉量测性能衰减容错控制方法 Download PDF

Info

Publication number
CN112987571A
CN112987571A CN202110210553.XA CN202110210553A CN112987571A CN 112987571 A CN112987571 A CN 112987571A CN 202110210553 A CN202110210553 A CN 202110210553A CN 112987571 A CN112987571 A CN 112987571A
Authority
CN
China
Prior art keywords
visual
measurement
vision
fault
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110210553.XA
Other languages
English (en)
Other versions
CN112987571B (zh
Inventor
许雲淞
龙志强
窦峰山
李晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110210553.XA priority Critical patent/CN112987571B/zh
Publication of CN112987571A publication Critical patent/CN112987571A/zh
Application granted granted Critical
Publication of CN112987571B publication Critical patent/CN112987571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种高动态视觉控制系统及其视觉量测性能衰减容错控制方法，包括：相机，用于对高动态被控对象进行采样，生成图像帧；视觉量测模块，由多种不同的视觉量测算法构成，每种视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增，用于处理图像帧，并依据视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；容错控制器，用于根据视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量。这样可以从控制器的角度弥补视觉量测算法鲁棒性与精度不足的问题，有效降低视觉量测算法复杂度，提高系统控制性能。

Description

高动态视觉控制系统及其视觉量测性能衰减容错控制方法
技术领域
本发明涉及视觉控制技术领域，特别是涉及一种高动态视觉控制系统及其视觉量测性能衰减容错控制方法。
背景技术
近年来，随着计算机技术、电子和嵌入式技术的高速发展，在对高性能控制的强烈驱动下，数字相机凭借其丰富的信息输出能力与非接触式检测方式，被广泛应用于视觉伺服、自动驾驶等自动化控制系统中。
但是，现有的视觉控制往往仅将视觉量测过程作为普通测量环节，由于视觉反馈容易受到光照变化、遮挡以及背景相似物、量测区域无目标物等多种环境因素的影响，从而视觉量测性能衰减，引起系统控制性能衰减，不能确保系统稳定性；此外，视觉反馈基于机器视觉和图像处理算法，这将不可避免地引入时延，从而降低控制性能，甚至危及系统稳定性。这两点问题对于高动态系统更为突出。然而，在现有的视觉控制系统中，对于高动态系统的视觉控制并没有讨论这两类问题。
因此，如何提高高动态系统的控制性能，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种高动态视觉控制系统及其视觉量测性能衰减容错控制方法，可以有效处理控制性能下降和系统失稳问题。其具体方案如下：
一种高动态视觉控制系统，包括：
相机，用于对高动态被控对象进行采样，生成图像帧；
视觉量测模块，由多种不同的视觉量测算法构成，每种所述视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增，用于处理所述图像帧，并依据所述视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；
容错控制器，用于根据所述视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；所述容错控制时序是根据上一时刻的控制量与在上一时刻采集所述图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，来控制所述容错控制器生成当前时刻的控制量。
优选地，在本发明实施例提供的上述高动态视觉控制系统中，所述容错控制器，包括：
前置滤波器，用于将输入的参考信号进行处理，输出跟踪指令；
视觉反馈控制器，用于对所述视觉量测结果进行判断和处理，得到视觉反馈控制量，并将其按照容错控制时序输出；
输出单元，用于根据所述前置滤波器输出的跟踪指令和所述视觉反馈控制器输出的视觉反馈控制量，得到控制量并按照容错控制时序输出。
优选地，在本发明实施例提供的上述高动态视觉控制系统中，所述视觉反馈控制器，包括：
视觉量测性能衰减检测模块，用于判断当前采样时刻对应的所述视觉量测结果属于错误量测、遗漏量测、可用量测的哪一种；
视觉观测器，用于根据所述视觉量测性能衰减检测模块输出的判断结果，生成当前采样时刻对所述高动态被控对象的状态估计与视觉量测估计；
单步寄存器，用于接收当前采样时刻对应的视觉量测估计，向所述视觉量测性能衰减检测模块输出上一个采样时刻对应的视觉量测估计；
反馈增益单元，用于接收当前采样时刻对应的状态估计，输出视觉反馈控制量。
优选地，在本发明实施例提供的上述高动态视觉控制系统中，还包括：
视觉量测性能衰减评估模块，用于评估视觉量测性能衰减程度，根据评估结果决定是否需要进行视觉量测层面容错；
切换器，用于根据所述视觉量测性能衰减评估模块输出的评估结果，进行所述视觉量测算法的保持工作或切换工作。
优选地，在本发明实施例提供的上述高动态视觉控制系统中，所述视觉测量性能衰减检测模块向所述视觉观测器输出的是包含第一列为所述单步寄存器输出的视觉量测估计、第二列为所述视觉测量结果、第三列为所述判断结果对应的逻辑值的标签数组，向所述视觉量测性能衰减评估模块输出的是所述标签数组的第三列。
本发明实施例还提供了一种本发明实施例提供的上述高动态视觉控制系统的视觉量测性能衰减容错控制方法，包括：
通过相机对高动态被控对象进行采样，生成图像帧并发送至由多种不同的视觉量测算法构成的视觉量测模块；每种所述视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增；
通过所述视觉量测模块依据所述视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；
通过容错控制器根据所述视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；所述容错控制时序根据上一时刻的控制量与在上一时刻采集所述图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，控制所述容错控制器生成当前时刻的控制量。
优选地，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，通过容错控制器根据所述视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量，具体包括：
通过前置滤波器将输入的参考信号进行处理，输出跟踪指令；
通过视觉反馈控制器对所述视觉量测结果进行判断和处理，得到视觉反馈控制量，并将其按照容错控制时序输出；
根据所述前置滤波器输出的跟踪指令和所述视觉反馈控制器输出的视觉反馈控制量，得到控制量并按照容错控制时序输出。
优选地，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，通过视觉反馈控制器对所述视觉量测结果进行判断和处理，得到视觉反馈控制量，具体包括：
通过视觉量测性能衰减检测模块判断当前采样时刻对应的所述视觉量测结果属于错误量测、遗漏量测、可用量测的哪一种；
通过视觉观测器根据所述视觉量测性能衰减检测模块输出的判断结果，生成当前采样时刻对所述高动态被控对象的状态估计与视觉量测估计；
通过单步寄存器接收当前采样时刻对应的视觉量测估计，向所述视觉量测性能衰减检测模块输出上一个采样时刻对应的视觉量测估计；
通过反馈增益单元接收当前采样时刻对应的状态估计，输出视觉反馈控制量。
优选地，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，还包括：
通过视觉量测性能衰减评估模块评估视觉量测性能衰减程度，根据评估结果决定是否需要进行视觉量测层面容错；
通过切换器根据所述视觉量测性能衰减评估模块输出的评估结果，进行所述视觉量测算法的保持工作或切换工作。
优选地，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，所述视觉测量性能衰减检测模块向所述视觉观测器输出的是包含第一列为所述单步寄存器输出的视觉量测估计、第二列为所述视觉测量结果、第三列为所述判断结果对应的逻辑值的标签数组，向所述视觉量测性能衰减评估模块输出的是所述标签数组的第三列。
从上述技术方案可以看出，本发明所提供的一种高动态视觉控制系统，包括：相机，用于对高动态被控对象进行采样，生成图像帧；视觉量测模块，由多种不同的视觉量测算法构成，每种视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增，用于处理图像帧，并依据视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；容错控制器，用于根据视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；容错控制时序是根据上一时刻的控制量与在上一时刻采集图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，来控制容错控制器生成当前时刻的控制量。
本发明通过设计相机采样、视觉量测模块输出、容错控制器输出，即设计合理的视觉容错控制时序，对视觉量测计算时延进行了建模，消除视觉量测计算时延对控制性能的影响，从控制器设计的角度弥补了视觉量测算法鲁棒性与精度不足的问题，可以有效降低视觉量测算法复杂度，并有效处理视觉量测算法计算时延、视觉量测性能衰减带来的控制性能下降和系统失稳问题，提高高动态系统的控制性能，保持高动态系统的稳定性。此外，本发明还针对高动态视觉控制系统提供了相应的视觉量测性能衰减容错控制方法，进一步使得上述系统更具有实用性，该方法具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的高动态视觉控制系统的结构示意图；
图2为本发明实施例提供的视觉容错控制时序的示意图；
图3为本发明实施例提供的高动态视觉控制系统的组成框图；
图4为本发明实施例提供的高动态视觉控制系统的视觉量测性能衰减容错控制方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种高动态视觉控制系统，如图1所示，包括：
相机01，用于对高动态被控对象进行采样，生成图像帧；高动态被控对象是指为保证此类被控对象稳定与控制性能，其控制周期往往在毫秒级的一类被控对象；相机是指数字面阵相机，其输出图像帧可为灰度图像或彩色图像，且分辨率(如640*480像素)、帧率(如60帧/秒)、通道宽度(如10bit/12bit)不限；
视觉量测模块02，由多种不同的视觉量测算法构成，每种视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增，用于处理图像帧，并依据视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；
容错控制器03，用于根据视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；该容错控制时序是根据上一时刻的控制量与在上一时刻采集图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，来控制容错控制器生成当前时刻的控制量。
在本发明实施例提供的上述高动态视觉控制系统中，通过设计相机采样、视觉量测模块输出、容错控制器输出，即设计合理的视觉容错控制时序，对视觉量测计算时延进行了建模，消除视觉量测计算时延对控制性能的影响，从控制器设计的角度弥补了视觉量测算法鲁棒性与精度不足的问题，可以有效降低视觉量测算法复杂度，并有效处理视觉量测算法计算时延、视觉量测性能衰减带来的控制性能下降和系统失稳问题，提高高动态系统的控制性能，保持高动态系统的稳定性。
需要说明的是，本发明并不单纯追求强鲁棒性与高精度视觉量测算法，而是全局考虑视觉量测算法鲁棒性与量测精度、计算时延、整体控制性能，通过合理设计视觉容错控制时序，从控制器设计的角度弥补视觉量测算法鲁棒性与精度不足的问题；另外，本发明建模视觉量测性能衰减，通过在视觉容错控制时序下合理设计容错控制器，可以处理视觉量测性能衰减引起的控制性能衰减和系统稳定性问题。
为便于后文说明，本发明实施例提供的上述高动态视觉控制系统动态具有如下线性空间描述：
x(k+1)＝Ax(k)+Bu(k)
其中，x(k)为状态向量，u(k)为容错控制器的输出，A，B为由系统结构与特性决定的参数矩阵。在之后的介绍中，k均指代第k个采样时刻，当前时刻为第k个采样时刻。
在实际应用中，视觉量测模块是由N种不同的视觉量测算法构成，视觉量测算法载体可以为台式电脑、工控机、嵌入式计算平台(如ARM、DSP、FPGA)等，通过编程语言(如C/C++/Python等)以函数的方式实现。这里的N由相机能提供的帧率和实现高动态被控对象稳定控制所允许的采样周期，根据实验确定。
各视觉量测算法具有这些特征：视觉量测算法1，2，...，N在光照变化、遮挡、背景相似物、量测区域无目标物等情形下，视觉量测精度与鲁棒性随序号增加而增强；视觉量测算法1，2，...，N，完成一次视觉量测所需的最小系统采样周期满足Ts1＜Ts2＜…＜TsN；采样周期Ts1，Ts2，...，TsN为相机所能提供帧率的倒数；在一个采样周期内，有且仅有一种视觉量测算法运行。
图2示出了视觉容错控制时序，Tsi(i＝1，2，...，N)为视觉量测算法i对应的采样周期；τi(i＝1，2，...，N)为视觉量测算法i引入的视觉量测计算时延；ycam((k-1)Tsi+τi)为视觉量测过程的输出。该时序的特点是，容错控制器并不在取得ycam((k-1)Tsi+τi)之后立即输出控制量u(k)，而是在第k个采样时刻才输出。视觉量测计算时延τi＜Tsi(i＝1，2，...，N)。
在具体实施时，在本发明实施例提供的上述高动态视觉控制系统中，如图3所示，容错控制器03可以包括：前置滤波器、视觉反馈控制器和输出单元；其中，
前置滤波器，用于将输入的参考信号w(k)进行处理，输出跟踪指令v(k)；
视觉反馈控制器，用于对视觉量测结果ycam((k-1)Tsi+τi)进行判断和处理，得到视觉反馈控制量
Figure BDA0002952107300000071
并将其按照容错控制时序输出；
输出单元，用于根据前置滤波器输出的跟踪指令v(k)和视觉反馈控制量
Figure BDA0002952107300000073
得到控制量u(k)并在第k个采样时刻输出。
进一步地，在具体实施时，在本发明实施例提供的上述高动态视觉控制系统中，如图3所示，视觉反馈控制器可以包括：视觉量测性能衰减检测模块，视觉观测器，单步寄存器2，反馈增益单元；其中，
视觉量测性能衰减检测模块，用于判断第k个采样时刻对应的视觉量测结果属于错误量测、遗漏量测、可用量测的哪一种；具体地，在第k个采样时刻判断(k-1)Tsi+τi时刻的视觉量测输出ycam((k-1)Tsi+τi)到底属于错误量测、遗漏量测、可用量测的哪一种；
视觉观测器，用于根据视觉量测性能衰减检测模块输出的判断结果，生成对高动态被控对象在第k个采样时刻的状态估计
Figure BDA0002952107300000072
与视觉量测估计yo(k)；
单步寄存器2，用于接收第k个采样时刻对应的视觉量测估计yo(k)，向视觉量测性能衰减检测模块输出上一个采样时刻(第k-1个采样时刻)对应的视觉量测估计yo(k-1)；可以理解的是，图3示出的单步寄存器1和单步寄存器2均用于存储上一个采样时刻的数据，并用于本次采样时刻使用；
反馈增益单元，用于接收当前采样时刻对应的状态估计
Figure BDA0002952107300000081
输出视觉反馈控制量
Figure BDA0002952107300000082
该反馈增益单元满足A+BF特征值位于单位圆内的条件。
需要强调的是，视觉量测性能衰减检测模块的判断逻辑为：
Figure BDA0002952107300000083
其中，m为向量ycam，j((k-1)Tsi+τi)的维度，j为对应向量中第j个元素，Jth，j为ycam，j((k-1)Tsi+τi)对应的判断阈值，该值通过对系统的实验确定。
视觉观测器的生成逻辑为：
Figure BDA0002952107300000084
Figure BDA0002952107300000085
其中，m为向量ycam，j((k-1)Tsi+τi)的维度，j为对应向量中第j个元素，c为由视觉观测过程决定的参数矩阵。
与现有技术将视觉控制中的视觉测量过程视为普通测量环节(即量测值不受光照变化、遮挡以及背景相似物、量测区域无目标物因素影响)不同。本发明在图2的基础上，在视觉反馈的过程中，建模了上述因素引起的视觉测量过程性能衰减(包括错误量测、遗漏量测、可用量测)；其中，
错误量测是指在获得的图像帧中，对于高动态被控对象的量测偏差很大，若直接将该量测值用于控制，系统将会不稳定，其逻辑值定义为“1”；
遗漏量测是指在获得的图像帧中，未量测到高动态被控对象的相关量测值，比如，高动态被控对象在图像帧视野之外，其逻辑值定义为“1”；
可用量测是指在获得的图像帧中，对于高动态被控对象的量测没有偏差或者偏差较小，该量测值包含有用信息，可用于控制，且不会危及系统稳定性，其逻辑值定义为“0”。
视觉观测器与普通状态观测器的不同在于：第k个采样时刻视觉反馈控制器的输出
Figure BDA0002952107300000091
基于对该时刻的状态观测，而该状态观测由(k-1)Tsi+τi时刻的视觉量测输出与k-1时刻的视觉量测估计给出，由此消除了视觉量测算法计算时延τi对控制系统的影响；视觉观测器的输入y((k-1)Tsi+τi)并不直接采用视觉量测输出ycam((k-1)Tsi+τi)，而是根据视觉量测性能衰减检测模块的输出结果，选取(k-1)Tsi+τi时刻的视觉量测输出或k-1时刻的视觉量测估计，从而在视觉量测值与高动态被控对象模型之间融合。
在具体实施时，在本发明实施例提供的上述高动态视觉控制系统中，如图3所示，还可以包括：
视觉量测性能衰减评估模块，用于评估视觉量测性能衰减程度，根据评估结果决定是否需要进行视觉量测层面容错，即切换到视觉量测精度与鲁棒性更强的视觉量测算法，这以增加采样周期Tsi为代价。
切换器，用于根据视觉量测性能衰减评估模块输出的评估结果，进行视觉量测算法的保持工作或切换工作；具体地，在主程序中调用实现视觉量测算法的不同函数。
在具体实施时，如图3所示，视觉测量性能衰减检测模块向视觉观测器输出的是包含第一列为单步寄存器输出的视觉量测估计、第二列为视觉测量结果、第三列为判断结果对应的逻辑值的标签数组，向视觉量测性能衰减评估模块输出的是标签数组的第三列。
具体地，该标签数组形式为：
Figure BDA0002952107300000092
逻辑值j(j＝1，2，...，m)对应判断结果“错误量测、遗漏量测、可用量测”之一，分别取值为“1、1、0”。
视觉量测性能衰减评估模块的评估流程为：
步骤一、初始化：定义评估标标识量p＝0，与评估阈值pth，评估窗口Wp，切换标识量q＝0，迭代次数d＝0。
步骤二、运行系统；
步骤三、获取当前时刻标签数组的第三列；
步骤四、迭代次数加1：d＝d+1；
对标签数组第三列求和：
Figure BDA0002952107300000101
逻辑值j；
步骤五、若d＜Wp，跳转至步骤六；
若d＞Wp，则切换标识量q＝0，s(k)＝0，p＝0，d＝0，跳转至步骤三；
步骤六、若s(k)＞0，则评估标标志量p＝p+1；
若s(k)＝0，则评估标标志量p＝p；
步骤七、若p＝pth，则切换标识量q＝1，评估标标识量p＝0，d＝0；
若p＜pth，则无操作；
步骤八、重复步骤三至步骤八直到系统停止运行。
评估阈值pth和评估窗口Wp通过对系统的实验确定。
该模块的输出为切换标识量q，输出到切换器，标识量q取值为“0”或“1”，分别指代“保持”与“切换”。
切换器的具体工作流程为：若当前时刻标识量q＝0，则维持当前视觉量测算法i；若当前时刻标识量q＝1，则切换到视觉量测算法i+1。
在本发明中，需要注意的是，本发明以图2的视觉容错控制时序为基础，可以由两个层面的容错组成，分别为视觉反馈层面容错与视觉量测层面容错；其中，视觉反馈层面容错由视觉观测器、单步寄存器2、视觉量测性能衰减检测模块、视觉容错控制时序组成；视觉量测层面容错由视觉量测性能衰减评估模块、切换器、视觉量测模块、视觉容错控制时序组成。也就是说，视觉容错控制可以从视觉反馈层面容错与视觉量测层面容错两个方面实现，具体地：对于不严重的视觉量测性能衰减(即评估标识量未超过评估阈值)，单独使用视觉反馈层面容错(视觉观测器、视觉量测性能衰减检测、单步寄存器2、视觉容错控制时序)，这样能在光照变化、遮挡、背景相似物、量测区域无目标物等因素存在时，保持系统稳定性；对于严重的视觉量测性能衰减(即评估标识量超过评估阈值)，单独使用视觉反馈层面容错已难以容错，此时使用视觉反馈层面容错与视觉量测层面容错(视觉量测性能衰减评估、切换器、视觉量测过程、视觉容错控制时序)结合的方式容错，这样进一步提高了系统对于视觉量测性能衰减的容错能力。
基于同一发明构思，本发明实施例还提供了一种高动态视觉控制系统的视觉量测性能衰减容错控制方法，由于该方法解决问题的原理与前述一种高动态视觉控制系统相似，因此该方法的实施可以参见高动态视觉控制系统的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的高动态视觉控制系统的视觉量测性能衰减容错控制方法，如图4所示，具体包括以下步骤：
S401、通过相机对高动态被控对象进行采样，生成图像帧并发送至由多种不同的视觉量测算法构成的视觉量测模块；每种视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增；
S402、通过视觉量测模块依据视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；
S403、通过容错控制器根据视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；这里的容错控制时序是根据上一时刻的控制量与在上一时刻采集图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，来控制容错控制器生成当前时刻的控制量。
在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，可以通过设计相机采样、视觉量测模块输出、容错控制器输出，即设计合理的视觉容错控制时序，对视觉量测计算时延进行了建模，消除视觉量测计算时延对控制性能的影响，从控制器设计的角度弥补了视觉量测算法鲁棒性与精度不足的问题，有效降低视觉量测算法复杂度，并有效处理视觉量测算法计算时延、视觉量测性能衰减带来的控制性能下降和系统失稳问题，提高高动态系统的控制性能，保持高动态系统的稳定性。
在具体实施时，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，步骤S403通过容错控制器根据视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量，具体可以包括：首先，通过前置滤波器将输入的参考信号进行处理，输出跟踪指令；然后，通过视觉反馈控制器对视觉量测结果进行判断和处理，得到视觉反馈控制量，并将其按照容错控制时序输出；最后，根据前置滤波器输出的跟踪指令和视觉反馈控制器输出的视觉反馈控制量，得到控制量并按照容错控制时序输出。
进一步地，在具体实施时，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，上述步骤中通过视觉反馈控制器对视觉量测结果进行判断和处理，得到视觉反馈控制量，具体可以包括：通过视觉量测性能衰减检测模块判断当前采样时刻对应的视觉量测结果属于错误量测、遗漏量测、可用量测的哪一种；通过视觉观测器根据视觉量测性能衰减检测模块输出的判断结果，生成当前采样时刻对高动态被控对象的状态估计与视觉量测估计；通过单步寄存器接收当前采样时刻对应的视觉量测估计，向视觉量测性能衰减检测模块输出上一个采样时刻对应的视觉量测估计；通过反馈增益单元接收当前采样时刻对应的状态估计，输出视觉反馈控制量。
在具体实施时，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，还可以包括：通过视觉量测性能衰减评估模块评估视觉量测性能衰减程度，根据评估结果决定是否需要进行视觉量测层面容错；通过切换器根据视觉量测性能衰减评估模块输出的评估结果，进行视觉量测算法的保持工作或切换工作。
在具体实施时，在本发明实施例提供的上述视觉量测性能衰减容错控制方法中，视觉测量性能衰减检测模块向视觉观测器输出的是包含第一列为单步寄存器输出的视觉量测估计、第二列为视觉测量结果、第三列为判断结果对应的逻辑值的标签数组，向视觉量测性能衰减评估模块输出的是标签数组的第三列。
关于上述各个步骤更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见系统部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种高动态视觉控制系统，包括：相机，用于对高动态被控对象进行采样，生成图像帧；视觉量测模块，由多种不同的视觉量测算法构成，每种视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增，用于处理图像帧，并依据视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；容错控制器，用于根据视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；容错控制时序是根据上一时刻的控制量与在上一时刻采集图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，来控制容错控制器生成当前时刻的控制量。本发明通过设计相机采样、视觉量测模块输出、容错控制器输出，即设计合理的视觉容错控制时序，对视觉量测计算时延进行了建模，消除视觉量测计算时延对控制性能的影响，从控制器设计的角度弥补了视觉量测算法鲁棒性与精度不足的问题，可以有效降低视觉量测算法复杂度，并有效处理视觉量测算法计算时延、视觉量测性能衰减带来的控制性能下降和系统失稳问题，提高高动态系统的控制性能，保持高动态系统的稳定性。此外，本发明还针对高动态视觉控制系统提供了相应的视觉量测性能衰减容错控制方法，进一步使得上述系统更具有实用性，该方法具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的高动态视觉控制系统及其视觉量测性能衰减容错控制方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种高动态视觉控制系统，其特征在于，包括：
相机，用于对高动态被控对象进行采样，生成图像帧；
视觉量测模块，由多种不同的视觉量测算法构成，每种所述视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增，用于处理所述图像帧，并依据所述视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；
容错控制器，用于根据所述视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；所述容错控制时序是根据上一时刻的控制量与在上一时刻采集所述图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，来控制所述容错控制器生成当前时刻的控制量。
2.根据权利要求1所述的高动态视觉控制系统，其特征在于，所述容错控制器，包括：
前置滤波器，用于将输入的参考信号进行处理，输出跟踪指令；
视觉反馈控制器，用于对所述视觉量测结果进行判断和处理，得到视觉反馈控制量，并将其按照容错控制时序输出；
输出单元，用于根据所述前置滤波器输出的跟踪指令和所述视觉反馈控制器输出的视觉反馈控制量，得到控制量并按照容错控制时序输出。
3.根据权利要求2所述的高动态视觉控制系统，其特征在于，所述视觉反馈控制器，包括：
视觉量测性能衰减检测模块，用于判断当前采样时刻对应的所述视觉量测结果属于错误量测、遗漏量测、可用量测的哪一种；
视觉观测器，用于根据所述视觉量测性能衰减检测模块输出的判断结果，生成当前采样时刻对所述高动态被控对象的状态估计与视觉量测估计；
单步寄存器，用于接收当前采样时刻对应的视觉量测估计，向所述视觉量测性能衰减检测模块输出上一个采样时刻对应的视觉量测估计；
反馈增益单元，用于接收当前采样时刻对应的状态估计，输出视觉反馈控制量。
4.根据权利要求3所述的高动态视觉控制系统，其特征在于，还包括：
视觉量测性能衰减评估模块，用于评估视觉量测性能衰减程度，根据评估结果决定是否需要进行视觉量测层面容错；
切换器，用于根据所述视觉量测性能衰减评估模块输出的评估结果，进行所述视觉量测算法的保持工作或切换工作。
5.根据权利要求4所述的高动态视觉控制系统，其特征在于，所述视觉测量性能衰减检测模块向所述视觉观测器输出的是包含第一列为所述单步寄存器输出的视觉量测估计、第二列为所述视觉测量结果、第三列为所述判断结果对应的逻辑值的标签数组，向所述视觉量测性能衰减评估模块输出的是所述标签数组的第三列。
6.一种如权利要求1至5任一项的高动态视觉控制系统的视觉量测性能衰减容错控制方法，其特征在于，包括：
通过相机对高动态被控对象进行采样，生成图像帧并发送至由多种不同的视觉量测算法构成的视觉量测模块；每种所述视觉量测算法对应的采样周期随着视觉测量算法鲁棒性与精度的增加而递增；
通过所述视觉量测模块依据所述视觉量测算法引入的视觉量测计算时延确定相应的采样周期，在一个采样周期内有且仅有一种视觉量测算法运行，由该运行的视觉量测算法输出视觉量测结果；
通过容错控制器根据所述视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量；所述容错控制时序根据上一时刻的控制量与在上一时刻采集所述图像帧时因视觉量测过程被延迟小于一个采样周期的视觉量测结果，控制所述容错控制器生成当前时刻的控制量。
7.根据权利要求6所述的视觉量测性能衰减容错控制方法，其特征在于，通过容错控制器根据所述视觉量测结果进行视觉反馈控制，并按照容错控制时序输出控制量，具体包括：
通过前置滤波器将输入的参考信号进行处理，输出跟踪指令；
通过视觉反馈控制器对所述视觉量测结果进行判断和处理，得到视觉反馈控制量，并将其按照容错控制时序输出；
根据所述前置滤波器输出的跟踪指令和所述视觉反馈控制器输出的视觉反馈控制量，得到控制量并按照容错控制时序输出。
8.根据权利要求7所述的视觉量测性能衰减容错控制方法，其特征在于，通过视觉反馈控制器对所述视觉量测结果进行判断和处理，得到视觉反馈控制量，具体包括：
通过视觉量测性能衰减检测模块判断当前采样时刻对应的所述视觉量测结果属于错误量测、遗漏量测、可用量测的哪一种；
通过视觉观测器根据所述视觉量测性能衰减检测模块输出的判断结果，生成当前采样时刻对所述高动态被控对象的状态估计与视觉量测估计；
通过单步寄存器接收当前采样时刻对应的视觉量测估计，向所述视觉量测性能衰减检测模块输出上一个采样时刻对应的视觉量测估计；
反馈增益单元，用于接收当前采样时刻对应的状态估计，输出视觉反馈控制量。
9.根据权利要求8所述的视觉量测性能衰减容错控制方法，其特征在于，还包括：
通过视觉量测性能衰减评估模块评估视觉量测性能衰减程度，根据评估结果决定是否需要进行视觉量测层面容错；
通过切换器根据所述视觉量测性能衰减评估模块输出的评估结果，进行所述视觉量测算法的保持工作或切换工作。
10.根据权利要求9所述的视觉量测性能衰减容错控制方法，其特征在于，所述视觉测量性能衰减检测模块向所述视觉观测器输出的是包含第一列为所述单步寄存器输出的视觉量测估计、第二列为所述视觉测量结果、第三列为所述判断结果对应的逻辑值的标签数组，向所述视觉量测性能衰减评估模块输出的是所述标签数组的第三列。
CN202110210553.XA 2021-02-25 2021-02-25 高动态视觉控制系统及其视觉量测性能衰减容错控制方法 Active CN112987571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110210553.XA CN112987571B (zh) 2021-02-25 2021-02-25 高动态视觉控制系统及其视觉量测性能衰减容错控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110210553.XA CN112987571B (zh) 2021-02-25 2021-02-25 高动态视觉控制系统及其视觉量测性能衰减容错控制方法

Publications (2)

Publication Number Publication Date
CN112987571A true CN112987571A (zh) 2021-06-18
CN112987571B CN112987571B (zh) 2022-08-09

Family

ID=76350514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110210553.XA Active CN112987571B (zh) 2021-02-25 2021-02-25 高动态视觉控制系统及其视觉量测性能衰减容错控制方法

Country Status (1)

Country Link
CN (1) CN112987571B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN105865452A (zh) * 2016-04-29 2016-08-17 浙江国自机器人技术有限公司 一种基于间接卡尔曼滤波的移动平台位姿估计方法
CN108012080A (zh) * 2017-12-04 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US20180143637A1 (en) * 2017-01-09 2018-05-24 Shanghai Hang Seng Electronic Technology, Co., Ltd Visual tracking method and device, unmanned aerial vehicle and terminal device
WO2018219931A1 (en) * 2017-05-29 2018-12-06 Universität Zürich Block-matching optical flow and stereo vision for dynamic vision sensors
WO2019029099A1 (zh) * 2017-08-11 2019-02-14 浙江大学 基于图像梯度联合优化的双目视觉里程计算方法
CN112131991A (zh) * 2020-09-15 2020-12-25 厦门大学 一种基于事件相机的数据关联方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163830A1 (en) * 2014-04-22 2015-10-29 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Target localization and size estimation via multiple model learning in visual tracking
CN105865452A (zh) * 2016-04-29 2016-08-17 浙江国自机器人技术有限公司 一种基于间接卡尔曼滤波的移动平台位姿估计方法
US20180143637A1 (en) * 2017-01-09 2018-05-24 Shanghai Hang Seng Electronic Technology, Co., Ltd Visual tracking method and device, unmanned aerial vehicle and terminal device
WO2018219931A1 (en) * 2017-05-29 2018-12-06 Universität Zürich Block-matching optical flow and stereo vision for dynamic vision sensors
WO2019029099A1 (zh) * 2017-08-11 2019-02-14 浙江大学 基于图像梯度联合优化的双目视觉里程计算方法
CN108012080A (zh) * 2017-12-04 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112131991A (zh) * 2020-09-15 2020-12-25 厦门大学 一种基于事件相机的数据关联方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
PATRYK DEPTULA；ZACHARY I.BELL；EMILY A.DOUCETTE: "Data-based reinforcement learning approximate optimal control for an uncertain nonlinear system with control effectiveness faults", 《AUTOMATICA》 *
YE LU;RUIYUN QI: "Fault Diagnosis for Robot Manipulators via Vision Servoing Based Suboptimal Second Order Sliding Mode", 《2012 12TH INTERNATIONAL CONFERENCE ON CONTROL AUTOMATION ROBOTICS & VISION (ICARCV)》 *
YUNSONG XU;SHEN YIN;STEVEN X. DING;HAO LUO;ZHENGEN ZHAO: "Performance Degradation Monitoring and Recovery of Vision-Based Control Systems", 《IEEE》 *
YUNSONG XU;STEVEN X. DING;HAO LUO;SHEN YIN: "A Real-Time Performance Recovery Framework for Vision-Based Control Systems", 《IEEE》 *
冯子成: "SAR图像增强与可视化技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
周武根: "动态环境下稠密视觉同时定位与地图构建方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
张靓; 李铁军; 宗银雪: "融合视听信息的机电设备状态监测系统设计", 《仪表技术与传感器》 *

Also Published As

Publication number Publication date
CN112987571B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111402336A (zh) 基于语义slam的动态环境相机位姿估计及语义地图构建方法
CN109961107B (zh) 目标检测模型的训练方法、装置、电子设备及存储介质
CN110686633B (zh) 一种滑坡位移预测方法、装置及电子设备
CN109902619B (zh) 图像闭环检测方法及系统
US11593232B2 (en) Method and device for verifying a neuron function in a neural network
CN112509047A (zh) 基于图像的位姿确定方法、装置、存储介质及电子设备
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
JP2020122754A (ja) ３次元位置推定装置及びプログラム
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN112987571B (zh) 高动态视觉控制系统及其视觉量测性能衰减容错控制方法
CN112967316B (zh) 一种面向3d多目标追踪的运动补偿优化方法及系统
JP7079294B2 (ja) 動画ブレの検出方法及び装置
CN113156473A (zh) 信息融合定位系统卫星信号环境的自适应判别方法
JP7094411B1 (ja) センサデータ処理システム
CN115937002A (zh) 用于估算视频旋转的方法、装置、电子设备和存储介质
CN113920156A (zh) 基于视频目标跟踪的加速度估计方法、系统、设备及介质
CN113592907A (zh) 基于光流的视觉伺服跟踪方法及装置
CN113361381A (zh) 人体关键点检测模型训练方法、检测方法及装置
CN112633078A (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用
CN109903343A (zh) 一种基于惯性姿态约束的特征匹配方法
CN117495900B (zh) 基于相机运动趋势估计的多目标视觉跟踪方法
CN113129330B (zh) 一种可移动设备的轨迹预测方法及装置
CN117197193B (zh) 游泳速度估计方法、装置、计算机设备及存储介质
CN114648559B (zh) 一种用于计算目标关联距离的方法
CN117635969A (zh) 基于特征点预测一致性检验的数字图像可信性自评估方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant