CN117492381A - 机器人协同指向仿真可视化方法、系统、设备和存储介质 - Google Patents
机器人协同指向仿真可视化方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN117492381A CN117492381A CN202311159875.1A CN202311159875A CN117492381A CN 117492381 A CN117492381 A CN 117492381A CN 202311159875 A CN202311159875 A CN 202311159875A CN 117492381 A CN117492381 A CN 117492381A
- Authority
- CN
- China
- Prior art keywords
- turntable
- follower
- model
- control
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007794 visualization technique Methods 0.000 title claims description 11
- 238000004088 simulation Methods 0.000 title abstract description 47
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 230000008447 perception Effects 0.000 claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000004438 eyesight Effects 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000012800 visualization Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005094 computer simulation Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了机器人协同指向可视化方法、系统、设备和存储介质，包括过对转台进行动力学建模，得到动力学模型，并在动力学模型中集成目标检测算法，得到感知动力学模型；根据多个感知动力学模型和构型控制算法，构建多转台控制模型；构建基于转台的机器人视觉三维模型，并根据预设构型，将多个机器人视觉三维模型组成编队视觉三维模型；通过多转台控制模型对编队视觉三维模型输出的实时图像进行姿态角计算，得到转台的旋转角度；根据旋转角度对编队视觉三维模型进行可视化旋转控制。本发明实现了机器人领域的视觉在环的一体化实时仿真与可视化，弥补了现有仿真系统的不足，能够为实验人员提供轻量高效的仿真服务。
Description
技术领域
本发明涉及机器人仿真技术领域，特别是涉及机器人协同指向可视化方法、系统、设备和存储介质。
背景技术
传统的数字仿真平台通常是基于数学模型和物理规律来进行系统仿真的，这主要依赖于对系统结构和输入输出关系的建模和分析。然而，现实世界中的系统往往是复杂和动态变化的，不仅涉及到物理层面的行为，还包括感知和理解环境的能力，因此传统的数字仿真平台缺乏感知信息、场景信息和视觉信息的能力。
缺乏感知信息意味着传统仿真平台难以模拟具有感知能力的系统，例如智能机器人等，这些系统需要通过传感器获取来自外部环境的信息，并作出相应的决策和行动，很显然传统仿真平台无法模拟这种感知过程和智能决策的能力。并且，传统数字仿真平台通常只专注于系统内部的行为，很少考虑系统与外部环境的交互和影响，因此仿真结果可能无法反映真实环境中的真实情况，此外传统仿真平台也很难对视觉信息进行准确的建模和仿真。例如，在仿真机器人视觉导航时，传统仿真平台难以模拟相机成像、目标检测和跟踪等视觉任务。因此，传统数字仿真平台对于感知信息、场景信息和视觉信息方面的模拟能力存在的局限性，限制了它们在模拟复杂系统和实际应用中的有效性和准确性。
发明内容
为了解决上述技术问题，本发明提供了一种机器人协同指向可视化方法、系统、设备和存储介质，以能够解决传统数字仿真平台存在的场景建模受限、仿真场景还原度不高等问题，从而实现了机器人的视觉和姿态控制的实时仿真与可视化的技术效果。
第一方面，本发明提供了一种机器人协同指向可视化方法，所述方法包括：
对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型；
根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型；
构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型；
通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度；
根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。
进一步地，所述根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型的步骤包括：
将多个所述感知动力学模型进行顺序排列，得到转台模型队列，并将所述转台模型队列的首尾转台作为领航者，其余转台作为跟随者；
通过所述领航者的感知动力学模型，对获取到的实时图像进行目标检测，根据目标检测结果进行伺服控制计算，得到所述领航者的角速率指令；
根据所述跟随者的瞄准点的编队控制律、以及所述瞄准点与转台的转换关系，计算所述跟随者的角速率指令；
根据所述领航者的角速率指令和所述跟随者的角速率指令，生成转台二阶控制输入指令；
根据所述感知动力学模型和所述转台二阶控制输入指令，构建多转台控制模型。
进一步地，所述根据所述跟随者的瞄准点的编队控制律、以及所述瞄准点与转台的转换关系，计算所述跟随者的角速率指令的步骤包括：
构建所述跟随者的瞄准点的位置控制模型，并根据所述跟随者的瞄准点的构型排列，得到所述跟随者的瞄准点的编队控制律；
根据所述跟随者的瞄准点的编队控制律，计算瞄准点的虚拟速率指令；
获取所述瞄准点与转台的转换关系，根据所述转换关系和所述虚拟速率指令，计算所述跟随者的角速率指令。
进一步地，采用如下公式表示所述领航者的角速率指令：
式中，和/>分别为领航者的偏航角速率指令和俯仰角速率指令，id表示转台编号，kxi和kyi分别为第i个领航者的偏航通道控制器增益和俯仰通道控制器增益，qxi和qyi分别为第i个感知动力学模型的目标检测输出的x轴和y轴的像素坐标，S为实时图像的预设倍数的像素尺寸。
采用如下公式表示所述跟随者的角速率指令：
式中，和/>分别为跟随者的偏航角速率指令和俯仰角速率指令，kpi为第i个跟随者的控制器参数，ψi为第i个跟随者的偏航角，θi为第i个跟随者的俯仰角，l为基线与投影面的距离，dij＝biy-bjy，biy和bjy分别为第i个跟随者和第j个跟随者的空间位置坐标中的y轴坐标。
进一步地，所述转台模型队列之间的通信采用链式拓扑结构；
所述跟随者的邻居有两个，所述跟随者与对应的邻居之间为双向信息交互；
所述领航者的邻居有一个，所述领航者与对应的邻居之间为单向信息交互。
进一步地，所述根据所述领航者的角速率指令和所述跟随者的角速率指令，生成转台二阶控制输入指令的步骤包括：
对所述领航者的角速率指令和所述跟随者的角速率指令分别进行角速度跟踪控制，得到转台二阶控制输入指令；
对所述转台二阶控制输入指令进行补偿，得到转台实际力矩输入。
进一步地，采用如下公式表示所述转台二阶控制输入指令：
式中，uψi和uθi分别为第i个转台的偏航角控制输入和俯仰角控制输入，Kψi和Kθi分别为第i个转台的偏航通道控制器增益和俯仰通道控制器增益，为第i个转台的偏航角速率指令，/>为第i个转台的俯仰角速率指令，ψi为第i个转台的偏航角，θi为第i个转台的俯仰角。
第二方面，本发明提供了一种机器人协同指向可视化系统，所述系统包括：
感知动力学模型，用于对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型；
多转台控制模型，用于根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型；
编队视觉三维模型，用于构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型；
姿态角计算模块，用于通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度；
旋转控制模块，用于根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供了一种机器人协同指向可视化方法、系统、计算机设备和存储介质。本发明将算法信息、环境信息、视觉感知信息、仿真可视化信息相结合，通过感知动力学模型对三维模型的视觉图像进行伺服控制和动力学仿真，结合多目标协同指向的控制算法进行感知决策，并根据动力学仿真数据进行三维模型的姿态控制和动画效果可视化展示，实现了机器人领域的视觉在环的一体化实时仿真与可视化，弥补了现有仿真系统的不足，能够为实验人员提供轻量高效的仿真服务。
附图说明
图1是本发明实施例中机器人协同指向可视化方法的流程示意图；
图2是本发明实施例中AERO转台的结构示意图；
图3是本发明实施例中AERO转台的受力示意图；
图4是本发明实施例中转台模型队列的投影点等距共线构型示意图；
图5是本发明实施例中转台模型队列中多运动体的拓扑结构示意图；
图6是本发明实施例中转台与投影点的转换关系示意图；
图7是本发明实施例中机器人协同指向可视化方法的另一种流程示意图；
图8是本发明实施例中Simulink发送端通信模块的结构示意图；
图9是本发明实施例中机器人协同指向可视化系统的结构示意图；
图10是本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明第一实施例提出的一种机器人协同指向可视化方法，包括步骤S10～S50：
步骤S10，对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型。
转台是机器人结构中所不可缺少的部分，因此需要对转台进行动力学建模，以二自由度转台AERO为例，如图2所示，AERO由基座1、偏航轴2、俯仰轴3和前后两个桨叶即前桨4和后桨5组成，其中俯仰轴3和两个桨叶固连，两个桨叶由电机提供动力，前桨4主要产生俯仰运动，后桨5主要产生偏航运动。偏航机动时带动俯仰轴3和两个桨叶同步运动，俯仰机动时带动桨叶同步运动。请参阅图3，根据转台结构可以得到其受力示意图，进一步地，可以得到AERO转台动力学方程的线性近似表达式：
式中，θi代表第i个转台的俯仰角，ψi代表第i个转台的偏航角，τpi和τyi分别为第i个转台的前后电机产生的非负控制力矩，Jpi和Jyi分别表示第i个转台的俯仰通道和偏航通道的转动惯量，Dpi和Dyi分别表示第i个转台的俯仰通道和偏航通道的粘滞摩擦系数，Kspi是第i个转台的俯仰通道的回复力矩系数。
然后在动力学模型中增加感知模块，感知模块负责收集和处理来自各种传感器的数据，如图像、雷达、激光等。这些数据用于提供对环境的实时感知，以便系统做出相应的决策和控制，在本实施例中感知模块主要用于处理图像，以目标检测算法为例，本实施例中传感器数据为后续建立的三维模型中的单目相机获得的图像数据，采用最小外接矩形算法进行目标检测，可以获得图像中符合特征信息的兴趣区域(Region of Interest，ROI)，框选出ROI区域后，将矩形中心点作为图像系下的目标位置坐标，目标检测输出为像素坐标qx和qy，从而构建出基于转台的感知动力学模型。建立的动力学模型有两方面的作用和价值，一方面是通过集成和应用，支撑动力学在环的仿真验证环境构建，另一方面则是为开展基于模型的控制设计提供模型输入，进而指导基于模型的高性能控制器设计。
步骤S20，根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型。
对于多个转台组成的构型编队，还需要构型控制算法进行编队控制，具体步骤如下所示：
步骤S201，将多个所述感知动力学模型进行顺序排列，得到转台模型队列，并将所述转台模型队列的首尾转台作为领航者，其余转台作为跟随者。
投影点构型控制算法是指作动器(转台)通过调整自身的位姿实现其指向投影点在空间中组成期望的构型，具体的说，控制算法是指通过调整转台自身的位姿实现其激光投影点能够形成预先设置的构型，转台机器人的基座位置可以随机，控制的是形成的激光瞄准点的构型，在本实施例中，控制算法中的预设构型以等距共线分布构型为例，请参阅图4，为了控制多架2-DOF AERO的空间投影点成等距共线分布，首先对多架转台进行顺序编队，并且转台编队采用领航者-跟随者的分布式控制策略，其中，首尾为领航者，其余为跟随者，编队的拓扑结构如图5所示，转台编队的多个运动体之间的通信采用链式拓扑结构，每个运动体只与最近的两个邻居进行双向信息交互，每个跟随者有两个邻居，领航者只有一个邻居且跟随者和领导者之间的交互是单相交互。
步骤S202，通过所述领航者的感知动力学模型，对获取到的实时图像进行目标检测，根据目标检测结果进行伺服控制计算，得到所述领航者的角速率指令。
在确定了转台的构型之后，本实施例中提供了一种多目标协同指向控制算法进行构型控制，该控制算法模块包含两部分，一个是领航者采用的视觉伺服控制律；另一个是跟随者通过与邻居信息交互实现目标指向。也就是说，在本实施例中，前后两个领航者可以感知目标，算法基于及感知的内容确定目标指向，而中间的跟随者是通过算法基于拓扑结构之间的交互信息来实现目标指向。
其中，两端的领航者通过目标检测算法的输出结果设计伺服控制律，考虑到偏航通道和俯仰通道的伺服，假设输入的图像尺寸被设置为A×A格式，因此，采用如下伺服控制律可以得到角速率指令保证指向单元指向目标几何中心：
式中，和/>分别为领航者的偏航角速率指令和俯仰角速率指令，id表示转台编号，kxi和kyi分别为第i个领航者的偏航通道控制器增益和俯仰通道控制器增益，qxi和qyi分别为第i个感知动力学模型的目标检测输出的x轴和y轴的像素坐标，S为实时图像的预设倍数的像素尺寸。
优选的，如果图像尺寸被设置为320×320格式，那么S即为160，即320的0.5倍。需要说明的是，在此仅为举例说明，而非具体限定，具体数据可以根据实际情况进行灵活设置。
步骤S203，根据所述跟随者的瞄准点的编队控制律、以及所述瞄准点与转台的转换关系，计算所述跟随者的角速率指令。
在本实施例中，内部的跟随者通过拓扑结构交互信息完成各自的姿态调整实现目标指向。由于转台姿态变化与投影点位置变化之间的关系较为复杂且非线性，直接利用空间几何关系设计姿态控制器是具有挑战性的。因此，本发明通过包含投影点位置控制器设计与姿态控制器映射的“两步”策略，来构建分布式转台指向控制器：1)针对瞄准点在投影平面上的运动模型，设计瞄准点位置分布式控制器，保证瞄准点在投影平面上按照等距共线构型排列。2)基于瞄准点位置状态和转台位姿之间的转换关系，将瞄准点位置控制器映射为转台姿态控制器，映射后的控制器将通过姿态的调节实现多转台对等距线构型的协同指向。具体步骤如下所示：
步骤S2031，构建所述跟随者的瞄准点的位置控制模型，并根据所述跟随者的瞄准点的构型排列，得到所述跟随者的瞄准点的编队控制律；
步骤S2032，根据所述跟随者的瞄准点的编队控制律，计算瞄准点的虚拟速率指令；
步骤S2033，获取所述瞄准点与转台的转换关系，根据所述转换关系和所述虚拟速率指令，计算所述跟随者的角速率指令。
具体为，采用双积分系统来表征跟随者的瞄准点的位置控制模型：
式中，qi为瞄准点位置，vi为瞄准点速度，uqi为瞄准点模型的控制输入，t表示时间，i表示跟随者的编号。
如图6所示，投影平面上的瞄准点位置实现了等距共线分布，由于领航者已经指向期望瞄准点并且保持静止，在这种情况下，目标编队是静止的，因此瞄准点的编队控制问题可以采用以下控制律来解决：
ui＝kvi(-ki(i-1)(qi-qi-1)-ki(i+1)(qi-qi+1)-vi)
式中，ui为第i个跟随者的控制输入，qi为第i个跟随者的瞄准点位置，vi为瞄准点速度，kvi为第i个跟随者的设计参数、ki(i-1)和ki(i+1)表示两两相邻的误差增益；
其中，ki(i-1)和ki(i+1)的选择会影响闭环系统平衡点的位置，以及稳态时两两邻居之间的位置差，为了使转台在投影平面上的位置点渐近点为等距共线分布，因此两两相邻的误差增益应满足以下条件：
其中，kpi为第i个跟随者的控制器参数。
因此，上述控制律可以等效为：
ui＝kvi(vid-vi)
从而可以得到虚拟速率指令为：
vid＝kpi(qi-1+qi+1-2qi)
请参阅图6，瞄准点的空间位置可以由转台的位姿状态以及距离进行表征：
其中，qix、qiy和qiz表示第i个跟随者在投影平面上的瞄准点的空间位置坐标，bix、biy和biz表示第i个跟随者即转台的空间位置坐标，
di＝l/cosθi cosψi
θi代表第i个跟随者的俯仰角，ψi代表第i个跟随者的偏航角，l为基线与投影平面的距离，di为第i+1个跟随者到第i个跟随者的瞄准点之间的距离。
对上述公式进行时间求导并化简为矩阵形式，可得瞄准点与转台的转换关系为：
为了避免二次求导出现微分爆炸导致反解出的姿态角协议过于复杂，因此采用一阶映射的形式。瞄准点的速度指令结合瞄准点和转台运动关系，反解出姿态角速率指令为：
式中，和/>分别为跟随者的偏航角速率指令和俯仰角速率指令，kpi为第i个跟随者的控制器参数，ψi为第i个跟随者的偏航角，θi为第i个跟随者的俯仰角，l为基线与投影面的距离，dij＝biy-bjy，biy和bjy分别为第i个跟随者和第j个跟随者的空间位置坐标中的y轴坐标。
步骤S204，根据所述领航者的角速率指令和所述跟随者的角速率指令，生成转台二阶控制输入指令。
通过上述步骤，就可以得到领航者以及跟随者的两个姿态角的角速率指令，但是转台为二阶模型，因此还需要在角速率指令上再加上一环，其步骤如下所示：
步骤S2041，对所述领航者的角速率指令和所述跟随者的角速率指令分别进行角速度跟踪控制，得到转台二阶控制输入指令；
步骤S2042，对所述转台二阶控制输入指令进行补偿，得到转台实际力矩输入。
本实施例中对姿态控制器的设计包括虚拟角速率的映射以及角速率环的跟踪控制设计，第一步是通过瞄准点与姿态角之间存在的可逆转换关系，将瞄准点位置控制器映射为转台角度控制器，也即上述的映射步骤，第二步则是对映射出的角速率指令进行跟踪控制设计。
为了满足转台二阶模型的输入要求，本实施例提供了角速率跟踪控制器为角速率指令增加一环加速度指令，将角速率指令加入角速率跟踪控制器，就可以得到转台角加速度指令，即通过角速率跟踪控制器得到转台二阶控制输入：
式中，uψi和uθi分别为第i个转台的偏航角控制输入和俯仰角控制输入，Kψi和Kθi分别为第i个转台的偏航通道控制器增益和俯仰通道控制器增益，为第i个转台的偏航角速率指令，/>为第i个转台的俯仰角速率指令，ψi为第i个转台的偏航角，θi为第i个转台的俯仰角。
在得到转台二阶控制输入之后，再代入AERO转台动力学方程的线性近似表达式进行补偿，就可以得到AERO转台的电机力矩指令。
步骤S205，根据所述感知动力学模型和所述转台二阶控制输入指令，构建多转台控制模型。
通过上述步骤就可以搭建出具有多个转台的控制模型，本实施例中的多转台控制模型将感知算法与投影点构型控制算法进行了集成，能够实现准确有效的伺服控制和动力学仿真，为后续三维模型的运动仿真可视化提供了准确的数据和指令支持。
步骤S30，构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型。
在对转台进行动力学建模的同时，还需要搭建基于转台的3D模型文件，该3D模型文件可以根据转台进行等比例实物建模，也可以以其他形式比如运动机器人等进行实物建模，只要3D模型的核心与上述的转台结构相同即可。然后再对3D模型文件进行运动仿真，其中，仿真模型上设置有单目相机，用于模拟机器人的移动拍摄，最后将多个仿真模型按照一定的构型进行排列，组成与多转台控制模型相对应的编队视觉三维模型。
步骤S40，通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度。
步骤S50，根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。
对于编队视觉三维模型中的单目相机输出的实时图像，作为多转台控制模型中感知模块的输入图像，通过目标检测算法进行视觉感知，以使领航者通过感知功能实现目标指向，跟随者则可以根据拓扑结构的信息交互实现目标指向，通过多转台控制模型输出的实际力矩指令即可以控制编队视觉三维模型进行旋转，从而实现了机器人协同指向的可视化展示。
请参阅图7，在一个优选的实施例中，多转台控制模型可以采用Simulink进行模块化搭建，即感知算法、控制算法和动力学模型均在Simulink中搭建，实物模型则采用Solidworks进行3D建模，并搭载有机载单目相机，在UE4引擎中进行实时的姿态运动仿真与图像信息收集。
具体为，首先在Simulink中进行转台的动力学建模，在动力学模型中集成目标检测算法使，则使用mex混合编程，通过Simulink中的matlab function模块调用mex函数，从而实现将目标检测算法集成到Simulink中。
然后使用Solidworks进行等比例实物建模得到3D模型文件，并将3D模型文件导入UE4软件中。同时为了更好地呈现指向控制算法的性能，在UE4设计了一款激光瞄准器，并将其安装在AERO的俯仰轴上，能够从视觉上直观展示指向投影的效果。UE4平台的主要功能是将Simulink解算的实时数据可视化显示，并提供类似于机载单目相机功能的实时图像输出。通过UE4平台可以方便地实现基于数据或指令控制的复杂3D模型运动的可视化。
将导入UE4的3D模型文件根据实物设备的物理属性，添加各个运动模块部件的主从关系。在蓝图中设置不同模块Actor相对旋转，并设置旋转角度。3D模型中相机模块的搭建则可以使用UE4自带的组件中的SceneCaptureComponent2D(场景捕获组件2D)，在场景捕获中可进行纹理目标和捕获间隔的设置。在UE4蓝图中，新建C++类编译图片保存本地模块SaveRenderTargetFile，通过循环事件触发实现了图片的实时保存在本地，利用自带的“以事件设置定时器”模块，在初始化开始后每隔0.1s中执行一次save自定义事件，即每隔0.1s存储一张图片，这些图片都存储在对应的目标文件夹中。
Simulink中的多转台控制模型读取目标文件夹下的图片，通过感知模块进行目标检测，输出目标检测结果。然后基于目标检测结果和拓扑结构之间的信息交互，通过构型控制算法进行感知控制，以实现多目标协同指向，即生成转台的实际力矩指令，力矩与旋转角度直接相关，因此可以由Simulink仿真结果获得旋转角度，并通过通信协议发送到UE4端。每当UE4接收一次数据，均会立即执行设置旋转运动，根据Actor模块的相对运动关系设置Actor相对旋转实现期望的运动状态，从而实现了机器人运动视觉仿真的可视化展示。
Simulink与UE4之间的通讯采用常用的UDP通讯协议的手段。在本实施例中采用了Simulink发送，UE4接收的方式。请参阅图8，Simulink发送端通信模块使用compose模块将数据打包成字符串，再编译成ASCII码，最后通过UDP Send模块进行数据传输。UDP Send中，IP地址选择本机IP地址，端口号2333。同时注意到，为保证仿真时间与时钟时间clock一致(否则无法实现实时仿真)，加入了simulation pace模块，并设置simulation pace＝1。
由于UE4端的蓝图中没有自带的通信模块，因此本实施例中新建了一个C++类，包含头文件和源文件，编译成蓝图模块。UDP模块包含Start UDP Receiver、Start UDPSender等子模块。
UE4接收端首先在Start UDP Receiver子模块选择IP地址和端口号，其中，IP地址选择本机IP地址，端口号需要与Simulink端一致为2333。同时Start UDP Receiver函数会进行解码工作。UDP传输的数据通过Data Recv函数接收，并赋值给对应的变量，同时将接收到的数据实时打印在显示界面上，最后再执行设置旋转运动模块，实现运动的可视化。
最后进行平台集成，即目标检测算法通过mex混合编程集成到simulink的matlab函数中，控制算法和动力学模型均有simulink搭建而成。UE4可以将包含不同场景，不同运动体项目文件打包成可执行文件，通过直接配置接口，就可以进行场景和运动体的切换。并且使用bat语言运行该UE4程序，将bat指令置于matlab的InitFcn中。通过该平台集成，可以简化操作流程，实现在Simulink中的一键仿真。
本实施例提供的一种机器人协同指向可视化方法，相比传统的数字仿真平台存在场景建模受限、仿真场景还原度不高等问题，本发明采用虚幻引擎开发仿真功能模块，根据实物实验设备三维结构，实验3D建模软件进行高还原度实物建模，采用将单目相机感知信息以图片帧存储形式存储到本地文件夹，并通过读取文件夹虚拟图源进行伺服控制和动力学仿真，并实时将动力学仿真数据发送视觉三维模型进行模型的姿态控制和动画效果可视化展示，本发明实现了机器人领域的视觉在环的在一体化实时仿真与可视化，弥补了现有仿真平台的不足，为实验人员提供轻量高效的仿真服务。
请参阅图9，基于同一发明构思，本发明第二实施例提出的一种机器人协同指向可视化系统，包括：
感知动力学模型10，用于对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型；
多转台控制模型20，用于根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型；
编队视觉三维模型30，用于构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型；
姿态角计算模块40，用于通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度；
旋转控制模块50，用于根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。
本发明实施例提出的机器人协同指向可视化系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。上述机器人协同指向可视化系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图10，一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现机器人协同指向可视化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比途中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
此外，本发明实施例还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提出的机器人协同指向可视化方法、系统、设备和存储介质，所述方法通过对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型；根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型；构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型；通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度；根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。本发明将算法信息、环境信息、视觉感知信息、仿真可视化信息相结合，通过感知动力学模型对三维模型的视觉图像进行伺服控制和动力学仿真，结合多目标协同指向的控制算法进行感知决策，并根据动力学仿真数据进行三维模型的姿态控制和动画效果可视化展示，实现了机器人领域的视觉在环的一体化实时仿真与可视化，弥补了现有仿真系统的不足，能够为实验人员提供轻量高效的仿真服务。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种机器人协同指向可视化方法，其特征在于，包括：
对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型；
根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型；
构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型；
通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度；
根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。
2.根据权利要求1所述的机器人协同指向可视化方法，其特征在于，所述根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型的步骤包括：
将多个所述感知动力学模型进行顺序排列，得到转台模型队列，并将所述转台模型队列的首尾转台作为领航者，其余转台作为跟随者；
通过所述领航者的感知动力学模型，对获取到的实时图像进行目标检测，根据目标检测结果进行伺服控制计算，得到所述领航者的角速率指令；
根据所述跟随者的瞄准点的编队控制律、以及所述瞄准点与转台的转换关系，计算所述跟随者的角速率指令；
根据所述领航者的角速率指令和所述跟随者的角速率指令，生成转台二阶控制输入指令；
根据所述感知动力学模型和所述转台二阶控制输入指令，构建多转台控制模型。
3.根据权利要求2所述的机器人协同指向可视化方法，其特征在于，所述根据所述跟随者的瞄准点的编队控制律、以及所述瞄准点与转台的转换关系，计算所述跟随者的角速率指令的步骤包括：
构建所述跟随者的瞄准点的位置控制模型，并根据所述跟随者的瞄准点的构型排列，得到所述跟随者的瞄准点的编队控制律；
根据所述跟随者的瞄准点的编队控制律，计算瞄准点的虚拟速率指令；
获取所述瞄准点与转台的转换关系，根据所述转换关系和所述虚拟速率指令，计算所述跟随者的角速率指令。
4.根据权利要求3所述的机器人协同指向可视化方法，其特征在于，采用如下公式表示所述领航者的角速率指令：
式中，和/>分别为领航者的偏航角速率指令和俯仰角速率指令，id表示转台编号，kxi和kyi分别为第i个领航者的偏航通道控制器增益和俯仰通道控制器增益，qxi和qyi分别为第i个感知动力学模型的目标检测输出的x轴和y轴的像素坐标，S为实时图像的预设倍数的像素尺寸。
采用如下公式表示所述跟随者的角速率指令：
式中，和/>分别为跟随者的偏航角速率指令和俯仰角速率指令，kpi为第i个跟随者的控制器参数，ψi为第i个跟随者的偏航角，θi为第i个跟随者的俯仰角，l为基线与投影面的距离，dij＝biy-bjy，biy和bjy分别为第i个跟随者和第j个跟随者的空间位置坐标中的y轴坐标。
5.根据权利要求2所述的机器人协同指向可视化方法，其特征在于，所述转台模型队列之间的通信采用链式拓扑结构；
所述跟随者的邻居有两个，所述跟随者与对应的邻居之间为双向信息交互；
所述领航者的邻居有一个，所述领航者与对应的邻居之间为单向信息交互。
6.根据权利要求1所述的机器人协同指向可视化方法，其特征在于，所述根据所述领航者的角速率指令和所述跟随者的角速率指令，生成转台二阶控制输入指令的步骤包括：
对所述领航者的角速率指令和所述跟随者的角速率指令分别进行角速度跟踪控制，得到转台二阶控制输入指令；
对所述转台二阶控制输入指令进行补偿，得到转台实际力矩输入。
7.根据权利要求1所述的机器人协同指向可视化方法，其特征在于，采用如下公式表示所述转台二阶控制输入指令：
式中，uψi和uθi分别为第i个转台的偏航角控制输入和俯仰角控制输入，Kψi和Kθi分别为第i个转台的偏航通道控制器增益和俯仰通道控制器增益，为第i个转台的偏航角速率指令，/>为第i个转台的俯仰角速率指令，ψi为第i个转台的偏航角，θi为第i个转台的俯仰角。
8.一种机器人协同指向可视化系统，其特征在于，包括：
感知动力学模型，用于对转台进行动力学建模，并在建模中集成目标检测算法，得到感知动力学模型；
多转台控制模型，用于根据多个所述感知动力学模型和构型控制算法，构建多转台控制模型；
编队视觉三维模型，用于构建基于所述转台的机器人视觉三维模型，并根据预设构型，将多个所述机器人视觉三维模型组成编队视觉三维模型；
姿态角计算模块，用于通过所述多转台控制模型对所述编队视觉三维模型输出的实时图像进行姿态角计算，得到所述转台的旋转角度；
旋转控制模块，用于根据所述旋转角度对所述编队视觉三维模型进行可视化旋转控制。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311159875.1A CN117492381B (zh) | 2023-09-08 | 机器人协同指向仿真可视化方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311159875.1A CN117492381B (zh) | 2023-09-08 | 机器人协同指向仿真可视化方法、系统、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117492381A true CN117492381A (zh) | 2024-02-02 |
| CN117492381B CN117492381B (zh) | 2024-06-11 |
Family
ID=
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112099505A (zh) * | 2020-09-17 | 2020-12-18 | 湖南大学 | 一种低复杂度的移动机器人视觉伺服编队控制方法 |
| CN113741518A (zh) * | 2021-08-31 | 2021-12-03 | 中国人民解放军国防科技大学 | 基于领航跟随模式的固定翼无人机集群仿射编队控制方法 |
| CN116631262A (zh) * | 2023-05-31 | 2023-08-22 | 东南大学 | 一种基于虚拟现实和触觉反馈装置的人机协同训练系统 |
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112099505A (zh) * | 2020-09-17 | 2020-12-18 | 湖南大学 | 一种低复杂度的移动机器人视觉伺服编队控制方法 |
| CN113741518A (zh) * | 2021-08-31 | 2021-12-03 | 中国人民解放军国防科技大学 | 基于领航跟随模式的固定翼无人机集群仿射编队控制方法 |
| CN116631262A (zh) * | 2023-05-31 | 2023-08-22 | 东南大学 | 一种基于虚拟现实和触觉反馈装置的人机协同训练系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110073313B (zh) | 使用母设备和至少一个伴随设备与环境交互 | |
| EP2728548B1 (en) | Automated frame of reference calibration for augmented reality | |
| US11132845B2 (en) | Real-world object recognition for computing device | |
| CN113219854B (zh) | 机器人仿真控制平台、方法及计算机存储介质 | |
| Chen et al. | ARPilot: designing and investigating AR shooting interfaces on mobile devices for drone videography | |
| CN110570357A (zh) | 基于ue4引擎的镜像实现方法、装置、设备及存储介质 | |
| CN113238556A (zh) | 一种基于虚拟现实的水面无人船控制系统及方法 | |
| CN117492381B (zh) | 机器人协同指向仿真可视化方法、系统、设备和存储介质 | |
| CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 | |
| CN117492381A (zh) | 机器人协同指向仿真可视化方法、系统、设备和存储介质 | |
| CN112732075B (zh) | 一种面向教学实验的虚实融合机器教师教学方法及系统 | |
| CN113758481A (zh) | 栅格地图生成方法、装置、系统、存储介质及电子设备 | |
| Ma et al. | Studies of AR drone on gesture control | |
| CN108646588B (zh) | 一种基于传感器图像生成模型的电视制导武器仿真器 | |
| Zhang et al. | A rate-based drone control with adaptive origin update in telexistence | |
| CN113496168A (zh) | 手语数据采集方法、设备、存储介质 | |
| WO2022070851A1 (ja) | 方法、システムおよびプログラム | |
| CN117115321B (zh) | 虚拟人物眼睛姿态的调整方法、装置、设备及存储介质 | |
| CN113191032B (zh) | 一种视角仿真方法、装置、系统和存储介质 | |
| CN116148883B (zh) | 基于稀疏深度图像的slam方法、装置、终端设备及介质 | |
| CN116723303B (zh) | 画面投影方法、装置、设备及存储介质 | |
| CN117389338B (zh) | 无人机的多视角交互方法、装置及存储介质 | |
| WO2022113482A1 (ja) | 情報処理装置、方法およびプログラム | |
| CN114546125B (zh) | 键盘跟踪方法及跟踪系统 | |
| CN106599893B (zh) | 基于增强现实的物体偏离识别图后的处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |