CN112750167B - 基于虚拟现实的机器人视觉定位仿真方法及其仿真装置 - Google Patents

Abstract

本发明提供一种基于虚拟现实的机器人视觉定位仿真方法及其视觉定位仿真装置。本发明的仿真方法包括以下步骤：S1、通过虚拟仿真选择要实验的机器人类型和场景；S2、进行半物理仿真装置的相机标定；S3、通过选择数据库中机器人的真实运动数据控制虚拟场景中的虚拟机器人运动，然后根据需要调节相机、视觉定位标志位置，并模拟机器人视觉定位场景；S4、相机采集投影图像，视觉定位模块通过图像处理与视觉定位计算得到视觉定位所需的相机位姿以及各种测量误差；S5、将计算得到的位姿结果与记录中的虚拟相机位姿进行比较，验证定位方法的精确度。本发明能够使用各种机器人模型和标定与定位方法，方便直观的进行机器人视觉定位实验。

Description

基于虚拟现实的机器人视觉定位仿真方法及其仿真装置

技术领域

本发明涉及机器人视觉定位领域，具体涉及一种基于虚拟现实的机器人视觉定位仿真方法及其视觉定位仿真装置。

背景技术

机器人是自动执行工作的机器装置，其既可以接受人类指挥，又可以运行预先编排的程序，还可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类的工作，例如生产业、建筑业，或是危险的工作。为了完成各种工作，机器人的定位问题是一个基本的问题。视觉定位方法由于其使用灵活、方便、价格便宜，因此广泛应用于机器人系统中。但是由于机器人视觉定位方法繁杂，而且各种机器人价格高昂，因此直接实验测试各种机器人的定位方法费时费力又费钱，不仅实验人员很难进行相关实验，对于刚接触视觉定位的相关初学者，也难以形象地理解掌握相关知识。

通过仿真的方式进行机器人视觉定位实验可以使初学者方便学习机器人视觉定位的原理和方法，同时也可以使研发人员方便地设计各种机器人定位方法。但目前针对机器人定位技术，尚无合适的仿真实验系统和方法。在机器人设计初期，本发明提出了一种基于虚拟现实的机器人视觉定位仿真实验系统，通过将虚拟现实VR与视觉定位仿真系统结合，设计了仿真装置，在处理器中生成虚拟的机器人及相关场景来模拟机器人作业，并通过搭载相机的相机调节架和投影机构完成机器人的标定、定位等视觉定位仿真实验与测试。

发明内容

为了解决现有系统的缺陷，本发明提出了基于虚拟现实的机器人视觉定位仿真方法及其视觉定位仿真装置或者称为基于虚拟现实的机器人视觉定位仿真实验平台。本发明以虚拟现实技术和仿真技术为基础，可以用来进行机器人的标定、定位等相关实验和测试。

为实现上述目的，本发明的第一方面，提供一种基于虚拟现实的机器人视觉定位仿真方法，所述方法包括如下步骤：

S1、通过半物理仿真装置上的操作按钮，启动系统并选择要实验的机器人类型和实验场景，虚拟场景生成模块加载相应的虚拟机器人、虚拟相机和虚拟实验场景；

S2、进行半物理仿真装置的相机标定；具体包括以下子步骤：

S21、虚拟相机的相机坐标系到虚拟相机的图像坐标系转换：

设o-xyz为虚拟场景中虚拟相机的相机坐标系，o′-uv是虚拟相机的图像坐标系，则虚拟场景下相机坐标系中的点P₀(X,Y,Z)与虚拟相机的图像坐标系的图像点P(u,v)之间的关系为：

其中f_x，f_y，c_x，c_y为虚拟场景中虚拟相机的内参；

S22、虚拟相机的图像坐标系到投影幕布上图像坐标系的转换：

经过投影仪梯形校正后，虚拟相机图像坐标系的图像点P(u,v)到投影幕布上的图像坐标系的对应点P′(x,y)之间的关系为：

其中λ为投影仪投影比例，a为投影仪的横向缩放比例，b为纵向缩放比例；

S23、投影幕布上的投影图像坐标系到真实相机图像坐标系的转换：

调整真实相机视野的长宽比例，使相机视野对齐投影幕布上的投影图像，此时真实相机采集到图像P”(u′,v′)与投影图像点P′(x,y)关系为：

其中

为真实相机采集图像相对投影图像的比例因子；

S24、真实相机的图像坐标系到虚拟相机的相机坐标系的转换：

由于真实相机采集的图像点P”(u′,v′)与虚拟相机采集的图像P(u,v)的关系为：

则真实相机采集到图像点坐标为P”(u′,v′)与虚拟场景中虚拟相机的相机坐标系对应点P₀(X,Y,Z)的关系为：

令

得：

表达式中的f_ax,f_by,c_ax,c_by即为要获得的内参，同理获得畸变参数(k₁,k₂,k₃,,p₁,p₂,)；

S3、通过仿真装置上的触摸屏，连接云数据库，通过选择数据库中机器人的真实运动数据控制虚拟场景中的虚拟机器人运动，然后根据需要调节相机、视觉定位标志位置，并模拟机器人视觉定位场景；

S4、相机采集投影图像，视觉定位模块通过图像处理与视觉定位计算获得视觉定位所需的相机位姿；

S5、将计算得到的视觉定位所需的相机位姿的结果与记录的虚拟相机位姿进行比较得到测量误差，验证定位方法的精确度并分析误差来源。

进一步，所述S2包括以下操作步骤：

2.1、将虚拟场景中的虚拟标定板移动到标定实验场景中，虚拟相机对齐虚拟标定板，并启动虚拟相机开始采集图像；

2.2、启动投影仪，在投影仪产生投影图像后，使用梯形校正功能使投影接收板上产生方正的梯形投影图像；

2.3、测量得到的投影图像宽高分别为W₀和H₀，设置真实相机的长宽比等于真实相机的长宽比。即当真实相机采集图像的宽度为w时，设置图像的高度为h＝λ*H₀，其中λ＝w/W₀为变换后的比例关系

2.4、通过试验台上的相机调节架调节真实相机的角度和焦距，使相机采集的视野与投影到投影接收板的梯形图像对齐，然后固定好相机与投影仪，使之不再移动；

2.5、启动虚拟标定程序，控制虚拟标定板在虚拟场景中通过x、y、z方向位移与顺时针旋转、逆时针旋转的方法分别到达20个预设的标定位置；

2.6、在到达每个位置时，真实相机采集图像，然后将采集得到的图片传输到处理器，通过视觉定位模块的相机标定算法，根据图像信息和已知的标志物信息计算得到相机的内参和畸变系数。

本发明的第二方面，提供一种利用前述基于虚拟现实的机器人视觉定位仿真实验方法的视觉定位仿真装置，所述视觉定位仿真装置按照基于虚拟现实的机器人视觉定位仿真实验方法进行定位实验，所述视觉定位仿真装置包括虚拟场景生成模块、图像生成模块、视觉定位模块、处理器、实验台和云数据库；所述虚拟场景生成模块由虚拟现实软件仿真生成，根据真实的机器人和生产场景，对应生成1：1比例的虚拟机器人和虚拟场景，布局虚拟场景中相机、标定板和标志物的位置和类型，并通过连接云数据库获得对应的真实机器人的运动位姿，同时驱动虚拟场景中的机器人运动；所述图像生成模块利用实验台上的投影仪将虚拟场景生成模块中虚拟相机采集的图像投影到投影接收设备，由实验台上的相机采集投影接收模块上的图像，并传送至处理器中的视觉定位模块进行处理；所述视觉定位模块集成于处理器中，包括虚实相机对齐、相机标定和定位计算三个部分，虚实相机对齐用于调整相机与投影图像的对应关系，相机标定用于计算对齐后的相机参数，定位计算部分通过相机采集的图像完成视觉定位；所述处理器用于嵌入虚拟场景生成模块、图像生成模块和视觉定位模块，并安装在实验台上；所述实验台集成处理器、相机、投影仪、操作面板、调节支架和投影接收板，所述相机、投影仪通过所述调节支架固定在所述投影接收板的上方，所述投影接收板固定在仿真装置的上方，操作面板嵌入启动按钮和触摸屏，用于控制处理器启动、相机启动、投影仪启动和虚拟机器人运动，操作面板上的按钮和触摸屏通过网络和虚拟机器人通讯，进而实现虚拟机器人的前进、后退、关节运动各种操作和控制。

可优选的是，所述图像生成模块包括所述相机、投影仪和调节支架，所述投影仪通过所述调节支架固定在投影接收板的上方，所述投影接收板固定在仿真装置的上方，所述调节支架包括万向轮、横连接臂、纵连接臂、横连接杆、纵连接杆、直角固定板和底座构成，万向轮连接横纵两个连接杆，通过固定螺母将其固定在调节支架的直角固定板上，横纵连接杆均能伸缩，底座通过横连接臂与纵连接臂连接到直角固定板上，并固定于投影接收板上方，通过调节万向轮方向并伸缩两个连接杆使相机在不同的距离和方向采集图像。

可优选的是，所述虚拟生成模块中的所有虚拟场景均由处理器搭载三维虚拟现实仿真软件生成，根据实际的机器人作业数据模拟各类视觉定位实验场景，对应生成1：1比例的虚拟机器人、虚拟相机、虚拟场景、虚拟场景中的标定板和标志物，并通过连接云数据库获得对应的真实机器人的运动位姿，同时驱动虚拟场景中的机器人运动；生成的内容包括五个部分：第一个部分为虚拟机器人，虚拟机器人的机械手及身体指定部分可以搭载相机完成视觉各类不同的视觉任务，具体的视觉任务能预先指定；第二个部分是虚拟相机，虚拟相机的位置、视角和焦距均能设定，根据任务的不同，相机被指定安置于机器人的机械臂、头部、身体任意部位或虚拟场景中的工作台上；第三个部分是虚拟场景，根据虚拟机器人的不同，虚拟场景由用户根据实际作业环境选择，包括自动化产线，室内机器人导航或室外机器人巡航；第四个部分是虚拟场景中的标定板，标定板用于实现相机的内参标定和虚实相机对齐，包括圆点标定板和棋盘格标定板；第五个部分是虚拟场景中用于机器人视觉定位的各种标志物，标志物的形状和图案由用户设计加载，其位置能根据需要指定。

进一步，所述视觉定位模块包括虚实相机对齐、标定模块和定位模块，虚实相机对齐用于调整相机与投影图像的对应关系，相机标定集成多种相机标定算法，利用标定板信息计算相机参数，定位计算部分集成多种视觉定位方法，通过相机采集的图像完成视觉定位。

本发明的有益效果在于：

1、本发明既可以实现不同场景、不同算法的实验测试，如大型机器人的设计测试，也可用于教学中的机器人视觉定位仿真任务。

2、本发明的虚拟场景生成模块可以通过虚拟仿真直接生成各种类型的虚拟场景、标定板、标志物，实验价格便宜并且使用方便。

3、本发明的机器人视觉定位仿真方法可以直接完成虚拟相机、投影仪、真实相机的联合参数标定过程，简化复杂的标定过程，设计了通用的视觉标定、定位框架，可以直接完成虚拟相机、投影仪、真实相机的联合参数标定过程，简化复杂的标定过程同时又可以灵活、快捷地实现各种视觉定位算法。

4、本发明精密的实验流程与灵活的机构设计也为高精度的视觉定位实验提供了可能。

附图说明

图1为本发明基于虚拟现实的机器人视觉定位仿真方法的流程框图；

图2为本发明基于虚拟现实的机器人视觉定位仿真实验系统结构示意图；

图3为本发明实施例中仿真装置的示意图；

图4为本发明实施例中调节支架的示意图；

图5为本发明实施例中虚拟机器人视觉定位场景的示意图。

具体实施方式

以下将参考附图详细说明本发明的示例性实施例、特征和性能，附图中相同的附图标记表示功能相同或相似的元件。所述是对本发明一部分实施例的说明，而并不是本发明的全部实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

基于虚拟现实的机器人视觉定位仿真实验系统包括仿真装置和仿真实验方法。

如图1所示，本发明基于虚拟现实的机器人视觉定位仿真方法，通过以下步骤实现功能：

S1、通过半物理仿真装置上的操作按钮，启动系统并选择要实验的机器人类型和场景；虚拟场景生成模块加载相应的虚拟机器人、虚拟相机和虚拟实验场景。启动并调节投影仪，使投影仪在投影接收板上产生方正的图像。

S2、进行半物理仿真装置的相机标定；具体包括以下子步骤：

S21、虚拟相机的相机坐标系到虚拟相机的图像坐标系转换：

设o-xyz为虚拟场景中虚拟相机的相机坐标系，o′-uv是虚拟相机的图像坐标系，则虚拟场景下相机坐标系中的点P₀(X,Y,Z)与虚拟相机的图像坐标系的图像点P(u,v)之间的关系为：

其中f_x，f_y，c_x，c_y为虚拟场景中虚拟相机的内参；

S22、虚拟相机的图像坐标系到投影幕布上图像坐标系的转换：

经过投影仪梯形校正后，虚拟相机图像坐标系的图像点P(u,v)到投影幕布上的图像坐标系的对应点P′(x,y)之间的关系为：

其中λ为投影仪投影比例，a为投影仪的横向缩放比例，b为纵向缩放比例。

S23、投影幕布上的投影图像坐标系到真实相机图像坐标系的转换：

调整真实相机视野的长宽比例，使相机视野对齐投影幕布上的投影图像。此时真实相机采集到图像P”(u′,v′)与投影图像点P′(x,y)关系为：

其中

为真实相机采集图像相对投影图像的比例因子；

S24、真实相机的图像坐标系到虚拟相机的相机坐标系的转换：

由于真实相机采集的图像点P”(u′,v′)与虚拟相机采集的图像P(u,v)的关系为：

则真实相机采集到图像点坐标为P”(u′,v′)与虚拟场景中虚拟相机的相机坐标系对应点P₀(X,Y,Z)的关系为：

令

得：

由表达式(6)可得：经过投影仪投影，从真实相机图像坐标系到虚拟相机的相机坐标系的变换关系与式(1)所示的相机模型形式一致，因此标定相机时不需要对过程中的每个参数单独求解，式(6)中的f_ax,f_by，c_ax，c_by即为要获得的内参。直接进行相机标定即可求出真实相机图像坐标系到虚拟相机的相机坐标系的内参。同理，可以求解出求解畸变参数(k₁,k₂,k₃,,p₁,p₂,)。

在执行前述步骤S2的过程中，具体的操作方法如下：

2.1、在虚拟场景生成模块中生成虚拟作业场景，在作业场景中放置选定的标定板，将虚拟相机安置于所选机器人的机械臂末端，并调整相机视野使相标定板出现在相机视野内。

2.2、启动投影仪，打开投影幕布，使用投影仪的梯形矫正功能使投影仪在投影幕布上产生方正的图像。

2.3、通过相机调节架调节相机的位置和工作距离，配合调节相机的焦距使相机视野与投影板幕布上的图像对齐。

2.4、虚拟场景中生成的图像通过投影仪投影到投影接收板，相机采集相应图像进行相机标定。

所述步骤2.4的具体方法如下：

2.4.1、虚拟图像经处理器传送到投影仪，投影仪在投影幕布上产生等比例图像。在虚拟场景中调节虚拟相机的位置，使虚拟相机在不同视角采集标定板图像。

2.4.2、相机在每次虚拟相机移动后采集投影幕布上的图像，

2.4.3、相机将采集得到的图像传输到处理器，通过视觉定位模块的相机标定算法，根据图像信息和已知的标定板信息计算得到相机的内参和畸变系数。

S3、操作者通过仿真装置上的触摸屏，连接云数据库，通过选择数据库中机器人的真实运动数据，控制虚拟场景中的虚拟机器人运动，并调节相机、视觉定位标志位置，模拟机器人视觉定位场景。

S4、相机采集投影图像，视觉定位模块通过特征提取算法计算视觉定位标志位置，并结合标定好的相机参数计算运动时的机器人位姿。

S5、将计算得到的位姿结果与虚拟仿真系统中记录的数据进行比较，验证定位方法的精确度。

如图2所示，本发明的第二方面，提供一种利用前述基于虚拟现实的机器人视觉定位仿真方法的视觉定位仿真装置，视觉定位仿真装置包括虚拟场景生成模块、实验台、图像生成模块、视觉定位模块、处理器和云数据库。

虚拟场景生成模块由虚拟现实软件仿真生成，根据真实的机器人和生产场景，对应生成1：1比例的虚拟机器人和虚拟场景，布局虚拟场景中相机、标定板和标志物的位置和类型，并通过连接云数据库获得对应的真实机器人的运动位姿，同时驱动虚拟场景中的机器人运动；本发明的虚拟生成模块生成的具体内容包括五个部分：第一个部分为虚拟机器人，如龙门机器人、六自由度机器人、并联机器人或服务机器人，虚拟机器人的机械手及身体指定部分可以搭载相机完成各类不同的视觉任务，具体的视觉任务可以指定；第二个部分是虚拟相机，是虚拟相机的位置、视角、焦距可以灵活设定，根据任务的不同，相机可以被指定安置于机器人的机械臂、头部、身体任意部位或虚拟场景中的工作台上；第三个部分是虚拟场景，根据虚拟机器人的不同，虚拟场景可由用户根据实际作业环境灵活选择，如自动化产线、室内机器人导航或室外机器人巡航；第四个部分是虚拟场景中的标定板，标定板用于实现相机的内参标定和虚实相机对齐，包括圆点标定板和棋盘格标定板；第五个部分是虚拟场景中用于机器人视觉定位的各种标志物，标志物的形状和图案有多种选择，可以由用户设计加载，其位置也可以根据需要指定。

实验台如图3所示，实验台上集成了操作面板1、处理器、相机2、投影仪3、调节支架4和投影接收板5，操作面板1嵌入启动按钮和触摸屏，用于控制处理器启动、相机启动、投影仪启动和虚拟机器人运动，操作面板上的按钮和触摸屏通过网络和虚拟机器人通讯，进而实现虚拟机器人的如前进、后退、关节运动的各种操作和控制。

图像生成模块位于实验台上，包括相机2、投影仪3、调节支架4和投影接收板5，投影接收板5固定在仿真装置的上方，相机2、投影仪3固定在投影接收板5的前方。投影仪3将虚拟场景生成模块中虚拟相机采集的图像投影到投影接收设备，由实验台上的相机2采集投影接收板5上的图像，并传送至处理器中的视觉定位模块进行处理；如图4所示，调节支架4固定在仿真装置的上方，用于固定相机和投影仪并调节两者的工作距离和工作角度，包括万向轮6、横连接臂7、纵连接臂8、横连接杆10、纵连接杆9、直角固定板11和投影底座12；图像生成模块的作用是利用投影仪3将虚拟场景生成模块中虚拟相机采集的图像投影到投影接收设备，由相机2采集投影接收板5上的图像，并传送至处理器进行处理。

视觉定位模块集成于处理器中，包括虚实相机对齐、相机标定和定位计算三个部分，虚实相机对齐用于调整相机与投影图像的对应关系，相机标定用于半物理仿真装置的相机标定，视觉定位计算部分通过相机采集的图像完成视觉定位。

处理器用于嵌入虚拟场景生成模块和视觉定位模块，并安装在实验台下方的柜子中。

云数据库利用数据库存储了机器人在不同场景下的真实运动数据。

本发明的具体操作如下：

步骤1、操作者通过仿真装置上的操作启动按钮启动系统，然后选择要实验的机器人类型和场景，接下来，虚拟场景生成模块加载相应的虚拟机器人和实验场景；

本实施例中，操作面板为触摸屏、3D虚拟现实软件为Unity3D，虚拟场景选择自动化产线，虚拟场景如图5所示，机器人选择4自由度龙门机器人13，此机器人设有吸盘机械手14。

步骤2、进行半物理仿真装置的相机标定，具体包括以下子步骤：

步骤2.1、在Unity3D中选择自动化产线作业场景，自动化工作台上放置单位2cm的8*11棋盘格标定板15，将虚拟相机安置于4自由度龙门机器人的机械臂末端14，并调整相机视野使相标定板出现在相机视野内。

步骤2.2、启动极米投影仪，打开投影幕布，使用投影仪的梯形矫正功能使投影仪在投影幕布上产生方正的图像。

步骤2.3、通过相机调节架调节相机的位置和工作距离，配合调节相机的焦距使相机视野与投影板幕布上的图像对齐。

本实施例中，投影仪采用分辨率为1920*1080、自带数字梯形矫正功能的极米z6投影仪，投影接收板使用1.5m*2米的投影幕布。经过投影后投影幕布上产生了大小为183cm*150cm的投影图像。打开相机，为使相机视野对齐投影仪投影图像，相机采集图像的宽w和高h与投影仪投影图像的宽W和高H需满足式(7)，因此调整相机参数使相机分辨率调整为1464*1200。然后通过调节支架调整相机的工作距离和采集角度使投影图像刚好充满相机视野。

w/W＝h/H (7)

步骤2.4、虚拟场景中生成的图像通过投影仪投影到投影接收模块，相机采集相应图像并进行相机标定。

本实施例中相机采用大恒MER-630-60U3M/C相机，MER-630-60U3M/C采用SonyIMX178 CMOS感光芯片，通过USB3.0数据接口进行图像数据的传输，集成I/O(GPIO)接口，并提供线缆锁紧装置，调焦方式为手动调节。

本实施例中，所述步骤2.4的具体方法如下：

步骤2.4.1、在Unity3D中调节虚拟相机的位置，使虚拟相机在20个不同视角采集标定板图像,虚拟图像经处理器传送到投影仪，投影仪在投影幕布上产生等比例图像。

步骤2.4.2、相机在每次视角移动后采集投影幕布上的图像，本实施例中相机共采集20幅标定板图像。

相机将采集得到的图像传输到处理器，通过视觉定位模块的相机标定算法，根据图像信息和已知的标定板信息计算得到相机的内参和畸变系数。本实施例中，棋盘格的单位为2cm，标定板规格为8*11。视觉定位模块通过张正友标定法计算得到相机内参数矩阵为：

[1102.506081529911,0,1029.988842889609；0,963.6911310697124,594.9777578633513；0,0,1]。

用基于Brown的方法计算的畸变系数为：

[-0.0020988769243466,-0.00035087848204286,0.0022815739957380,-1.0025209709701e-005,0.00020968539149763]。

步骤3、操作者通过仿真装置上的触摸屏，连接云数据库，通过选择数据库中龙门机器人的真实运动数据，控制虚拟场景中的虚拟机器人运动，调节相机、视觉定位标志位置，并模拟机器人视觉定位场景。本实施例中，在自动化产线中将6个圆形构成的标志物置于工作台16一角，控制龙门机器人在x,y,z三个方向分别移动10次，每次移动1cm，记录下此时机器人的位置，共30组机器人位姿数据。

步骤4、相机采集投影图像，视觉定位模块通过EDCircle圆形提取算法计算圆形标志物的中心坐标，并结合相机内参和opencv中集成的Epnp算法实现相机在标志物坐标系下的坐标计算，每次移动计算一次机器人位姿，得到共30组位姿数据。

步骤5、将计算得到的位姿结果与Unity3D中记录的虚拟相机位姿数据进行比较，验证定位方法的精确度。

本发明通过将计算得到的位姿结果与记录中的虚拟相机位姿进行比较，从而验证了本发明基于虚拟现实的机器人视觉定位仿真方法的定位精确度。本发明能够使用各种机器人模型和标定与定位方法，方便直观的进行机器人视觉定位。

Claims (5)

1.一种基于虚拟现实的机器人视觉定位仿真方法，其特征在于，包括虚拟场景生成模块由虚拟现实软件仿真生成，根据真实的机器人和生产场景，对应生成1：1比例的虚拟机器人和虚拟场景，布局虚拟场景中相机、标定板和标志物的位置和类型，并通过连接云数据库获得对应的真实机器人的运动位姿，同时驱动虚拟场景中的机器人运动，所述方法包括如下步骤：

S1、通过半物理仿真装置上的操作按钮，启动系统并选择要实验的机器人类型和实验场景，虚拟场景生成模块加载相应的虚拟机器人、虚拟相机和虚拟实验场景；

S2、进行半物理仿真装置的相机标定，包括以下操作步骤：

将虚拟场景中的虚拟标定板移动到标定实验场景中，虚拟相机对齐虚拟标定板，并启动虚拟相机开始采集图像；

启动投影仪，在投影仪产生投影图像后，使用梯形校正功能使投影接收板上产生方正的梯形投影图像；

测量得到的投影图像宽高分别为W₀和H₀，当真实相机采集图像的宽度为w时，设置图像的高度为h＝λ*H₀，其中λ＝w/W₀为变换后的比例关系；

通过试验台上的相机调节架调节真实相机的角度和焦距，使相机采集的视野与投影到投影接收板的梯形图像对齐，然后固定好相机与投影仪，使之不再移动；

启动相机标定程序，控制虚拟标定板在虚拟场景中通过x、y、z方向位移与顺时针旋转、逆时针旋转的方法分别到达20个预设的标定位置；

在到达每个位置时，真实相机采集图像，然后将采集得到的图片传输到处理器，通过视觉定位模块的相机标定算法，根据图像信息和已知的标志物信息计算得到相机的内参和畸变系数；

具体包括以下子步骤：

S21、虚拟相机的相机坐标系到虚拟相机的图像坐标系转换：

设o-xyz为虚拟场景中虚拟相机的相机坐标系，o′-uv是虚拟相机的图像坐标系，则虚拟场景下相机坐标系中的点P₀(X,Y,Z)与虚拟相机的图像坐标系的图像点P(u,v)之间的关系为：

其中f_x，f_y，c_x，c_y为虚拟场景中虚拟相机的内参；

S22、虚拟相机的图像坐标系到投影幕布上图像坐标系的转换：

经过投影仪梯形校正后，虚拟相机图像坐标系的图像点P(u,v)到投影幕布上的图像坐标系的对应点P′(x,y)之间的关系为：

其中λ为投影仪投影比例，a为投影仪的横向缩放比例，b为纵向缩放比例；

S23、投影幕布上的投影图像坐标系到真实相机图像坐标系的转换：

调整真实相机视野的长宽比例，使相机视野对齐投影幕布上的投影图像，此时真实相机采集到图像P”(u′,v′)与投影幕布上的图像坐标系的对应点P′(x,y)关系为：

其中

为真实相机采集图像相对投影图像的比例因子；

S24、真实相机的图像坐标系到虚拟相机的相机坐标系的转换：

由于真实相机采集的图像点P”(u′,v′)与虚拟相机采集的图像P(u,v)的关系为：

则真实相机采集到图像点坐标为P”(u′,v′)与虚拟场景中虚拟相机的相机坐标系对应点P₀(X,Y,Z)的关系为：

令

得：

表达式中的f_ax,f_by,c_ax,c_by即为要获得的内参，同理获得畸变参数(k₁,k₂,k₃,p₁,p₂)；

S3、通过仿真装置上的触摸屏，连接云数据库，通过选择数据库中机器人的真实运动数据控制虚拟场景中的虚拟机器人运动，然后根据需要调节相机、视觉定位标志位置，并模拟机器人视觉定位场景；

S4、相机采集投影图像，视觉定位模块通过图像处理与视觉定位计算获得视觉定位所需的相机位姿；

S5、将计算得到的视觉定位所需的相机位姿的结果与记录的虚拟相机位姿进行比较得到测量误差，验证定位方法的精确度并分析误差来源；直接完成虚拟相机、投影仪、真实相机的联合参数标定过程。

2.一种根据权利要求1所述的基于虚拟现实的机器人视觉定位仿真方法的视觉定位仿真装置，其特征在于，所述视觉定位仿真装置按照基于虚拟现实的机器人视觉定位仿真实验方法进行定位实验，所述视觉定位仿真装置包括虚拟场景生成模块、图像生成模块、视觉定位模块、处理器、实验台和云数据库；所述虚拟场景生成模块由虚拟现实软件仿真生成，根据真实的机器人和生产场景，对应生成1：1比例的虚拟机器人和虚拟场景，布局虚拟场景中相机、标定板和标志物的位置和类型，并通过连接云数据库获得对应的真实机器人的运动位姿，同时驱动虚拟场景中的机器人运动；所述图像生成模块利用实验台上的投影仪将虚拟场景生成模块中虚拟相机采集的图像投影到投影接收设备，由所述实验台上的相机采集投影接收模块上的图像，并传送至处理器中的所述视觉定位模块进行处理；所述视觉定位模块集成于处理器中，包括虚实相机对齐、相机标定和定位计算三个部分，所述虚实相机对齐用于调整相机与投影图像的对应关系，所述相机标定用于计算对齐后的相机参数，定位计算部分通过相机采集的图像完成视觉定位；所述处理器用于嵌入所述虚拟场景生成模块、图像生成模块和视觉定位模块，并安装在所述实验台上；所述实验台集成处理器、相机、投影仪、操作面板、调节支架和投影接收板，所述相机、投影仪通过所述调节支架固定在所述投影接收板的上方，所述投影接收板固定在仿真装置的上方，所述操作面板嵌入启动按钮和触摸屏，用于控制处理器启动、相机启动、投影仪启动和虚拟机器人运动，所述操作面板上的按钮和触摸屏通过网络和虚拟机器人通讯，进而实现虚拟机器人的前进、后退、关节运动各种操作和控制。

3.根据权利要求2所述的视觉定位仿真装置，其特征在于，所述图像生成模块包括所述相机、投影仪和调节支架，所述投影仪通过所述调节支架固定在所述投影接收板的上方，所述投影接收板固定在仿真装置的上方，所述调节支架包括万向轮、横连接臂、纵连接臂、横连接杆、纵连接杆、直角固定板和底座，所述万向轮连接横纵两个连接杆，通过固定螺母将其固定在调节支架的所述直角固定板上，横纵连接杆均能伸缩，所述底座通过所述横连接臂与纵连接臂连接到所述直角固定板上，并固定于所述投影接收板上方，通过调节万向轮方向并伸缩两个连接杆使相机在不同的距离和方向采集图像。

4.根据权利要求3所述的视觉定位仿真装置，其特征在于，所述虚拟场景生成模块中的所有虚拟场景均由处理器搭载三维虚拟现实仿真软件生成，根据实际的机器人作业数据模拟各类视觉定位实验场景，对应生成1：1比例的虚拟机器人、虚拟相机、虚拟场景、虚拟场景中的标定板和标志物，并通过连接云数据库获得对应的真实机器人的运动位姿，同时驱动虚拟场景中的机器人运动；生成的内容包括五个部分：第一个部分为虚拟机器人，虚拟机器人的机械手及身体指定部分搭载相机完成视觉各类不同的视觉任务，具体的视觉任务能预先指定；第二个部分是虚拟相机，虚拟相机的位置、视角和焦距均能设定，根据任务的不同，相机被指定安置于机器人的机械臂、头部、身体任意部位或虚拟场景中的工作台上；第三个部分是虚拟场景，根据虚拟机器人的不同，虚拟场景由用户根据实际作业环境选择，包括自动化产线，室内机器人导航或室外机器人巡航；第四个部分是虚拟场景中的标定板，标定板用于实现相机的内参标定和虚实相机对齐，包括圆点标定板和棋盘格标定板；第五个部分是虚拟场景中用于机器人视觉定位的各种标志物，标志物的形状和图案由用户设计加载，其位置能根据需要指定。

5.根据权利要求3所述的视觉定位仿真装置，其特征在于，所述视觉定位模块包括虚实相机对齐、标定模块和定位模块，虚实相机对齐用于调整相机与投影图像的对应关系，相机标定集成多种相机标定算法，利用标定板信息计算相机参数，定位计算部分集成多种视觉定位方法，通过相机采集的图像完成视觉定位。

Images