CN105867433A - 一种移动控制方法、移动电子设备及移动控制系统 - Google Patents

Abstract

本发明公开了一种移动控制方法、移动电子设备及移动控制系统，该移动控制方法应用于移动电子设备，移动电子设备中安装有二维摄像头和三维空间检测装置，方法包括：响应基于二维摄像头拍摄的图像进行的目标位置输入操作，获得目标位置输入操作在图像上对应的二维目标位置坐标；获得三维空间检测装置与二维摄像头对齐的深度值；根据二维目标位置坐标、深度值、二维摄像头的相机焦距和相机主点，计算获得二维目标位置坐标相对移动电子设备的运动中心的三维目标位置坐标；控制移动电子设备的运动中心向三维目标位置坐标运动。通过上述技术方案，解决了现有技术中简易机器人存在的遥控难度大的技术问题，降低简易机器人的控制难度。

Description

一种移动控制方法、移动电子设备及移动控制系统

技术领域

本发明涉及移动控制技术领域，特别涉及一种移动控制方法、移动电子设备及移动控制系统。

背景技术

随着科学技术的不断发展，机器人得到了快速的发展。机器人分为简易机器人和智能机器人。

其中，智能型机器人是最复杂的机器人，也是人类最渴望能够早日制造出来的机器朋友。然而要制造出一台智能机器人并不容易，仅仅是让机器模拟人类的行走动作，科学家们就要付出了数十甚至上百年的努力。对于简易机器人则可以通过操作者不断的调节遥控器摇杆，控制机器人运动。

由于简易机器人的运动需要操纵者的根据实际运动情况进行实时跟踪操作，摇杆的控制也需要不断的练习和探索才能精准控制，遥控难度较大。可见，现有技术中的简易机器人存在遥控难度大的技术问题。

发明内容

本发明实施例提供一种移动控制方法、移动电子设备及移动控制系统，用于解决现有技术中简易机器人存在的遥控难度大的技术问题。

本申请实施例提供一种移动控制方法，应用于移动电子设备，所述移动电子设备中安装有二维摄像头和三维空间检测装置，所述方法包括：

响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；

获得所述三维空间检测装置与所述二维摄像头对齐的深度值；

根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；

控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

可选的，所述根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标，包括：

根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维相对位置坐标；

将所述移动电子设备的运动中心相对所述二维摄像头光心的空间变换矩阵与所述三维相对位置坐标相乘获得所述三维目标位置坐标。

可选的，所述根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维光心位置坐标，包括：

通过如下公式计算获得所述三维相对位置坐标P：

P＝(z*(a-cx)/f,z*(b-cy)/f,z)；

其中，z表示所述深度值，(a,b)表示所述二维目标位置坐标，(cx,cy)表示所述相机主点，f表示所述相机焦距。

可选的，所述获得所述三维空间检测装置与所述二维摄像头对齐的深度值，包括：

当所述三维空间检测装置为三维摄像头时，通过所述三维摄像头检测获得所述深度值；或者

当所述三维空间检测装置为惯性检测装置IMU时，假设所述三维目标位置坐标中的纵坐标等于所述移动电子设备的运动中心的高度坐标，约束求解出所述深度值。

可选的，在控制所述移动电子设备的运动中心向所述三维目标位置坐标运动之后，所述方法还包括：

检测获得所述移动电子设备的运动方向上是否存在障碍物；

若存在，在所述移动电子设备与所述障碍物之间的距离小于第一阈值距离时，将所述移动电子设备的运动方向调整为无障碍物的方向；

沿调整后的方向运动第二阈值距离后，检测所述移动电子设备的当前位置与所述三维目标位置坐标之间是否存在障碍物；

若所述当前位置与所述三维目标位置坐标之间不存在障碍物，牵引所述移动电子设备从所述当前位置向所述三维目标位置坐标运动。

可选的，所述获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标时，所述方法还包括：

重置所述移动电子设备的位置坐标，通过所述三维空间检测装置获得所述二维摄像头的相机光心的三维光心位置坐标；

根据所述三维光心位置坐标，获得所述移动电子设备的运动中心相对于重置后的位置坐标的三维当前坐标；

所述控制所述移动电子设备的运动中心向所述三维目标位置坐标运动，包括：

根据所述三维当前坐标和所述三维目标位置坐标牵引所述移动电子设备向所述三维目标位置坐标运动。

可选的，所述响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标，包括：

将所述二维摄像头拍摄的图像发送至所述移动电子设备对应的遥控装置，通过所述遥控装置对所述图像进行显示；

接收所述遥控装置反馈的所述目标位置输入操作；

响应所述目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标。

可选的，所述目标位置输入操作包括：对所述图像进行的触控操作，或者，用于在所述图像上标定所述目标位置的语音或文字输入操作。

本申请实施例还提供一种移动电子设备，该移动电子设备中安装有二维摄像头和三维空间检测装置，所述移动电子设备还包括：

响应单元，用于响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；

获取单元，用于获得所述三维空间检测装置与所述二维摄像头对齐的深度值；

计算单元，用于根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；

控制单元，用于控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

可选的，所述计算单元包括：

第一计算子单元，用于根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维相对位置坐标；

第二计算子单元，用于将所述移动电子设备的运动中心相对所述二维摄像头光心的空间变换矩阵与所述三维相对位置坐标相乘获得所述三维目标位置坐标。

可选的，所述第一计算子单元用于通过如下公式计算获得所述三维相对位置坐标P：

P＝(z*(a-cx)/f,z*(b-cy)/f,z)；

其中，z表示所述深度值，(a,b)表示所述二维目标位置坐标，(cx,cy)表示所述相机主点，f表示所述相机焦距。

可选的，所述获取单元用于：

当所述三维空间检测装置为三维摄像头时，通过所述三维摄像头检测获得所述深度值；或者

当所述三维空间检测装置为惯性检测装置IMU时，假设所述三维目标位置坐标中的纵坐标等于所述移动电子设备的运动中心的高度坐标，约束求解出所述深度值。

可选的，所述移动电子设备还包括：

检测单元，用于检测在控制所述移动电子设备的运动中心向所述三维目标位置坐标运动之后，获得所述移动电子设备的运动方向上是否存在障碍物；

调整单元，用于在所述检测单元的检测结果为存在时，在所述移动电子设备与所述障碍物之间的距离小于第一阈值距离时，将所述移动电子设备的运动方向调整为无障碍物的方向；

所述检测单元还用于：沿调整后的方向运动第二阈值距离后，检测所述移动电子设备的当前位置与所述三维目标位置坐标之间是否存在障碍物；

牵引单元，用于在所述检测单元的检测出所述当前位置与所述三维目标位置坐标之间不存在障碍物时，牵引所述移动电子设备从所述当前位置向所述三维目标位置坐标运动。

可选的，所述移动电子设备还包括：

重置单元，用于在所述获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标时，重置所述移动电子设备的位置坐标，通过所述三维空间检测装置获得所述二维摄像头的相机光心的三维光心位置坐标；

所述获取单元还用于：根据所述三维光心位置坐标，获得所述移动电子设备的运动中心相对于重置后的位置坐标的三维当前坐标；

所述控制单元还用于：根据所述三维当前坐标和所述三维目标位置坐标牵引所述移动电子设备向所述三维目标位置坐标运动。

本申请实施例还提供一种移动控制系统，包括：遥控装置和移动电子设备，所述移动电子设备上配置有二维摄像头和三维空间检测装置；

其中，所述遥控装置用于：接收所述二维摄像头拍摄的所述移动电子设备所处环境的图像并显示，获得在所述图像上进行的目标位置输入操作并将所述目标位置输入操作反馈给所述移动电子设备；

所述移动电子设备用于：接收所述遥控装置反馈的所述目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；获得所述三维空间检测装置与所述二维摄像头对齐的深度值；根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：

本申请实施例为移动电子设备配置二维摄像头和三维空间检测装置，移动电子设备通过将响应目标位置输入操作获得目标位置在二维摄像头拍摄的图像中的二维目标位置坐标，并获得三维空间检测装置与二维摄像头对齐的深度值，以根据二维目标位置坐标、深度值、二维摄像头的相机焦距和相机主点，计算获得二维目标位置坐标相对移动电子设备的运动中心的三维目标位置坐标，从而控制移动电子设备的运动中心向三维目标位置坐标运动，实现了将移动电子设备上的图像中二维坐标到实际环境的三维坐标转换，使得用户可以通过在图像上进行目标位置输入操作来控制移动电子设备移动到对应的空间位置，不需要用户在实时操控移动电子设备的方向操纵杆，解决了现有技术中简易机器人存在的遥控难度大的技术问题，降低简易机器人的控制难度。

附图说明

图1为本申请实施例提供的一种移动控制方法的流程示意图；

图2为本申请实施例提供的一种移动电子设备避让障碍物的流程示意图；

图3为本申请实施例提供的一种移动电子设备的示意图；

图4为本申请实施例提供的一种移动控制系统的示意图。

具体实施方式

在本申请实施例提供的技术方案中，通过为用户提供一种将图像上的二维目标位置坐标转换为三维目标位置坐标的功能，使得用户在对移动电子设备进行移动控制时，可以通过对移动电子设备拍摄的图像进行目标位置输入操作，来指示移动电子设备移动到对应的空间位置，不再需要用户根据移动电子设备的实际运动情况进行实时跟踪操作，以解决现有技术中简易机器人存在的遥控难度大的技术问题，降低简易机器人的控制难度。下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

实施例一

请参考图1，本申请实施例提供一种移动控制方法，应用于移动电子设备，该移动电子设备中安装有二维摄像头和三维空间检测装置，该方法包括：

S101：响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；

S102：获得所述三维空间检测装置与所述二维摄像头对齐的深度值；

S103：根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；

S104：控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

本申请实施例提供的移动电子设备可以为移动机器人，可以与一遥控设备进行通信。该遥控设备可以是与移动机器人匹配的专用遥控器，也可以是能够与移动机器人进行通信的普通电子设备，如智能手机、pad、智能手表等。移动电子设备上安装有二维摄像头和三维空间检测装置，其中，二维摄像头可以是色彩模式RGB摄像头，三维空间检测装置可以是3D摄像头也可以是惯性检测装置(Inertial measurement unit，IMU)。惯性检测装置IMU是测量物体三轴姿态角(或角速率)以及加速度的装置，大多用在需要进行运动控制的设备，如汽车和机器人上。

移动电子设备通过其二维摄像头拍摄自身所处环境的图像(又称移动电子设备的视野图像)，该图像可以为实时图像即视频流中的一帧图像，将该图像通过图传信号发送至遥控装置或者显示在移动电子设备的显示器上与用户共享。当移动电子设备将二维摄像头拍摄的图像发送至移动电子设备对应的遥控装置，并通过遥控装置对图像进行显示时，用户可以在遥控装置上对该图像进行目标位置输入操作，遥控装置在检测获得对该图像的目标位置输入操作时，将该目标位置输入操作反馈给移动电子设备，移动电子设备接收遥控装置反馈的目标位置输入操作并响应，获得目标位置输入操作在图像上对应的二维目标位置坐标。例如：假设移动电子设备为一电动平衡车，遥控装置为智能手机，电动平衡车通过二维摄像头拍了一种自身当前所处位置正前方的照片并传送至了用户手机，用户通过手机查看该图像后，点击该图像上的“电梯口”进行目标位置输入操作，手机将该操作反馈给电动平衡车，电动平衡车接收手机反馈后响应该目标位置输入操作，获得图像中“电梯口”的二维目标位置坐标，从而将“电梯口”的二维目标位置坐标转换为“电梯口”实际所处的三维目标位置坐标，进而向“电梯口”运行。当然，移动电子设备上配备的触控显示器也可以实现与遥控器相同的功能，用户可以直接在移动电子设备上进行目标位置输入操作，指示移动电子设备自动向目标为运动，无需用户自己控制操纵杆。

当用户对二维摄像头拍摄的图像进行目标位置输入操作后，移动电子设备执行S101响应该目标位置输入操作，获得目标位置输入操作在该图像上对应的二维目标位置坐标。具体的，用户进行目标位置输入操作时，可以通过如下三种方式获得目标位置输入操作对应的二维目标位置坐标：

方式一、当用户通过对触控显示屏显示的上述图像中的目标位置进行触控操作时，移动电子设备响应该目标位置输入操作获得用户在触控显示屏上的二维触控位置坐标，进而根据该图像与触控显示屏之间的相对位置关系和获得的二维触控位置坐标，获得目标位置输入操作在该图像上对应的二维目标位置坐标。例如：假设移动电子设备中二维摄像头拍摄的图像在触控显示屏中显示时，触控显示屏的中心点与图像的中心点之间的偏移向量为(c,d)，若检测获得的二维触控位置坐标为(e,f)，那么获得二维目标位置坐标为(a,b)：a＝e+c，b＝d+f。

方式二、当用户通过对二维摄像头拍摄的图像中的目标位置进行语音输入操作时，移动电子设备响应该语音输入操作获得户输入的语音数据，并将该语音数据转换为移动电子设备可识别的字符数据，进而通过图像识别从二维摄像头拍摄的图像中查找到与该字符数据匹配的目标位置并获得该目标位置在图像中的二维目标位置坐标。例如：假设用户语音输入“花盆”，那么移动电子设备将语音数据“花盆”转换为字符“花盆”，并通过图像识别查找的图像中的“花盆”及其在图像中的二维目标位置坐标(a,b)。

方式三、当用户通过对二维摄像头拍摄的图像中的目标位置进行文字输入操作时，移动电子设备响应该文字输入操作获得文字数据，并通过图像识别从二维摄像头拍摄的图像中查找到与该文字数据匹配的目标位置并获得该目标位置在图像中的二维目标位置坐标。例如：假设用户文字输入目标位置为“花盆”，那么通过图像识别查找的图像中的“花盆”并获得“花盆”在图像中的二维目标位置坐标(a,b)。

为了使移动电子设备对目标位置的定位更为准确，同时使移动电子设备的运动更为准确，本申请实施例在获得目标位置的二维目标位置坐标时，重置移动电子设备的位置坐标如重置为(0,0,0)，并通过移动电子设备的三维空间检测装置获得移动电子设备的二维摄像头的相机光心的三维光心位置坐标(x1,y1,z1)。然后，根据二维摄像头的相机光心的三维光心位置坐标，获得移动电子设备的运动中心相对于重置后的位置坐标的三维当前坐标(x,y,z)，例如：根据二维摄像头的相机光心相对移动电子设备运动中心的位置关系T(考虑移动电子设备各个关节的伺服位置)，得到移动电子设备运动中心相对于重置后的位置坐标的三维当前坐标(x,y,z)＝(x1,y1,z1)*T。

在S101之后，执行S102获得移动电子设备的三维空间检测装置与二维摄像头对齐的深度值z。当三维空间检测装置为三维摄像头时即3D摄像头，可以直接通过3D摄像头检测获得该深度值z＝Depth(a,b)。当三维空间检测装置为惯性检测装置IMU时，假设三维目标位置坐标中的纵坐标等于移动电子设备的运动中心的高度坐标，由于移动电子设备的高度坐标在其出厂时即为已知数h，而三维目标位置坐标的纵坐标y_t＝F(z)，F(z)为包含深度值z的函数，为此可将h＝F(z)作为约束条件求解出深度值z，即通过约束求解获得深度值z。

获得三维空间检测装置与二维摄像头对齐的深度值z之后，继续执行S103根据二维目标位置坐标、深度值、二维摄像头的相机焦距和相机主点，计算获得二维目标位置坐标相对移动电子设备的运动中心的三维目标位置坐标。移动电子设备的运动中心可以是移动电子设备的底盘运动中心。具体的，可以先根据深度值、二维目标位置坐标、二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维相对位置坐标；然后，将移动电子设备的运动中心相对二维摄像头光心的空间变换矩阵与三维光心位置坐标相乘即可获得三维目标位置坐标。

其中，移动电子设备的二维目标位置坐标相对二维摄像头光心的三维相对位置坐标P，可以通过如下公式(一)计算获得：

P＝(z*(a-cx)/f,z*(b-cy)/f,z)； 公式(一)

其中，z表示三维空间检测装置与二维摄像头对齐的深度值，(a,b)表示二维目标位置坐标，(cx,cy)表示二维摄像头的相机主点，f表示二维摄像头的相机焦距。若移动电子设备的运动中心相对二维摄像头光心的空间变换矩阵为T，那么三维目标位置坐标(x_t,y_t,z_t)＝T*P。

在获得三维目标位置坐标后，执行S104控制移动电子设备的运动中心向三维目标位置坐标运动。在运动之前，通常会重置移动电子设备的位置坐标获得移动电子设备运动中心的三维当前坐标，进而在运动时，根据移动电子设备运动中心的三维当前坐标(x,y,z)和目标位置的三维目标位置坐标(x_t,y_t,z_t)牵引移动电子设备向三维目标位置坐标(x_t,y_t,z_t)运动。进一步的，移动电子设备在运动时，可以通过闭环自动控制技术即PID控制移动电子设备的底盘向三维目标位置坐标运行。

移动电子设备在运动的过程中，还可以执行如下步骤，如图2所示：

S201：检测获得移动电子设备的运动方向上是否存在障碍物。如通过红外线扫描判断前方是否有障碍物，又或者通过摄像头拍摄运动方向的图像，通过图像识别判断前方是否有障碍物。若移动电子设备的运动方向上不存在障碍物，继续执行S202；反之，若移动电子设备的运动方向上存在障碍物，跳转执行S203。

S202：继续沿着当前运动方向运动，直到到达三维目标位置坐标处或者与三维目标位置坐标之间距离小于设定距离，处此次移动行程结束，并向用户发送目标位置已到达的通知消息。其中，设定距离可以由用户根据自己的实际需求进行设定，也可以采用系统默认值，如50cm。

S203：在移动电子设备与障碍物之间的距离小于第一阈值距离时，将移动电子设备的运动方向调整为无障碍物的方向，沿调整后的方向继续运动。其中，第一阈值距离可以根据移动电子设备的自身尺寸进行设备，至少保证在第一阈值距离范围内移动电子设备能够掉头或者转向，例如，若移动电子设备的尺寸为50cm*60cm，第一阈值距离可以为大于等于60cm、100cm、150cm等。优选的，考虑到移动电子设备运行时具有一定的速度，不能够瞬间定下来，需要一定的刹车距离，所以第一阈值范围的取值可以根据移动电子设备的尺寸和刹车距离来确定，例如：假设移动电子设备长度为60cm，刹车距离为40～100cm，那么第一阈值距离可以设置为160cm。

S204：沿调整后的方向运动第二阈值距离后，检测移动电子设备的当前位置与三维目标位置坐标之间是否存在障碍物。若当前位置与三维目标位置坐标之间不存在障碍物，跳转执行S202。反之，若当前位置与三维目标位置坐标之间依然存在障碍物，跳转执行S203～S204，直到到达三维目标位置坐标处或者与三维目标位置坐标之间距离小于设定距离处，此次移动行程结束，并向用户发送目标位置已到达的通知消息。

下面通过两个具体实例，对本申请实施例提供的移动控制方法的完整实施过程进行详细说明。

实例1

假设移动电子设备为电动平衡车，电动平衡车上配置有触控显示屏、RGB摄像头及3D摄像头。其中，3D摄像头的视角与RGB摄像头视角相近且基本重合。移动控制过程如下：

步骤1、电动平衡车上的触控显示屏上显示有RGB摄像头拍摄的视野图像。

步骤2、用户在电动平衡车的视野图像中点击一个感兴趣的目标点，电动平衡车得到该点在图像坐标系中RGB坐标(a,b)，开始一轮移动控制过程。

步骤3、重置电动平衡车当前的位置坐标为(0,0,0)，打开基于3D摄像头的视觉里程计算法，计算得到RGB摄像头相机光心的三维光心位置坐标，并根据RGB摄像头相机光心相对平衡车底盘运动中心的位置关系(考虑机器人各个关节的伺服位置)，得到底盘运动中心相对于重置后的位置坐标的三维当前坐标(x,y,z)。

步骤4、电动平衡车从(a,b)计算出目标点相对于底盘运动中心的位置(x_t,y_t,z_t)，具体方法如下：

通过3D摄像头，可知与RGB摄像头对齐的深度值z＝Depth(a,b)，RGB摄像头的相机焦距为f，RGB摄像头的相机主点为(cx,cy)。则目标点相对于RGB摄像头光心的3D位置及三维相对位置坐标为p＝(z*(a-cx)/f,z*(b-cy)/f,z)。已知机器人底盘运动中心相对RGB摄像头光心的空间变换矩阵为T(考虑机器人各个关节的伺服位置)，则(x_t,y_t,z_t)＝T*p。

步骤5、根据电动平衡车当前坐标(x,y,z)和目标点坐标(x_t,y_t,z_t)，用PID控制器牵引机器人底盘向目标点运动。

步骤6、(可选)在运动过程中，如果电动平衡车上避障传感器(3D摄像头、超声波传感器等)，发现运动方向出现障碍物，则电动平衡车启动避障逻辑，刹车并尝试向没有障碍物的方向调整运动方向，直到牵引向目标点的方向上没有障碍物。

步骤7、不断重复步骤5、6，直到机器人当前坐标与目标点的三维目标位置坐标之间的距离差值小于设定阈值，则此移动控制完成，电动平衡车停车，并通知用户。

步骤8、在电动平衡车的触控显示界面给予用户反馈，提示到达目标位置，并允许用户重新点击目标点开始新的一轮移动控制。当然，在步骤5、6控制过程中，用户亦可随时点击新的目标点位置调整目标位置。

实例2

假设移动电子设备为机器人，机器人上配置有RGB摄像头及IMU。其中，机器人可与一遥控器进行通信并受遥控器的控制，该遥控器为触屏手机或者一带触屏的定制遥控器。移动控制过程如下：

步骤1、机器人通过RGB摄像头拍摄自身的视野图像，并通过无线传输，发送到遥控器端显示。

步骤2、用户在机器人的视野图像中点击一个感兴趣的目标点，机器人得到该点在图像坐标系中RGB坐标(a,b)，开始一轮移动控制过程。

步骤3、重置机器人当前的位置坐标为(0,0,0)，打开基于RGB摄像头+IMU的视觉里程计算法，计算得到RGB摄像头相机光心的三维光心位置坐标，并根据RGB摄像头相机光心相对平衡车底盘运动中心的位置关系(考虑机器人各个关节的伺服位置)，得到底盘运动中心相对于重置后的位置坐标的三维当前坐标(x,y,z)。

步骤4、机器人从(a,b)计算出目标点相对于底盘运动中心的位置(x_t,y_t,z_t)，具体方法如下：

IMU与RGB摄像头对齐的深度值Depth(a,b)未知，记为z；RGB摄像头的相机焦距为f，RGB摄像头的相机主点为(cx,cy)。则目标点相对于RGB摄像头光心的3D位置及三维相对位置坐标为p＝(z*(a-cx)/f,z*(b-cy)/f,z)。已知机器人底盘运动中心相对RGB摄像头光心的空间变换矩阵为T(考虑机器人各个关节的伺服位置)，则(x_t,y_t,z_t)＝T*p。假设用户点击的点位于地面，则可认为y_t＝底盘运动中心高度坐标h，由此约束求解出未知的z，进而得到(x_t,y_t,z_t)。

步骤5、根据机器人当前坐标(x,y,z)和目标点坐标(x_t,y_t,z_t)，用PID控制器牵引机器人底盘向目标点运动。

步骤6、(可选)在运动过程中，如果机器人上避障传感器(IMU、超声波传感器等)，发现运动方向出现障碍物，则机器人启动避障逻辑，刹车并尝试向没有障碍物的方向调整运动方向，直到牵引向目标点的方向上没有障碍物。

步骤7、不断重复步骤5、6，直到机器人当前坐标与目标点的三维目标位置坐标之间的距离差值小于设定阈值，则此移动控制完成，机器人停车，并通知遥控器。

步骤8、在遥控器的触控显示界面给予用户反馈，提示到达目标位置，并允许用户重新点击目标点开始新的一轮移动控制。当然，在步骤5、6控制过程中，用户亦可随时点击新的目标点位置调整目标位置。

通过上述实施例实现了将移动电子设备上的图像中二维坐标到实际环境的三维坐标转换，使得用户可以通过在图像上进行目标位置输入操作来控制移动电子设备移动到对应的空间位置，不需要用户在实时操控移动电子设备的方向操纵杆，解决了现有技术中简易机器人存在的遥控难度大的技术问题，降低简易机器人的控制难度。

实施例二

请参考图3，本申请实施例针对上述实施例提供的一种移动控制方法，还对应提供一种移动电子设备。该移动电子设备中配置有二维摄像头和三维空间检测装置，所述移动电子设备还包括：

响应单元301，用于响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；

获取单元302，用于获得所述三维空间检测装置与所述二维摄像头对齐的深度值；

计算单元303，用于根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；

控制单元304，用于控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

在具体实施过程中，所述计算单元303包括：第一计算子单元和第二计算子单元。第一计算子单元用于根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维相对位置坐标。第二计算子单元用于将所述移动电子设备的运动中心相对所述二维摄像头光心的空间变换矩阵与所述三维相对位置坐标相乘获得所述三维目标位置坐标。

其中，所述第一计算子单元用于通过如下公式计算获得所述三维相对位置坐标P：P＝(z*(a-cx)/f,z*(b-cy)/f,z)；其中，z表示所述深度值，(a,b)表示所述二维目标位置坐标，(cx,cy)表示所述相机主点，f表示所述相机焦距。

在具体实施过程中，所述获取单元302用于：当所述三维空间检测装置为三维摄像头时，通过所述三维摄像头检测获得所述深度值；或者，当所述三维空间检测装置为惯性检测装置IMU时，假设所述三维目标位置坐标中的纵坐标等于所述移动电子设备的运动中心的高度坐标，约束求解出所述深度值。

进一步的，所述移动电子设备还可以包括：检测单元、调整单元及牵引单元。检测单元用于检测在控制所述移动电子设备的运动中心向所述三维目标位置坐标运动之后，获得所述移动电子设备的运动方向上是否存在障碍物；调整单元用于在所述检测单元的检测结果为存在时，在所述移动电子设备与所述障碍物之间的距离小于第一阈值距离时，将所述移动电子设备的运动方向调整为无障碍物的方向；所述检测单元还用于：沿调整后的方向运动第二阈值距离后，检测所述移动电子设备的当前位置与所述三维目标位置坐标之间是否存在障碍物；牵引单元用于在所述检测单元的检测出所述当前位置与所述三维目标位置坐标之间不存在障碍物时，牵引所述移动电子设备从所述当前位置向所述三维目标位置坐标运动。

进一步的，所述移动电子设备还包括：重置单元。该重置单元用于在所述获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标时，重置所述移动电子设备的位置坐标，通过所述三维空间检测装置获得所述二维摄像头的相机光心的三维光心位置坐标；所述获取单元302还用于：根据所述三维光心位置坐标，获得所述移动电子设备的运动中心相对于重置后的位置坐标的三维当前坐标；所述控制单元304还用于：根据所述三维当前坐标和所述三维目标位置坐标牵引所述移动电子设备向所述三维目标位置坐标运动。

关于上述实施例中的移动电子设备，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

实施例三

请参考图4，针对上述实施例一提供的一种移动控制方法，本实施例还提供一种移动控制系统，包括：遥控装置401和移动电子设备402，所述移动电子设备402上配置有二维摄像头和三维空间检测装置；

其中，所述遥控装置401用于接收所述二维摄像头拍摄的所述移动电子设备所处环境的图像并显示，获得在所述图像上进行的目标位置输入操作并将所述目标位置输入操作反馈给所述移动电子设备402；

所述移动电子402设备用于：接收所述遥控装置反馈的所述目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；获得所述三维空间检测装置与所述二维摄像头对齐的深度值；根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备402的运动中心的三维目标位置坐标；控制所述移动电子设备402的运动中心向所述三维目标位置坐标运动。

关于上述实施例中的移动控制系统，其中遥控设备和移动电子设备的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

通过本申请实施例中的一个或多个技术方案，可以实现如下技术效果：

本申请实施例为移动电子设备配置二维摄像头和三维空间检测装置，移动电子设备通过将响应目标位置输入操作获得目标位置在二维摄像头拍摄的图像中的二维目标位置坐标，并获得三维空间检测装置与二维摄像头对齐的深度值，以根据二维目标位置坐标、深度值、二维摄像头的相机焦距和相机主点，计算获得二维目标位置坐标相对移动电子设备的运动中心的三维目标位置坐标，从而控制移动电子设备的运动中心向三维目标位置坐标运动，实现了将移动电子设备上的图像中二维坐标到实际环境的三维坐标转换，使得用户可以通过在图像上进行目标位置输入操作来控制移动电子设备移动到对应的空间位置，不需要用户在实时操控移动电子设备的方向操纵杆，解决了现有技术中简易机器人存在的遥控难度大的技术问题，降低简易机器人的控制难度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种移动控制方法，应用于移动电子设备，其特征在于，所述移动电子设备中安装有二维摄像头和三维空间检测装置，所述方法包括：

响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；

获得所述三维空间检测装置与所述二维摄像头对齐的深度值；

根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；

控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

2.如权利要求1所述的方法，其特征在于，所述根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标，包括：

根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维相对位置坐标；

将所述移动电子设备的运动中心相对所述二维摄像头光心的空间变换矩阵与所述三维相对位置坐标相乘获得所述三维目标位置坐标。

3.如权利要求2所述的方法，其特征在于，所述根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维光心位置坐标，包括：

通过如下公式计算获得所述三维相对位置坐标P：

P＝(z*(a-cx)/f,z*(b-cy)/f,z)；

其中，z表示所述深度值，(a,b)表示所述二维目标位置坐标，(cx,cy)表示所述相机主点，f表示所述相机焦距。

4.如权利要求1所述的方法，其特征在于，所述获得所述三维空间检测装置与所述二维摄像头对齐的深度值，包括：

当所述三维空间检测装置为三维摄像头时，通过所述三维摄像头检测获得所述深度值；或者

当所述三维空间检测装置为惯性检测装置IMU时，假设所述三维目标位置坐标中的纵坐标等于所述移动电子设备的运动中心的高度坐标，约束求解出所述深度值。

5.如权利要求1所述的方法，其特征在于，在控制所述移动电子设备的运动中心向所述三维目标位置坐标运动之后，所述方法还包括：

检测获得所述移动电子设备的运动方向上是否存在障碍物；

若存在，在所述移动电子设备与所述障碍物之间的距离小于第一阈值距离时，将所述移动电子设备的运动方向调整为无障碍物的方向；

沿调整后的方向运动第二阈值距离后，检测所述移动电子设备的当前位置与所述三维目标位置坐标之间是否存在障碍物；

若所述当前位置与所述三维目标位置坐标之间不存在障碍物，牵引所述移动电子设备从所述当前位置向所述三维目标位置坐标运动。

6.如权利要求1所述的方法，其特征在于，所述获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标时，所述方法还包括：

重置所述移动电子设备的位置坐标，通过所述三维空间检测装置获得所述二维摄像头的相机光心的三维光心位置坐标；

根据所述三维光心位置坐标，获得所述移动电子设备的运动中心相对于重置后的位置坐标的三维当前坐标；

所述控制所述移动电子设备的运动中心向所述三维目标位置坐标运动，包括：

根据所述三维当前坐标和所述三维目标位置坐标牵引所述移动电子设备向所述三维目标位置坐标运动。

7.如权利要求1～6任一所述的方法，其特征在于，所述响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标，包括：

将所述二维摄像头拍摄的图像发送至所述移动电子设备对应的遥控装置，通过所述遥控装置对所述图像进行显示；

接收所述遥控装置反馈的所述目标位置输入操作；

响应所述目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标。

8.一种移动电子设备，其特征在于，所述移动电子设备中安装有二维摄像头和三维空间检测装置，所述移动电子设备还包括：

响应单元，用于响应基于所述二维摄像头拍摄的图像进行的目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；

获取单元，用于获得所述三维空间检测装置与所述二维摄像头对齐的深度值；

计算单元，用于根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；

控制单元，用于控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。

9.如权利要求8所述的移动电子设备，其特征在于，所述计算单元包括：

第一计算子单元，用于根据所述深度值、所述二维目标位置坐标、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述二维摄像头光心的三维相对位置坐标；

第二计算子单元，用于将所述移动电子设备的运动中心相对所述二维摄像头光心的空间变换矩阵与所述三维相对位置坐标相乘获得所述三维目标位置坐标。

10.如权利要求9所述的移动电子设备，其特征在于，所述第一计算子单元用于通过如下公式计算获得所述三维相对位置坐标P：

P＝(z*(a-cx)/f,z*(b-cy)/f,z)；

其中，z表示所述深度值，(a,b)表示所述二维目标位置坐标，(cx,cy)表示所述相机主点，f表示所述相机焦距。

11.如权利要求8所述的移动电子设备，其特征在于，所述获取单元用于：

当所述三维空间检测装置为三维摄像头时，通过所述三维摄像头检测获得所述深度值；或者

当所述三维空间检测装置为惯性检测装置IMU时，假设所述三维目标位置坐标中的纵坐标等于所述移动电子设备的运动中心的高度坐标，约束求解出所述深度值。

12.如权利要求8所述的移动电子设备，其特征在于，所述移动电子设备还包括：

检测单元，用于检测在控制所述移动电子设备的运动中心向所述三维目标位置坐标运动之后，获得所述移动电子设备的运动方向上是否存在障碍物；

调整单元，用于在所述检测单元的检测结果为存在时，在所述移动电子设备与所述障碍物之间的距离小于第一阈值距离时，将所述移动电子设备的运动方向调整为无障碍物的方向；

所述检测单元还用于：沿调整后的方向运动第二阈值距离后，检测所述移动电子设备的当前位置与所述三维目标位置坐标之间是否存在障碍物；

牵引单元，用于在所述检测单元的检测出所述当前位置与所述三维目标位置坐标之间不存在障碍物时，牵引所述移动电子设备从所述当前位置向所述三维目标位置坐标运动。

13.如权利要求8所述的移动电子设备，其特征在于，所述移动电子设备还包括：

重置单元，用于在所述获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标时，重置所述移动电子设备的位置坐标，通过所述三维空间检测装置获得所述二维摄像头的相机光心的三维光心位置坐标；

所述获取单元还用于：根据所述三维光心位置坐标，获得所述移动电子设备的运动中心相对于重置后的位置坐标的三维当前坐标；

所述控制单元还用于：根据所述三维当前坐标和所述三维目标位置坐标牵引所述移动电子设备向所述三维目标位置坐标运动。

14.一种移动控制系统，其特征在于，包括：遥控装置和移动电子设备，所述移动电子设备上配置有二维摄像头和三维空间检测装置；

其中，所述遥控装置用于：接收所述二维摄像头拍摄的所述移动电子设备所处环境的图像并显示，获得在所述图像上进行的目标位置输入操作并将所述目标位置输入操作反馈给所述移动电子设备；

所述移动电子设备用于：接收所述遥控装置反馈的所述目标位置输入操作，获得所述目标位置输入操作在所述图像上对应的二维目标位置坐标；获得所述三维空间检测装置与所述二维摄像头对齐的深度值；根据所述二维目标位置坐标、所述深度值、所述二维摄像头的相机焦距和相机主点，计算获得所述二维目标位置坐标相对所述移动电子设备的运动中心的三维目标位置坐标；控制所述移动电子设备的运动中心向所述三维目标位置坐标运动。