CN112372635B - 一种胶囊机器人的控制方法、装置、存储介质及终端 - Google Patents

Abstract

本发明公开了一种胶囊机器人的控制方法、装置、存储介质及终端，所述方法包括：获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；将位姿状态数据和预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据；实现对胶囊机器人偏转角度的精准控制，能够拍摄到目标对象的预设区域的全景图像数据。

Description

一种胶囊机器人的控制方法、装置、存储介质及终端

技术领域

本发明涉及计算机技术领域，特别涉及一种胶囊机器人的控制方法、装置、存储介质及终端。

背景技术

现有的胶囊机器人的结构复杂，且体型不够小巧。因为现有胶囊机器人的结构上和控制算法上限制，因此，限制了胶囊机器人的广泛使用。

在已经布设有众多复杂管道的环境下，若想要拍摄到当前环境下的某一管道内部的场景，需要在管道内部布置胶囊机器人，并通过布置在管道内部的胶囊机器人获取到管道内的图像数据。由于管道内环境复杂，可能出现弯弯绕绕，这样，现有技术无法将胶囊机器人放置于管道内。

即使对现有的胶囊机器人进行改进，将现有的胶囊机器人设计成小巧的结构，且能够将小巧的胶囊机器人放置于复杂环境下的目标对象内，例如，管道，也无法实现对胶囊机器人的精准控制，无法对其转动方向和转动角度进行精准控制，因此，还是无法通过胶囊机器人拍摄到目标对象内的尽可能全的图像数据。

发明内容

本申请实施例提供了一种胶囊机器人的控制方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种胶囊机器人的控制方法，所述方法包括：

获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；

将所述位姿状态数据和所述预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；

通过控制驱动电机带动环形永磁体以所述预设转动方向和所述预设转动速度，转动所述预设转动角度，以使得所述胶囊机器人头部受力发生变化；

根据所述胶囊机器人头部偏转角度的变化，控制所述胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于所述胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

第二方面，本申请实施例提供了一种胶囊机器人的控制装置，所述装置包括：

获取模块，用于获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；

生成模块，用于将所述获取模块获取的所述位姿状态数据和所述预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；

控制模块，用于通过控制驱动电机带动环形永磁体以所述生成模块生成的所述预设转动方向和所述预设转动速度，转动所述预设转动角度，以使得所述胶囊机器人头部偏转角度发生变化；以及

根据所述胶囊机器人头部偏转角度的变化，控制所述胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于所述胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；以及根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据，这样，实现对胶囊机器人偏转角度的精准控制，能够拍摄到目标对象的预设区域的全景图像数据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种胶囊机器人的控制方法的流程示意图；

图2是本申请实施例提供的一种胶囊机器人的控制方法中的控制策略中的神经网络的结构示意图；

图3是本申请实施例提供的一种胶囊机器人和外部驱动装置间隔为30mm的情况下，环形永磁体转动角度和胶囊机器人头部偏转角度之间的关联关系示意图；

图4是本申请实施例提供的另一种胶囊机器人的控制方法的流程示意图；

图5是本申请实施例提供的一种胶囊机器人的控制装置的结构示意图；

图6是本申请实施例提供的一种终端的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

到目前为止，现有技术由于无法实现对胶囊机器人的精准控制，无法对其转动角度进行精准控制，因此，无法通过胶囊机器人拍摄到目标对象内的尽可能全的图像数据。为此，本申请提供了一种胶囊机器人的控制方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，通过控制驱动电机的带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部受力偏转角度发生变化；以及根据胶囊机器人头部受力偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据，由于本申请能够根据胶囊机器人头部受力偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据，这样，能够实现对胶囊机器人偏转角度的精准控制，能够拍摄到目标对象的预设区域的全景图像数据，下面采用示例性的实施例进行详细说明。

下面将结合附图1，对本申请实施例提供的胶囊机器人的控制方法进行详细介绍。该胶囊机器人的控制方法可依赖于计算机程序实现，可运行于胶囊机器人的控制装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，PDA)、5G网络或未来演进网络中的终端设备等。

请参见图1，为本申请实施例提供了一种胶囊机器人的控制方法的流程示意图。如图1所示，本申请实施例的胶囊机器人的控制方法可以包括以下步骤：

S101，获取胶囊机器人的位姿状态数据和预设期望偏转角度数据。

在此步骤中，位姿状态数据包括以下至少一项：当前头部偏转角度数据、当前头部角速度数据。

在一种可能的实现方式中，在获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之前，所述方法还包括以下步骤：

通过数据采集模块采集位姿状态数据，其中，数据采集模块为嵌入在胶囊机器人头部的加速度计。

在一种可能的实现方式中，在获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之后，所述方法还包括以下步骤：

根据位姿状态数据和预设期望偏转角度数据，确定驱动电机的控制量。

S102，将位姿状态数据和预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度。

在此步骤中，在将位姿状态数据和预设期望偏转角度数据输入至第一模型之前，所述方法还包括以下步骤：

读取位姿状态数据；其中，位姿状态数据包括以下至少一项：当前头部偏转角度数据、当前头部角速度数据。

在此步骤中，第一模型采用的深度强化学习算法为DDPG(Deep DeterministicPolicy Gradient，深度确定性策略梯度)算法，其中，马尔科夫决策过程采用的模型为：状态空间

设计为：

其中，y_e是第一期望角度与第一当前拍摄角度对应的第一差值，w_y是安装于胶囊机器人头部的摄像头的角速度；在y_e小于第一预设差值阈值时，则flag的数值为1，否则，flag的数值为0；

动作空间

设计为：

其中，γ_a是电机旋转控制指令；

奖励函数设计为：

其中，y_emax是第二期望角度与第二当前拍摄角度对应的第二差值的最大值，α_a是演员网络输出结果，演员网络输出结果用于确定控制量，k_a是一个常系数，y_c是在完成一次预设动作后，胶囊机器人头部角度的变化量，k_c是一个常系数，r_g是在第二差值小于第二预设差值阈值时赋予的额外奖励常量。

本公开实施例提供的胶囊机器人的控制方法，基于本公开实施例的胶囊机器人结构小巧，能够放置于复杂环境下的管道内，或者，将胶囊机器人放置于人体内，用于采集人体内的预设部位的预设区域的全景图像数据。例如，预设部位为腹腔内。通过控制胶囊机器人自如地旋转，能够通过安装于胶囊机器人头部的摄像头拍摄到腹腔内的全景图像数据。需要说明的是，获取到的全景图像数据并不能够直接用于治疗疾病，仅仅是治疗疾病的一个中间过程而已。本公开实施例提供的胶囊机器人是用于获取复杂环境下的全景图像数据。上述仅仅罗列了本公开实施例提供的胶囊机器人的多种应用场景中的一部分，还可以应用于其它复杂环境下的应用场景，在此不再赘述。

如图2所示，是本申请实施例提供的一种胶囊机器人的控制方法中采用的控制策略网络的结构示意图。如图2所示的控制策略网络是针对第一模型的。

如图2所示的两个神经网络的结构示意图，分别对应于DDPG算法中得演员网络和评论家网络。这两个神经网络每个网络为具有500、200、10和1个节点的四层神经网络组成。对于演员和评论家网络的前三层使用了relu激活函数，对于演员网络的输出层使用了tanh激活函数，对于评论家网络输出层未使用激活函数。神经网络网络的输入输出，更新方式都是常规的DDPG算法内容，在此不再赘述。

S103，通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化。

在此步骤中，通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，从而导致内部胶囊机器人头部位置的磁场产生变化；由于胶囊机器人头部嵌入的永磁体受力产生变化，导致胶囊机器人头部受力发生变化，最终，胶囊机器人头部偏转角度也发生了变化。

在此步骤中，为了将胶囊机器人设置成为小巧的结构，将胶囊机器人和驱动其转动的外部驱动装置及外部驱动装置的驱动电机均与胶囊机器人分体设置。将用于驱动胶囊机器人转动的外部驱动装置设置在复杂环境外，而将小巧的胶囊机器人放置于复杂环境内。

S104，根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

通过实验数据可知，通过本公开实施例提供的控制方法，在胶囊机器人驱动装置和机器人间隔20mm至40mm时，均可以实现任意偏转角度，且最大偏转角度大于60度，在任意偏转角度的过程中不发生抖动，在偏转的过程中仍然保持稳定地偏转，且稳态误差小于0.5度。

如图3所示，是本申请实施例提供的一种胶囊机器人和外部驱动装置间隔为30mm的情况下，环形永磁体转动角度和胶囊机器人头部偏转角度之间的关联关系示意图。通过图3就可以直观地获知：环形永磁体转角度和胶囊机器人头部偏转角度之间的对应关系。例如，环形永磁体转了一圈，胶囊机器人头部偏转角度的变换情况。

在一种可能的实现方式中，在根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度时，所述方法还包括以下步骤：

判断胶囊机器人头部是否发生抖动，在判断出胶囊机器人头部发生抖动的情况下，通过第二模型以消除胶囊机器人头部的抖动动作。

需要说明的是，第二模型的实现方式是模仿人体肌肉控制特性。人体手臂肌肉中有一个部分叫肌梭，肌梭使人体肌肉具有该特性：肌梭使系统在高速下表现出低粘度，但在低速下转变成高粘度。

模拟目标对象性能的性能曲线为：

其中，σ取值为0.05，μ取值为第三期望角度，k_m取值为6.25*10^-6，x为当前实际角度；

基于性能曲线的函数结果，对演员网络输出结果进行调整，

进行调整的公式为：

由上面的表达式可以看出，在偏差角度较大时，直接采用DDPG算法训练后得到的结果；当偏差角度较小时，对偏差结果使用钟型函数y作为系数进行了修正，而在本公开实施例提供的控制方法中，偏差角度和速度大小之间又是成正比的关系，偏差角度越大速度越大。这样，本公开实施例提供的控制方法，便具有在高速下表现出低粘度，但在低速下转变成高粘度的特性。该特性同时可以保持在静态稳定状态下，抵抗小信号干扰，有利于保持静态稳定性。

在一种可能的实现方式中，在实际应用中，为了避开电机的死区，对y做了如下修正：本公开实施例提供的控制方法还包括以下步骤：

对第二模型进行修正，得到修正后的第二模型；

其中，对第二模型进行修改的性能曲线函数为：

其中，σ取值为0.05，μ取值为第三期望角度，k_m取值为6.25*10^-6，x为当前实际角度；

通过上述步骤，可以在监测到在控制外部驱动装置以预设转动方向和预设转动速度，转动预设转动角度时，胶囊机器人头部发生抖动的情况下，有效地避免抖动，从而实现通过胶囊机器人拍摄到的目标对象的预设区域的全景图像因为有效地避免抖动，拍摄到的图像更加清晰。

如图4所示，为本申请实施例提供的另一种胶囊机器人的控制方法的流程示意图。

步骤a1：开始；

步骤a2：通过传感器获取当前头部位姿状态信息、输入预期偏转角度；

步骤a3：由步骤a2中的信息获得角度偏差信息(预期偏转角度减去真实偏转角度)、头部角速度信息和一个标志信息(如果预期偏转角度和真实偏转角度偏差小于1°，则标志位为1，大于1°，则标志位为0)；上述信息作为DDPG控制算法的输入；

步骤a4：将步骤a3中的信息输入到训练好的模型中，由训练好的模型给出电机应该偏转的角度信息(一个值，这个值可以体现出偏转方向和偏转角度)；控制程序根据偏差角度的大小，给出电机的偏转速度信息；

步骤a5：将得到的电机控制信息给到电机驱动器，驱动电机转动，电机转动带动胶囊机器人的外部驱动装置的环形永磁体的转动，环形永磁体的转动导致内部结构头部永磁体位置处磁场变化，头部受力发生变化，从而头部弯曲角度实现变化，最终导致胶囊机器人的头部偏转角度发生变化；

步骤a6：判断预期偏转角度和真实偏转角度是否一致；在预期偏转角度和真实偏转角度一致的情况下，传感器定时采集头部位姿状态信息，监测预期偏转角度和真实偏转角度的偏差是否大于1°(预期偏转角度发生变化，位姿状态发生变化均可能导致偏差变化)；在预期偏转角度和真实偏转角度不一致的情况下，返回步骤a2，重复上述步骤a2至步骤a6的过程，直至判断出预期偏转角度和真实偏转角度一致为止；

步骤a7：判断预期偏转角度和真实偏转角度之间的偏差是否大于1°，在判断出预期偏转角度和真实偏转角度之间的偏差小于1°的情况下，持续监测该偏差是否始终保持小于1°。若监测到该偏差大于1°时，返回步骤a2，重复上述步骤a2至步骤a6的过程，直至预期偏转角度和真实偏转角度保持一致时为止，这样，能够有效地保证预期偏转角度和真实偏转角度之间的偏差始终保持小于1°，这样，实现了对胶囊机器人的精准控制。

在本申请实施例中，通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；以及根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据，这样，实现对胶囊机器人偏转角度的精准控制，能够拍摄到目标对象的预设区域的全景图像数据。

下述为本发明胶囊机器人控制装置实施例，可以用于执行本发明胶囊机器人控制方法实施例。对于本发明胶囊机器人控制装置实施例中未披露的细节，请参照本发明胶囊机器人控制方法实施例。

请参见图5，其示出了本发明一个示例性实施例提供的胶囊机器人的控制装置的结构示意图。该胶囊机器人的控制装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该胶囊机器人的控制装置包括获取模块10、生成模块20和控制模块30。

具体而言，获取模块10，用于获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；

生成模块20，用于将获取模块10获取的位姿状态数据和预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；

控制模块30，用于通过控制驱动电机的环形永磁体以生成模块20生成的预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；以及

根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

可选的，所述装置还包括读取模块(在图5中未示出)，用于在将位姿状态数据和预设期望偏转角度数据输入至第一模型之前，读取位姿状态数据；其中，读取模块读取出的位姿状态数据包括以下至少一项：当前头部偏转角度数据、当前头部角速度数据。

可选的，所述装置还包括：

数据采集模块(在图5中未示出)，用于在获取模块10获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之前，通过数据采集模块采集位姿状态数据，其中，数据采集模块为嵌入在胶囊机器人头部的加速度计。

可选的，所述装置还包括：

确定模块(在图5中未示出)，用于在获取模块10获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之后，根据位姿状态数据和预设期望偏转角度数据，确定驱动电机的控制量。

可选的，第一模型采用的深度强化学习算法为DDPG算法，其中，马尔科夫决策过程采用的模型为：状态空间

设计为：

其中，y_e是第一期望角度与第一当前拍摄角度对应的第一差值，w_y是安装于胶囊机器人头部的摄像头的角速度；在y_e小于第一预设差值阈值时，则flag的数值为1，否则，flag的数值为0；

动作空间

设计为：

其中，γ_a是电机旋转控制指令；

奖励函数设计为：

其中，y_emax是第二期望角度与第二当前拍摄角度对应的第二差值的最大值，α_a是演员网络输出结果，演员网络输出结果用于确定控制量，k_a是一个常系数，y_c是在完成一次预设动作后，胶囊机器人头部角度的变化量，k_c是一个常系数，r_g是在第二差值小于第二预设差值阈值时赋予的额外奖励常量。

可选的，所述装置还包括：

判断模块(在图5中未示出)，用于在控制模块根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度时，判断胶囊机器人头部是否发生抖动，在判断出胶囊机器人头部发生抖动的情况下，通过第二模型以消除胶囊机器人头部的抖动动作。

可选的，所述装置还包括：

修正模块(在图5中未示出)，用于第二模型进行修正，得到修正后的第二模型。

需要说明的是，上述实施例提供的胶囊机器人的控制装置在执行胶囊机器人的控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的胶囊机器人的控制装置与胶囊机器人的控制方法实施例属于同一构思，其体现实现过程详见胶囊机器人的控制方法实施例，这里不再赘述。

在本申请实施例中，控制模块通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；以及根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据，这样，实现对胶囊机器人偏转角度的精准控制，能够拍摄到目标对象的预设区域的全景图像数据。

本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的胶囊机器人的控制方法。

本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的胶囊机器人的控制方法。

请参见图6，为本申请实施例提供了一种终端的结构示意图。如图6所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及胶囊机器人的控制应用程序。

在图6所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的胶囊机器人的控制应用程序，并具体执行以下操作：

获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；

将位姿状态数据和预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；

通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；

根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

在一个实施例中，处理器1001在执行在将位姿状态数据和预设期望偏转角度数据输入至第一模型之前，执行以下操作：

读取位姿状态数据；其中，位姿状态数据包括以下至少一项：

当前头部偏转角度数据、当前头部角速度数据。

在一个实施例中，处理器1001在执行在获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之前，执行以下操作：

通过数据采集模块采集位姿状态数据，其中，数据采集模块为嵌入在胶囊机器人头部的加速度计。

在一个实施例中，处理器1001在执行在获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之后，还执行以下操作：

根据位姿状态数据和预设期望偏转角度数据，确定驱动电机的控制量。

在一个实施例中，第一模型采用的深度强化学习算法为DDPG算法，其中，马尔科夫决策过程采用的模型为：状态空间

设计为：

其中，y_e是第一期望角度与第一当前拍摄角度对应的第一差值，w_y是安装于胶囊机器人头部的摄像头的角速度；在y_e小于第一预设差值阈值时，则flag的数值为1，否则，flag的数值为0；

动作空间

设计为：

其中，γ_a是电机旋转控制指令；

奖励函数设计为：

其中，y_emax是第二期望角度与第二当前拍摄角度对应的第二差值的最大值，α_a是演员网络输出结果，演员网络输出结果用于确定控制量，k_a是一个常系数，y_c是在完成一次预设动作后，胶囊机器人头部角度的变化量，k_c是一个常系数，r_g是在第二差值小于第二预设差值阈值时赋予的额外奖励常量。

在一个实施例中，处理器1001在执行在根据胶囊机器人的头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度时，还执行以下操作：

判断胶囊机器人头部是否发生抖动，在判断出胶囊机器人头部发生抖动的情况下，通过第二模型以消除胶囊机器人头部的抖动动作。

在一个实施例中，处理器1001还执行以下操作：

对第二模型进行修正，得到修正后的第二模型。在本申请实施例中，通过控制驱动电机带动环形永磁体以预设转动方向和预设转动速度，转动预设转动角度，以使得胶囊机器人头部偏转角度发生变化；根据胶囊机器人头部偏转角度的变化，控制胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据；这样，能够实现对胶囊机器人的精准控制，能够拍摄到目标对象的预设区域的全景图像数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (9)

1.一种胶囊机器人的控制方法，其特征在于，所述方法包括：

获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；

将所述位姿状态数据和所述预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；所述第一模型采用的深度强化学习算法为DDPG算法，其中，马尔科夫决策过程采用的模型为：状态空间

设计为：

其中，y_e是第一期望角度与第一当前拍摄角度对应的第一差值，w_y是安装于所述胶囊机器人头部的摄像头的角速度；在y_e小于第一预设差值阈值时，则flag的数值为1，否则，flag的数值为0；

动作空间

设计为：

其中，γ_a是电机旋转控制指令；

奖励函数设计为：

其中，y_emax是第二期望角度与第二当前拍摄角度对应的第二差值的最大值，α_a是演员网络输出结果，所述演员网络输出结果用于确定所述驱动电机的控制量，k_a是一个常系数，y_c是在完成一次预设动作后，所述胶囊机器人头部角度的变化量，k_c是一个常系数，r_g是在所述第二差值小于第二预设差值阈值时赋予的额外奖励常量；

通过控制驱动电机带动环形永磁体以所述预设转动方向和所述预设转动速度，转动所述预设转动角度，以使得所述胶囊机器人头部偏转角度发生变化；

根据所述胶囊机器人头部偏转角度的变化，控制所述胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于所述胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

2.根据权利要求1所述的方法，其特征在于，在所述将所述位姿状态数据和所述预设期望偏转角度数据输入至第一模型之前，所述方法还包括：

读取所述位姿状态数据；

其中，所述位姿状态数据包括以下至少一项：

当前头部偏转角度数据、当前头部角速度数据。

3.根据权利要求1所述的方法，其特征在于，在所述获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之前，所述方法还包括：

通过数据采集模块采集所述位姿状态数据，其中，所述数据采集模块为嵌入在所述胶囊机器人头部的加速度计。

4.根据权利要求1所述的方法，其特征在于，在所述获取胶囊机器人的位姿状态数据和预设期望偏转角度数据之后，所述方法还包括：

根据所述位姿状态数据和所述预设期望偏转角度数据，确定所述驱动电机的控制量。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述胶囊机器人头部偏转角度的变化，控制所述胶囊机器人头部稳定地偏转至预设期望偏转角度时，所述方法还包括：

判断所述胶囊机器人头部是否发生抖动，在判断出所述胶囊机器人头部发生抖动的情况下，通过第二模型以消除所述胶囊机器人头部的抖动动作。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述第二模型进行修正，得到修正后的第二模型。

7.一种胶囊机器人的控制装置，其特征在于，所述装置包括：

获取模块，用于获取胶囊机器人的位姿状态数据和预设期望偏转角度数据；

生成模块，用于将所述获取模块获取的所述位姿状态数据和所述预设期望偏转角度数据输入至第一模型，生成驱动电机转动的预设转动方向、预设转动角度和预设转动速度；所述第一模型采用的深度强化学习算法为DDPG算法，其中，马尔科夫决策过程采用的模型为：状态空间

设计为：

其中，y_e是第一期望角度与第一当前拍摄角度对应的第一差值，w_y是安装于所述胶囊机器人头部的摄像头的角速度；在y_e小于第一预设差值阈值时，则flag的数值为1，否则，flag的数值为0；

动作空间

设计为：

其中，γ_a是电机旋转控制指令；

奖励函数设计为：

其中，y_emax是第二期望角度与第二当前拍摄角度对应的第二差值的最大值，α_a是演员网络输出结果，所述演员网络输出结果用于确定所述驱动电机的控制量，k_a是一个常系数，y_c是在完成一次预设动作后，所述胶囊机器人头部角度的变化量，k_c是一个常系数，r_g是在所述第二差值小于第二预设差值阈值时赋予的额外奖励常量；

控制模块，用于通过控制驱动电机带动环形永磁体以所述生成模块生成的所述预设转动方向和所述预设转动速度，转动所述预设转动角度，以使得所述胶囊机器人头部偏转角度变化；以及

根据所述胶囊机器人头部偏转角度的变化，控制所述胶囊机器人头部稳定地偏转至预设期望偏转角度，以便于安装于所述胶囊机器人头部的摄像头能够拍摄到目标对象的预设区域的全景图像数据。

8.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至6任意一项所述的方法步骤。

9.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至6任意一项所述的方法步骤。

Images