CN105739365B - 信息处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种信息处理方法及电子设备，方法包括：获取第一控制指令，所述控制指令用于指示在行进过程中对电子设备进行控制；在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；将所提取出的图像特征与所述三维地图中标识的电子设备对应的图像特征进行匹配；当提取出的图像特征与所述三维地图中标识的电子设备的图像特征匹配时，发送控制信号，其中，所述控制信号用于触发所述匹配到的电子设备解析所述控制信号得到第二控制指令，并执行所述第二控制指令。通过本发明，能够使机器人对已有的非智能电子设备(如仅支持红外遥控的家电设备)、以及智能电子设备均可以进行控制，以节约对非智能电子设备的改造成本。

Description

信息处理方法及电子设备

技术领域

本发明涉及信息处理技术，尤其涉及一种信息处理方法及电子设备。

背景技术

利用机器人对电子设备(如空调、电视机)进行控制是一个非常吸引人的功能；目前，机器人仅能够与智能电子设备如(智能电视、智能空调等新一代家用电器)进行控制，由于智能电子设备出现较晚，并未完全普及，导致机器人仅能够应用在设置智能电子设备的场合，在未设置智能电子设备的场合中无法普及使用；如何能够使机器人对已有的非智能电子设备(如仅支持红外遥控的家电设备)进行控制，以节约对非智能电子设备的改造成本，相关技术尚无有效解决方案。

发明内容

本发明实施例提供一种信息处理方法及电子设备，能够使机器人对已有的非智能电子设备(如仅支持红外遥控的家电设备)、以及智能电子设备进行控制，以节约对非智能电子设备进行控制的改造成本。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种信息处理方法，所述方法包括：

获取第一控制指令，所述控制指令用于指示在行进过程中对电子设备进行控制；

在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；

将所提取出的图像特征与所述三维地图中标识的电子设备对应的图像特征进行匹配；

当提取出的图像特征与所述三维地图中标识的电子设备的图像特征匹配时，发送控制信号，其中，

所述控制信号用于触发所述匹配到的电子设备解析所述控制信号得到第二控制指令，并执行所述第二控制指令。

优选地，获取第一控制指令之前，所述方法还包括：

在行进过程中进行图像采集得到三维点云数据，基于所述三维点云数据在所述三维地图中进行定位得到定位结果；

从所述三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在所述三维地图中对应所述定位结果的位置标识匹配到的候选电子设备；其中，

所述三维地图为基于在行进过程中采集到的三维点云数据构建。

优选地，获取第一控制指令之前，所述方法还包括：

对候选电子设备的图像进行特征提取得到图像特征；

建立所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，所述控制信息包括控制信号与所述候选电子设备支持的控制指令的对应关系。

优选地，发送控制信号之前，所述方法还包括：

根据所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，确定与所述提取出的图像特征对应的控制信息；

在所确定的控制信息中检测与所述第二控制指令对应的控制信号作为待发送的控制信号。

优选地，发送控制信号之前，所述方法还包括：

获取控制策略，所述控制策略与所述提取出的图像特征匹配的电子设备对应，且包括至少一个控制条件以及与所述控制条件关联的控制指令；

确定满足的控制条件，并基于所确定的控制条件确定所述第二控制指令，所述第二控制指令与所述确定的控制条件在所述控制策略中关联。

优选地，发送控制信号之前，所述方法还包括：

基于所述采集到三维点云数据在所述三维地图中进行定位；

基于定位结果判断是否处于待控制电子设备的控制信号的有效控制区域，所述待控制电子设备由所述第一控制指令指示；

当判断结果为是时，触发发送所述控制信号。

本发明实施例还提供一种电子设备，所述电子设备包括：

第一获取单元，用于获取第一控制指令，所述控制指令用于指示在行进过程中对电子设备进行控制；

采集提取单元，用于在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；

匹配单元，用于将所提取出的图像特征与所述三维地图中标识的电子设备对应的图像特征进行匹配

控制单元，用于当提取出的图像特征与所述三维地图中标识的电子设备的图像特征匹配时，发送控制信号，其中，

所述控制信号用于触发所述匹配到的电子设备解析所述控制信号得到第二控制指令，并执行所述第二控制指令。

优选地，所述电子设备还包括：

第一定位单元，用于在行进过程中进行图像采集得到三维点云数据，基于所述三维点云数据在所述三维地图中进行定位得到定位结果；

标识单元，用于从所述三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在所述三维地图中对应所述定位结果的位置标识匹配到的候选电子设备，并在标识所述匹配到的候选电子设备之后触发所述第一获取单元；其中，

所述三维地图为基于在行进过程中采集到的三维点云数据构建。

优选地，所述电子设备还包括：

特征提取单元，用于对候选电子设备的图像进行特征提取得到图像特征；建立所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，所述控制信息包括控制信号与所述候选电子设备支持的控制指令的对应关系，并在建立所述对应关系之后触发所述第一获取单元。

优选地，所述电子设备还包括：

第一确定单元，用于根据所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，确定与所述提取出的图像特征对应的控制信息；

第二确定单元，用于在所述确定的控制信息中检索与所述第二控制指令对应的控制信号作为待发送的控制信号，触发所述控制单元发送所述控制信号。

优选地，所述电子设备还包括：

第二获取单元，用于获取控制策略，所述控制策略与所述提取出的图像特征匹配的电子设备对应，且包括至少一个控制条件以及与所述控制条件关联的控制指令；

第三确定单元，用于确定满足的控制条件，并基于所确定的控制条件确定所述第二控制指令，所述第二控制指令与所述确定的控制条件在所述控制策略中关联。

优选地，所述电子设备还包括：

第二定位单元，用于基于所述采集到三维点云数据在所述三维地图中进行定位；

判断单元，基于定位结果判断是否处于待控制电子设备的控制信号的有效控制区域，所述待控制电子设备由所述第一控制指令指示；

当判断结果为是时，触发所述控制单元发送所述控制信号。

本发明实施例中，由于控制信号是在采集图像的图像特征与三维地图中的待控制电子设备的图像特征匹配之后发送，也就是说，通过图像采集将行进路径中的电子设备与三维地图中的电子设备基于图像特征进行匹配，当匹配成功时，可以基于三维地图中标识的电子设备对应的信息，确定匹配成功的电子设备是智能电子设备还是非智能电子设备，以通过发出匹配到的电子设备能够识别的控制信号(三维地图中的电子设备能够识别的控制信号的信息可以预在建立三维地图时获取)，实现对待控制电子设备的控制。

附图说明

图1为本发明实施例中信息处理方法的实现流程示意图一；

图2为本发明实施例中信息处理方法的实现流程示意图二；

图3为本发明实施例中信息处理方法的实现流程示意图三；

图4为本发明实施例中信息处理方法的实现流程示意图四；

图5a至图5f为本发明实施例中电子设备的结构示意图。

具体实施方式

发明人在实施本发明的过程中发现，目前，机器人仅能够与智能电子设备进行通信，以对智能电子设备(如智能电视、智能空调等新一代家用电器)进行控制，由于智能电子设备出现较晚，并未完全普及，导致机器人仅能够应用在设置智能电子设备的场合，在未设置智能电子设备的场合中无法普及，如何能够使机器人对已有的非智能电子设备(如仅支持红外遥控的家电设备)进行控制，以节省对非智能电子设备的改造成本，相关技术尚无有效解决方案；

发明人在实施本发明的过程中还发现，如果电子设备(如机器人)获取到第一控制指令时(控制指令用于指示在行进过程中对电子设备进行控制，待控制电子设备可以为智能电子设备，也可以为非智能电子设备)，电子设备可以在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；将所提取出的图像特征与三维地图对应的图像特征进行匹配；当提取出的图像特征与三维地图中标识的电子设备(对应待控制电子设备)的图像特征匹配时，发送控制信号，控制信号用于触发匹配到的电子设备(对应待控制电子设备)解析控制信号得到第二控制指令，并执行第二控制指令；由于控制信号是在采集图像的图像特征与三维地图中的待控制电子设备的图像特征匹配之后发送，也就是说，通过图像采集将行进路径中的电子设备与三维地图中的电子设备基于图像特征进行匹配，当匹配成功时，可以基于三维地图中标识的电子设备对应的信息，确定匹配成功的电子设备是智能电子设备还是非智能电子设备，以通过发出匹配到的电子设备能够识别的控制信号(三维地图中的电子设备能够识别的控制信号的信息可以预在建立三维地图时获取)，实现对待控制电子设备的控制。

下面结合附图和具体实施例对本发明作进一步详细说明。

实施例一

本实施例记载一种信息处理方法，可以应用于机器人，以使机器人支持在行进的过程中对电子设备进行控制，如图1所示，本实施例记载的信息处理方法包括以下步骤：

步骤101，获取第一控制指令。

控制指令用于指示在机器人在行进过程中，对环境中的电子设备(简称为待控制电子设备)进行控制，待控制电子设备的数量可以为一个或多个，且可以为智能电子设备，也可以为非智能电子设备；通常，智能电子设备支持多样化的控制模式，如基于网络连接、基于蓝牙、无线保真度(WiFi)等通信方式接收控制信号，以从控制信号中解析出控制指令并进行响应；非智能电子设备往往仅支持单一化的控制方式，如通过红外信号控制。

步骤102，在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征。

机器人可以在本地基于图像采集得到的三维点云数据提取出图像特征，或者，机器人可以将图像采集得到的三维点云数据上传至云端服务器，由云端服务器基于三维点云数据提取出图像特征。

三维点云数据包括对环境进行图像采集时所得到的环境中三维空间点的信息，采用激光测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和激光反射强度；根据摄影测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和红绿蓝(RGB)信息；基于三维点云数据提取出的图像特征可以采用特征点的方式表征，特征点可以为环境中任何物体上的任何部位的成像点如物体的边缘处的点，也可以是物体上的与该物体的特性不一致的点，如白色物体上的黑色斑点，物体上凸起的点，物体上凹下点，金属制物体上的锈点，物体表面漆体上的剥落点等。

关于基于环境中三维点云数据进行特征提取的方式，可以采用以下方式任意一种：尺度不变特征变换(SIFT，Scale Invariant Feature Transform)方式、加速鲁棒性特征(SURF Speeded-Uprobust Features)方式和二进制简单描述符(ORB，Oriented Brief)方式。

步骤103，将所提取出的图像特征与三维地图中标识的电子设备对应的图像特征进行匹配；如果匹配，则执行步骤104；否则继续执行步骤103。

机器人可以在本地利用提取出的图像特征(如步骤102中所述，图像特征可以由机器人自身提取，或者由云端服务器提取)与三维地图中标识的电子设备对应的图像特征进行匹配；或者，由云端服务器在利用提取出的图像特征与三维地图中的标识的电子设备对应的图像特征进行匹配，并将匹配结果下发至机器人；考虑到图像特征提取与匹配的运算量通常较大，因此，将图像特征提取和图像特征匹配的处理由云端服务器完成可以节省机器人的计算资源，提高计算效率，节约在环境中部署机器人的成本。

三维地图中的图像特征同样可以采用特征点的方式表征，当电子设备基于在某一位置进行图像采集得到的三维点云数据得到的图像特征(由一系列特征点构成)，与三维地图中标识的某一电子设备的图像特征(由一系列特征点构成)匹配的程度(可以基于匹配的特征点的数量来表征)超过预设阈值时，则确定当前提取的图像特征与该电子设备的图像特征匹配，进而可以确定机器人当前所处的区域中设置有待控制电子设备。

步骤104，当提取出的图像特征与三维地图中标识的电子设备的图像特征匹配时，发送控制信号。

机器人发送的控制信号用于触发所述匹配到的电子设备解析控制信号得到第二控制指令，并执行第二控制指令。

实际应用中，由于在三维地图中已经预先标识了位于环境中的电子设备(也即待控制电子设备)，也就是说，待控制电子设备的信息(如支持的控制方式、支持的控制信号与控制指令之间的对应关系)可以预先获取，从而，当匹配到电子设备时，可以基于需要待控制电子设备执行的指令(也即第二控制指令)、以及预先获取的对应关系，确定控制信号并发送，从而使待控制电子设备从控制信号中解析出第二控制指令并执行；控制信号的发送方式可以基于待控制电子设备的支持的控制方式发送，如果仅支持红外控制则发送红外控制信号；如果支持基于蓝牙和WiFi的控制方式，则可以尝试与待控制电子设备建立蓝牙或WiFi连接，并通过建立的连接发送控制信号。

实施例二

机器人接收到指示在行进过程中对环境中的电子设备进行控制的第一控制指令时，需要将在行进过程中采集的图像对应的图像特征与三维地图的图像特征进行匹配，以确定当前是否采集到行进路径中的电子设备对应的图像，也即是否行进到环境中的电子设备附近的区域；通常，电子设备在响应第一控制指令之前，需要遍历环境对环境进行图像采集，以基于图像采集结果建立环境的三维地图，并在三维地图中标识基于图像采集识别出的位于环境中的电子设备；鉴于向不同的电子设备发送控制信号的编码方式不同(例如需要电视机与电冰箱关闭电源以及执行控制指令“关闭电源”时，向电视机和电冰箱发送控制信号的编码方式不同，也即发送不同的控制信号)，因此，可以建立候选电子设备的图像特征与候选电子设备的控制信息(控制信息包括候选电子设备的控制信号与候选电子设备支持的控制指令的对应关系，表征待控制电子设备的控制信号的编码方式)，这样，当基于图像采集提取出的图像特征与环境中标识的电子设备(也即待控制电子设备)的图像特征匹配，也即机器人行进到设置有电子设备的区域中时，可以基于图像采集结果提取出的图像特征在上述对应关系检索得到待控制电子设备的控制信息，并基于需要待控制电子设备执行的控制指令(对应第二控制指令)在控制信息中检索，可以确定需要发送的控制信号，从而实现对待控制电子设备的控制。

本实施例中设机器人行进路径中的电子设备均为待控制电子设备，下面结合具体处理进行说明，本实施例记载的信息处理方法可以应用于机器人，以使机器人支持在行进的过程中对电子设备进行控制，如图2所示，本实施例记载的信息处理方法包括以下步骤：

步骤201，机器人在行进过程中进行图像采集得到三维点云数据，基于三维点云数据构建三维地图。

机器人可以将采集的三维点云数据上传云端服务器，由云端服务器基于三维点云数据构建三维地图，以降低机器人的设计要求，节约在环境中部署机器人的成本；或者，机器人在自身的运算资源充足的情况下，可以在本地基于所采集的三维点云数据构建三维地图。

步骤202，基于采集三维点云数据在三维地图中进行定位得到定位结果。

机器人可以基于云端服务器构建的三维地图进行定位，或者，由云端服务器进行定位并将定位结果下发至机器人；在三维地图中进行定位、可以通过即时定位与地图构建(SLAM，Simultaneous Localization and Mapping)方式或随机抽样一致算法(RANSAC，Random Sample Consensus Algorithm)方式。

步骤203，从采集的三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在三维地图中与采集的三维点云数据对应定位结果匹配的位置，标识匹配到的候选电子设备。

候选电子设备的图像特征可以基于对已有的不同品牌、型号的电子设备进行图像采集，并基于图像采集结果进行提取得到。

步骤201至步骤203为构建三维地图，并在构建的三维地图中对应的位置标识环境中的电子设备的处理，需要指出的是，建立三维地图并在三维地图中标识电子设备之后，除非环境中的电子设备发生变更，否则步骤201至步骤203无需重复执行。

步骤204，建立候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系。

上述对应关系可以机器人建立并维护，也可以由云端服务器建立并维护，通常，候选电子设备的数量较大，因此，由云端服务器建立并维护上述对应关系可以节约部署机器人的成本；

控制信息包括控制信号与候选电子设备支持的控制指令的对应关系，控制信息可以理解为控制信号的编码方式，例如，基于控制信息，当需要待控制电子设备执行控制指令“关闭电源”时，可以在控制信号与候选电子设备支持的控制指令的对应关系中检索控制指令“关闭电源”对应的控制信号(也即如何对“关闭电源”对应的控制信号进行编码)，以使待控制电子设备基于接收的控制信号正确解析出控制指令。

后续处理中，当机器人行进过程中获取三维点云数据，基于获取的三维点云数据提取出图像特征，当所提取出的图像特征与三维地图中标识的电子设备的图像特征匹配时，可以基于所提取出的图像特征在步骤204建立的对应关系进行检索，得到待控制电子设备对应的控制信息，从而，基于待控制电子设备对应的控制信息、以及待控制电子设备执行的控制指令，确定需要发送的控制信号，以下步骤将进行说明。

步骤205，获取第一控制指令。

所述控制指令用于指示在机器人在行进过程中，对环境中的电子设备(简称为待控制电子设备)进行控制，待控制电子设备的数量可以为一个或多个，且可以为智能电子设备，也可以为非智能电子设备；通常，智能电子设备支持多样化的控制模式，如基于网络连接、基于蓝牙、无线保真度(WiFi)等通信方式接收控制信号，以从控制信号中解析出控制指令并进行响应；非智能电子设备往往仅支持单一化的控制方式，如通过红外信号控制。

步骤206，在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征。

机器人可以在本地基于图形采集得到的三维电源数据提取出图像特征，或者，机器人可以将图像采集得到的三维点云数据上传至云端服务器，由云端服务器基于三维点云数据提取出图像特征。

三维点云数据包括对环境进行图像采集时所得到的环境中三维空间点的信息，采用激光测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和激光反射强度；根据摄影测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和红绿蓝(RGB)信息；基于三维点云数据提取出的图像特征可以采用特征点的方式表征，特征点可以为环境中任何物体上的任何部位的成像点，如物体的边缘处的点，也可以是物体上的与该物体的特性不一致的点，如白色物体上的黑色斑点，物体上凸起的点，物体上凹下点，金属制物体上的锈点，物体表面漆体上的剥落点等。

关于基于环境中三维点云数据进行特征提取的方式，可以采用以下方式任意一种：尺度不变特征变换(SIFT，Scale Invariant Feature Transform)方式、加速鲁棒性特征(SURF Speeded-Uprobust Features)方式和二进制简单描述符(ORB，Oriented Brief)方式。

步骤207，将所提取出的图像特征与三维地图中标识的电子设备对应的图像特征进行匹配；如果匹配，则执行步骤208；否则继续执行步骤207。

机器人可以在本地利用提取出的图像特征(如步骤202中所述，图像特征可以由机器人自身提取，或者由云端服务器提取)与三维地图中标识的电子设备对应的图像特征进行匹配；或者，由云端服务器在利用提取出的图像特征与三维地图中的标识的电子设备对应的图像特征进行匹配，并将匹配结果下发至机器人；考虑到图像特征提取与匹配的运算量通常较大，因此，将图像特征提取和图像特征匹配的处理有云端服务器完成可以节省机器人的计算资源，提高计算效率，节约在环境中部署机器人的成本。

三维地图中的图像特征同样可以采用特征点的方式表征，当电子设备基于在某一位置进行图像采集得到的三维点云数据得到的图像特征(由一系列特征点构成)，与三维地图中标识的某一电子设备的图像特征(由一系列特征点构成)匹配的程度(可以基于匹配的特征点的数量来表征)超过预设阈值时，则确定当前提取的图像特征与该电子设备的图像特征匹配，进而可以确定机器人当前所处的区域中设置有待控制电子设备。

步骤208，基于所提取出的图像特征在候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系中进行检索，得到待控制电子设备对应的控制信息。

步骤209，基于待控制电子设备的控制信息、以及第二控制指令(也即需要待控制电子设备执行的控制指令)，确定需要发送的控制信号。

待控制电子设备的控制信息包括控制信号与待控制电子设备支持的控制指令的对应关系，控制信息可以理解为控制信号的编码方式，例如，基于控制信息，当需要待控制电子设备执行第二控制指令时，可以在控制信号与待控制电子设备支持的控制指令的对应关系中检索第二控制指令对应的控制信号(也即如何对第二控制信号进行编码)，以使待控制电子设备基于接收的控制信号正确解析出第二控制指令。

本实施例中，基于对机器人图像采集的三维点云数据进行特征提取得到图像特征，当提取出的图像特征与三维地图中标识的电子设备的图像特征匹配时，进一步基于提取出的图像特征确定待控制电子设备的控制信息，从而可以确定向待控制电子设备发送何种控制信号，实现了对智能电子设备和非智能电子设备的兼容控制；

控制信号的发送方式可以基于待控制电子设备的支持的控制方式发送，如果仅支持红外控制则发送红外控制信号；如果支持基于蓝牙和WiFi的控制方式，则可以尝试与待控制电子设备建立蓝牙或WiFi连接，并通过建立的连接发送控制信号。

实施例三

本实施例就以下场景进行说明：机器人响应第一控制指令在环境中随机行进，当基于图像特征匹配的方式确定机器人当前所处区域内设置有电子设备时，机器人根据控制策略判决是否需要对电子设备进行控制以及需要电子设备执行的控制指令(对应第二控制指令)，当需要时，在电子设备对应的控制信息中检索需要电子设备执行的控制指令(也即第二控制指令)对应的控制信号，以发送的控制信号。

下面结合具体处理进行说明，本实施例记载的信息处理方法可以应用于机器人，以使机器人支持在行进的过程中对电子设备进行控制，如图3所示，本实施例记载的信息处理方法包括以下步骤：

步骤301，建立候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系。

上述对应关系可以机器人建立并维护，也可以由云端服务器建立并维护，通常，候选电子设备的数量较大，因此，由云端服务器建立并维护上述对应关系可以节约部署机器人的成本；

控制信息可以包括控制信号与候选电子设备支持的控制指令的对应关系，控制信息可以理解为控制信号的编码方式，控制信息还可以包括候选电子设备的信息，如是否为智能设备以及支持的通信方式；例如，基于控制信息，当需要待控制电子设备执行控制指令“关闭电源”时，可以在控制信号与候选电子设备支持的控制指令的对应关系中检索对控制指令“关闭电源”对应的控制信号(也即如何对“关闭电源”对应的控制信号进行编码)，以使待控制电子设备基于接收的控制信号正确解析出控制指令。

后续处理中，当机器人行进过程中获取三维点云数据，基于获取的三维点云数据提取出图像特征，当所提取出的图像特征与三维地图中标识的电子设备的图像特征匹配时，可以基于所提取出的图像特征在步骤304建立的对应关系进行检索，得到待控制电子设备对应的控制信息，从而，基于待控制电子设备对应的控制信息、以及待控制电子设备执行的控制指令，确定需要发送的控制信号，以下步骤将进行说明。

步骤302，获取第一控制指令。

第一控制指令用于指示在机器人进行随机行进，在随机行进过程中对环境中的电子设备(简称为待控制电子设备)进行是否控制判决(即是否进行控制以及需要待控制电子设备执行的控制指令)，待控制电子设备的数量可以为一个或多个，且可以为智能电子设备，也可以为非智能电子设备；通常，智能电子设备支持多样化的控制模式，如基于网络连接、基于蓝牙、无线保真度(WiFi)等通信方式接收控制信号，以从控制信号中解析出控制指令并进行响应；非智能电子设备往往仅支持单一化的控制方式，如通过红外信号控制。

步骤302，在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征。

机器人可以在本地基于图形采集得到的三维电源数据提取出图像特征，或者，机器人可以将图像采集得到的三维点云数据上传至云端服务器，由云端服务器基于三维点云数据提取出图像特征。

三维点云数据包括对环境进行图像采集时所得到的环境中三维空间点的信息，采用激光测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和激光反射强度；根据摄影测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和红绿蓝(RGB)信息；基于三维点云数据提取出的图像特征可以采用特征点的方式表征，特征点可以为环境中任何物体上的任何部位的成像点，如物体的边缘处的点，也可以是物体上的与该物体的特性不一致的点，如白色物体上的黑色斑点，物体上凸起的点，物体上凹下点，金属制物体上的锈点，物体表面漆体上的剥落点等。

关于基于环境中三维点云数据进行特征提取的方式，可以采用以下方式任意一种：SIFT方式、SURF方式和ORB方式。

步骤303，将所提取出的图像特征与对应关系(也即步骤301中的候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系)中的图像特征进行匹配；如果匹配成功，则执行步骤304；否则继续执行步骤305。

机器人可以在本地利用提取出的图像特征(如步骤302中所述，图像特征可以由机器人自身提取，或者由云端服务器提取)与三维地图中标识的电子设备对应的图像特征进行匹配；或者，由云端服务器在利用提取出的图像特征与三维地图中的标识的电子设备对应的图像特征进行匹配，并将匹配结果下发至机器人；考虑到图像特征提取与匹配的运算量通常较大，因此，将图像特征提取和图像特征匹配的处理有云端服务器完成可以节省机器人的计算资源，提高计算效率，节约在环境中部署机器人的成本。

三维地图中的图像特征同样可以采用特征点的方式表征，当电子设备基于在某一位置进行图像采集得到的三维点云数据得到的图像特征(由一系列特征点构成)，与三维地图中标识的某一电子设备的图像特征(由一系列特征点构成)匹配的程度(可以基于匹配的特征点的数量来表征)超过预设阈值时，则确定当前提取的图像特征与该电子设备的图像特征匹配，进而可以确定机器人当前所处的区域中设置有待控制电子设备。

步骤304，获取控制策略。

控制策略与所述提取出的图像特征匹配的电子设备对应，且包括至少一个控制条件以及与所述控制条件关联的控制指令；

步骤305，基于控制策略确定满足的控制条件，并基于所确定的控制条件确定控制指令(对应第二控制指令)。

第二控制指令与确定的控制条件在控制策略中关联，控制策略的一个示例如下：

待控制电子设备：电视机；控制条件：24点至6点；控制指令：关闭电源。

设步骤303中匹配成功的电子设备为电视机，则当前时间满足控制条件，且需要电视机执行的控制指令为关闭电源；

在确定电视机需要执行的指令为关闭电源时，机器人还需要确认电视机当前是否处于开启状态，由于在步骤303中通过匹配操作可以确定电视机对应的控制信息，比如电视机是否为智能设备，以及支持的通信方式，进而确定电视机电源是否已经关闭：

1)当电视机为智能设备时，机器人可以与电视机尝试与电视机建立通信，如果建立通信失败则表明电视机处于关闭状态，无需执行后续处理；或者，当建立通信后确定电视机处于休眠状态或运行状态时，则执行后续步骤以关闭电视机电源；

2)当电视机为非智能设备时，机器人可以对电视机进行图像采集，基于图像采集结果分析电视机是否仍在显示图像，当电视机扔在显示图像时，则确定电视机电源未关闭，需要执行后续步骤。

步骤306，基于待控制电子设备的控制信息、以及需要待控制电子设备执行的控制指令(第二控制指令)，确定需要发送的控制信号并进行发送。

候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系中，存储了电视机的图像特征与电冰箱的控制信息之间的对应关系，因此在步骤303中基于提取出的图像特征可以确定电视机的控制信息，也即电视机的控制信号(例如红外信号)与电视机支持的控制指令之间的对应关系。

在电视机对应的控制信息中检索控制指令“关闭电源”对应的控制信号(也即控制指令“关闭电源”对应的控制信号的编码方式)；待控制电子设备的控制信息包括控制信号与待控制电子设备支持的控制指令的对应关系，控制信息可以理解为控制信号的编码方式，例如，基于控制信息，当需要待控制电子设备执行第二控制指令时，可以在控制信号与待控制电子设备支持的控制指令的对应关系中检索第二控制指令对应的控制信号(也即如何对第二控制信号进行编码)，以使待控制电子设备基于接收的控制信号正确解析出第二控制指令。

控制信号的发送方式可以基于待控制电子设备的支持的控制方式发送，如果仅支持红外控制则发送红外控制信号；如果支持基于蓝牙和WiFi的控制方式，则可以尝试与待控制电子设备建立蓝牙或WiFi连接，并通过建立的连接发送控制信号。

实施例四

本实施例就以下场景进行说明：机器人响应第一控制指令在环境中按照既定路线向第一控制指令所指示的待控制电子设备(例如空调)行进，基于图像采集的三维点云数据在三维地图中进行定位，当定位结果表征处于控制信号的有效距离内时发送控制信号，以使待控制电子设备从接收的控制信号中解析出第二控制指令并执行。

下面结合具体处理进行说明，本实施例记载的信息处理方法可以应用于机器人，以使机器人支持在行进的过程中对电子设备进行控制，如图4所示，本实施例记载的信息处理方法包括以下步骤：

步骤401，机器人在行进过程中进行图像采集得到三维点云数据，基于三维点云数据构建三维地图。

机器人可以将采集的三维点云数据上传云端服务器，由云端服务器基于三维点云数据构建三维地图，以降低机器人的设计要求，节约在环境中部署机器人的成本；或者，机器人在自身的运算资源充足的情况下，可以在本地基于所采集的三维点云数据构建三维地图。

步骤402，基于采集三维点云数据在三维地图中进行定位得到定位结果。

机器人可以基于云端服务器构建的三维地图进行定位，或者，由云端服务器进行定位并将定位结果下发至机器人；在三维地图中进行定位、可以通过SLAM方式或RANSAC方式。

步骤403，从采集的三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在三维地图中与采集的三维点云数据对应定位结果匹配的位置，标识匹配到的候选电子设备。

候选电子设备的图像特征可以基于对已有的不同品牌、型号的电子设备进行图像采集，并基于图像采集结果进行提取得到。

步骤401至步骤403为构建三维地图，并在构建的三维地图中对应的位置标识环境中的电子设备的处理，需要指出的是，建立三维地图并在三维地图中标识电子设备之后，除非环境中的电子设备发生变更，否则步骤401至步骤403无需重复执行。

步骤404，建立候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系。

上述对应关系可以机器人建立并维护，也可以由云端服务器建立并维护，通常，候选电子设备的数量较大，因此，由云端服务器建立并维护上述对应关系可以节约部署机器人的成本；

控制信息包括控制信号与候选电子设备支持的控制指令的对应关系，控制信息可以理解为控制信号的编码方式，例如，基于控制信息，当需要待控制电子设备执行控制指令“加热”时，可以在控制信号与候选电子设备支持的控制指令的对应关系中检索如何对控制指令“加热”对应的控制信号(也即如何对“加热”对应的控制信号进行编码)，以使待控制电子设备基于接收的控制信号正确解析出控制指令。

后续处理中，当机器人行进过程中获取三维点云数据，基于获取的三维点云数据提取出图像特征，当所提取出的图像特征与三维地图中标识的电子设备的图像特征匹配时，可以基于所提取出的图像特征在步骤404建立的对应关系进行检索，得到待控制电子设备对应的控制信息，从而，基于待控制电子设备对应的控制信息、以及待控制电子设备执行的控制指令，确定需要发送的控制信号，以下步骤将进行说明。

步骤405，获取第一控制指令。

第一控制指令用于向机器人指示控制空调(对应待控制电子设备)保持室内温度满足温度要求，则机器人根据自身的温度传感器测量得到的温度不满足温度要求时，基于三维地图中标识的空调的位置、以及自身的定位结果向空调行进，在行进至控制信号的有效控制区域之内时，向空调发送控制信号；待控制电子设备的数量可以为一个或多个，且可以为智能电子设备，也可以为非智能电子设备；通常，智能电子设备支持多样化的控制模式，如基于网络连接、基于蓝牙、无线保真度(WiFi)等通信方式接收控制信号，以从控制信号中解析出控制指令并进行响应；非智能电子设备往往仅支持单一化的控制方式，如通过红外信号控制。

步骤406，在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征。

机器人可以在本地基于图形采集得到的三维电源数据提取出图像特征，或者，机器人可以将图像采集得到的三维点云数据上传至云端服务器，由云端服务器基于三维点云数据提取出图像特征。

三维点云数据包括对环境进行图像采集时所得到的环境中三维空间点的信息，采用激光测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和激光反射强度；根据摄影测量技术进行图像采集时，三维点云数据包括三维空间点的三维坐标(XYZ)和红绿蓝(RGB)信息；基于三维点云数据提取出的图像特征可以采用特征点的方式表征，特征点可以为环境中任何物体上的任何部位的成像点。如物体的边缘处的点，也可以是物体上的与该物体的特性不一致的点，如白色物体上的黑色斑点，物体上凸起的点，物体上凹下点，金属制物体上的锈点，物体表面漆体上的剥落点等。

关于基于环境中三维点云数据进行特征提取的方式，可以采用以下方式任意一种：SIFT方式、SURF方式和ORB方式。

步骤407，将所提取出的图像特征与三维地图中待控制电子设备对应的图像特征进行匹配；如果匹配，则执行步骤408；否则继续执行步骤407。

机器人可以在本地利用提取出的图像特征(如步骤402中所述，图像特征可以由机器人自身提取，或者由云端服务器提取)与三维地图中标识的电子设备对应的图像特征进行匹配；或者，由云端服务器在利用提取出的图像特征与三维地图中的标识的电子设备对应的图像特征进行匹配，并将匹配结果下发至机器人；考虑到图像特征提取与匹配的运算量通常较大，因此，将图像特征提取和图像特征匹配的处理有云端服务器完成可以节省机器人的计算资源，提高计算效率，节约在环境中部署机器人的成本。

三维地图中的图像特征同样可以采用特征点的方式表征，当电子设备基于在某一位置进行图像采集得到的三维点云数据得到的图像特征(由一系列特征点构成)，与三维地图中标识的某一电子设备的图像特征(由一系列特征点构成)匹配的程度(可以基于匹配的特征点的数量来表征)超过预设阈值时，则确定当前提取的图像特征与该电子设备的图像特征匹配，进而可以确定机器人当前所处的区域中设置有待控制电子设备。

步骤408，基于在行进过程中进行图像采集得到的三维点云数据在三维地图中进行定位，基于定位结果判断是否处于待控制电子设备的控制信号的有效控制区域，如果是，则执行步骤409；否则，返回步骤406以继续行进。

机器人可以基于云端服务器构建的三维地图进行定位，或者，由云端服务器进行定位并将定位结果下发至机器人；在三维地图中进行定位、可以通过SLAM方式或RANSAC方式；虽然机器人在视野范围内识别出了电子设备并需要进行控制，但还需要确定控制信号是否能够在机器人与电子设备的距离内进行有效传输。

步骤409，基于所提取出的图像特征在候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系中进行检索，得到待控制电子设备对应的控制信息。

设第一控制指令指示的待控制电子设备为空调，机器人根据测量的室温确定需要升高室温以满足预设温度要求，则需要空调执行的控制指令为加热，候选电子设备的图像特征与候选电子设备的控制信息之间的对应关系中，存储了空调的图像特征与空调的控制信息之间的对应关系，因此基于提取出的图像特征可以确定空调的控制信息，也即空调的控制信号(例如红外信号)与空调支持的控制指令之间的对应关系。

步骤410，基于待控制电子设备的控制信息、以及需要待控制电子设备执行的控制指令(第二控制指令)，确定需要发送的控制信号并发送。

在空调对应的控制信息中检索控制指令“加热”对应的控制信号(也即控制指令“加热”对应的控制信号的编码方式)；

待控制电子设备的控制信息包括控制信号与待控制电子设备支持的控制指令的对应关系，控制信息可以理解为控制信号的编码方式，例如，基于控制信息，当需要待控制电子设备执行第二控制指令时，可以在控制信号与待控制电子设备支持的控制指令的对应关系中检索第二控制指令对应的控制信号(也即如何对第二控制信号进行编码)，以使待控制电子设备基于接收的控制信号正确解析出第二控制指令。

控制信号的发送方式可以基于待控制电子设备的支持的控制方式发送，如果仅支持红外控制则发送红外控制信号；如果支持基于蓝牙和WiFi的控制方式，则可以尝试与待控制电子设备建立蓝牙或WiFi连接，并通过建立的连接发送控制信号。

实施例五

本实施例记载一种电子设备，如图5a所示，所述电子设备包括：

第一获取单元10，用于获取第一控制指令，所述控制指令用于指示在行进过程中对电子设备进行控制；

采集提取单元20，用于在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；

匹配单元30，用于将所提取出的图像特征与所述三维地图中标识的电子设备对应的图像特征进行匹配

控制单元40，用于当提取出的图像特征与所述三维地图中标识的电子设备的图像特征匹配时，发送控制信号，其中，

所述控制信号用于触发所述匹配到的电子设备解析所述控制信号得到第二控制指令，并执行所述第二控制指令。

作为一个实施方式，如图5b所示，所述电子设备还可以包括：

第一定位单元50，用于在行进过程中进行图像采集得到三维点云数据，基于所述三维点云数据在所述三维地图中进行定位得到定位结果；

标识单元60，用于从所述三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在所述三维地图中对应所述定位结果的位置标识匹配到的候选电子设备，并在标识所述匹配到的候选电子设备之后触发所述第一获取单元10；其中，

所述三维地图为基于在行进过程中采集到的三维点云数据构建。

作为一个实施方式，如图5c所示，基于图5a，所述电子设备还包括：

特征提取单元70，用于对候选电子设备的图像进行特征提取得到图像特征；建立所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，所述控制信息包括控制信号与所述候选电子设备支持的控制指令的对应关系，并在建立所述对应关系之后触发所述第一获取单元10。

作为一个实施方式，如图5d所示，所述电子设备还包括：

第一确定单元80，用于根据所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，确定与所述提取出的图像特征对应的控制信息；

第二确定单元90，用于在所述确定的控制信息中检索与所述第二控制指令对应的控制信号作为待发送的控制信号，触发所述控制单元40范发送所述控制信号。

作为一个实施方式，如图5e所述，基于图5d，所述电子设备还包括：

第二获取单元100，用于获取控制策略，所述控制策略与所述提取出的图像特征匹配的电子设备对应，且包括至少一个控制条件以及与所述控制条件关联的控制指令；

第三确定单元110，用于确定满足的控制条件，并基于所确定的控制条件确定所述第二控制指令，所述第二控制指令与所述确定的控制条件在所述控制策略中关联。

作为一个实施方式，如图5f所示，基于图5a，所述电子设备还包括：

第二定位单元120，用于基于所述采集到三维点云数据在所述三维地图中进行定位；

判断单元130，基于定位结果判断是否处于待控制电子设备的控制信号的有效控制区域，所述待控制电子设备由所述第一控制指令指示；

当判断结果为是时，触发所述控制单元40发送所述控制信号。

实际应用中，电子设备中的各单元可由电子设备中的微处理器(MCU)或逻辑可编程门阵列实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种信息处理方法，其特征在于，所述方法包括：

获取第一控制指令，所述控制指令用于指示在行进过程中对电子设备进行控制；

在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；

将所提取出的图像特征与三维地图中标识的电子设备对应的图像特征进行匹配；

当提取出的图像特征与所述三维地图中标识的电子设备的图像特征匹配时，发送控制信号，其中，

所述控制信号用于触发所述匹配到的电子设备解析所述控制信号得到第二控制指令，并执行所述第二控制指令。

2.根据权利要求1所述的方法，其特征在于，获取第一控制指令之前，所述方法还包括：

在行进过程中进行图像采集得到三维点云数据，基于所述三维点云数据在所述三维地图中进行定位得到定位结果；

从所述三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在所述三维地图中对应所述定位结果的位置标识匹配到的候选电子设备；其中，

所述三维地图为基于在行进过程中采集到的三维点云数据构建。

3.根据权利要求1所述的方法，其特征在于，获取第一控制指令之前，所述方法还包括：

对候选电子设备的图像进行特征提取得到图像特征；

建立所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，所述控制信息包括控制信号与所述候选电子设备支持的控制指令的对应关系。

4.根据权利要求3所述的方法，其特征在于，发送控制信号之前，所述方法还包括：

根据所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，确定与所述提取出的图像特征对应的控制信息；

在所确定的控制信息中检测与所述第二控制指令对应的控制信号作为待发送的控制信号。

5.根据权利要求1所述的方法，其特征在于，发送控制信号之前，所述方法还包括：

获取控制策略，所述控制策略与所述提取出的图像特征匹配的电子设备对应，且包括至少一个控制条件以及与所述控制条件关联的控制指令；

确定满足的控制条件，并基于所确定的控制条件确定所述第二控制指令，所述第二控制指令与所述确定的控制条件在所述控制策略中关联。

6.根据权利要求1至5任一项所述的方法，其特征在于，发送控制信号之前，所述方法还包括：

基于所述采集到三维点云数据在所述三维地图中进行定位；

基于定位结果判断是否处于待控制电子设备的控制信号的有效控制区域，所述待控制电子设备由所述第一控制指令指示；

当判断结果为是时，触发发送所述控制信号。

7.一种电子设备，其特征在于，所述电子设备包括：

第一获取单元，用于获取第一控制指令，所述控制指令用于指示在行进过程中对电子设备进行控制；

采集提取单元，用于在行进过程中进行图像采集，以基于采集到的三维点云数据提取出图像特征；

匹配单元，用于将所提取出的图像特征与三维地图中标识的电子设备对应的图像特征进行匹配

控制单元，用于当提取出的图像特征与所述三维地图中标识的电子设备的图像特征匹配时，发送控制信号，其中，

所述控制信号用于触发所述匹配到的电子设备解析所述控制信号得到第二控制指令，并执行所述第二控制指令。

8.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

第一定位单元，用于在行进过程中进行图像采集得到三维点云数据，基于所述三维点云数据在所述三维地图中进行定位得到定位结果；

标识单元，用于从所述三维点云数据中提取出图像特征，当所提出的图像特征与候选电子设备的图像特征匹配时，在所述三维地图中对应所述定位结果的位置标识匹配到的候选电子设备，并在标识所述匹配到的候选电子设备之后触发所述第一获取单元；其中，

所述三维地图为基于在行进过程中采集到的三维点云数据构建。

9.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

特征提取单元，用于对候选电子设备的图像进行特征提取得到图像特征；建立所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，所述控制信息包括控制信号与所述候选电子设备支持的控制指令的对应关系，并在建立所述对应关系之后触发所述第一获取单元。

10.根据权利要求9所述的电子设备，其特征在于，所述电子设备还包括：

第一确定单元，用于根据所述候选电子设备的图像特征与所述候选电子设备的控制信息之间的对应关系，确定与所述提取出的图像特征对应的控制信息；

第二确定单元，用于在所述确定的控制信息中检索与所述第二控制指令对应的控制信号作为待发送的控制信号，触发所述控制单元发送所述控制信号。

11.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：

第二获取单元，用于获取控制策略，所述控制策略与所述提取出的图像特征匹配的电子设备对应，且包括至少一个控制条件以及与所述控制条件关联的控制指令；

第三确定单元，用于确定满足的控制条件，并基于所确定的控制条件确定所述第二控制指令，所述第二控制指令与所述确定的控制条件在所述控制策略中关联。

12.根据权利要求7至11任一项所述的电子设备，其特征在于，所述电子设备还包括：

第二定位单元，用于基于所述采集到三维点云数据在所述三维地图中进行定位；

判断单元，基于定位结果判断是否处于待控制电子设备的控制信号的有效控制区域，所述待控制电子设备由所述第一控制指令指示；

当判断结果为是时，触发所述控制单元发送所述控制信号。