CN106707834A - 一种基于计算机视觉技术的遥控设备 - Google Patents

Abstract

本发明提供一种基于计算机视觉技术的遥控设备，所述遥控设备包括主体以及与所述主体连接的支架底座；其中所述主体包括壳体，以及所述壳体包裹的控制单元、输出单元、供电单元及开关；所述控制单元包括用于采集图像信息的视觉传感器以及微控制器；所述微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令；所述供电单元用于为所述控制单元及所述输出单元供电；所述开关用于控制所述遥控设备的工作状态。因此本发明可以利用计算机视觉技术代替人工控制操作，实现真正的无人遥控，从而可使遥控设备作为受控设备的眼睛来发送控制指令，使原来受控设备可以与外界自主交互。

Description

一种基于计算机视觉技术的遥控设备

技术领域

本发明涉及遥控技术领域，尤其涉及一种基于计算机视觉技术的遥控设备。

背景技术

计算机视觉技术能够让机器通过摄像头如人眼般获取外界信息，从而使机器设备能够具有像人类视觉一样的感知能力，更有利于机器的智能化发展。但在现有的小型交互设备，如电动玩具中，计算机视觉技术的应用并不多，原因在于视觉信息的处理通常需要占用大量的处理器、内存等资源；并且功耗较大，从而导致小型交互设备的生产成本和使用成本过高。而传统的遥控设备通常需要人工操作实现遥控受控设备的目的，并不能够达到智能且无人控制的阶段，从而导致操作遥控设备耗费大量人工成本。

因此，亟需一种无需人工控制的遥控设备，可以作为受控设备的眼睛来对受控设备进行控制。

发明内容

有鉴于此，本发明提供一种基于计算机视觉技术的遥控设备，可以实现无需人工控制的遥控方案。

一种基于计算机视觉技术的遥控设备，所述遥控设备包括主体以及与所述主体连接的支架底座；其中所述主体包括壳体，以及所述壳体包裹的控制单元、输出单元、供电单元及开关；

所述控制单元包括用于采集图像信息的视觉传感器以及微控制器；所述微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令；

所述供电单元用于为所述控制单元及所述输出单元供电；

所述开关用于控制所述遥控设备的工作状态。

进一步的，所述视觉传感器包括位于所述壳体表面的光学镜头和连接所述微控制器的传感器部件。

进一步的，所述光学镜头为CMOS彩色摄像头，所述摄像头内部包括寄存器，所述寄存器用于调整所述摄像头所采集图像的分辨率。

进一步的，所述微控制器包括内存和闪存，所述内存和闪存用于存储所述视觉传感器采集的图像信息，以及预设算法和向所述输出单元输出的控制指令。

进一步的，所述微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令，包括：

所述微控制器根据预设的图像识别算法从所采集的图像信息中识别并提取识别信息，并将所述识别信息通过预设的控制算法处理为控制受控设备的控制指令。

进一步的，所述开关还用于控制所述微控制器运行的控制算法的切换。

进一步的，所述输出单元的控制指令输出方式包括以下的任意一种或多种：无线射频传输方式、红外传输方式、蓝牙传输方式、WiFi传输方式、ZigBee传输方式、有线传输方式。

进一步的，所述输出单元包括一个或多个红外发射器，所述红外发射器用于将所述控制指令通过红外信号传输至所述受控设备。

进一步的，所述红外发射器与所述壳体通过柔性管连接。

进一步的，所述输出单元还包括一个或多个音频设备。

进一步的，所述输出单元还包括位于壳体表面的一个或多个LED灯。

进一步的，所述壳体表面包括USB接口，所述USB接口用于与手机或电脑对接，以及通过USB线连接电源，对所述供电单元进行充电

进一步的，所述供电单元包括锂电池。

进一步的，所述主体的下表面与支架底座的上表面通过预设连接方式进行连接。

进一步的，所述支架底座用于将所述遥控设备固定于所述受控设备上，所述支架底座径向角度可变。

由以上技术方案可见，本发明提供一种基于计算机视觉技术的遥控设备，所述遥控设备包括主体以及与所述主体连接的支架底座；其主体包括壳体，以及所述壳体包裹的控制单元、输出单元、供电单元及开关；所述遥控设备可以通过所述控制单元中的视觉传感器采集图像信息传输给微控制器，再由微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令，因此本发明可以利用计算机视觉技术代替人工控制操作，实现真正的无人遥控，从而可使遥控设备作为受控设备的眼睛来发送控制指令，使原来受控设备可以与外界自主交互。

附图说明

图1是本发明提供的遥控设备的结构示意图；

图2是本发明提供的遥控设备的结构展开示意图；

图3是本发明微控制器的处理流程示意图；

图4是本发明采用红外输出的方式控制流程图；

图5是本发明可选实施例的状态转换图；

图6是本发明提供的遥控设备与受控设备组合的示意图。

具体实施方式

下面结合本发明附图具体说明本发明实现。

为了解决现有技术存在的问题，本发明提供一种基于计算机视觉技术的遥控设备，所述遥控设备包括主体以及与所述主体连接的支架底座；其主体包括壳体，以及所述壳体包裹的控制单元、输出单元、供电单元及开关；所述遥控设备可以通过所述控制单元中的视觉传感器采集图像信息传输给微控制器，再由微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令，因此本发明可以利用计算机视觉技术代替人工控制操作，实现真正的无人遥控，从而可使遥控设备作为受控设备的眼睛来发送控制指令，使原来受控设备可以与外界自主交互。

本发明提供一种基于计算机视觉技术的遥控设备，参见图1所示为本发明提供的遥控设备的结构示意图。其中所述遥控设备10用于遥控受控设备20，所述遥控设备10包括主体11以及与所述主体11连接的支架底座12。支架底座12用于支撑主体11，以及根据使用需求将主体11固定在受控设备20上。

参见图2所示为本发明提供的遥控设备的结构展开示意图，其中所述主体11包括壳体110。所述壳体110通常可以包括上壳体1101和下壳体1102，所述上壳体1101和下壳体1102中间包裹了控制单元111、输出单元112、供电单元113及开关114。所述控制单元111包括用于采集图像信息的视觉传感器1110以及微控制器1111；所述微控制器根据所述视觉传感器采集的图像信息通过所述输出单元112向受控设备20输出控制指令；所述供电单元113用于为所述控制单元111及所述输出单元112供电；所述开关114用于控制所述遥控设备10的工作状态。因此本发明可以利用计算机视觉技术代替人工控制操作，实现真正的无人遥控，并且本发明的遥控设备可以应用于各种场景，适用性较强。

如图2所示，所述视觉传感器包括位于上壳体1101表面的光学镜头1111和连接所述微控制器的传感器部件。在本发明可选的实施例中，所述微控制器以及所述视觉传感器的传感器部件可以集成在电路板1112上实现。从而可以节省空间占用。

进一步的，所述光学镜头1111为CMOS彩色摄像头，所述摄像头内部还包括寄存器，该寄存器用于调整所述摄像头所采集图像的分辨率。具体的讲，所述视觉传感器可以采用VGA(640*480像素)分辨率的CMOS彩色摄像头进行图像采集，所采集的图像格式包括YUV格式、RGB格式等。之后，摄像头可以通过其中的寄存器将所采集的图像的分辨率降低至不超过96×96像素，从而避免图像像素过大造成的图像处理负担。所述寄存器还能够根据不同的受控设备以及微控制器所需图像信息的不同而调整图像分辨率。因此该遥控设备可以适用于多种图像分辨率的图像采集。

进一步的，所述微控制器包括内存和闪存，所述内存和闪存均可用于存储所述视觉传感器采集的图像信息，以及预设的由于分析图像信息的控制算法和向所述输出单元输出的控制信号等信息。所述微控制器可以根据预设的图像识别算法从所采集的图像信息中识别并提取识别信息，所述图像信息可包括：球体、路径、人体、人体距离、人脸、性别、颜色、形状等信息。所述微控制器可以根据不同的图像信息调整对图像识别算法的选择，并可以在同一时间段内自行调用一个或多个图像识别算法来获取图像信息中的识别信息。之后，将所述识别信息通过预设的控制算法处理为控制受控设备20的控制指令。所述控制指令可以控制所述受控设备20的运动状态，例如控制受控设备20完成前进、后退、左转、右转、停止等动作。因此本发明可以利用计算机视觉技术代替人工控制操作，实现真正的无人遥控，从而可使遥控设备作为受控设备的眼睛来发送控制指令，使原来受控设备可以与外界自主交互。

参见图3所示为微控制器的处理流程示意图。其中，该处理流程包括：

步骤301、微控制器获取来自视觉传感器的低分辨率图像信息；

该图像可以为YUV格式或者RGB格式等，该图像的分辨率不高于96×96。

步骤302、微控制器运行预设图像识别算法，对图像进行分析和识别，获取一种或多种识别信息。

所述识别信息通常可以包括但不限于：球体检测识别信息、路径检测识别信息、人体检测识别信息、人体头肩距离检测识别信息、人脸检测识别信息、人脸性别检测识别信息、颜色检测识别信息、形状检测识别信息、环境检测识别信息等。其中：

所述球体检测识别信息，用于从所述低分辨率图像中检测出球体信息；

所述路径检测识别信息，用于从所述低分辨率图像中检测出路径信息；

所述人体检测识别信息，用于从所述低分辨率图像中检测出人体头肩信息；

所述人体头肩距离检测识别信息，用于从所述低分辨率图像中检测出人体头肩之后进一步检测人体与所述智能硬件设备的距离信息；

所述人脸检测识别信息，用于从所述低分辨率图像中检测出人脸信息；

所述人脸性别检测识别信息，用于从所述低分辨率图像中在检测出人脸的基础上进一步检测出人脸性别信息；

所述颜色识别信息，用于从所述低分辨率图像中识别颜色信息；

所述形状检测识别信息，用于从所述低分辨率图像中识别特性形状信息；

所述环境识别信息，用于从所述低分辨率图像中识别环境信息；

步骤303、微控制器根据预设的控制算法对识别信息进行处理，根据识别信息选择输出到输出单元112的控制指令。

在本发明可选的实施例中，所述输出单元112包括一个或多个红外发射器1121，所述红外发射器1121用于将所述控制指令通过红外信号传输至所述受控设备20。优选的，所述红外发射器1121用于限制自身发射红外信号功率值，以使自身发射的红外信号仅作用于指定的受控设备20。如图2所示，所述红外发射器1121与所述上壳体1101通过柔性管1124连接，这样便于红外发射器1121靠近受控设备20，提高遥控的准确性。除此之外，当受控设备20与本遥控设备10没有直接接触时，为了保证控制指令可以顺利传递到受控设备20，所述遥控设备10上可以在壳体110表面的多个角度设置多个红外发射器1121，因此可以扩大控制范围。

另外，所述遥控设备10的红外发射器1121还能够替换为其他的信号发射装置，以实现不同通讯方式的控制。所述遥控设备10能够兼容的通讯方式包括：红外线通讯、无线电遥控通讯、蓝牙通讯、WiFi通讯、ZigBee通讯及有线通讯等，并且所述遥控设备10可以同时利用上述一种或多种通讯方式实现控制。因此本发明能够用于控制多种采用不同通讯方式的受控设备。

进一步的，遥控设备10在采用各类通讯方式时，能够通过一定的硬件技术手段实现对信号控制范围的限定，并以此避免本发明的控制指令对非目标受控设备的干扰、提高通讯质量和可靠性。举例来讲，在采用红外线通讯时，可在硬件上降低红外线的发射功率，控制其有效半径在5cm～20cm范围内，为了进一步增强防干扰，本发明的红外发射器1121采用引出式的红外信号灯并在灯上加装遮光罩，从而可以配合遮光罩的使用来防止红外光散射，由此达到降低干扰的效果；在采用无线电遥控通讯时，采用波段调整的方式来消除干扰，同时降低无线电的发射功率，来达到降低干扰的效果；在采用蓝牙通讯、WiFi通讯、ZigBee通讯时，通过通讯协议中的地址码来进行区分，同时降低发射功率，来达到降低干扰的效果。

下面以红外传输方式为例，对控制指令的输出进一步说明。

参见图4为本发明采用红外输出的方式控制流程图。红外编码采用调制技术，采用38KHz的方波作为载波信号，调制信号(0、1编码)及红外通信协议则根据不同的受控设备进行选择。本发明的微控制器的内置闪存之中预装了多个备用的红外通信协议。所述控制流程包括：

步骤401、微控制器根据控制算法产生红外遥控指令；

步骤402、微控制器将所述红外遥控指令发送到红外发射器1121；

步骤403、红外发射器1121发射红外信号；

其中，红外发射器是利用近红外光传送红外遥控指令，波长约为0.76um～1.5um；

步骤404、受控设备20接收红外遥控指令；

步骤405、受控设备20根据接收到的红外遥控指令进行预设动作。

上述流程在本发明和受控设备工作过程中持续多次进行，实现受控设备根据本发明发射的控制指令不断完成预设动作。

进一步的，所述输出单元112除了包括用于发射控制指令的红外发射器以外，还可以包括用于输出提示消息的受控部件，例如一个或多个音频设备1122或LED灯1123等。为了配合遥控设备10的整体造型，所述音频设备1122可以设置在壳体110内部，并通过上壳体1101上预留的开口1125发出声音，其中所述音频设备1122可以包括蜂鸣器、喇叭等；而所述LED灯1123可以选择彩色光的LED灯，并且可以按照预设的造型设置在上壳体1101表面。设置音频设备1122或LED灯1123不但可以输出提示消息，例如蜂鸣或闪亮，还可以增强产品的设计感和趣味性，带来全新的交互体验。

步骤304、微控制器将指令输出至输出单元112，使受控设备和受控部件完成预设动作。

开发者可以预先将备选的控制指令存储在微控制器的内存和闪存中。控制指令可以包括：受控设备的移动方向信息、受控设备的移动速度信息、LED灯的开关信息、音频设备播放的音频信息等。

其中，微控制器输出给受控设备的控制指令使用红外等发射方式传输，输出给受控部件的指令通过电路传输。

进一步的，所述开关114还用于控制所述微控制器运行的算法的切换。从而可以根据用户需求调整图像识别及选择控制指令的方案。

在本发明可选的实施例中，所述上壳体1101表面包括USB接口115，所述USB接口115用于与手机或电脑对接。因此能够对所述微控制器内置的控制算法和图像识别算法进行更新和替换，也能够对预设的输出信息进行修改。在实际应用中，通过对控制算法的调整，能够实现遥控设备10控制产生更多不同的声音、动作。并且本发明能够配合应用程序使用，通过USB连接电脑或手机，用户能够通过利用应用程序将新的动作更新到本发明的遥控设备10中，也能够自主编辑声音和动作，增加可玩性，满足用户的个性化需求。

在本发明可选的实施例中，所述供电单元113为可充电的锂电池。而所述USB接口115进一步还可以用于以及通过USB线连接电源，对所述供电单元113进行充电。因此，使本发明的遥控设备10充电更加便利，并且节省更换电池的成本。

在本发明可选的实施例中，所述主体11的下表面，也就是图2中下壳体1102的下表面与支架底座12的上表面可通过预设连接方式进行连接，所述预设连接方式通常可包括但不限于：磁力连接、不干胶粘接、卡扣连接、螺钉连接等方式。上述连接方式操作简单、装卸方便，对操作者的操作能力要求相对较低。进一步的，所述支架底座12可将所述遥控设备10固定于受控设备20上，并且所述支架底座12的径向角度可变，从而便于针对不同受控设备20制定的卡紧、粘合等固定方式。

为使本发明所提供的交互方式更加明晰易懂，下面通过一个具体的应用示例对本发明的遥控方式进行详细说明。

参见图5为本发明可选实施例的状态转换图，其中包括：

开机状态501、球体检测状态502、路径检测状态503、人体检测状态504、球体巡检状态505、球体跟随状态506、逃跑状态507、寻球游走状态508、寻球意外状态509、路径巡检状态510、路径前进状态511、路径转弯状态512、路径意外状态513、人体巡检状态514、人体跟踪状态515、人体远离状态516、寻人意外状态517。

在实际应用中，用户可以在开机状态501下手动选择受控设备的跟随对象，进入球体检测状态502、路径检测状态503、人体检测状态504中的任意一种。

当用户选择球体检测状态502时，则进入球体巡检状态505：

在球体巡检状态505下，遥控设备在检测到球体且不是红色球体时，触发球体跟随状态506；检测到球体且是红色球体时，触发逃跑状态507；未能检测到球体且画面不静止时触发寻球游走状态508；出现画面静止时触发寻球意外状态509。在逃跑状态507、寻球游走状态508、寻球意外状态509下，状态动作完毕之后均无条件返回球体巡检状态505；在球体跟随状态506下，检测到画面内的球体消失后跳转到球体巡检状态505。

当用户选择路径检测状态503时，则进入路径巡检状态510：

在路径巡检状态510下，遥控设备检测到路径时，触发路径前进状态511，在路径前进状态511下检测到转弯路径时触发路径转弯状态512；路径转弯状态512的状态动作完毕后无条件返回路径前进状态511；路径前进状态511下未能检测到路径时跳转回到路径巡检状态510；在路径巡检状态510下，出现画面静止时触发路径意外状态513，路径意外状态513的状态动作完成后无条件返回路径巡检状态510。

当用户选择人体检测状态504时，则进入人体巡检状态514：

在人体巡检状态514下，当遥控设备识别到远距离人体时，则触发人体跟踪状态515，识别到近距离人体则触发人体远离状态516；在人体跟踪状态515下，识别的人体距离小于预设距离则跳转到人体远离状态516；在人体远离状态516下，识别的人体距离大于预设距离则跳转到人体跟踪状态515；在人体跟踪状态515和人体远离状态516下，丢失画面中的人体则跳转到人体巡检状态514；在人体巡检状态514下，发生画面静止则跳转到寻人意外状态517，寻人意外状态517的预设动作完成之后无条件返回人体巡检状态514。

上述过程中，所述球体巡检状态505、球体跟随状态506、逃跑状态507、寻球游走状态508、寻球意外状态509、路径巡检状态510、路径前进状态511、路径转弯状态512、路径意外状态513、人体巡检状态514、人体跟踪状态515、人体远离状态516、寻人意外状态517所对应的受控设备及输出单元中受控部件(蜂鸣器1122、LED灯1123)的动作具体可参见表1。

表1

其中，所述寻找、害怕、疑惑、前进声音由音频设备1122根据预设模式发出，所述眼睛闪烁由两只LED灯1123执行，例如灯每闪亮一次代表眼睛闪烁一次。

请参见图6，是本发明提供的遥控设备与受控设备组合的示意图。假设遥控设备10安装在受控设备20上。所述受控设备20为玩具车。通过上述动作，能够让本发明遥控设备10和玩具车20结合在一起表现出如下特性：

当遥控设备10检测到不是红色的球体时，玩具车20跟随其运动，当检测到红色球体时，玩具车20转身逃跑；

当遥控设备10检测到路径时，玩具车20跟随路径运动，在遇到路径转弯和分叉时，玩具车20自主随机选择后续路径；

当遥控设备10检测到人体时，玩具车20跟随人体运动，当人体过于靠近时，玩具车20后退远离；

当遥控设备10没有被检测的对象时，玩具车20自行随机搜寻检测对象；

当遥控设备10运动过程中遇到障碍物而被迫停止运动时，玩具车20后退避让，远离障碍物。

除此之外，遥控设备10还能够在所述过程中使用LED灯光和声音表达寻找、愉悦、惊吓的情绪。

因此本发明可以利用计算机视觉技术代替人工控制操作，实现真正的无人遥控，从而可使遥控设备作为受控玩具的眼睛来发送控制指令，使原来受控玩具可以与外界自主交互，增加玩具的趣味性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (15)

1.一种基于计算机视觉技术的遥控设备，其特征在于，所述遥控设备包括主体以及与所述主体连接的支架底座；其中所述主体包括壳体，以及所述壳体包裹的控制单元、输出单元、供电单元及开关；

所述控制单元包括用于采集图像信息的视觉传感器以及微控制器；所述微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令；

所述供电单元用于为所述控制单元及所述输出单元供电；

所述开关用于控制所述遥控设备的工作状态。

2.根据权利要求1所述的遥控设备，其特征在于，所述视觉传感器包括位于所述壳体表面的光学镜头和连接所述微控制器的传感器部件。

3.根据权利要求2所述的遥控设备，其特征在于，所述光学镜头为CMOS彩色摄像头，所述摄像头内部包括寄存器，所述寄存器用于调整所述摄像头所采集图像的分辨率。

4.根据权利要求1所述的遥控设备，其特征在于，所述微控制器包括内存和闪存，所述内存和闪存用于存储所述视觉传感器采集的图像信息，以及预设算法和向所述输出单元输出的控制指令。

5.根据权利要求1所述的遥控设备，其特征在于，所述微控制器根据所述视觉传感器采集的图像信息通过所述输出单元向受控设备输出控制指令，包括：

所述微控制器根据预设的图像识别算法从所采集的图像信息中识别并提取识别信息，并将所述识别信息通过预设的控制算法处理为控制受控设备的控制指令。

6.根据权利要求5所述的遥控设备，其特征在于，所述开关还用于控制所述微控制器运行的控制算法的切换。

7.根据权利要求1所述的遥控设备，其特征在于，所述输出单元的控制指令输出方式包括以下的任意一种或多种：无线射频传输方式、红外传输方式、蓝牙传输方式、WiFi传输方式、ZigBee传输方式、有线传输方式。

8.根据权利要求1所述的遥控设备，其特征在于，所述输出单元包括一个或多个红外发射器，所述红外发射器用于将所述控制指令通过红外信号传输至所述受控设备。

9.根据权利要求8所述的遥控设备，其特征在于，所述红外发射器与所述壳体通过柔性管连接。

10.根据权利要求1所述的遥控设备，其特征在于，所述输出单元还包括一个或多个音频设备。

11.根据权利要求1所述的遥控设备，其特征在于，所述输出单元还包括位于壳体表面的一个或多个LED灯。

12.根据权利要求1所述的遥控设备，其特征在于，所述壳体表面包括USB接口，所述USB接口用于与手机或电脑对接，以及通过USB线连接电源，对所述供电单元进行充电。

13.根据权利要求1所述的遥控设备，其特征在于，所述供电单元包括锂电池。

14.根据权利要求1所述的遥控设备，其特征在于，所述主体的下表面与支架底座的上表面通过预设连接方式进行连接。

15.根据权利要求1所述的遥控设备，其特征在于，所述支架底座用于将所述遥控设备固定于所述受控设备上，所述支架底座径向角度可变。