CN212372186U - 机器人及目标物定位系统 - Google Patents

Abstract

本实用新型公开了一种机器人以及目标物定位系统，包括：机器人主体以及设置于机器人主体前端的第一结构光组件；第一结构光组件包括视觉传感器、至少一个结构光传感器以及设置于机器人主体前端的第一支撑件，视觉传感器及至少一个结构光传感器设置于第一支撑件上；结构光传感器用于向机器人主体外投射结构光线并采集投射的结构光线的结构光图案；结构光传感器的视场角位于视觉传感器的视场角内，以使视觉传感器用于采集结构光传感器的视场角内的环境图像。本实用新型提供的机器人可实现对于结构光传感器探测的环境中的目标物的识别，进而实现对于结构光传感器探测的环境中的目标物的定位，从而为目标追踪、路径规划、区域划分等功能提供依据条件。

Description

机器人及目标物定位系统

技术领域

本实用新型涉及机器人技术领域，尤其涉及机器人及目标物定位系统。

背景技术

随着科技的进步，机器人在日常应用中越来越普及。对于自走型的智能机器人(如扫地机器人)来说，通常都需要对其所处空间建立地图。虽然基于SLAM(simultaneouslocalization and mapping，即同步定位与建图)技术，依靠非视觉的传感器数据能够构建出更为准确的地图，但是构建完成的地图中可能会存在很多的干扰点，使得地图中的目标物和实际场景中的目标物存在较大的差异，增加了对地图中的目标物的识别难度，即导致地图中的目标物无法和实际场景一样易于识别，从而导致无法识别地图中的目标物。

目前的机器人不能准确对非视觉传感器探测区域内的目标物进行识别。

发明内容

本实用新型提供一种机器人及目标物定位系统，结合视觉传感器探测的环境图像与结构光传感器探测的结构光图像，实现对于结构光传感器探测的环境中的目标物的识别，从而了解结构光传感器探测区域内目标物的语义信息，并为基于结构光传感器构建的地图进行目标追踪、路径规划、区域划分等功能提供依据条件。

第一方面，本实用新型提供了一种机器人，包括：包括：机器人主体以及设置于所述机器人主体前端的第一结构光组件；

所述第一结构光组件包括视觉传感器、至少一个结构光传感器以及设置于所述机器人主体前端的第一支撑件，所述视觉传感器及至少一个结构光传感器设置于所述第一支撑件上；

所述结构光传感器用于向所述机器人主体外投射结构光线并采集投射的结构光线的结构光图案；

所述结构光传感器的视场角位于所述视觉传感器的视场角内，以使所述视觉传感器用于采集所述结构光传感器的视场角内的环境图像。

优选地，所述视觉传感器包括RGB相机。

优选地，所述视觉传感器对应的视觉坐标系和所述结构光传感器对应的结构光坐标系平行或重合。

优选地，所述结构光传感器包括用于向所述机器人主体外投射结构光线的结构光发射器及用于采集被摄目标反射的所述结构光发射器投射的结构光线的结构光接收器。

优选地，所述视觉传感器位于所述结构光传感器中的结构光发射器与结构光接收器中间。

优选地，所述结构光发射器设置于所述视觉传感器的上方，所述结构光接收器设置于所述视觉传感器的下方。

优选地，所述结构光发射器设置于所述视觉传感器的右侧，所述结构光接收器设置于所述视觉传感器的左侧。

优选地，还包括：至少一个第二结构光组件，所述第二结构光组件用于探测所述机器人主体侧面和/或后端的障碍物。

优选地，所述第二结构光组件至少包括至少一个结构光传感器以及设置于所述机器人主体上的第二支撑件。

优选地，所述第一支撑件包括竖板和设置于所述竖板上的支架，所述结构光传感器以及所述视觉传感器设置在所述支架上。

第二方面，本实用新型提供了一种目标物定位系统，包括：如第一方面中任一所述的机器人以及云端服务器，所述机器人和所述云端服务器之间建立无线通讯连接；

所述机器人用于将采集的所述环境图像以及所述结构光图案上传至所述云端服务器；

所述云端服务器用于接收所述机器人上传的所述环境图像及结构光图像，根据所述环境图像及所述结构光图像，确定所述环境图像中的目标物的定位信息。

本实用新型提供了一种机器人，包括机器人主体以及设置于机器人主体前端的第一结构光组件，第一结构光组件包括若干个结构光传感器、视觉传感器及第一支撑件，结构光传感器用于向机器人主体外投射结构光线并采集结构光图像，投射的结构光线探测机器人前方的环境信息，采集的结构光图像包含投射的结构光线探测的机器人前方的环境信息，从而实现对机器人前方环境信息的探测及采集；结构光传感器的视场角位于视觉传感器的视场角内，以使视觉传感器用于采集结构光传感器的视场角内的环境图像，对环境图像进行识别，从而了解结构光传感器的视场角内的目标物的语义信息；视觉传感器及若干个结构光传感器设置于第一支撑件上，从而便于将视觉传感器和若干个结构光传感器安装于机器人主体前端。综上，本实用新型提供的机器人结合视觉传感器探测的环境图像与结构光传感器探测的结构光图像，实现对于结构光传感器探测的环境中的目标物的识别，从而了解结构光传感器探测区域内目标物的语义信息，并为基于结构光传感器构建的地图进行目标追踪、路径规划、区域划分等功能提供依据条件。

本实用新型提供了一种目标物定位系统，包括机器人以及云端服务器，机器人和云端服务器之间建立无线通讯连接，机器人用于将采集的环境图像以及结构光图案上传至云端服务器；云端服务器用于接收机器人上传的环境图像及结构光图像，并根据环境图像及结构光图像，确定环境图像中的目标物的定位信息，确定目标物的定位信息综合考虑了目标物的结构光图像及环境图像，从而具有相对较高的准确性，同时目标物的定位信息可为后续目标追踪、路径规划、区域划分等功能提供依据条件。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本实用新型实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型一实施例提供的一种第一结构光组件的结构示意图；

图2为本实用新型一实施例提供的另一种第一结构光组件的结构示意图；

图3为本实用新型一实施例提供的一种第二结构光组件的结构示意图；

图4为本实用新型一实施例提供的一种第二结构光组件的结构爆炸图；

图5为本实用新型一实施例提供的机器人的结构示意图；

附图标记说明：1-机器人主体；2-第一结构光组件；21-结构光传感器；211-结构光发射器；212-结构光接收器；22-视觉传感器；23-第一支撑件；231-支架；232-竖板；3-第二结构光组件。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本实用新型的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

请参考图1、图2及图5，本实用新型实施例提供了一种机器人，包括：机器人主体1以及设置于所述机器人主体1前端的第一结构光组件2；

所述第一结构光组件2包括视觉传感器22、至少一个结构光传感器21以及设置于所述机器人主体1前端的第一支撑件23，所述视觉传感器22及至少一个结构光传感器21设置于所述第一支撑件23上；

所述结构光传感器21用于向机器人主体1外投射结构光线并采集投射的结构光线的结构光图案；

所述结构光传感器21的视场角位于所述视觉传感器22的视场角内，以使所述视觉传感器22用于采集所述结构光传感器21的视场角内的环境图像。

本实用新型实施例提供了一种机器人，包括机器人主体1以及设置于机器人主体1前端的第一结构光组件2，第一结构光组件2包括若干个结构光传感器21、视觉传感器22及第一支撑件23，结构光传感器21用于向机器人主体1外投射结构光线并采集结构光图像，投射的结构光线探测机器人前方的环境信息，采集的结构光图像包含投射的结构光线探测的机器人前方的环境信息，从而实现对机器人前方环境信息的探测及采集；结构光传感器21的视场角位于视觉传感器22的视场角内，以使视觉传感器22用于采集结构光传感器21的视场角内的环境图像，对环境图像进行识别，从而了解结构光传感器21的视场角内的目标物的语义信息；视觉传感器22及若干个结构光传感器21设置于第一支撑件23上，从而便于将视觉传感器22和若干个结构光传感器21安装于机器人主体1前端。综上，本实用新型提供的机器人结合视觉传感器22探测的环境图像与结构光传感器21探测的结构光图像，实现对于结构光传感器21探测的环境中的目标物的识别，从而了解结构光传感器21探测区域内目标物的语义信息，并为基于结构光传感器21构建的地图进行目标追踪、路径规划、区域划分等功能提供依据条件。

具体地，第一结构光组件2位于机器人主体1所形成的空腔内，结构光传感器21以及视觉传感器22设置于第一支撑件23靠近机器人主体1前端的表面上。需要说明的是，在保证结构光传感器21向机器人主体1外投射结构光以及结构光传感器21的视场角位于视觉传感器22的视场角的前提下，本实用新型实施例并不意图对结构光传感器21以及视觉传感器22在第一支撑件23上的位置进行限定，可根据实际场景灵活设计。

具体地，机器人指的是具备移动功能的智能机器人，比如，扫地机器人，此处不做限定。需要说明的是，本实施例提供的机器人尤其适合室内场景。

需要说明的是，对于具有开合结构的物体，例如门、窗等物体，当该物体处于打开状态时，结构光线会直接穿过该物体处于打开状态的位置投射到其他物体表面上，使得该物体的表达信息出现缺失，此时，对采集到的结构光图案进行分析时，无法准确识别出该物体，导致难以满足应用该物体相关信息进行分析以实现目标追踪、路径规划及区域划分等功能的场景需求。

为了解决对具有开合结构的物体的分析，在结构光传感器21的基础上，设置了视场角不小于结构光传感器21的视觉传感器22，从而使得视觉传感器22能够采集到结构光传感器21的视场角内的所有物体，这些物体中可能包含有上述具有开合结构的物体。具体地，视觉传感器22指的是利用光学元件和成像装置获取外部环境图像信息的仪器，可选地，所述视觉传感器22包括RGB相机。其中，RGB相机可以是单目相机或鱼眼相机，此处不做限定，任何现有技术中的RGB相机皆可。

本实施中所述的结构光传感器21指的是任何能够实现投射结构光线并可采集投射的结构光线的仪器。可选地，所述结构光传感器21包括用于向所述机器人主体1外投射结构光线的结构光发射器211及用于采集被摄目标反射的所述结构光发射器211投射的结构光线的结构光接收器212。

具体地，结构光发射器211包括光线式结构光发射器或光面式结构光发射器，优选光线式结构光发射器。结构光接收器212优选单目红外线摄像头。

请参考图1及图2，结构光传感器21的数量可以是一个，也可以是两个，也可以是三个，具体需要结合实际场景确定，优选两个，此处不做具体限定。

为了提高视觉坐标系和图像坐标系在标定时准确性，减少因标定造成的误差，可选地，所述视觉传感器22对应的视觉坐标系和所述结构光传感器21对应的结构光坐标系平行或重合。

具体地，当第一结构光组件2包括一个结构光传感器21时，结构光传感器21对应的结构光的坐标系和视觉传感器22对应的坐标系相互平行或重合；当第一结构光组件2包括两个或两个以上的结构光传感器21时，两个或两个以上结构光传感器21对应的等效的结构光的坐标系和视觉传感器22对应的坐标系相互平行或重合。

为了确保视觉坐标系和图像坐标系在标定时的准确性，减少因标定造成的误差精度，结构光传感器21和视觉传感器22的相对位置应当合理。具体可以通过如下三种实现方式对结构光传感器21和视觉传感器22的相对位置进行限定：

实现方式1：所述视觉传感器22位于所述结构光传感器21中的结构光发射器211与结构光接收器212中间。

实现方式2：所述结构光发射器211设置于所述视觉传感器22的上方，所述结构光接收器212设置于所述视觉传感器22的下方。

实现方式3：所述结构光发射器211设置于所述视觉传感器22的右侧，所述结构光接收器212设置于所述视觉传感器22的左侧。

具体地，视觉传感器22的左侧或右侧可以理解为笛卡尔坐标系的横轴方向，视觉传感器22的上方或下方可以理解为笛卡尔坐标系的竖轴方向，其中，笛卡尔坐标系的横轴方向为机器人主体1的移动方向。需要说明的是，当结构光发射器211为多个时，可以认为多个结构光发射器211的等效结构光发射器或中心位置的结构光发射器211位于视觉传感器22的上方或右侧，当结构光接收器212为多个时，可以认为多个结构光接收器212的等效结构光接收器或中心位置的结构光接收器212位于视觉传感器22的下方或左侧。

具体需要结合实际场景确定结构光传感器21的数量，并结合实际场景需求及结构光传感器21的数量，对上述3中实现方式进行选择组合，以确定视觉传感器22和结构光传感器21的相对位置关系。请参考图1及图2，优选地，视觉传感器22位于结构光发射器211和结构光接收器212中间，且结构光发射器211位于视觉传感器22上方，结构光接收器212位于视觉传感器22下方，换言之，结合前述实现方式1及实现方式2设置结构光传感器21和视觉传感器22的位置关系。

需要说明的是，在保证结构光传感器21的视场角位于视觉传感器22的视场角的前提下，视觉传感器22、结构光发射器211以及结构光接收器212的中心点连线形成的图形可以是直线，也可以是三角形，即视觉传感器22和结构光发射器211可以错位设置，此处不对三角形的形状做限定，可以是等腰三角形、等边三角形或者钝角三角形。

还需要说明的是，只要保证结构光传感器21的视场角位于视觉传感器22的视场角，本实用新型实施例并不对视觉传感器22在结构光发射器211与结构光接收器212中间的具体位置做限定，优选地，结构光发射器211与结构光接收器212，可以以视觉传感器22为中心对称设置，也可以以视觉传感器22对应在笛卡尔坐标系的竖轴或横轴的平行线为对称线对称设置。当结构光传感器21为多个时，多个结构光发射器211或结构光接收器212可以设置在同一水平面内，也可以设置在不同水平面内，此处不做具体限制，具体需要结合实际需求确定。

考虑到多个结构光传感器21的安装位置比较复杂，可能和机器人主体1移动方向的水平线存在夹角，增加了结构光传感器21的固定及安装难度，请参考图1及图2，可选地，所述第一支撑件23包括竖板232和设置于所述竖板232上的支架231，所述结构光传感器21以及所述视觉传感器22设置在所述支架231上。

支架231可以根据结构光传感器21和视觉传感器22之间的位置关系灵活设计，从而降低结构光传感器21的固定及安装难度，确保结构光传感器21和视觉传感器22之间的相对位置要求。竖板232用于对支架231进行固定，连接外部电源，从而为第一结构光组件2充电及传输传感器采集的数据，确保在机器人移动时设置于支架231上的结构光传感器21和视觉传感器22的稳定性。

需要说明的是，支架231和机器人连接，从而将结构光组件固定在机器人上。在保证结构光传感器21向机器人主体1外投射结构光以及结构光传感器21的视场角位于视觉传感器22的视场角的前提下，本实用新型实施例并不意图对结构光传感器21以及视觉传感器22在支架231上的位置进行限定，可根据实际场景灵活设计。

具体地，将结构光发射器211、结构光接收器212以及视觉传感器22安装到支架231上，然后固定在竖板232上，从而得到第一结构光组件2，然后将第一结构光组件2安装到机器人本体1上，从而得到本实用新型实施例中的机器人。

考虑到第一结构光组件2设置在机器人主体1的前端，视角范围可能受限，仅可探测机器人前方环境信息，当机器人侧面或后方存在障碍物时，比如，正在行走的人或者墙壁等，此时，机器人并不能感知到侧面或后方的障碍物，容易发生碰撞。为了确保机器人能够感知侧面或后方的障碍物，降低和障碍物碰撞的可能性，可选的，还包括：至少一个第二结构光组件3，所述第二结构光组件3用于探测所述机器人主体1侧面和/或后端的障碍物。

第二结构光组件3和第一结构光组件2的组成可以相同，也可以不同，具体需要结合实际应用场景确定。可选地，所述第二结构光组件3至少包括至少一个结构光传感器21以及设置于所述机器人主体1上的第二支撑件。

如果仅仅是探测障碍物，请参考图3至图5，第二结构光组件3包括一个结构光传感器21以及设置于机器人主体1上的竖板232。具体地，第二结构光组件3包括结构光传感器21，结构光传感器21包括结构光发射器211以及结构光接收器212，结构光发射器211以及结构光接收器212设置在竖板232上。具体地，第二结构光组件3位于机器人主体1所形成的空腔内，结构光传感器21设置在竖板232靠近机器人主体1的右侧边框的表面上。

在实际的应用场景中，第一结构光组件2和第二结构光组件3中的结构光传感器21的结构可以相同也可以不同，第一支撑件23和第二支撑件可以相同也可以不同，具体需要结合实际场景确定第二结构光组件3中的结构光传感器21以及第二支撑件的结构。

将图4所示的结构光发射器211和结构光接收器212安装到支架231上，然后固定在竖板232上，从而得到图3所示的第二结构光组件3，然后将图1所示的第一结构光组件2以及图3所示的第二结构光组件3分别安装到机器人本体1上，从而得到本实用新型实施例中的机器人。

需要说明的是，本实用新型实施例未对第二结构光组件3在机器人上的位置进行限定，具体需要结合结构光传感器21的视场角确定，通常第一结构光组件2内的结构光传感器21的视场角和第二结构光组件3内的结构光传感器21的视场角应当存在部分重叠。

还需要说明的是，本实用新型实施例未对第二结构光组件3的数量进行限定，具体需要结合实际应用场景确定。

本实用新型实施例提供了一种目标物定位系统，包括：上述任一个实施例中的机器人以及云端服务器，所述机器人和所述云端服务器之间建立无线通讯连接；

所述机器人用于将采集的所述环境图像以及所述结构光图案上传至所述云端服务器；

所述云端服务器用于接收所述机器人上传的所述环境图像及结构光图像，根据所述环境图像及所述结构光图像，确定所述环境图像中的目标物的定位信息。

其中，目标物可以理解为环境图像中具有开合结构的物体，比如，门、窗等物体。当目标物处于打开状态时，本实施例中所述根据所述环境图像及所述结构光图像，确定所述环境图像中的目标物的定位信息具体可通过如下实现方式实现：对环境图像进行目标物检测，确定结构光线投射到目标物上的多个像素点的像素坐标集合；确定结构光图像对应的结构光坐标集；根据结构光传感器和视觉传感器之间的位置关系，确定像素坐标集对应的结构光坐标集；确定像素坐标集对应的结构光坐标集和结构光图像对应的结构光坐标集的交集，将该交集确定为目标物的定位信息，实现对目标物在结构光图像中的定位。

具体地，可以通过图像识别模型进行环境图像的识别。图像识别模型可基于神经网络技术进行搭建，当然也可根据需要采用现有技术中的其他技术，本实施例中对此不做限定。图像识别模型需预先针对目标物进行训练。具体的，即以大量的针对目标物进行标注的样本图片作为样本集，并利用样本集对图像识别模型进行训练，使之可以对待测图像进行分析，从而检测出待测图像中的目标物，并确定出目标物的像素坐标集合。

具体地，机器人和云端服务器建立无线通讯连接，从而实现机器人和云端服务器之间的数据传输。这里，无线通讯为现有技术，本实用新型实施例对此原理不做过多赘述，可行地，在机器人上设置无线网卡，通过无线网卡实现和云端服务器之间的数据传输。

需要说明的是，机器人可以有多个，多个机器人分别和云端服务器建立无线通讯连接，从而便于云端服务器对多个机器人进行监控管理控制。这里，云端服务器对机器人上传的数据进行处理，并将处理后的数据发送给机器人，机器人通过接收云端服务器发送的数据进行工作；服务器能够快速对数据进行处理，并通过无线传输将处理后的数据发送给机器人，控制机器人的正常工作；机器人无需进行数据处理，节约机器人的存储空间，降低机器人的开发难度以及开发成本。

可选的，所述云端服务器还用于获取所述结构光图像对应的环境深度图，基于所述环境深度图进行地图重建以确定环境地图，根据所述目标物的定位信息，对所述环境地图进行区域划分，以确定区域划分地图。

需要说明的是，确定结构光图像对应的环境深度图以及基于环境深度图进行地图重建以确定环境地图属于现有技术中的SLAM，本实用新型实施例对该过程的原理不做过多赘述。

虽然基于结构光的构建的环境地图的精度相对于图像要高，但是构建完成的环境地图中可能存在很多的干扰点，同时由于物体可能具有开合状态或者其他状态，进一步增加环境地图与实际场景中物体的差异，导致难以识别环境地图中的物体，而识别环境地图中的物体，则是实现目标追踪、路径规划、区域划分及地图展示等功能的基础。环境地图是基于结构光图像进行构建的，因此，得到目标物的定位信息可作为实现目标追踪、路径规划、区域划分等功能的依据条件。其中，区域划分具体指的是对室内空间的划分，比如，在确定了房间内各个门的位置后，即可实现对室内空间的划分，从而便于机器人规划路径。

以上所述仅为本实用新型的实施例而已，并不用于限制本实用新型。对于本领域技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本实用新型的权利要求范围之内。

Claims (10)

1.一种机器人，其特征在于，包括：机器人主体以及设置于所述机器人主体前端的第一结构光组件；

所述第一结构光组件包括视觉传感器、至少一个结构光传感器以及设置于所述机器人主体前端的第一支撑件，所述视觉传感器及至少一个结构光传感器设置于所述第一支撑件上；

所述结构光传感器用于向所述机器人主体外投射结构光线并采集投射的结构光线的结构光图案；

所述结构光传感器的视场角位于所述视觉传感器的视场角内，以使所述视觉传感器用于采集所述结构光传感器的视场角内的环境图像。

2.根据权利要求1所述的机器人，其特征在于，所述视觉传感器包括RGB相机。

3.根据权利要求1所述的机器人，其特征在于，所述视觉传感器对应的视觉坐标系和所述结构光传感器对应的结构光坐标系平行或重合。

4.根据权利要求1所述的机器人，其特征在于，所述结构光传感器包括用于向所述机器人主体外投射结构光线的结构光发射器及用于采集被摄目标反射的所述结构光发射器投射的结构光线的结构光接收器。

5.根据权利要求4所述的机器人，其特征在于，所述视觉传感器位于所述结构光传感器中的结构光发射器与结构光接收器中间。

6.根据权利要求5所述的机器人，其特征在于，所述结构光发射器设置于所述视觉传感器的上方，所述结构光接收器设置于所述视觉传感器的下方；

或者，所述结构光发射器设置于所述视觉传感器的右侧，所述结构光接收器设置于所述视觉传感器的左侧。

7.根据权利要求1所述的机器人，其特征在于，还包括：至少一个第二结构光组件，所述第二结构光组件用于探测所述机器人主体侧面和/或后端的障碍物。

8.根据权利要求7所述的机器人，其特征在于，所述第二结构光组件至少包括至少一个结构光传感器以及设置于所述机器人主体上的第二支撑件。

9.根据权利要求1所述的机器人，其特征在于，所述第一支撑件包括竖板和设置于所述竖板上的支架，所述结构光传感器以及所述视觉传感器设置在所述支架上。

10.一种目标物定位系统，其特征在于，包括：权利要求1至9中任一所述的机器人以及云端服务器，所述机器人和所述云端服务器之间建立无线通讯连接；

所述机器人用于将采集的所述环境图像以及所述结构光图案上传至所述云端服务器；

所述云端服务器用于接收所述机器人上传的所述环境图像及结构光图像，根据所述环境图像及所述结构光图像，确定所述环境图像中的目标物的定位信息。

Images