CN106774315B - 机器人自主导航方法和装置 - Google Patents

机器人自主导航方法和装置 Download PDF

Info

Publication number
CN106774315B
CN106774315B CN201611140508.7A CN201611140508A CN106774315B CN 106774315 B CN106774315 B CN 106774315B CN 201611140508 A CN201611140508 A CN 201611140508A CN 106774315 B CN106774315 B CN 106774315B
Authority
CN
China
Prior art keywords
task target
robot
task
server
motion path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611140508.7A
Other languages
English (en)
Other versions
CN106774315A (zh
Inventor
曹郁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aizhi Technology Shenzhen Co ltd
Original Assignee
Zmodo Technology Shenzhen Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zmodo Technology Shenzhen Corp ltd filed Critical Zmodo Technology Shenzhen Corp ltd
Priority to CN201611140508.7A priority Critical patent/CN106774315B/zh
Publication of CN106774315A publication Critical patent/CN106774315A/zh
Application granted granted Critical
Publication of CN106774315B publication Critical patent/CN106774315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种机器人自主导航方法和装置,该方法包括:接收机器人发送的任务目标;获取室内摄像头采集的图像信息,在图像信息中识别任务目标;对任务目标进行定位,计算任务目标的位置,根据任务目标的位置和机器人的位置规划运动路径;将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径进行导航。采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标,不需要机器人盲目全面进行任务目标的搜索识别,所以使任务目标的识别更加高效。且服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化,从而根据任务目标最新的位置能够灵活规划机器人的运动路径。

Description

机器人自主导航方法和装置
技术领域
本发明涉及机器人技术领域,特别是涉及一种机器人自主导航方法和装置。
背景技术
近些年来,随着计算机、互联网、传感器及导航技术的发展,使服务机器人逐步走进我们的家庭和生活。一般服务机器人在提供服务中,通过自身的导航系统进行导航从而完成任务。
传统的导航方式大多是基于地图搜索模式进行运动路径规划,这种运动路径规划方式不仅耗时长、计算量大,且在动态的家庭室内环境中,不能及时发现动态变化、不能够灵活规划运动路径从而导致不能及时响应用户需求。所以急需设计一种机器人能够实时、动态地响应用户的任务需求、并且灵活规划运动路径。
发明内容
基于此,有必要针对上述技术问题,提供一种能够在动态的室内环境中,实时、动态地响应任务目标的位置变化,并灵活规划运动路径的机器人自主导航方法和装置。
一种机器人自主导航方法,所述方法包括:
接收任务指令,获取任务目标;
获取室内摄像头采集的图像信息,在所述图像信息中识别所述任务目标;
对所述任务目标进行定位,计算所述任务目标的位置,根据所述任务目标的位置和所述机器人的位置规划运动路径;
将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径进行导航。
在其中一个实施例中,所述在所述图像信息中识别所述任务目标的步骤包括:
根据任务目标获取对应的身份信息,所述身份信息包括基于深度神经网络的人脸模型信息或物体模型信息;
在所述图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息;
若存在,则识别所述图像信息中的任务目标。
在其中一个实施例中,在所述计算所述任务目标的位置的步骤之前,还包括:
获取世界坐标系,以及多个室内摄像头坐标系;
分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。
在其中一个实施例中,所述计算所述任务目标的位置的步骤包括:
获取任务目标在室内摄像头坐标系的位置;
根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。
在其中一个实施例中,所述方法包括:
接收所述服务器规划后返回的运动路径;
根据所述运动路径进行导航。
在其中一个实施例中,所述装置包括:
任务目标接收模块,用于接收任务指令,获取任务目标;
任务目标识别模块,用于获取室内摄像头采集的图像信息,在所述图像信息中识别所述任务目标;
运动路径规划模块,用于对所述任务目标进行定位,计算所述任务目标的位置,根据所述任务目标的位置和所述机器人的位置规划运动路径;
发送模块,用于将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径进行导航。
在其中一个实施例中,所述任务目标识别模块还用于根据任务目标获取对应的身份信息,所述身份信息包括基于深度神经网络的人脸模型信息或物体模型信息;在所述图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息;若存在,则识别所述图像信息中的任务目标。
在其中一个实施例中,所述装置还包括:
空间映射建立模块,用于获取世界坐标系,以及多个室内摄像头坐标系;分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。
在其中一个实施例中,所述运动路径规划模块还用于获取任务目标在室内摄像头坐标系的位置;根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。
在其中一个实施例中,所述装置包括:
运动路径接收模块,用于接收所述服务器规划后返回的运动路径;
导航模块,用于根据所述运动路径进行导航。
上述机器人自主导航方法和装置,服务器接收任务目标,获取任务目标,并获取室内摄像头采集的图像信息,在室内摄像头采集的图像信息中识别任务目标。与传统地图搜索模式相比,采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标,不需要机器人盲目全面进行任务目标的搜索识别,所以使任务目标的识别更加高效。然后服务器再对任务目标进行定位,计算任务目标的位置,根据任务目标的位置和机器人的位置规划运动路径。因为服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化,从而根据任务目标最新的位置能够灵活规划机器人的运动路径。避免任务目标的位置发生变化,而机器人的运动路径却未实时更新。最后服务器将规划后的运动路径返回至机器人,机器人接收服务器返回的运动路径,并根据该运动路径进行导航。
附图说明
图1为一个实施例中机器人自主导航方法的应用环境图;
图2为一个实施例中机器人自主导航方法的流程图;
图3为另一个实施例中机器人自主导航方法的流程图;
图4为一个实施例中机器人自主导航装置的结构示意图;
图5为另一个实施例中机器人自主导航装置的结构示意图;
图6为再一个实施例中机器人自主导航装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本发明实施例中所提供的机器人自主导航方法可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器106进行连接,机器人104通过网络与服务器106连接,服务器106通过网络与多个室内摄像头108连接。用户可以通过终端102向服务器106发出任务指令,用户还可以通过机器人104向服务器106发出任务指令,服务器106接收任务指令,并识别任务指令中携带的任务目标。服务器106再获取室内摄像头108采集的图像信息,在室内摄像头108采集的图像信息中识别任务目标。服务器106对识别后的任务目标进行定位,获取该任务目标的位置,根据该任务目标的位置规划运动路径。服务器106将规划后的运动路径返回至机器人104。机器人104根据规划后的运动路径进行导航。
在一个实施例中,如图2所示,提供了一种机器人自主导航方法,以该方法应用于图1中的服务器106为例进行说明,具体包括:
步骤202,接收任务指令,获取任务目标。
终端上预先安装了应用程序,用户通过应用程序登录服务器,进行身份注册。用户不仅可以对其本人进行个人信息注册,还可以对其家庭成员进行个人信息注册。个人信息包括个人基本信息及身份信息。个人基本信息包括姓名、性别、年龄、出生年月、血型、身高、体重、心率、血压、血糖、血脂、疾病历史、用药历史等。对于人物的识别,身份信息是指具备身份认证功能的生物特征信息,例如声纹特征和基于深度神经网络的人脸模型信息。个人基本信息、声纹特征及人脸模型信息是一一对应的。
对于物品的识别,则可以利用终端采集室内物体的图像数据,建立物体模型,并保存为该物品的身份信息。物品的基本信息则可以是对该物品的称谓。
采集人物的声纹特征时,用户通过向机器人念一段文选段落的方式,机器人可以提取该用户与文本无关的声纹特征,保存在用户的身份信息中。
将采集的个人信息及物体的信息存储在服务器上,继而建立任务目标数据库。任务目标是指机器人在提供服务中涉及到的人或者物,比如用户、用户的家庭成员或者室内环境中的物体。任务目标可以包含一个或多个。
在所有人完成了注册,建立任务目标数据库之后,还需要通过终端操作建立人物之间的亲属关系图,最终再各自生成每个人的用亲属称谓和真实姓名来表达的亲属称谓关系图。
机器人可以为用户提供多种家庭服务,例如按摩、提醒、取物、跳舞、唱歌等功能,这些服务动作定义为机器人的功能指令,是不允许用户定义变更的系统指令。机器人的任务指令则是允许用户自定义的指令,自定义指令包括定义在任务目标数据库中的所有人或物品的称谓,用户通过终端或语音识别的语义理解技术将自定义指令存储在服务器的操作指令库和语音指令库中。
用户可以通过WIFI或者其他网络连接方式向服务器发出任务指令,可以是通过终端发送的操作指令,也可以是语音指令,即用户通过语音交互技术,先向机器人发送语音指令,机器人再将语音指令发送给服务器。任务指令中携带了任务目标。
当服务器接收终端发送的操作指令时,首先在操作指令库中进行匹配,并检索亲属称谓关系图,然后查询任务目标数据库,获取任务目标。
而当服务器接收到语音指令时,首先通过语音识别模块首先进行声纹特征识别,并匹配任务目标数据库中存储的声纹特征,分析出当前发出语音指令的用户的身份信息。同时进行语音识别及语义理解,然后语音指令库中进行匹配,并检索亲属称谓关系图。最后查询任务目标数据库,获取任务目标。
以服务患者用药为例,用户可以远程操作终端发出“提醒小明下午3点钟吃药”的任务指令,机器人就分析出该任务指令包含两个任务目标即小明和某种预先注册定义了的药品。同时还分析出系统指令为“提醒”,该提醒的执行时间为下午3点,到时机器人将为任务目标小明执行“提醒”服务。
如果家庭成员小丽通过语音或者通过自己的终端上的应用程序向服务器发出“帮我取某本书过来”的任务指令。服务器就分析出该任务指令包含两个任务目标即小丽和某本预先注册定义了的书,同时还分析出系统指令为“取物”,即为用户提供取物的服务。如果家庭成员小丽通过语音或者通过自己的终端上的应用程序向服务器发出“我需要按摩”的任务指令,服务器就分析出该任务指令包含一个任务目标即小丽,以及系统指令为“按摩”。
进一步的,用户也可以不在同一室内环境中,对终端远程操作,向服务器发出操作指令。例如家里有一位爷爷需要服务,用户就可以远程操作终端发出“给爷爷按摩”的任务指令,则服务器接收任务指令,在该用户的亲属称谓关系图中进行检索,获取亲属称谓是“爷爷”的任务目标,进一步查询任务目标数据库,获取到“爷爷”的个人信息。同时也分析出系统指令为“按摩”,即为“爷爷”提供“按摩”服务。
步骤204,获取室内摄像头采集的图像信息,在图像信息中识别任务目标。
传统方式中,机器人基于地图搜索模式识别任务目标。具体为机器人利用自身的视觉系统在室内环境中进行全面搜索,并进行匹配,识别任务目标。该视觉系统特指机器人自身的摄像头。该方式单独通过机器人自身的摄像头进行搜索识别,耗费时间,无法及时响应用户需求。如果在动态的室内环境中,任务目标多是动态的,无法实时跟踪任务目标的位置变化。
室内每个房间都安装有室内摄像头,该室内摄像头在本实施例中可以通过WIFI或者其他网络连接方式与服务器进行连接。多个室内摄像头分别拍摄室内的图像信息,再将拍摄的图像信息上传至服务器,并在服务器上进行存储,因此服务器能够从全局视角实时掌握整个家庭环境信息,从而快速识别任务目标。传统的地图搜索模式,机器人只能掌握自身摄像头所能拍摄到的视野范围内的环境信息,这样局限性很强,机器人不得不在全局环境内盲目地进行全面搜索,费时费力。
服务器查询任务目标数据库,该任务目标数据库预先存储了任务目标的身份信息和个人基本信息。服务器从任务目标数据库读取任务目标的身份信息,缓存为任务目标数据,再根据缓存的任务目标数据,对实时存储在服务器上的室内摄像头所拍摄的图像信息进行检测和识别,识别出任务目标。
步骤206,对任务目标进行定位,计算任务目标的位置,根据任务目标的位置和机器人的位置规划运动路径。
通过服务器识别出任务目标后,对任务目标进行定位。服务器在某个室内摄像头拍摄的图像信息中识别出任务目标,则就在该室内摄像头坐标系中对任务目标进行定位。分别计算任务目标和机器人的位置,然后规划出机器人到达任务目标的运动路径。在此期间室内摄像头对任务目标保持动态跟踪,使服务器能够实时对任务目标进行定位。如果任务目标位置发生变化,则服务器实时重新对任务目标进行定位,再分别重新计算任务目标和机器人的位置,然后重新规划出机器人到达任务目标的运动路径。
获取任务目标在某个室内摄像头坐标系中的位置,及计算任务目标在世界坐标系的位置,这些复杂的计算量都是在服务器上完成。相对于传统地图搜索模式,大大减少了机器人的计算量,也无需摄像头设备具备运算能力。因此提高了运行效率,保证服务器能够在识别出任务目标后快速定位任务目标的位置。
步骤208,将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径进行导航。
服务器将规划后的运动路径返回至机器人,机器人根据运动路径进行导航,该运动路径的规划即为全局路径规划。当导航时,机器人就可以通过运动路径再配合自身的视觉系统进行导航。自身的视觉系统包括避障传感器、摄像头等,通过自身的视觉系统计算避障方向及运动控制量,实时调整局部路径规划,规避全局路径规划中没有考虑到的局部位置的障碍物,相当于通过机器人自身的视觉系统对服务器给出的全局路径规划进行一个局部的动态调整。该运动控制量包括但不限于平移速度和旋转角速度。
服务器接收任务目标,获取任务目标,并获取室内摄像头采集的图像信息,在室内摄像头采集的图像信息中识别任务目标。与传统地图搜索模式相比,采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标,不需要机器人盲目全面进行任务目标的搜索识别,所以使任务目标的识别更加高效。然后服务器再对任务目标进行定位,计算任务目标的位置,根据任务目标的位置规划运动路径。因为服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化,从而根据任务目标最新的位置能够灵活规划机器人的运动路径。避免任务目标的位置发生变化,而机器人的运动路径却未实时更新。最后服务器将规划后的运动路径返回至机器人,机器人接收服务器返回的运动路径,并根据该运动路径进行导航。
在一个实施例中,在图像信息中识别任务目标的步骤包括:
根据任务目标获取对应的身份信息,身份信息包括基于深度神经网络的人脸模型信息或物体模型信息;在图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息;若存在,则识别图像信息中的任务目标。
服务器根据在操作指令库匹配得到的任务目标的个人基本信息,进一步查询任务目标数据库,获取人物目标的身份信息。该任务目标数据库预先存储了任务目标的个人基本信息和身份信息。关于身份信息的定义如下,当人作为任务目标时可以存储基于深度神经网络的人脸模型信息,当物品作为任务目标时可以存储物体模型信息。服务器在任务目标数据库中读取任务目标对应的身份信息并缓存。
服务器根据缓存的人脸模型信息或者物体模型信息,对实时存储在服务器上的室内摄像头所拍摄的图像信息进行图像检测和识别,具体指通过人脸模型信息检测和识别人的身份,通过物体模型信息检测和识别物体,从而识别出了任务目标。如果未识别出任务目标,则继续对实时存储在服务器上的室内摄像头所拍摄的图像信息进行检测和识别,直到识别出任务目标。
在一个实施例中,在计算任务目标的位置的步骤之前,还包括:获取世界坐标系,以及多个室内摄像头坐标系;分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。
机器人通过SLAM(simultaneous localization and mapping,即时定位与地图构建)构建环境地图。机器人建立的环境地图的坐标系即为世界坐标系。室内摄像头根据内参各自构建自己的摄像头坐标系。在本实施例中可以默认世界坐标系的原点为机器人充电座的位置。
机器人和室内摄像头均利用SIFT(Scale Invariant Feature Transform,尺度不变特征变换)算子,来计算和描述物体在世界坐标系和各个摄像头坐标系的三维空间特征。SIFT算子是以尺度空间的构造为基础的局部特征描述算子,对于图像的缩放、旋转和放射变化具有不变性。
室内摄像头在世界坐标系的定位方法如下,首先摄像头的内参自动调整,保持摄像头的固定姿态,然后利用摄像头采集的图像信息,计算其三维空间特征,最后通过与机器人构建的环境地图进行三维空间特征的匹配,得出室内摄像头在世界坐标系中的空间位置。
机器人进行构建环境地图时,采用SIFT算子对世界坐标系的物体进行三维空间特征的提取,得到室内环境完整的三维空间特征点云的集合。各个室内摄像头同样对各自的室内环境观察区域进行SIFT特征提取,形成点云集合,然后将各自的三维空间特征与环境地图构建结果的空间特征进行相似度匹配,从而得到摄像头在世界坐标系中的位置。进一步,建立各个室内摄像头坐标系与世界坐标系之间的空间映射关系。
SIFT算子是指通过对关键点周围图像区域分块,计算块内梯度直方图,生成特征向量,这个特征向量是该区域图像信息的一种抽象,具有唯一性。计算特征向量间的空间距离即为相似度匹配。
SIFT算子具有即使改变旋转角度、图像亮度或拍摄视角,仍然保持良好的唯一性。即使室内摄像头拍摄的图形信息与机器人的摄像头拍摄的图像信息具有不同的拍摄视角、图像亮度等,但通过计算SIFT算子可以建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。通过已经建立的各个室内摄像头坐标系与世界坐标系之间的空间映射关系,能够将处于某个室内摄像头坐标系中的任务目标的位置转换到世界坐标系,从而方便机器人的导航。
在一个实施例中,计算任务目标的位置的步骤包括:获取任务目标在室内摄像头坐标系的位置;根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。
通过服务器识别出任务目标后,对任务目标进行定位。具体为服务器在某个室内摄像头拍摄的图像信息中识别出任务目标,则就在该室内摄像头坐标系中对任务目标进行定位。然后通过已经建立的该室内摄像头坐标系与世界坐标系之间的空间映射关系,计算任务目标在世界坐标系中的位置。再结合机器人在世界坐标系中的位置,在世界坐标系中规划出机器人到达任务目标的运动路径。在此期间室内摄像头对任务目标保持动态跟踪,使服务器能够实时对任务目标进行定位。如果任务目标位置发生变化,则服务器实时重新对任务目标进行定位,再分别重新计算任务目标和机器人的位置,然后重新规划出机器人到达任务目标的运动路径。
在本实施例中,获取任务目标在某个室内摄像头坐标系中的位置,及计算任务目标在世界坐标系的位置,这些复杂的计算量都是在服务器上完成。相对于传统地图搜索模式,大大减少了机器人的计算量,也无需摄像头设备具备运算能力。提高了运行效率,保证服务器能够在识别出任务目标后快速定位任务目标的位置。
在一个实施例中,如图3所示,提供了一种机器人自主导航方法,以该方法应用于图1中的机器人104为例进行说明,具体包括:
步骤302,接收所述服务器规划后返回的运动路径。
步骤304,根据运动路径进行导航。
机器人根据运动路径进行导航。当导航时,机器人就可以通过运动路径再配合自身的视觉系统进行导航,自身的视觉系统包括避障传感器、摄像头等,通过自身的视觉系统计算避障方向及运动控制量,实时调整局部路径规划,规避全局路径规划中没有考虑到的局部位置的障碍物,相当于通过机器人自身的视觉系统对服务器给出的全局路径规划进行一个局部的动态调整。该运动控制量包括但不限于平移速度和旋转角速度。
在本实施例中,服务器接收任务目标,获取任务目标,并获取室内摄像头采集的图像信息,在室内摄像头采集的图像信息中识别任务目标。与传统地图搜索模式相比,采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标,不需要机器人盲目全面进行任务目标的搜索识别,所以使任务目标的识别更加高效。然后服务器再对任务目标进行定位,计算任务目标的位置,根据任务目标的位置规划运动路径。因为服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化,从而根据任务目标最新的位置能够灵活规划机器人的运动路径。避免任务目标的位置发生变化,而机器人的运动路径却未实时更新。最后服务器将规划后的运动路径返回至机器人,机器人接收服务器返回的运动路径,并根据该运动路径进行导航。
在一个实施例中,如图4所示,提供了一种机器人自主导航装置,包括:任务目标接收模块402、任务目标识别模块404、运动路径规划模块406、导航模块408。其中:
任务目标接收模块402,用于接收任务指令,获取任务目标。
任务目标识别模块404,用于获取室内摄像头采集的图像信息,在图像信息中识别任务目标。
运动路径规划模块406,用于对任务目标进行定位,计算任务目标的位置,根据任务目标的位置和机器人的位置规划运动路径。
导航模块408,用于将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径进行导航。
在一个实施例中,任务目标识别模块404还用于根据任务目标获取对应的身份信息,身份信息包括基于深度神经网络的人脸模型信息或物体模型信息;在图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息;若存在,则识别图像信息中的任务目标。
在一个实施例中,如图5所示,该装置还包括空间映射建立模块410,用于获取世界坐标系,以及多个室内摄像头坐标系;分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。
在一个实施例中,运动路径规划模块406还用于获取任务目标在室内摄像头坐标系的位置;根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。
在一个实施例中,如图6所示,提供一种机器人自主导航装置,包括:运动路径接收模块502、导航模块504,其中:
运动路径接收模块502,用于接收所述服务器规划后返回的运动路径。
导航模块504,用于根据运动路径进行导航。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种机器人自主导航方法,所述方法包括:
服务器接收任务指令,查询任务目标数据库获取任务目标,所述任务指令中携带了所述任务目标,所述任务目标数据库中预先存储了任务目标的身份信息和个人基本信息;
服务器获取室内摄像头采集的图像信息,室内每个房间都安装有室内摄像头,从所述任务目标数据库中读取所述任务目标的身份信息,缓存为任务目标数据,再根据缓存的任务目标数据,在所述图像信息中识别所述任务目标;
服务器对所述任务目标进行定位,计算所述任务目标的位置,根据所述任务目标的位置和所述机器人的位置规划运动路径;所述服务器对所述任务目标进行定位,包括:若服务器在特定房间内的室内摄像头所采集的图像信息中识别出所述任务目标,则在所述特定房间的室内摄像头坐标系中对所述任务目标进行定位;
若所述任务目标的位置发生变化,则服务器实时重新对任务目标进行定位,根据所述任务目标的位置和所述机器人的位置,重新规划运动路径;所述运动路径为全局运动路径;
服务器将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径再配合自身的视觉系统进行导航。
2.根据权利要求1所述的方法,其特征在于,所述在所述图像信息中识别所述任务目标的步骤包括:
根据任务目标获取对应的身份信息,所述身份信息包括基于深度神经网络的人脸模型信息或物体模型信息;
在所述图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息;
若存在,则识别所述图像信息中的任务目标。
3.根据权利要求1所述的方法,其特征在于,在所述计算所述任务目标的位置的步骤之前,还包括:
获取世界坐标系,以及多个室内摄像头坐标系;
分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。
4.根据权利要求3所述的方法,其特征在于,所述计算所述任务目标的位置的步骤包括:
获取任务目标在室内摄像头坐标系的位置;
根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。
5.一种机器人自主导航方法,所述方法包括:
机器人接收服务器规划后返回的全局运动路径,所述服务器执行如权利要求1至4中任一项所述方法的步骤;
机器人根据所述全局运动路径配合自身的视觉系统计算避障方向及运动控制量,实时调整局部路径规划进行导航,所述运动控制量包括平移速度和旋转角速度。
6.一种机器人自主导航装置,其特征在于,所述装置包括:
任务目标接收模块,用于服务器接收任务指令,查询任务目标数据库获取任务目标,所述任务指令中携带了所述任务目标,所述任务目标数据库中预先存储了任务目标的身份信息和个人基本信息;
任务目标识别模块,用于服务器获取室内摄像头采集的图像信息,室内每个房间都安装有室内摄像头,从所述任务目标数据库中读取所述任务目标的身份信息,缓存为任务目标数据,再根据缓存的任务目标数据,在所述图像信息中识别所述任务目标;
运动路径规划模块,用于服务器对所述任务目标进行定位,计算所述任务目标的位置,根据所述任务目标的位置和所述机器人的位置规划运动路径;所述服务器对所述任务目标进行定位,包括:若服务器在特定房间内的室内摄像头所采集的图像信息中识别出所述任务目标,则在所述特定房间的室内摄像头坐标系中对所述任务目标进行定位;若所述任务目标的位置发生变化,则服务器实时重新对任务目标进行定位,根据所述任务目标的位置和所述机器人的位置,重新规划运动路径;所述运动路径为全局运动路径;发送模块,用于服务器将规划后的运动路径返回至机器人,以使得机器人按照规划后的运动路径再配合自身的视觉系统进行导航。
7.根据权利要求6所述的机器人自主导航装置,其特征在于,所述任务目标识别模块还用于根据任务目标获取对应的身份信息,所述身份信息包括基于深度神经网络的人脸模型信息或物体模型信息;在所述图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息;若存在,则识别所述图像信息中的任务目标。
8.根据权利要求6所述的机器人自主导航装置,其特征在于,所述装置还包括:
空间映射建立模块,用于获取世界坐标系,以及多个室内摄像头坐标系;分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。
9.根据权利要求8所述的机器人自主导航装置,其特征在于,所述运动路径规划模块还用于获取任务目标在室内摄像头坐标系的位置;根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。
10.一种机器人自主导航装置,其特征在于,所述装置包括:
运动路径接收模块,用于机器人接收服务器规划后返回的全局运动路径,所述服务器包括如权利要求6至9中任一项所述的机器人自主导航装置;
导航模块,用于机器人根据所述全局运动路径配合自身的视觉系统计算避障方向及运动控制量,实时调整局部路径规划进行导航,所述运动控制量包括平移速度和旋转角速度。
11.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述方法的步骤。
CN201611140508.7A 2016-12-12 2016-12-12 机器人自主导航方法和装置 Active CN106774315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611140508.7A CN106774315B (zh) 2016-12-12 2016-12-12 机器人自主导航方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611140508.7A CN106774315B (zh) 2016-12-12 2016-12-12 机器人自主导航方法和装置

Publications (2)

Publication Number Publication Date
CN106774315A CN106774315A (zh) 2017-05-31
CN106774315B true CN106774315B (zh) 2020-12-01

Family

ID=58880260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611140508.7A Active CN106774315B (zh) 2016-12-12 2016-12-12 机器人自主导航方法和装置

Country Status (1)

Country Link
CN (1) CN106774315B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108459594A (zh) * 2017-06-12 2018-08-28 炬大科技有限公司 一种移动电子设备以及该移动电子设备中的方法
CN107490377A (zh) * 2017-07-17 2017-12-19 五邑大学 室内无地图导航系统及导航方法
CN107390721B (zh) * 2017-07-26 2021-05-18 歌尔科技有限公司 机器人随行控制方法、装置及机器人
CN108459598B (zh) * 2017-08-24 2024-02-20 炬大科技有限公司 一种用于处理任务区域的任务的移动电子设备以及方法
CN107742311B (zh) * 2017-09-29 2020-02-18 北京易达图灵科技有限公司 一种视觉定位的方法及装置
CN108153302B (zh) * 2017-12-08 2021-04-20 深圳市易成自动驾驶技术有限公司 自动导引车的导引方法、装置及计算机可读存储介质
CN108279667A (zh) * 2018-01-08 2018-07-13 浙江立石机器人技术有限公司 机器人充电路径规划方法、装置及系统
CN108319135B (zh) * 2018-01-18 2019-12-27 西北工业大学 基于神经网络鲁棒自适应的空间柔性系统展开控制方法
CN108500979B (zh) * 2018-03-10 2020-10-27 彭惠平 一种基于相机通讯连接的机器人抓取方法及其系统
CN108415434B (zh) * 2018-03-29 2021-05-25 五邑大学 一种机器人调度方法
CN110411446B (zh) * 2018-04-28 2023-09-08 深圳果力智能科技有限公司 一种机器人的路径规划方法
CN109141364B (zh) * 2018-08-01 2020-11-03 北京进化者机器人科技有限公司 障碍物检测方法、系统及机器人
CN109765889A (zh) * 2018-12-31 2019-05-17 深圳市越疆科技有限公司 一种机器人的监控方法、装置及智能终端
CN109664301B (zh) * 2019-01-17 2022-02-01 中国石油大学(北京) 巡检方法、装置、设备及计算机可读存储介质
CN111829510A (zh) * 2019-04-15 2020-10-27 富华科精密工业(深圳)有限公司 自动导航方法、服务器及存储介质
CN112784634A (zh) * 2019-11-07 2021-05-11 北京沃东天骏信息技术有限公司 视频信息处理方法、装置和系统
CN110967019A (zh) * 2019-11-28 2020-04-07 深圳优地科技有限公司 一种规划机器人局部路径的方法及机器人
CN112050810B (zh) * 2019-12-23 2022-09-27 华北电力大学(保定) 一种基于计算机视觉的室内定位导航方法及系统
CN113218392A (zh) * 2020-01-21 2021-08-06 富华科精密工业(深圳)有限公司 室内定位导航方法及导航装置
CN111445531B (zh) * 2020-03-24 2022-08-30 云南电网有限责任公司楚雄供电局 一种多目相机导航方法、装置、设备及存储介质
CN111474935B (zh) * 2020-04-27 2023-05-23 华中科技大学无锡研究院 一种移动机器人路径规划和定位方法、装置及系统
CN111694006A (zh) * 2020-05-29 2020-09-22 杭州电子科技大学 一种用于室内无人系统的导航传感系统
CN112346459A (zh) * 2020-11-04 2021-02-09 深圳优地科技有限公司 机器人运行方法、装置、机器人及存储介质
CN112405540B (zh) * 2020-11-11 2022-01-07 深圳优地科技有限公司 机器人控制方法、装置、机器人及可读存储介质
CN112666942A (zh) * 2020-12-15 2021-04-16 美智纵横科技有限责任公司 自移动机器人及其路径规划方法、装置、设备和存储介质
CN113617764B (zh) * 2021-07-30 2023-03-24 燕山大学 一种智能油罐清洁机器人系统及其清洗油罐方法
CN113781575B (zh) * 2021-08-09 2024-01-12 上海奥视达智能科技有限公司 一种相机参数的标定方法、装置、终端和存储介质
CN114460942A (zh) * 2022-02-09 2022-05-10 中国农业银行股份有限公司 一种室内机器人导航控制方法、装置、设备及介质
CN114700964B (zh) * 2022-03-24 2023-09-22 贵阳臻芯科技有限公司 集装箱智能辅助机器人

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159093A (zh) * 2007-11-23 2008-04-09 北京工业大学 智能家居保姆系统和多网络单点接入集成方法
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
JP4448024B2 (ja) * 2002-05-31 2010-04-07 富士通株式会社 遠隔操作ロボットおよびロボット自己位置同定方法
CN102103663A (zh) * 2011-02-26 2011-06-22 山东大学 病房巡视服务机器人系统及其目标搜寻方法
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
CN103792948A (zh) * 2013-09-16 2014-05-14 弗徕威数码科技(上海)有限公司 一种用于酒店及病房的智能服务机器人
KR101498040B1 (ko) * 2013-08-23 2015-03-12 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
CN105865440A (zh) * 2016-03-24 2016-08-17 京信通信技术(广州)有限公司 一种目标对象定位方法、处理服务器及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448024B2 (ja) * 2002-05-31 2010-04-07 富士通株式会社 遠隔操作ロボットおよびロボット自己位置同定方法
CN101159093A (zh) * 2007-11-23 2008-04-09 北京工业大学 智能家居保姆系统和多网络单点接入集成方法
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN102103663A (zh) * 2011-02-26 2011-06-22 山东大学 病房巡视服务机器人系统及其目标搜寻方法
CN102323817A (zh) * 2011-06-07 2012-01-18 上海大学 一种服务机器人控制平台系统及其多模式智能交互与智能行为的实现方法
KR101498040B1 (ko) * 2013-08-23 2015-03-12 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
CN103792948A (zh) * 2013-09-16 2014-05-14 弗徕威数码科技(上海)有限公司 一种用于酒店及病房的智能服务机器人
CN105865440A (zh) * 2016-03-24 2016-08-17 京信通信技术(广州)有限公司 一种目标对象定位方法、处理服务器及系统

Also Published As

Publication number Publication date
CN106774315A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106774315B (zh) 机器人自主导航方法和装置
CN111989537B (zh) 用于在无约束环境中检测人类视线和手势的系统和方法
US11379287B2 (en) System and method for error detection and correction in virtual reality and augmented reality environments
US9895802B1 (en) Projection of interactive map data
Jones et al. Visual-inertial navigation, mapping and localization: A scalable real-time causal approach
Elloumi et al. Indoor pedestrian localization with a smartphone: A comparison of inertial and vision-based methods
JP5525407B2 (ja) 動作モデル学習装置、3次元姿勢推定装置、動作モデル学習方法、3次元姿勢推定方法およびプログラム
KR20180072978A (ko) 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
JP2020166856A (ja) 屋内位置特定のための方法、サーバ、及びプログラム
CN113116224B (zh) 机器人及其控制方法
JP2011501134A (ja) 追跡および観測用ロボット
CN106030610A (zh) 移动设备的实时3d姿势识别和跟踪系统
Tamjidi et al. 6-DOF pose estimation of a portable navigation aid for the visually impaired
Benli et al. Human behavior-based target tracking with an omni-directional thermal camera
US20220230350A1 (en) Position recognition method and system based on visual information processing
US20180246512A1 (en) Proactive Acquisition of Data for Maintenance of Appearance Model by Mobile Robot
Schubert et al. Automatic bone parameter estimation for skeleton tracking in optical motion capture
Park et al. Vision-based global localization for mobile robots with hybrid maps of objects and spatial layouts
Nguyen et al. A visual SLAM system on mobile robot supporting localization services to visually impaired people
WO2008104912A2 (en) Method of locating objects using an autonomously moveable device
EP3825805B1 (en) Agent, presence probability map creation method, agent action control method, and program
CN111724438B (zh) 一种数据处理方法、装置
WO2022250605A1 (en) Navigation guidance methods and navigation guidance devices
Noor et al. Context-aware perception for cyber-physical systems
Gulde et al. Vision-based slam navigation for vibro-tactile human-centered indoor guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221208

Address after: 518000 1F218, Building B, Guoren Building, No. 5, Keji Middle Third Road, Maling Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong

Patentee after: Aizhi Technology (Shenzhen) Co.,Ltd.

Address before: Floor 25, Building A, Financial Technology Building, No. 11, Keyuan Road, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: ZMODO TECHNOLOGY SHENZHEN Corp.,Ltd.