CN111256676B - 移动机器人定位方法、装置和计算机可读存储介质 - Google Patents

移动机器人定位方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111256676B
CN111256676B CN201811459591.3A CN201811459591A CN111256676B CN 111256676 B CN111256676 B CN 111256676B CN 201811459591 A CN201811459591 A CN 201811459591A CN 111256676 B CN111256676 B CN 111256676B
Authority
CN
China
Prior art keywords
coordinate
mobile robot
coordinate system
route
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811459591.3A
Other languages
English (en)
Other versions
CN111256676A (zh
Inventor
王韬
何小嵩
杨嘉伟
全晓臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201811459591.3A priority Critical patent/CN111256676B/zh
Publication of CN111256676A publication Critical patent/CN111256676A/zh
Application granted granted Critical
Publication of CN111256676B publication Critical patent/CN111256676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种移动机器人定位方法、装置及计算机可读存储介质,属于机器人技术领域。所述方法包括:获取区域图像,所述区域图像为移动机器人上安装的第一摄像头拍摄到的所述移动机器人的行驶区域的图像;识别所述区域图像中包含的路线标识物;根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息;根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。本发明中仅根据区域图像中包含的路线标识物在区域图像中的图像坐标,即可确定出移动机器人的姿态信息,从而可以有效降低移动机器人的定位难度。

Description

移动机器人定位方法、装置和计算机可读存储介质
技术领域
本发明涉及机器人技术领域,特别涉及一种移动机器人定位方法、装置和计算机可读存储介质。
背景技术
为了提高生产和仓储管理的自动化水平,移动机器人被广泛的采用。移动机器人能够按照预设的路线自动运输产品,不需要人工参与,因而能够大大减少运输成本,提高运输效率。为了便于移动机器人精确地运输产品,要求移动机器人能够精确定位。
目前,为了提高移动机器人的定位精度,可以在移动机器人的底部安装至少两个二维码解码器,同时在地面上按照一定的间距贴置一定数量的携带有坐标值的二维码。该至少两个二维码解码器获取地面上贴置的至少两个二维码中每个二维码携带的坐标值,然后根据获取到的至少两个坐标值确定移动机器人的位置。
然而,上述方式中对移动机器人的定位依赖于事先贴置的二维码中携带的坐标值。为了便于移动机器人的底部安装的至少两个二维码解码器扫描到至少两个二维码,二维码的贴置间距需要与该至少两个二维码解码器的安装间距匹配,而在二维码解码器无法扫描到二维码时,将无法提供外部定位信息,从而导致移动机器人的定位难度较大。
发明内容
本发明实施例提供了一种移动机器人定位方法、装置和计算机可读存储介质,可以解决相关技术中移动机器人的定位难度较大的问题。所述技术方案如下:
第一方面,提供了一种移动机器人定位方法,所述方法包括:
获取区域图像,所述区域图像为移动机器人上安装的第一摄像头拍摄到的所述移动机器人的行驶区域的图像;
识别所述区域图像中包含的路线标识物;
根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息;
根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。
可选地,所述第一摄像头安装在所述移动机器人的前端或后端;所述方法还包括:
获取路面图像,所述路面图像为所述移动机器人的底部安装的第二摄像头拍摄到的所述移动机器人的行驶路面的图像;
识别所述路面图像中是否包含标签,所述标签中携带所述标签在标签坐标系中的坐标值;
相应地,所述根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息,包括:
当所述路面图像中不包含标签时,根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。
可选地,所述方法还包括:
当所述路面图像中包含标签时,根据所述路面图像中包含的标签携带的坐标值,确定所述第二摄像头的位置坐标和姿态信息;
根据所述第一摄像头的姿态信息、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的位置坐标和姿态信息。
可选地,所述根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息,包括:
根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,所述第一坐标系的原点为所述第一摄像头的中心,所述第一坐标系的纵轴与所述移动机器人的轴线重合或平行;
获取所述第一坐标系的原点与所述第一曲线之间的距离,以及获取所述第一坐标系的纵轴与所述第一曲线之间的夹角值;将获取到的距离和夹角值确定为所述第一摄像头的姿态信息。
可选地,所述路线标识物为车道线或第一标识物,所述第一标识物为沿车道线设置且与所述车道线平行的物体;
所述根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,包括:
根据所述路线标识物在所述区域图像中的图像坐标,确定所述路线标识物所在的直线在所述第一坐标系中对应的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
可选地,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;
所述根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,包括:
当所述区域图像中包含多个路线标识物时,根据所述多个路线标识物中每个路线标识物的标识点在所述区域图像中的图像坐标,确定所述多个路线标识物中每个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
对所述多个路线标识物的标识点在所述第一坐标系中对应的多个第一坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
可选地,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;
所述根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,包括:
当所述区域图像中包含一个路线标识物时,根据所述一个路线标识物的标识点在所述区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
获取下一帧区域图像,根据所述一个路线标识物的标识点在所述下一帧区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第二坐标点;
对所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点和第二坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
可选地,所述标签坐标系的横轴或纵轴与所述行驶路线所在的直线重合或平行;
所述根据所述路面图像中包含的标签携带的坐标值,确定所述第二摄像头的位置坐标和姿态信息,包括:
根据所述路面图像中包含的标签在所述路面图像中的图像坐标,确定所述标签在第二坐标系中对应的第三坐标点,所述第二坐标系的原点为所述第二摄像头的中心,所述第二坐标系的纵轴与所述移动机器人的轴线重合或平行;
根据所述标签中携带的坐标值和所述第三坐标点的坐标值,确定所述第二坐标系的纵轴与所述标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,并将所述标签坐标系的两个坐标轴中与所述第二坐标系的纵轴之间的夹角值最小的坐标轴作为第一坐标轴,将所述标签坐标系的两个坐标轴中除所述第一坐标轴之外的另一个坐标轴作为第二坐标轴;
以所述标签的中心点为原点、以与所述标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与所述标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系,所述指定坐标系的纵轴与所述行驶路线所在的直线重合或平行;
获取所述第二坐标系的原点在所述指定坐标系中的坐标值,以及获取所述第二坐标系的纵轴与所述指定坐标系的纵轴之间的夹角值;将获取到的坐标值确定为所述第二摄像头的位置坐标,以及将获取到的夹角值确定为所述第二摄像头的姿态信息。
可选地,所述根据所述第一摄像头的姿态信息、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的位置坐标和姿态信息,包括:
根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系和所述第一摄像头的姿态信息,确定所述移动机器人的中心的第一姿态信息;
根据所述第二摄像头的中心与所述移动机器人的中心之间的位置关系、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的中心的第一位置坐标和第二姿态信息;
根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系、所述第一摄像头的姿态信息和所述移动机器人的中心的第一位置坐标,确定所述移动机器人的中心的第二位置坐标和第三姿态信息;
根据所述移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定所述移动机器人的位置坐标和姿态信息。
可选地,所述第一摄像头的姿态信息中包括距离和夹角值,所述距离为所述第一摄像头的中心与所述行驶路线之间的距离,所述夹角值为所述移动机器人的轴线与所述行驶路线之间的夹角值,所述第一位置坐标中的横坐标为所述移动机器人的中心与所述行驶路线之间的距离,所述第一位置坐标中的纵坐标为所述移动机器人的中心与所述标签相距的行进距离;
所述根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系、所述第一摄像头的姿态信息和所述移动机器人的中心的第一位置坐标,确定所述移动机器人的中心的第二位置坐标和第三姿态信息,包括:
根据所述第一摄像头的中心与目标点之间的位置关系和所述第一摄像头的姿态信息,确定所述目标点与所述行驶路线之间的距离,所述目标点为所述移动机器人的两端中安装有所述第一摄像头的一端的中心点;
根据所述目标点与所述行驶路线之间的距离、所述目标点与所述移动机器人的中心之间的距离和所述第一位置坐标中的横坐标,获取所述移动机器人的轴线与所述行驶路线之间的夹角值;将获取到的夹角值确定为所述移动机器人的中心的第三姿态信息,以及将所述第一位置坐标确定为所述移动机器人的中心的第二位置坐标。
第二方面,提供了一种移动机器人定位装置,所述装置包括:
第一获取模块,用于获取区域图像,所述区域图像为移动机器人上安装的第一摄像头拍摄到的所述移动机器人的行驶区域的图像;
第一识别模块,用于识别所述区域图像中包含的路线标识物;
第一确定模块,用于根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息;
第二确定模块,用于根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。
可选地,所述第一摄像头安装在所述移动机器人的前端或后端;所述装置还包括:
第二获取模块,用于获取路面图像,所述路面图像为所述移动机器人的底部安装的第二摄像头拍摄到的所述移动机器人的行驶路面的图像;
第二识别模块,用于识别所述路面图像中是否包含标签,所述标签中携带所述标签在标签坐标系中的坐标值;
相应地,所述第二确定模块用于:
当所述路面图像中不包含标签时,根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。
可选地,所述装置还包括:
第三确定模块,用于当所述路面图像中包含标签时,根据所述路面图像中包含的标签携带的坐标值,确定所述第二摄像头的位置坐标和姿态信息;
第四确定模块,用于根据所述第一摄像头的姿态信息、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的位置坐标和姿态信息。
可选地,所述第一确定模块包括:
第一确定单元,用于根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,所述第一坐标系的原点为所述第一摄像头的中心,所述第一坐标系的纵轴与所述移动机器人的轴线重合或平行;
第二确定单元,用于获取所述第一坐标系的原点与所述第一曲线之间的距离,以及获取所述第一坐标系的纵轴与所述第一曲线之间的夹角值;将获取到的距离和夹角值确定为所述第一摄像头的姿态信息。
可选地,所述路线标识物为车道线或第一标识物,所述第一标识物为沿车道线设置且与所述车道线平行的物体;所述第一确定单元用于:
根据所述路线标识物在所述区域图像中的图像坐标,确定所述路线标识物所在的直线在所述第一坐标系中对应的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
可选地,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;所述第一确定单元用于:
当所述区域图像中包含多个路线标识物时,根据所述多个路线标识物中每个路线标识物的标识点在所述区域图像中的图像坐标,确定所述多个路线标识物中每个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
对所述多个路线标识物的标识点在所述第一坐标系中对应的多个第一坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
可选地,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;所述第一确定单元用于:
当所述区域图像中包含一个路线标识物时,根据所述一个路线标识物的标识点在所述区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
获取下一帧区域图像,根据所述一个路线标识物的标识点在所述下一帧区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第二坐标点;
对所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点和第二坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
可选地,所述标签坐标系的横轴或纵轴与所述行驶路线所在的直线重合或平行;所述第三确定模块包括:
第三确定单元,用于根据所述路面图像中包含的标签在所述路面图像中的图像坐标,确定所述标签在第二坐标系中对应的第三坐标点,所述第二坐标系的原点为所述第二摄像头的中心,所述第二坐标系的纵轴与所述移动机器人的轴线重合或平行;
第四确定单元,用于根据所述标签中携带的坐标值和所述第三坐标点的坐标值,确定所述第二坐标系的纵轴与所述标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,并将所述标签坐标系的两个坐标轴中与所述第二坐标系的纵轴之间的夹角值最小的坐标轴作为第一坐标轴,将所述标签坐标系的两个坐标轴中除所述第一坐标轴之外的另一个坐标轴作为第二坐标轴;
构建单元,用于以所述标签的中心点为原点、以与所述标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与所述标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系,所述指定坐标系的纵轴与所述行驶路线所在的直线重合或平行;
第五确定单元,用于获取所述第二坐标系的原点在所述指定坐标系中的坐标值,以及获取所述第二坐标系的纵轴与所述指定坐标系的纵轴之间的夹角值;将获取到的坐标值确定为所述第二摄像头的位置坐标,以及将获取到的夹角值确定为所述第二摄像头的姿态信息。
可选地,所述第四确定模块包括:
第六确定单元,用于根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系和所述第一摄像头的姿态信息,确定所述移动机器人的中心的第一姿态信息;
第七确定单元,用于根据所述第二摄像头的中心与所述移动机器人的中心之间的位置关系、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的中心的第一位置坐标和第二姿态信息;
第八确定单元,用于根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系、所述第一摄像头的姿态信息和所述移动机器人的中心的第一位置坐标,确定所述移动机器人的中心的第二位置坐标和第三姿态信息;
第九确定单元,用于根据所述移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定所述移动机器人的位置坐标和姿态信息。
可选地,所述第一摄像头的姿态信息中包括距离和夹角值,所述距离为所述第一摄像头的中心与所述行驶路线之间的距离,所述夹角值为所述移动机器人的轴线与所述行驶路线之间的夹角值,所述第一位置坐标中的横坐标为所述移动机器人的中心与所述行驶路线之间的距离,所述第一位置坐标中的纵坐标为所述移动机器人的中心与所述标签相距的行进距离;所述第八确定单元用于:
根据所述第一摄像头的中心与目标点之间的位置关系和所述第一摄像头的姿态信息,确定所述目标点与所述行驶路线之间的距离,所述目标点为所述移动机器人的两端中安装有所述第一摄像头的一端的中心点;
根据所述目标点与所述行驶路线之间的距离、所述目标点与所述移动机器人的中心之间的距离和所述第一位置坐标中的横坐标,获取所述移动机器人的轴线与所述行驶路线之间的夹角值;将获取到的夹角值确定为所述移动机器人的中心的第三姿态信息,以及将所述第一位置坐标确定为所述移动机器人的中心的第二位置坐标。
第三方面,提供了一种移动机器人定位装置,所述装置包括处理器和用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行上述第一方面所述的移动机器人定位方法的步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现上述第一方面所述的移动机器人定位方法的步骤。
本发明实施例提供的技术方案至少可以带来以下有益效果:
获取区域图像,然后识别该区域图像中包含的路线标识物。之后,先根据该路线标识物在该区域图像中的图像坐标,确定第一摄像头的姿态信息,再根据第一摄像头的姿态信息,确定移动机器人的姿态信息。如此,在获取到区域图像后,仅根据该区域图像中包含的路线标识物在该区域图像中的图像坐标,即可确定出移动机器人的姿态信息,从而可以有效降低移动机器人的定位难度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种应用场景的示意图;
图2是本发明实施例提供的一种移动机器人定位方法的流程图;
图3是本发明实施例提供的一种路线标识物的示意图;
图4是本发明实施例提供的另一种移动机器人定位方法的流程图;
图5是本发明实施例提供的一种确定第一摄像头的姿态信息的操作的流程图;
图6是本发明实施例提供的一种第一摄像头的姿态信息的示意图;
图7是本发明实施例提供的一种移动机器人定位装置的结构示意图;
图8是本发明实施例提供的另一种移动机器人定位装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细地解释说明之前,对本发明实施例的应用场景予以说明。
为了提高生产和仓储管理的自动化水平,移动机器人被广泛的采用。为了使移动机器人能够精确地按照预设的路线自动运输产品,要求移动机器人能够精确定位。本发明实施例提供的移动机器人定位方法就可以应用在使用移动机器人自动运输产品的场景中。
如图1所示,为了能够对移动机器人进行精确定位,本发明实施例在移动机器人的行驶路线的路面上分布一定数量的标签,且在移动机器人的前端或后端安装第一摄像头,在移动机器人的底部安装第二摄像头,之后,通过第一摄像头获取移动机器人的行驶区域的区域图像,通过第二摄像头扫描行驶路面得到路面图像。由于第一摄像头较容易拍摄到包含路线标识物在内的区域图像,从而当第二摄像头无法拍摄到贴置在路面上的标签时,至少可以根据第一摄像头拍摄到的区域图像确定移动机器人的姿态信息;当第二摄像头能够拍摄到贴置在路面上的标签时,可以根据该区域图像和该标签进行融合定位,有效提高移动机器人的定位精度。
图2是本发明实施例提供的一种移动机器人定位方法的流程图。参见图2,该方法包括:
步骤201:获取区域图像。
需要说明的是,区域图像为移动机器人上安装的第一摄像头拍摄到的移动机器人的行驶区域的图像,第一摄像头可以安装在移动机器人的前端或后端,以拍摄移动机器人行驶的前方区域或后方区域的图像。
步骤202:识别该区域图像中包含的路线标识物。
需要说明的是,路线标识物可以预先进行设置,路线标识物可以为能够指示移动机器人的行驶路线的物体,如路线标识物可以为车道线、标签、第一标识物、第二标识物等。标签沿移动机器人的行驶路线设置且位于路面上。第一标识物可以为沿车道线设置且与车道线平行的物体,如第一标识物可以为货架横梁等。第二标识物可以为沿车道线设置且与路面垂直的物体,如第二标识物可以为货架腿、立柱等。
例如,图3中示出了车道线、货架横梁和货架腿,其中货架横梁与车道线平行且不与路面接触,且车道线位于两列货架横梁的中间,货架腿与路面接触且与路面垂直,且车道线位于两列货架腿的中间。
步骤203:根据该路线标识物在该区域图像中的图像坐标,确定第一摄像头的姿态信息。
需要说明的是,第一摄像头的姿态信息用于指示第一摄像头在移动机器人的行驶区域中的姿态,如第一摄像头的姿态信息可以包括第一摄像头的中心与移动机器人的行驶路线之间的距离、第一摄像头的轴线与移动机器人的行驶路线之间的夹角值等,本发明实施例对此不作限定。第一摄像头的轴线与移动机器人的轴线重合或平行。
步骤204:根据第一摄像头的姿态信息,确定移动机器人的姿态信息。
由于第一摄像头安装在移动机器人上,所以根据第一摄像头的的姿态信息,可以确定移动机器人的姿态信息。并且,相比于相关技术中需要扫描到携带有坐标值的二维码才能进行定位的方案,本发明实施例中仅根据该区域图像中包含的路线标识物在该区域图像中的图像坐标,即可确定出移动机器人的姿态信息,从而可以有效降低移动机器人的定位难度。
在本发明实施例中,获取区域图像,然后识别该区域图像中包含的路线标识物。之后,先根据该路线标识物在该区域图像中的图像坐标,确定第一摄像头的姿态信息,再根据第一摄像头的姿态信息,确定移动机器人的姿态信息。如此,在获取到区域图像后,仅根据该区域图像中包含的路线标识物在该区域图像中的图像坐标,即可确定出移动机器人的姿态信息,从而可以有效降低移动机器人的定位难度。
图4是本发明实施例提供的一种移动机器人定位方法的流程图,本发明实施例将结合图4对上述图2实施例进行详细地解释说明。参见图4,该方法包括:
步骤401:获取区域图像。
需要说明的是,区域图像为移动机器人上安装的第一摄像头拍摄到的移动机器人的行驶区域的图像,第一摄像头可以安装在移动机器人的前端或后端,以拍摄移动机器人行驶的前方区域或后方区域的图像。
步骤402:识别该区域图像中包含的路线标识物。
需要说明的是,路线标识物可以预先进行设置,路线标识物可以为能够指示移动机器人的行驶路线的物体,如路线标识物可以为车道线、标签、第一标识物、第二标识物等。标签沿移动机器人的行驶路线设置且位于路面上。第一标识物可以为沿车道线设置且与车道线平行的物体,如第一标识物可以为货架横梁等。第二标识物可以为沿车道线设置且与路面垂直的物体,如第二标识物可以为货架腿、立柱等。
例如,图3中示出了车道线、货架横梁和货架腿,其中货架横梁与车道线平行且不与路面接触,且车道线位于两列货架横梁的中间,货架腿与路面接触且与路面垂直,且车道线位于两列货架腿的中间。
另外,识别该区域图像中包含的路线标识物的操作可以参考相关技术,本发明实施例对此不进行详细阐述。例如,当路线标识物为标签时,可以通过阈值分割的方式识别该区域图像中包含的标签。
步骤403:根据该路线标识物在该区域图像中的图像坐标,确定第一摄像头的姿态信息。
需要说明的是,第一摄像头的姿态信息用于指示第一摄像头在移动机器人的行驶区域中的姿态,如第一摄像头的姿态信息可以包括第一摄像头的中心与移动机器人的行驶路线之间的距离、第一摄像头的轴线与移动机器人的行驶路线之间的夹角值等,本发明实施例对此不作限定。第一摄像头的轴线与移动机器人的轴线重合或平行。
具体地,步骤403可以包括如下步骤(1)-步骤(2):
(1)根据该路线标识物在该区域图像中的图像坐标和该路线标识物与该移动机器人的行驶路线之间的位置关系,确定该行驶路线在第一坐标系中对应的第一曲线。
需要说明的是,第一坐标系的原点为第一摄像头的中心,第一坐标系的纵轴为第一摄像头的轴线,即第一坐标系的纵轴与移动机器人的轴线重合或平行。
另外,不同的路线标识物与移动机器人的行驶路线之间可以具有不同的位置关系,如移动机器人可以是跟随标签行驶,也可以是跟随车道线行驶,也可以是在两列货架横梁、货架腿或立柱的中间路面上行驶。
具体地,步骤(1)可以通过如下三种方式实现:
第一种方式:当该路线标识物为车道线或第一标识物时,根据该路线标识物在该区域图像中的图像坐标,确定该路线标识物所在的直线在第一坐标系中对应的第二曲线;根据该路线标识物与该行驶路线之间的位置关系和第一坐标系中的第二曲线,确定该行驶路线在第一坐标系中对应的第一曲线。
例如,该路线标识物为车道线,且移动机器人是跟随车道线行驶,此时该路线标识物与该行驶路线之间的位置关系为:该行驶路线与该路线标识物所在的直线重合或平行,则可以直接将第一坐标系中的第二曲线确定为该行驶路线在第一坐标系中对应的第一曲线。
又例如,该路线标识物为货架横梁(即第一标识物),移动机器人是在两列货架横梁的中间路面上行驶,此时该路线标识物与该行驶路线之间的位置关系为:该行驶路线位于多个路线标识物所在的两条直线的中间,则可以将位于第一坐标系中的两条第二曲线中间的曲线确定为该行驶路线在第一坐标系中对应的第一曲线。
其中,根据该路线标识物在该区域图像中的图像坐标,确定该路线标识物所在的直线在第一坐标系中对应的第二曲线的操作可以为:根据第一摄像头的镜头所在的平面与路面之间的单应性矩阵,对该路线标识物在该区域图像中的图像坐标进行转换,得到多个第一坐标值;对该多个第一坐标值在第一坐标系中指示的坐标点进行曲线拟合,得到该路线标识物所在的直线在第一坐标系中对应的第二曲线。
第二种方式:当该路线标识物为标签或第二标识物时,如果该区域图像中包含多个标签或多个第二标识物,则根据该多个标签或该多个第二标识物的标识点在该区域图像中的图像坐标,确定该多个标签或该多个第二标识物的标识点在第一坐标系中分别对应的第一坐标点;对该多个标签或该多个第二标识物的标识点在第一坐标系中对应的多个第一坐标点进行曲线拟合,得到第一坐标系中的第二曲线;根据标签或第二标识物与该行驶路线之间的位置关系和第一坐标系中的第二曲线,确定该行驶路线在第一坐标系中对应的第一曲线。
例如,该路线标识物为标签,且移动机器人是跟随标签行驶,此时该路线标识物与该行驶路线之间的位置关系为:该行驶路线与多个路线标识物所在的直线重合,则可以直接将第一坐标系中的第二曲线确定为该行驶路线在第一坐标系中对应的第一曲线。
又例如,该路线标识物为立柱(即第二标识物),移动机器人是在两列立柱的中间路面上行驶,此时该路线标识物与该行驶路线之间的位置关系为:该行驶路线位于多个路线标识物所在的两条直线的中间,则可以将位于第一坐标系中的两条第二曲线中间的曲线确定为该行驶路线在第一坐标系中对应的第一曲线。
需要说明的是,路线标识物的标识点为路线标识物上对移动机器人的行驶路线具有指示作用的位置点。例如,标签的标识点可以为标签的中心点,第二标识物的标识点可以为第二标识物与路面的接触点。
其中,根据该多个标签或该多个第二标识物的标识点在该区域图像中的图像坐标,确定该多个标签或该多个第二标识物的标识点在第一坐标系中分别对应的第一坐标点,即是根据该区域图像中包含的多个路线标识物中每个路线标识物的标识点在该区域图像中的图像坐标,确定该多个路线标识物中每个路线标识物的标识点在第一坐标系中对应的第一坐标点,具体地,可以根据第一摄像头的镜头所在的平面与路面之间的单应性矩阵,对该多个路线标识物中的每个路线标识物的标识点在该区域图像中的图像坐标进行转换,得到多个第一坐标值,该多个第一坐标值中的每个第一坐标值在第一坐标系中指示的坐标点即为该多个路线标识物中每个路线标识物的标识点在第一坐标系中对应的第一坐标点。
第三种方式:当该路线标识物为标签或第二标识物时,如果该区域图像中包含一个路线标识物(即一个标签或一个第二标识物),则根据这一个路线标识物的标识点在该区域图像中的图像坐标,确定这一个路线标识物的标识点在第一坐标系中对应的第一坐标点;获取下一帧区域图像,根据这一个路线标识物的标识点在下一帧区域图像中的图像坐标,确定这一个路线标识物的标识点在第一坐标系中对应的第二坐标点;对这一个路线标识物的标识点在第一坐标系中对应的第一坐标点和第二坐标点进行曲线拟合,得到第一坐标系中的第二曲线;根据该路线标识物与该行驶路线之间的位置关系和第一坐标系中的第二曲线,确定该行驶路线在第一坐标系中对应的第一曲线。
例如,该路线标识物为标签,且移动机器人是跟随标签行驶,此时该路线标识物与该行驶路线之间的位置关系为:该行驶路线与多个路线标识物所在的直线重合,则可以直接将第一坐标系中的第二曲线确定为该行驶路线在第一坐标系中对应的第一曲线。
又例如,该路线标识物为货架腿(即第二标识物),移动机器人是在两列货架腿的中间路面上行驶,此时该路线标识物与该行驶路线之间的位置关系为:该行驶路线位于多个路线标识物所在的两条直线的中间,则可以将位于第一坐标系中的两条第二曲线中间的曲线确定为该行驶路线在第一坐标系中对应的第一曲线。
需要说明的是,路线标识物的标识点为路线标识物上对移动机器人的行驶路线具有指示作用的位置点。例如,标签的标识点可以为标签的中心点,第二标识物的标识点可以为第二标识物与路面的接触点。
另外,本发明实施例中,当该区域图像中包含一个路线标识物时,可以在下一帧区域图像中跟踪这一个路线标识物,来获取这一个路线标识物的标识点在下一帧区域图像中的图像坐标,继而可以根据这一个路线标识物的标识点在本帧区域图像中的图像坐标及在下一帧区域图像中的图像坐标,来确定第一坐标系中的第二曲线。
其中,根据这一个路线标识物的标识点在该区域图像中的图像坐标,确定这一个路线标识物的标识点在第一坐标系中对应的第一坐标点的操作可以为:根据第一摄像头的镜头所在的平面与路面之间的单应性矩阵,对这一个路线标识物的标识点在该区域图像中的图像坐标进行转换,得到第一坐标值,第一坐标值在第一坐标系中指示的坐标点即为这一个路线标识物的标识点在第一坐标系中对应的第一坐标点。
其中,根据这一个路线标识物的标识点在下一帧区域图像中的图像坐标,确定这一个路线标识物的标识点在第一坐标系中对应的第二坐标点的操作与上述根据这一个路线标识物的标识点在该区域图像中的图像坐标,确定这一个路线标识物的标识点在第一坐标系中对应的第一坐标点的操作类似,本发明实施例对此不再赘述。
(2)获取第一坐标系的原点与第一曲线之间的距离,以及获取第一坐标系的纵轴与第一曲线之间的夹角值;将获取到的距离和夹角值确定为第一摄像头的姿态信息。
需要说明的是,第一坐标系的原点与第一曲线之间的距离即为第一摄像头的中心与该行驶路线之间的距离。第一坐标系的纵轴与第一曲线之间的夹角值即为第一摄像头的轴线与该行驶路线之间的夹角值,也即移动机器人的轴线与该行驶路线之间的夹角值。
为了便于理解,下面结合图5和图6来对上述步骤402和步骤403进行举例说明。假设路线标识物为标签,且该标签为二维码,参见图5和图6,步骤402-步骤403的操作可以包括如下步骤4021-步骤4026。
步骤4021:通过阈值分割的方式识别该区域图像中包含的至少一个二维码,并获取该至少一个二维码中每个二维码的中心点在该区域图像中的图像坐标;
步骤4022:根据第一摄像头的镜头所在的平面与路面之间的单应性矩阵,对该至少一个二维码中每个二维码的中心点在该区域图像中的图像坐标进行转换,得到至少一个坐标值,该至少一个坐标值中的每个坐标值在第一坐标系中指示的坐标点即为该至少一个二维码中每个二维码的中心点在第一坐标系中对应的第一坐标点;
步骤4023:判断该至少一个二维码的数量是否大于1,如果大于,则执行步骤4024,如果不大于,则执行步骤4025;
步骤4024:对多个二维码的中心点在第一坐标系中对应的多个第一坐标点进行曲线拟合,得到第一坐标系中的第二曲线,将第二曲线确定为该行驶路线在第一坐标系中对应的第一曲线;
步骤4025:获取下一帧区域图像,根据一个二维码的中心点在下一帧区域图像中的图像坐标,确定这一个二维码的中心点在第一坐标系中对应的第二坐标点,对第一坐标点和第二坐标点进行曲线拟合,得到第一坐标系中的第二曲线,将第二曲线确定为该行驶路线在第一坐标系中对应的第一曲线;
步骤4026:获取第一坐标系的原点O与第一曲线之间的距离d,以及获取第一坐标系的纵轴Y与第一曲线之间的夹角值θ,将获取到的距离d和夹角值θ确定为第一摄像头的姿态信息。
需要说明的是,在通过步骤403获取到第一摄像头的姿态信息后,可以根据第一摄像头的姿态信息,确定移动机器人的姿态信息。
第一种可能的实现方式中,根据第一摄像头的姿态信息,确定移动机器人的姿态信息的操作可以为:根据第一摄像头的中心与移动机器人的中心之间的位置关系和第一摄像头的姿态信息,确定移动机器人的中心的第一姿态信息;根据移动机器人的中心的第一姿态信息,确定移动机器人的姿态信息。
由于第一摄像头的姿态信息中的距离为第一摄像头的中心与该行驶路线之间的距离,第一摄像头的姿态信息中的夹角值为移动机器人的轴线与该行驶路线之间的夹角值,且由于移动机器人的中心位于移动机器人的轴线上,因此,根据第一摄像头的中心与移动机器人的中心之间的位置关系和第一摄像头的姿态信息,确定移动机器人的中心的第一姿态信息的操作可以为:根据第一摄像头的姿态信息中包括的距离和夹角值,确定该行驶路线在第一坐标系中对应的第一曲线;根据第一摄像头的中心与移动机器人的中心之间的位置关系,确定移动机器人的中心在第一坐标系中对应的第四坐标点;获取第四坐标点与第一曲线之间的距离;将获取到的距离和第一摄像头的姿态信息中包括的夹角值确定为移动机器人的中心的第一姿态信息。
需要说明的是,第四坐标点与第一曲线之间的距离即为移动机器人的中心与该行驶路线之间的距离,第一摄像头的姿态信息中包括的夹角值即为移动机器人的中心所在的移动机器人的轴线与该行驶路线之间的夹角值。
其中,根据移动机器人的中心的第一姿态信息,确定移动机器人的姿态信息的操作可以参考相关技术,如可以直接将移动机器人的中心的第一姿态信息确定为移动机器人的姿态信息等,本发明实施例对此不进行详细阐述。
第二种可能的实现方式中,本发明实施例中不仅可以获取第一摄像头的姿态信息,还可以通过如下步骤404获取路面图像并识别其是否包含标签。这种情况下,根据第一摄像头的姿态信息,确定移动机器人的姿态信息的操作可以通过如下步骤405实现。
步骤404:获取路面图像,识别该路面图像中是否包含标签。
需要说明的是,路面图像为移动机器人的底部安装的第二摄像头拍摄到的移动机器人的行驶路面的图像,第二摄像头能够扫描贴置在路面上的标签。
另外,标签中可以携带该标签在标签坐标系中的坐标值,如该标签可以为一维码、二维码等图形码,也可以为其它可以携带坐标值的标签,本发明实施例对此不作限定。标签坐标系为标签中携带的坐标值对应的坐标系,移动机器人的行驶路线所在的直线与标签坐标系的一个坐标轴(横轴或纵轴)重合或平行。
再者,识别该路面图像中是否包含标签的操作可以参考相关技术,本发明实施例对此不进行详细阐述。
步骤405:当该路面图像中不包含标签时,根据第一摄像头的姿态信息,确定移动机器人的姿态信息。
需要说明的是,根据第一摄像头的姿态信息,确定移动机器人的姿态信息的操作与上述第一种可能的实现方式中根据第一摄像头的姿态信息,确定移动机器人的姿态信息的操作相同,本发明实施例对此不再赘述。
值得说明的是,本发明实施例中,当该路面图像中不包含标签时,即当第二摄像头无法拍摄到贴置在路面上的标签时,至少可以根据第一摄像头的姿态信息,确定移动机器人的姿态信息,从而降低了移动机器人的定位难度,提高了移动机器人的定位效率。
进一步地,当该路面图像中包含标签时,可以通过步骤406-步骤407来对移动机器人进行定位。
步骤406:根据该路面图像中包含的标签携带的坐标值,确定第二摄像头的位置坐标和姿态信息。
需要说明的是,第二摄像头的位置坐标和姿态信息用于指示第二摄像头在移动机器人的行驶区域中的位置和姿态,如第二摄像头的位置坐标和姿态信息可以包括第二摄像头的中心与该路面图像包含的标签相距的行进距离、第二摄像头的中心与移动机器人的行驶路线之间的距离、第二摄像头的轴线与移动机器人的行驶路线之间的夹角值等,本发明实施例对此不作限定。第二摄像头的轴线与移动机器人的轴线重合或平行。
具体地,步骤406的操作可以包括如下步骤(3)-步骤(6):
(3)根据该路面图像中包含的标签在该路面图像中的图像坐标,确定该标签在第二坐标系中对应的第三坐标点。
需要说明的是,第二坐标系的原点为第二摄像头的中心,第二坐标系的纵轴为第二摄像头的轴线,即第二坐标系的纵轴与移动机器人的轴线重合或平行。
具体地,可以根据第二摄像头的镜头所在的平面与路面之间的单应性矩阵,对该路面图像中包含的标签的中心点在该路面图像中的图像坐标进行转换,得到第二坐标值,第二坐标值在第二坐标系中指示的坐标点即为该标签的中心点在第二坐标系中对应的第三坐标点。
(4)根据该标签中携带的坐标值和第三坐标点的坐标值,确定第二坐标系的纵轴与标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,并将标签坐标系的两个坐标轴中与第二坐标系的纵轴之间的夹角值最小的坐标轴作为第一坐标轴,将标签坐标系的两个坐标轴中除第一坐标轴之外的另一个坐标轴作为第二坐标轴。
需要说明的是,由于第二坐标系的纵轴与移动机器人的轴线重合或平行,而移动机器人的轴线往往靠近移动机器人的行驶路线,即移动机器人的轴线与移动机器人的行驶路线之间的夹角往往较小,所以第二坐标系的纵轴与移动机器人的行驶路线所在的直线之间的夹角较小。因此,将标签坐标系的两个坐标轴中与第二坐标系的纵轴之间的夹角值最小的坐标轴确定为第一坐标轴后,第一坐标轴即是标签坐标系的两个坐标轴中与移动机器人的行驶路线所在的直线重合或平行的一个坐标轴。
其中,根据该标签中携带的坐标值和第三坐标点的坐标值,确定第二坐标系的纵轴与标签坐标系的两个坐标轴中每个坐标轴之间的夹角值时,可以先根据该标签中携带的坐标值和第三坐标点的坐标值,确定第二坐标系的纵轴在标签坐标系中对应的曲线,再确定该曲线与标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,即得到了第二坐标系的纵轴与标签坐标系的两个坐标轴中每个坐标轴之间的夹角值。
需要说明的是,第三坐标点的坐标值是该标签在第二坐标系中的坐标值,该标签中携带的坐标值是该标签在标签坐标系中的坐标值,因而根据第三坐标点的坐标值和该标签中携带的坐标值,可以将第二坐标系与标签坐标系进行对应,第二坐标系与标签坐标系对应后,就可以确定出第二坐标系的纵轴在标签坐标系中对应的曲线。
(5)以该标签的中心点为原点、以与标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系。
需要说明的是,由于第一坐标轴是标签坐标系的两个坐标轴中与移动机器人的行驶路线所在的直线重合或平行的一个坐标轴,所以以与标签坐标系的第一坐标轴重合或平行的直线为纵轴构建指定坐标系后,指定坐标系的纵轴与移动机器人的行驶路线所在的直线重合或平行。
具体地,可以以该标签中携带的坐标值在标签坐标系中指示的坐标点为原点、以与标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系。这种情况下,指定坐标系是在标签坐标系中作出,从而将指定坐标系与标签坐标系进行了对应。
(6)获取第二坐标系的原点在指定坐标系中的坐标值,以及获取第二坐标系的纵轴与指定坐标系的纵轴之间的夹角值;将获取到的坐标值确定为第二摄像头的位置坐标,以及将获取到的夹角值确定为第二摄像头的姿态信息。
由于第二坐标系和指定坐标系均与标签坐标系对应,所以据此可以将第二坐标系与指定坐标系进行对应。第二坐标系与指定坐标系对应后,即可获取到第二坐标系的原点在指定坐标系中的坐标值,并获取到第二坐标系的纵轴与指定坐标系的纵轴之间的夹角值。
需要说明的是,第二坐标系的原点在指定坐标系中的坐标值中的横坐标即为第二摄像头的中心与该行驶路线之间的距离,第二坐标系的原点在指定坐标系中的坐标值中的纵坐标即为第二摄像头的中心与该路面图像中包含的标签相距的行进距离,第二坐标系的纵轴与指定坐标系的纵轴之间的夹角值即为第二摄像头的轴线与该行驶路线之间的夹角值,也即移动机器人的轴线与该行驶路线之间的夹角值。
步骤407:根据第一摄像头的姿态信息、第二摄像头的位置坐标和姿态信息,确定移动机器人的位置坐标和姿态信息。
由于第一摄像头和第二摄像头均安装在移动机器人上,所以可以根据第一摄像头的姿态信息、第二摄像头的位置坐标和姿态信息,确定移动机器人的位置坐标和姿态信息,此时是融合不同的定位信息来对移动机器人进行定位,从而可以有效提高移动机器人的定位精度。具体地,步骤407可以包括如下步骤(7)-步骤(10)。
(7)根据第一摄像头的中心与移动机器人的中心之间的位置关系和第一摄像头的姿态信息,确定移动机器人的中心的第一姿态信息。
需要说明的是,步骤407的操作与上述第一种可能的实现方式中根据第一摄像头的中心与移动机器人的中心之间的位置关系和第一摄像头的姿态信息,确定移动机器人的中心的第一姿态信息的操作相同,本发明实施例对此不再赘述。
(8)根据第二摄像头的中心与移动机器人的中心之间的位置关系、第二摄像头的位置坐标和姿态信息,确定移动机器人的中心的第一位置坐标和第二姿态信息。
由于第二摄像头的位置坐标中的横坐标为第二摄像头的中心与该行驶路线之间的距离,第二摄像头的位置坐标中的纵坐标为第二摄像头的中心与该路面图像中包含的标签相距的行进距离,第二摄像头的姿态信息中的夹角值为移动机器人的轴线与该行驶路线之间的夹角值,且由于移动机器人的中心位于移动机器人的轴线上,因此,步骤(8)的操作可以为:根据第二摄像头的中心与移动机器人的中心之间的位置关系和第二摄像头的位置坐标,确定移动机器人的中心在指定坐标系中对应的第五坐标点的坐标值,将第五坐标点的坐标值确定为移动机器人的中心的第一位置坐标,将第二摄像头的姿态信息中包括的夹角值确定为移动机器人的中心的第二姿态信息。
需要说明的是,移动机器人的中心在指定坐标系中对应的第五坐标点的坐标值中的横坐标即为移动机器人的中心与该行驶路线之间的距离,第五坐标点的坐标值中的纵坐标即为移动机器人的中心与该路面图像中包含的标签相距的行进距离,第二摄像头的姿态信息中包括的夹角值即为移动机器人的中心所在的移动机器人的轴线与该行驶路线之间的夹角值。
(9)根据第一摄像头的中心与移动机器人的中心之间的位置关系、第一摄像头的姿态信息和移动机器人的中心的第一位置坐标,确定移动机器人的中心的第二位置坐标和第三姿态信息。
需要说明的是,第一摄像头的中心与移动机器人的中心之间的位置关系可以包括第一摄像头的中心与目标点之间的位置关系和目标点与移动机器人的中心之间的距离。目标点为移动机器人的两端中安装有第一摄像头的一端的中心点,移动机器人的两端为移动机器人的前端和后端,且目标点和移动机器人的中心都位于移动机器人的轴线上。
具体地,可以根据第一摄像头的中心与目标点之间的位置关系和第一摄像头的姿态信息,确定目标点与该行驶路线之间的距离;根据目标点与该行驶路线之间的距离、目标点与移动机器人的中心之间的距离和移动机器人的中心的第一位置坐标中的横坐标,获取移动机器人的轴线与该行驶路线之间的夹角值;将获取到的夹角值确定为移动机器人的中心的第三姿态信息,以及将移动机器人的中心的第一位置坐标确定为移动机器人的中心的第二位置坐标。
其中,根据第一摄像头的中心与目标点之间的位置关系和第一摄像头的姿态信息,确定目标点与该行驶路线之间的距离时,可以根据第一摄像头的姿态信息中包括的距离和夹角值,确定该行驶路线在第一坐标系中对应的第一曲线,根据第一摄像头的中心与目标点之间的位置关系,确定目标点在第一坐标系中对应的第六坐标点,确定第六坐标点与第一曲线之间的距离,确定出的距离即为目标点与该行驶路线之间的距离。
其中,根据目标点与该行驶路线之间的距离、目标点与移动机器人的中心之间的距离和移动机器人的中心的第一位置坐标中的横坐标,获取移动机器人的轴线与该行驶路线之间的夹角值时,可以根据目标点与该行驶路线之间的距离、目标点与移动机器人的中心之间的距离和移动机器人的中心的第一位置坐标中的横坐标,确定目标点与移动机器人的中心所在的直线在指定坐标系中对应的方向向量,获取该方向向量与指定坐标系的纵轴之间的夹角值,获取到的夹角值即为移动机器人的轴线与该行驶路线之间的夹角值。
(10)根据移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定移动机器人的位置坐标和姿态信息。
需要说明的是,由于第一位置坐标和第二位置坐标均为指定坐标系中的坐标值,所以可以先根据指定坐标系与标签坐标系之间的对应关系,将移动机器人的中心的第一位置坐标和第二位置坐标转换为标签坐标系中的坐标值,再根据移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定移动机器人的位置坐标和姿态信息。
另外,根据移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定移动机器人的位置坐标和姿态信息的操作可以参考相关技术,本发明实施例对此不进行详细阐述。
例如,将移动机器人的中心的第一位置坐标和第二姿态信息合称为第一位姿信息,将移动机器人的中心的第二位置坐标和第三姿态信息合称为第二位姿信息。可以采用里程计、陀螺仪等组件获取移动机器人的中心的推测位姿信息,并更新推测协方差矩阵,然后根据区域图像和路面图像的历史获取情况,确定移动机器人的中心的第一姿态信息、第一位姿信息和第二位姿信息分别对应的测量协方差矩阵。之后,根据该推测协方差矩阵和第一姿态信息对应的测量协方差矩阵,确定第一姿态信息对应的增益矩阵,根据该推测协方差矩阵和第一位姿信息对应的测量协方差矩阵,确定第一位姿信息对应的增益矩阵,根据该推测协方差矩阵和第二位姿信息对应的测量协方差矩阵,确定第二位姿信息对应的增益矩阵,据此可以得到移动机器人的中心的推测位姿信息、第一姿态信息、第一位姿信息和第二位姿信息分别对应的权重,最后,根据该推测位姿信息、第一姿态信息、第一位姿信息和第二位姿信息分别对应的权重,对该推测位姿信息、第一姿态信息、第一位姿信息和第二位姿信息进行加权平均,得到移动机器人的位置坐标和姿态信息。
又例如,将移动机器人的中心的第一位置坐标和第二姿态信息合称为第一位姿信息,将移动机器人的中心的第二位置坐标和第三姿态信息合称为第二位姿信息。可以采用里程计、陀螺仪等组件获取移动机器人的中心的推测位姿信息,并更新推测协方差矩阵,然后根据区域图像和路面图像的历史获取情况,确定移动机器人的中心的第一姿态信息、第一位姿信息和第二位姿信息分别对应的测量协方差矩阵。之后,根据该推测协方差矩阵和第一姿态信息对应的测量协方差矩阵,确定第一增益矩阵,据此可以得到该推测位姿信息和第一姿态信息分别对应的权重,根据该推测位姿信息和第一姿态信息分别对应的权重,对该推测位姿信息和第一姿态信息进行加权平均,得到第一融合位姿信息。确定第一融合位姿信息对应的协方差矩阵,根据第一融合位姿信息对应的协方差矩阵和第一位姿信息对应的测量协方差矩阵,确定第二增益矩阵,据此可以得到第一融合位姿信息和第一位姿信息分别对应的权重,根据第一融合位姿信息和第一位姿信息分别对应的权重,对第一融合位姿信息和第一位姿信息进行加权平均,得到第二融合位姿信息。确定第二融合位姿信息对应的协方差矩阵,根据第二融合位姿信息对应的协方差矩阵和第二位姿信息对应的测量协方差矩阵,确定第三增益矩阵,据此可以得到第二融合位姿信息和第二位姿信息分别对应的权重,根据第二融合位姿信息和第二位姿信息分别对应的权重,对第二融合位姿信息和第二位姿信息进行加权平均,得到移动机器人的位置坐标和姿态信息。
在本发明实施例中,获取区域图像,然后识别该区域图像中包含的路线标识物。之后,先根据该路线标识物在该区域图像中的图像坐标,确定第一摄像头的姿态信息,再根据第一摄像头的姿态信息,确定移动机器人的姿态信息。如此,在获取到区域图像后,仅根据该区域图像中包含的路线标识物在该区域图像中的图像坐标,即可确定出移动机器人的姿态信息,从而可以有效降低移动机器人的定位难度。此外,还可以获取路面图像,然后当该路面图像中包含标签时,可以根据该路面图像中包含的标签携带的坐标值,确定第二摄像头的位置坐标和姿态信息,最后根据第一摄像头的姿态信息、第二摄像头的位置坐标和姿态信息,确定移动机器人的位置坐标和姿态信息。如此,可以实现根据不同定位信息的融合定位,从而可以有效提高移动机器人的定位精度。
图7是本发明实施例提供的一种移动机器人定位装置的结构示意图。参见图7,该装置包括第一获取模块701,识别模块702、第一确定模块703和第二确定模块704。
第一获取模块701,用于获取区域图像,区域图像为移动机器人上安装的第一摄像头拍摄到的移动机器人的行驶区域的图像;
第一识别模块702,用于识别区域图像中包含的路线标识物;
第一确定模块703,用于根据路线标识物在区域图像中的图像坐标,确定第一摄像头的姿态信息;
第二确定模块704,用于根据第一摄像头的姿态信息,确定移动机器人的姿态信息。
可选地,第一摄像头安装在移动机器人的前端或后端;该装置还包括:
第二获取模块,用于获取路面图像,路面图像为移动机器人的底部安装的第二摄像头拍摄到的移动机器人的行驶路面的图像;
第二识别模块,用于识别路面图像中是否包含标签,标签中携带标签在标签坐标系中的坐标值;
相应地,第二确定模块704用于:
当路面图像中不包含标签时,根据第一摄像头的姿态信息,确定移动机器人的姿态信息。
可选地,该装置还包括:
第三确定模块,用于当路面图像中包含标签时,根据路面图像中包含的标签携带的坐标值,确定第二摄像头的位置坐标和姿态信息;
第四确定模块,用于根据第一摄像头的姿态信息、第二摄像头的位置坐标和姿态信息,确定移动机器人的位置坐标和姿态信息。
可选地,第一确定模块703包括:
第一确定单元,用于根据路线标识物在区域图像中的图像坐标和路线标识物与移动机器人的行驶路线之间的位置关系,确定行驶路线在第一坐标系中对应的第一曲线,第一坐标系的原点为第一摄像头的中心,第一坐标系的纵轴与移动机器人的轴线重合或平行;
第二确定单元,用于获取第一坐标系的原点与第一曲线之间的距离,以及获取第一坐标系的纵轴与第一曲线之间的夹角值;将获取到的距离和夹角值确定为第一摄像头的姿态信息。
可选地,路线标识物为车道线或第一标识物,第一标识物为沿车道线的两侧设置且与车道线平行的物体;第二确定单元用于:
根据路线标识物在区域图像中的图像坐标,确定路线标识物所在的直线在第一坐标系中对应的第二曲线;
根据路线标识物与行驶路线之间的位置关系和第一坐标系中的第二曲线,确定行驶路线在第一坐标系中对应的第一曲线。
可选地,路线标识物为标签或第二标识物,标签沿移动机器人的行驶路线设置且位于路面上,标签的标识点为标签的中心点,第二标识物为沿车道线设置且与路面垂直的物体,第二标识物的标识点为第二标识物与路面的接触点;第一确定单元用于:
当区域图像中包含多个路线标识物时,根据多个路线标识物中每个路线标识物的标识点在区域图像中的图像坐标,确定多个路线标识物中每个路线标识物的标识点在第一坐标系中对应的第一坐标点;
对多个路线标识物的标识点在第一坐标系中对应的多个第一坐标点进行曲线拟合,得到第一坐标系中的第二曲线;
根据路线标识物与行驶路线之间的位置关系和第一坐标系中的第二曲线,确定行驶路线在第一坐标系中对应的第一曲线。
可选地,路线标识物为标签或第二标识物,标签沿移动机器人的行驶路线设置且位于路面上,标签的标识点为标签的中心点,第二标识物为沿车道线设置且与路面垂直的物体,第二标识物的标识点为第二标识物与路面的接触点;第一确定单元用于:
当区域图像中包含一个路线标识物时,根据一个路线标识物的标识点在区域图像中的图像坐标,确定一个路线标识物的标识点在第一坐标系中对应的第一坐标点;
获取下一帧区域图像,根据一个路线标识物的标识点在下一帧区域图像中的图像坐标,确定一个路线标识物的标识点在第一坐标系中对应的第二坐标点;
对一个路线标识物的标识点在第一坐标系中对应的第一坐标点和第二坐标点进行曲线拟合,得到第一坐标系中的第二曲线;
根据路线标识物与行驶路线之间的位置关系和第一坐标系中的第二曲线,确定行驶路线在第一坐标系中对应的第一曲线。
可选地,标签坐标系的横轴或纵轴与行驶路线所在的直线重合或平行;第三确定模块包括:
第三确定单元,用于根据路面图像中包含的标签在路面图像中的图像坐标,确定标签在第二坐标系中对应的第三坐标点,第二坐标系的原点为第二摄像头的中心,第二坐标系的纵轴与移动机器人的轴线重合或平行;
第四确定单元,用于根据标签中携带的坐标值和第三坐标点的坐标值,确定第二坐标系的纵轴与标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,并将标签坐标系的两个坐标轴中与第二坐标系的纵轴之间的夹角值最小的坐标轴作为第一坐标轴,将标签坐标系的两个坐标轴中除第一坐标轴之外的另一个坐标轴作为第二坐标轴;
构建单元,用于以标签的中心点为原点、以与标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系,指定坐标系的纵轴与行驶路线所在的直线重合或平行;
第五确定单元,用于获取第二坐标系的原点在指定坐标系中的坐标值,以及获取第二坐标系的纵轴与指定坐标系的纵轴之间的夹角值;将获取到的坐标值确定为第二摄像头的位置坐标,以及将获取到的夹角值确定为第二摄像头的姿态信息。
可选地,第四确定模块包括:
第六确定单元,用于根据第一摄像头的中心与移动机器人的中心之间的位置关系和第一摄像头的姿态信息,确定移动机器人的中心的第一姿态信息;
第七确定单元,用于根据第二摄像头的中心与移动机器人的中心之间的位置关系、第二摄像头的位置坐标和姿态信息,确定移动机器人的中心的第一位置坐标和第二姿态信息;
第八确定单元,用于根据第一摄像头的中心与移动机器人的中心之间的位置关系、第一摄像头的姿态信息和移动机器人的中心的第一位置坐标,确定移动机器人的中心的第二位置坐标和第三姿态信息;
第九确定单元,用于根据移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定移动机器人的位置坐标和姿态信息。
可选地,第一摄像头的姿态信息中包括距离和夹角值,距离为第一摄像头的中心与行驶路线之间的距离,夹角值为移动机器人的轴线与行驶路线之间的夹角值,第一位置坐标中的横坐标为移动机器人的中心与行驶路线之间的距离,第一位置坐标中的纵坐标为移动机器人的中心与标签相距的行进距离;第八确定单元用于:
根据第一摄像头的中心与目标点之间的位置关系和第一摄像头的姿态信息,确定目标点与行驶路线之间的距离,目标点为移动机器人的两端中安装有第一摄像头的一端的中心点;
根据目标点与行驶路线之间的距离、目标点与移动机器人的中心之间的距离和第一位置坐标中的横坐标,获取移动机器人的轴线与行驶路线之间的夹角值;将获取到的夹角值确定为移动机器人的中心的第三姿态信息,以及将第一位置坐标确定为移动机器人的中心的第二位置坐标。
在本发明实施例中,获取区域图像,然后识别该区域图像中包含的路线标识物。之后,先根据该路线标识物在该区域图像中的图像坐标,确定第一摄像头的姿态信息,再根据第一摄像头的姿态信息,确定移动机器人的姿态信息。如此,在获取到区域图像后,仅根据该区域图像中包含的路线标识物在该区域图像中的图像坐标,即可确定出移动机器人的姿态信息,从而可以有效降低移动机器人的定位难度。
需要说明的是:上述实施例提供的移动机器人定位装置在移动机器人定位时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的移动机器人定位装置与移动机器人定位方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是本发明实施例提供的一种移动机器人定位装置的结构示意图。参见图8,该移动机器人定位装置可以是终端800,终端800可以是智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的移动机器人定位方法。
在一些实施例中,终端800还可以包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种移动机器人定位方法,其特征在于,所述方法包括:
获取区域图像和路面图像,所述区域图像为移动机器人上安装的第一摄像头拍摄到的所述移动机器人的行驶区域的图像,所述第一摄像头安装在所述移动机器人的前端或后端,以拍摄所述移动机器人行驶的前方区域或后方区域的图像,所述路面图像为所述移动机器人的底部安装的第二摄像头拍摄到的所述移动机器人的行驶路面的图像;
识别所述区域图像中包含的路线标识物,以及识别所述路面图像中是否包含标签,所述标签中携带所述标签在标签坐标系中的坐标值;
根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息;
当所述路面图像中不包含标签时,根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述路面图像中包含标签时,根据所述路面图像中包含的标签携带的坐标值,确定所述第二摄像头的位置坐标和姿态信息;
根据所述第一摄像头的姿态信息、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的位置坐标和姿态信息。
3.如权利要求1或2所述的方法,其特征在于,所述根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息,包括:
根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,所述第一坐标系的原点为所述第一摄像头的中心,所述第一坐标系的纵轴与所述移动机器人的轴线重合或平行;
获取所述第一坐标系的原点与所述第一曲线之间的距离,以及获取所述第一坐标系的纵轴与所述第一曲线之间的夹角值;将获取到的距离和夹角值确定为所述第一摄像头的姿态信息。
4.如权利要求3所述的方法,其特征在于,所述路线标识物为车道线或第一标识物,所述第一标识物为沿车道线设置且与所述车道线平行的物体;
所述根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,包括:
根据所述路线标识物在所述区域图像中的图像坐标,确定所述路线标识物所在的直线在所述第一坐标系中对应的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
5.如权利要求3所述的方法,其特征在于,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;
所述根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,包括:
当所述区域图像中包含多个路线标识物时,根据所述多个路线标识物中每个路线标识物的标识点在所述区域图像中的图像坐标,确定所述多个路线标识物中每个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
对所述多个路线标识物的标识点在所述第一坐标系中对应的多个第一坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
6.如权利要求3所述的方法,其特征在于,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;
所述根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,包括:
当所述区域图像中包含一个路线标识物时,根据所述一个路线标识物的标识点在所述区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
获取下一帧区域图像,根据所述一个路线标识物的标识点在所述下一帧区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第二坐标点;
对所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点和第二坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
7.如权利要求2所述的方法,其特征在于,所述标签坐标系的横轴或纵轴与所述移动机器人的行驶路线所在的直线重合或平行;
所述根据所述路面图像中包含的标签携带的坐标值,确定所述第二摄像头的位置坐标和姿态信息,包括:
根据所述路面图像中包含的标签在所述路面图像中的图像坐标,确定所述标签在第二坐标系中对应的第三坐标点,所述第二坐标系的原点为所述第二摄像头的中心,所述第二坐标系的纵轴与所述移动机器人的轴线重合或平行;
根据所述标签中携带的坐标值和所述第三坐标点的坐标值,确定所述第二坐标系的纵轴与所述标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,并将所述标签坐标系的两个坐标轴中与所述第二坐标系的纵轴之间的夹角值最小的坐标轴作为第一坐标轴,将所述标签坐标系的两个坐标轴中除所述第一坐标轴之外的另一个坐标轴作为第二坐标轴;
以所述标签的中心点为原点、以与所述标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与所述标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系,所述指定坐标系的纵轴与所述行驶路线所在的直线重合或平行;
获取所述第二坐标系的原点在所述指定坐标系中的坐标值,以及获取所述第二坐标系的纵轴与所述指定坐标系的纵轴之间的夹角值;将获取到的坐标值确定为所述第二摄像头的位置坐标,以及将获取到的夹角值确定为所述第二摄像头的姿态信息。
8.如权利要求2或7所述的方法,其特征在于,所述根据所述第一摄像头的姿态信息、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的位置坐标和姿态信息,包括:
根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系和所述第一摄像头的姿态信息,确定所述移动机器人的中心的第一姿态信息;
根据所述第二摄像头的中心与所述移动机器人的中心之间的位置关系、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的中心的第一位置坐标和第二姿态信息;
根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系、所述第一摄像头的姿态信息和所述移动机器人的中心的第一位置坐标,确定所述移动机器人的中心的第二位置坐标和第三姿态信息;
根据所述移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定所述移动机器人的位置坐标和姿态信息。
9.如权利要求8所述的方法,其特征在于,所述第一摄像头的姿态信息中包括距离和夹角值,所述距离为所述第一摄像头的中心与所述移动机器人的行驶路线之间的距离,所述夹角值为所述移动机器人的轴线与所述行驶路线之间的夹角值,所述第一位置坐标中的横坐标为所述移动机器人的中心与所述行驶路线之间的距离,所述第一位置坐标中的纵坐标为所述移动机器人的中心与所述标签相距的行进距离;
所述根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系、所述第一摄像头的姿态信息和所述移动机器人的中心的第一位置坐标,确定所述移动机器人的中心的第二位置坐标和第三姿态信息,包括:
根据所述第一摄像头的中心与目标点之间的位置关系和所述第一摄像头的姿态信息,确定所述目标点与所述行驶路线之间的距离,所述目标点为所述移动机器人的两端中安装有所述第一摄像头的一端的中心点;
根据所述目标点与所述行驶路线之间的距离、所述目标点与所述移动机器人的中心之间的距离和所述第一位置坐标中的横坐标,获取所述移动机器人的轴线与所述行驶路线之间的夹角值;将获取到的夹角值确定为所述移动机器人的中心的第三姿态信息,以及将所述第一位置坐标确定为所述移动机器人的中心的第二位置坐标。
10.一种移动机器人定位装置,其特征在于,所述装置包括:
第一获取模块,用于获取区域图像,所述区域图像为移动机器人上安装的第一摄像头拍摄到的所述移动机器人的行驶区域的图像,所述第一摄像头安装在所述移动机器人的前端或后端,以拍摄所述移动机器人行驶的前方区域或后方区域的图像;
第二获取模块,用于获取路面图像,所述路面图像为所述移动机器人的底部安装的第二摄像头拍摄到的所述移动机器人的行驶路面的图像;
第一识别模块,用于识别所述区域图像中包含的路线标识物;
第二识别模块,用于识别所述路面图像中是否包含标签,所述标签中携带所述标签在标签坐标系中的坐标值;
第一确定模块,用于根据所述路线标识物在所述区域图像中的图像坐标,确定所述第一摄像头的姿态信息;
第二确定模块,用于当所述路面图像中不包含标签时,根据所述第一摄像头的姿态信息,确定所述移动机器人的姿态信息。
11.如权利要求10所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于当所述路面图像中包含标签时,根据所述路面图像中包含的标签携带的坐标值,确定所述第二摄像头的位置坐标和姿态信息;
第四确定模块,用于根据所述第一摄像头的姿态信息、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的位置坐标和姿态信息。
12.如权利要求10或11所述的装置,其特征在于,所述第一确定模块包括:
第一确定单元,用于根据所述路线标识物在所述区域图像中的图像坐标和所述路线标识物与所述移动机器人的行驶路线之间的位置关系,确定所述行驶路线在第一坐标系中对应的第一曲线,所述第一坐标系的原点为所述第一摄像头的中心,所述第一坐标系的纵轴与所述移动机器人的轴线重合或平行;
第二确定单元,用于获取所述第一坐标系的原点与所述第一曲线之间的距离,以及获取所述第一坐标系的纵轴与所述第一曲线之间的夹角值;将获取到的距离和夹角值确定为所述第一摄像头的姿态信息。
13.如权利要求12所述的装置,其特征在于,所述路线标识物为车道线或第一标识物,所述第一标识物为沿车道线设置且与所述车道线平行的物体;所述第一确定单元用于:
根据所述路线标识物在所述区域图像中的图像坐标,确定所述路线标识物所在的直线在所述第一坐标系中对应的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
14.如权利要求12所述的装置,其特征在于,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;所述第一确定单元用于:
当所述区域图像中包含多个路线标识物时,根据所述多个路线标识物中每个路线标识物的标识点在所述区域图像中的图像坐标,确定所述多个路线标识物中每个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
对所述多个路线标识物的标识点在所述第一坐标系中对应的多个第一坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
15.如权利要求12所述的装置,其特征在于,所述路线标识物为标签或第二标识物,所述标签沿所述移动机器人的行驶路线设置且位于路面上,所述标签的标识点为所述标签的中心点,所述第二标识物为沿车道线设置且与路面垂直的物体,所述第二标识物的标识点为所述第二标识物与路面的接触点;所述第一确定单元用于:
当所述区域图像中包含一个路线标识物时,根据所述一个路线标识物的标识点在所述区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点;
获取下一帧区域图像,根据所述一个路线标识物的标识点在所述下一帧区域图像中的图像坐标,确定所述一个路线标识物的标识点在所述第一坐标系中对应的第二坐标点;
对所述一个路线标识物的标识点在所述第一坐标系中对应的第一坐标点和第二坐标点进行曲线拟合,得到所述第一坐标系中的第二曲线;
根据所述路线标识物与所述行驶路线之间的位置关系和所述第一坐标系中的第二曲线,确定所述行驶路线在所述第一坐标系中对应的第一曲线。
16.如权利要求11所述的装置,其特征在于,所述标签坐标系的横轴或纵轴与所述移动机器人的行驶路线所在的直线重合或平行;所述第三确定模块包括:
第三确定单元,用于根据所述路面图像中包含的标签在所述路面图像中的图像坐标,确定所述标签在第二坐标系中对应的第三坐标点,所述第二坐标系的原点为所述第二摄像头的中心,所述第二坐标系的纵轴与所述移动机器人的轴线重合或平行;
第四确定单元,用于根据所述标签中携带的坐标值和所述第三坐标点的坐标值,确定所述第二坐标系的纵轴与所述标签坐标系的两个坐标轴中每个坐标轴之间的夹角值,并将所述标签坐标系的两个坐标轴中与所述第二坐标系的纵轴之间的夹角值最小的坐标轴作为第一坐标轴,将所述标签坐标系的两个坐标轴中除所述第一坐标轴之外的另一个坐标轴作为第二坐标轴;
构建单元,用于以所述标签的中心点为原点、以与所述标签坐标系的第一坐标轴重合或平行的直线为纵轴且以与所述标签坐标系的第二坐标轴重合或平行的直线为横轴,构建指定坐标系,所述指定坐标系的纵轴与所述行驶路线所在的直线重合或平行;
第五确定单元,用于获取所述第二坐标系的原点在所述指定坐标系中的坐标值,以及获取所述第二坐标系的纵轴与所述指定坐标系的纵轴之间的夹角值;将获取到的坐标值确定为所述第二摄像头的位置坐标,以及将获取到的夹角值确定为所述第二摄像头的姿态信息。
17.如权利要求11或16所述的装置,其特征在于,所述第四确定模块包括:
第六确定单元,用于根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系和所述第一摄像头的姿态信息,确定所述移动机器人的中心的第一姿态信息;
第七确定单元,用于根据所述第二摄像头的中心与所述移动机器人的中心之间的位置关系、所述第二摄像头的位置坐标和姿态信息,确定所述移动机器人的中心的第一位置坐标和第二姿态信息;
第八确定单元,用于根据所述第一摄像头的中心与所述移动机器人的中心之间的位置关系、所述第一摄像头的姿态信息和所述移动机器人的中心的第一位置坐标,确定所述移动机器人的中心的第二位置坐标和第三姿态信息;
第九确定单元,用于根据所述移动机器人的中心的第一姿态信息、第一位置坐标、第二姿态信息、第二位置坐标和第三姿态信息,确定所述移动机器人的位置坐标和姿态信息。
18.如权利要求17所述的装置,其特征在于,所述第一摄像头的姿态信息中包括距离和夹角值,所述距离为所述第一摄像头的中心与所述移动机器人的行驶路线之间的距离,所述夹角值为所述移动机器人的轴线与所述行驶路线之间的夹角值,所述第一位置坐标中的横坐标为所述移动机器人的中心与所述行驶路线之间的距离,所述第一位置坐标中的纵坐标为所述移动机器人的中心与所述标签相距的行进距离;所述第八确定单元用于:
根据所述第一摄像头的中心与目标点之间的位置关系和所述第一摄像头的姿态信息,确定所述目标点与所述行驶路线之间的距离,所述目标点为所述移动机器人的两端中安装有所述第一摄像头的一端的中心点;
根据所述目标点与所述行驶路线之间的距离、所述目标点与所述移动机器人的中心之间的距离和所述第一位置坐标中的横坐标,获取所述移动机器人的轴线与所述行驶路线之间的夹角值;将获取到的夹角值确定为所述移动机器人的中心的第三姿态信息,以及将所述第一位置坐标确定为所述移动机器人的中心的第二位置坐标。
19.一种移动机器人定位装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-9所述的任一项方法的步骤。
20.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-9所述的任一项方法的步骤。
CN201811459591.3A 2018-11-30 2018-11-30 移动机器人定位方法、装置和计算机可读存储介质 Active CN111256676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811459591.3A CN111256676B (zh) 2018-11-30 2018-11-30 移动机器人定位方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811459591.3A CN111256676B (zh) 2018-11-30 2018-11-30 移动机器人定位方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111256676A CN111256676A (zh) 2020-06-09
CN111256676B true CN111256676B (zh) 2022-02-11

Family

ID=70951856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811459591.3A Active CN111256676B (zh) 2018-11-30 2018-11-30 移动机器人定位方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111256676B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089735A (zh) * 2021-01-29 2022-02-25 北京京东乾石科技有限公司 可移动机器人调整货架位姿的方法和装置
CN113379850B (zh) * 2021-06-30 2024-01-30 深圳银星智能集团股份有限公司 移动机器人控制方法、装置、移动机器人及存储介质
CN113485350A (zh) * 2021-07-22 2021-10-08 乐聚(深圳)机器人技术有限公司 一种机器人移动控制方法、装置、设备及存储介质
CN115174879B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质
CN116007655B (zh) * 2022-12-05 2023-09-01 广州阿路比电子科技有限公司 一种姿态传感器航向角测试系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8248467B1 (en) * 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
CN105404842A (zh) * 2015-11-19 2016-03-16 北京特种机械研究所 基于地标二维码的agv定位定向及测速方法
CN106017477A (zh) * 2016-07-07 2016-10-12 西北农林科技大学 一种果园机器人的视觉导航系统
CN106093954A (zh) * 2016-06-02 2016-11-09 邓湘 一种二维码激光测距车辆定位方法及其设备
CN107085428A (zh) * 2017-05-18 2017-08-22 广州视源电子科技股份有限公司 智能移动方法、装置、机器人及存储介质
CN107436422A (zh) * 2017-08-22 2017-12-05 杭州慧仓信息科技有限公司 一种基于红外线灯立体阵列的机器人定位方法
CN207473411U (zh) * 2017-11-23 2018-06-08 深圳鼎识科技有限公司 巡更机器人、机器人充电坞及机器人系统
CN108180917A (zh) * 2017-12-31 2018-06-19 芜湖哈特机器人产业技术研究院有限公司 一种基于位姿图优化的顶标地图构建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8248467B1 (en) * 2011-07-26 2012-08-21 ByteLight, Inc. Light positioning system using digital pulse recognition
CN105404842A (zh) * 2015-11-19 2016-03-16 北京特种机械研究所 基于地标二维码的agv定位定向及测速方法
CN106093954A (zh) * 2016-06-02 2016-11-09 邓湘 一种二维码激光测距车辆定位方法及其设备
CN106017477A (zh) * 2016-07-07 2016-10-12 西北农林科技大学 一种果园机器人的视觉导航系统
CN107085428A (zh) * 2017-05-18 2017-08-22 广州视源电子科技股份有限公司 智能移动方法、装置、机器人及存储介质
CN107436422A (zh) * 2017-08-22 2017-12-05 杭州慧仓信息科技有限公司 一种基于红外线灯立体阵列的机器人定位方法
CN207473411U (zh) * 2017-11-23 2018-06-08 深圳鼎识科技有限公司 巡更机器人、机器人充电坞及机器人系统
CN108180917A (zh) * 2017-12-31 2018-06-19 芜湖哈特机器人产业技术研究院有限公司 一种基于位姿图优化的顶标地图构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高效除草机器人控制系统设计;王艳;《中国优秀硕士学位论文全文数据库信息科技辑》;20140315;正文第8,14-27页 *

Also Published As

Publication number Publication date
CN111256676A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111256676B (zh) 移动机器人定位方法、装置和计算机可读存储介质
CN108682036B (zh) 位姿确定方法、装置及存储介质
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
CN110986930B (zh) 设备定位方法、装置、电子设备及存储介质
CN111768454B (zh) 位姿确定方法、装置、设备及存储介质
CN112270718B (zh) 摄像头标定方法、装置、系统及存储介质
CN110288689B (zh) 对电子地图进行渲染的方法和装置
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
CN109754439B (zh) 标定方法、装置、电子设备及介质
CN110874699B (zh) 记录物品的物流信息方法、装置及系统
CN112308103A (zh) 生成训练样本的方法和装置
CN111127541A (zh) 车辆尺寸的确定方法、装置及存储介质
CN111928861B (zh) 地图构建方法及装置
US20220309444A1 (en) System, method and apparatus for detecting article store or retrieve operations
CN110775056B (zh) 基于雷达探测的车辆行驶方法、装置、终端及介质
CN112241987A (zh) 确定防区的系统、方法、装置及存储介质
CN111611414A (zh) 车辆检索方法、装置及存储介质
CN111179628B (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
CN116258810A (zh) 路面要素的渲染方法、装置、设备及存储介质
CN111369684B (zh) 目标跟踪方法、装置、设备及存储介质
CN114598992A (zh) 信息交互方法、装置、设备及计算机可读存储介质
CN110633336B (zh) 激光数据搜索范围的确定方法、装置及存储介质
CN112835021A (zh) 定位方法、装置、系统及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 5th floor, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.