CN113268063A - 机器人的控制方法、装置和非易失性计算机可读存储介质 - Google Patents
机器人的控制方法、装置和非易失性计算机可读存储介质 Download PDFInfo
- Publication number
- CN113268063A CN113268063A CN202110619451.3A CN202110619451A CN113268063A CN 113268063 A CN113268063 A CN 113268063A CN 202110619451 A CN202110619451 A CN 202110619451A CN 113268063 A CN113268063 A CN 113268063A
- Authority
- CN
- China
- Prior art keywords
- reference point
- robot
- image
- coordinate system
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007689 inspection Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
本公开涉及一种机器人的控制方法、装置和非易失性计算机可读存储介质，涉及控制技术领域。该控制方法包括：控制机器人到达当前位置，获取目标物体的第一图像；在目标物体上确定多个参考点；根据多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定当前位置与指定位置之间的偏差；根据偏差，控制机器人到达指定位置。
Description
技术领域
本公开涉及控制技术领域，特别涉及一种机器人的控制方法、机器人的控制装置和非易失性计算机可读存储介质。
背景技术
在机器人对机房中的机柜进行巡检的过程中，如果能够对机器人进行高精度定位，则对于机柜的检测准确性、算法实现难易程度、检测算法稳定性都会有很大的帮助。而且，一些机柜需要高精度拍摄视角才能检测到，高精度定位也能够满足这种检测需求。
在相关技术中，可以利用机器人加装的激光雷达，通过SLAM(SimultaneousLocalization and Mapping，同步定位与建图)等定位算法进行定位；也可以利用机器人加装的视觉相机，通过VSLAM(Visual Simultaneous Localization and Mapping，视觉同步定位与建图)算法进行定位；还可以在周围环境加装定位码，机器人通过视觉相机拍摄定位码结合上述定位算法实现定位。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：定位精度低、成本高。
鉴于此，本公开提出了一种机器人的控制技术方案，能够在低成本的前提下提高机器人的定位精度。
根据本公开的一些实施例，提供了一种机器人的控制方法，包括：控制机器人到达当前位置，获取目标物体的第一图像；在目标物体上确定多个参考点；根据多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定当前位置与指定位置之间的偏差；根据偏差，控制机器人到达指定位置。
在一些实施例中，在目标物体上确定多个参考点包括：在目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点，第一参考点与第二参考点的连线与地面平行，第三参考点与第一参考点的连线与地面垂直，第四参考点与第二参考点的连线与地面垂直。
在一些实施例中，在目标物体上确定多个参考点包括：在目标物体的可观测窗口底部两侧的底角处，确定第一参考点、第二参考点。
在一些实施例中，在目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点包括：根据第一图像的像素中心在图像坐标系中的纵坐标，确定第三参考点、第四参考点在图像坐标系中的纵坐标。
在一些实施例中，根据多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定当前位置与指定位置之间的偏差包括：根据第一图像，计算第一参考点与第三参考点在图像坐标系中的距离，以及第二参考点与第四参考点在图像坐标系中的距离；根据第一图像在世界坐标系中的拍摄高度、第一参考点在世界坐标系中距离地面的高度，计算第一参考点与第三参考点在世界坐标系中的距离；根据第一图像在世界坐标系中的拍摄高度、第二参考点在世界坐标系中距离地面的高度，计算第二参考点与第四参考点在世界坐标系中的距离。
在一些实施例中，控制机器人到达当前位置，获取目标物体的第一图像包括：根据指定位置，控制机器人到达当前位置；控制机器人上的图像获取装置对准目标物品的纵轴中心线，获取第一图像。
在一些实施例中，目标物体为内部装有服务器的机柜，通过机柜上的可观测窗口能够观测到服务器的工作状态，机器人为巡检机器人；控制方法还包括：在巡检机器人到达指定位置后，获取包含可观测窗口的第二图像，用于检测服务器的工作状态。
根据本公开的另一些实施例，提供一种机器人的控制装置，包括：控制单元，用于控制机器人到达当前位置，获取目标物体的第一图像，根据当前位置与指定位置之间的偏差，控制机器人到达指定位置；确定单元，用于在目标物体上确定多个参考点，根据多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定当前位置与指定位置之间的偏差。
在一些实施例中，确定单元在目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点，第一参考点与第二参考点的连线与地面平行，第三参考点与第一参考点的连线与地面垂直，第四参考点与第二参考点的连线与地面垂直。
在一些实施例中，确定单元在目标物体的可观测窗口底部两侧的底角处，确定第一参考点、第二参考点。
在一些实施例中，确定单元根据第一图像的像素中心在图像坐标系中的纵坐标，确定第三参考点、第四参考点在图像坐标系中的纵坐标。
在一些实施例中，目标物体为内部装有服务器的机柜，通过机柜上的可观测窗口能够观测到服务器的工作状态，机器人为巡检机器人；控制单元控制巡检机器人到达指定位置后，获取包含可观测窗口的第二图像，用于检测服务器的工作状态。
根据本公开的又一些实施例，提供一种机器人，包括：控制装置，用于执行上述任一个实施例中的机器人的控制方法；图像获取装置，用于获取目标物品的图像。
根据本公开的再一些实施例，提供一种机器人的控制装置，包括：存储器；和耦接至存储器的处理器，处理器被配置为基于存储在存储器装置中的指令，执行上述任一个实施例中的机器人的控制方法。
根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的机器人的控制方法。
在上述实施例中，根据目标物体上多个参考点在世界坐标系中的距离与在图像坐标系中的距离的对应关系，对机器人进行定位。这样，能够在不添加辅助定位工具的情况下，根据目标物体自身的尺寸特性提高机器人的定位精度。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开：
图1示出本公开的机器人的控制方法的一些实施例的流程图；
图2示出本公开的机器人的控制方法的一些实施例的示意图；
图3示出本公开的机器人的控制方法的另一些实施例的示意图；
图4示出本公开的机器人的控制装置的一些实施例的框图；
图5示出本公开的机器人的控制装置的另一些实施例的框图；
图6示出本公开的机器人的控制装置的又一些实施例的框图；
图7示出本公开的机器人的一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，SLAM和VSLAM等算法受到传感器误差以及算法自身原理误差的影响，导致机器人定位精度无法达到高精度定位的要求。若要实现高精度定位(如小于1cm误差)，需要通过给周围环境加装定位码等辅助定位工具，通过视觉相机拍摄结合算法实现。
但是，加装定位码具有通用性差、工作量大、成本高、维护困难等技术问题，如部分区域还会由于条件限制无法加装定位码。因此，基于这些方法，机器人在巡检过程中很难做到高精度定位。
针对上述技术问题，本公开的技术方案可以实现在不加装定位码等辅助定位工具、不对周围环境做改造的情况下，实现机器人高精度定位。例如，可以通过如下的实施例实现本公开的技术方案。
图1示出本公开的机器人的控制方法的一些实施例的流程图。
如图1所示，在步骤110中，控制机器人到达当前位置，获取目标物体的第一图像。
在一些实施例中，根据指定位置，控制机器人到达当前位置；控制机器人上的图像获取装置对准目标物品的纵轴中心线，获取第一图像。
例如，根据指定的巡检位置，机器人通过自主导航移动到机柜面前。机器人可以使用SLAM或者VSLAM等技术进行导航，但定位精度存在一定偏差(如2cm到5cm左右)，即当前位置与指定位置存在偏差。
例如，可以预先指定机器人在机柜面前的巡检位置，根据指定的巡检位置，控制机器人到达当前位置。相机可以使用6mm焦距镜头，在当前位置(如距离机柜60cm)使得相机镜头正对机柜正面的纵轴中心线，拍摄第一图像。此时拍摄的图像能够包含单个机柜的左右轮廓边界，且机柜占据第一图像的面积大于阈值。
在一些实施例中，可以通过图2的实施例获取目标物体的图像。
图2示出本公开的机器人的控制方法的一些实施例的示意图。
如图2所示，巡检机器人在机房中对各机柜进行巡检。巡检机器人上设置有一个视觉相机及光源，可在图中的上下方向上自由滑动进行拍照。
在一些实施例中，图中左右两个机柜的宽度可以在60cm左右，高度可以在220cm左右。不同机柜尺寸有一定差异，但整体结构相同。
例如，机柜内部装有服务器，正面装有一个网格门作为可观察窗口。机器人在对机柜进行巡检时，行走至机柜正前方指定位置进行视觉拍摄检查。
在一些实施例中，控制巡检机器人到达图中左侧机柜前方，通过相机获取该机柜的第一图像。
在获取了第一图像后，可以通过图1中的其余步骤进行控制。
在步骤120中，在目标物体上确定多个参考点。
在一些实施例中，在目标物体的可观测窗口底部两侧的底角处，确定第一参考点、第二参考点。例如，可以使用目标检测网络或者语义分割网络或者传统图像处理算法，在第一图像中检测网格门底角坐标。
例如，也可以在能够确定目标物体上标志物相对尺寸关系的其他位置确定参考点。如目标物体自身底角或者其他显眼标志物等位置。
在一些实施例中，在目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点。第一参考点与第二参考点的连线与地面平行，第三参考点与第一参考点的连线与地面垂直，第四参考点与第二参考点的连线与地面垂直。
例如，根据第一图像的像素中心在图像坐标系中的纵坐标，确定第三参考点、第四参考点在图像坐标系中的纵坐标。
在一些实施例中，可以通过图3的实施例确定目标物体上的多个参考点。
图3示出本公开的机器人的控制方法的另一些实施例的示意图。
如图3所示，机柜正面装有一个网格门作为可观察窗口，网格门的底角为A、B。例如，将机器人配备的相机滑动到最低高度，该高度使相机镜头中心高于网格门底角的高度，且拍摄画面能够包含网格门底角。
此时因为机器人存在导航误差，机器人的当前位置不一定按照指定位置正对机柜。因此，需要通过本公开的算法测量出机器人此时相对机柜的定位坐标关系。
在一些实施例，可以对第一图像进行畸变矫正(如张正友标定法等)；可以通过目标检测网络(如yolov4等)，检测出机柜的两个网格门底角A、B在第一图像中的像素坐标，作为第一参考点和第二参考点。
在一些实施例中，相机高度高于机柜网格门底角高度，可以取图像的像素高度中心作为第三参考点C、第四参考点D的像素坐标纵轴的值；取检测到两个底角坐标的横轴的值，分别作为C、D像素坐标横轴值的值。
这样，中第一图像中得到了4个参考点的像素坐标，分别为两个底角坐标点A和B，与底角横轴相同且纵轴值为图像中心的两个坐标点C和D。
在一些实施例中，机柜垂直于地面摆放，机器人相机可以相对地面水平安装，以保证两个底角与地面距离相同。
在确定了多个参考点之后，可以通过图1中的其余步骤进行控制。
在步骤130中，根据多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定当前位置与指定位置之间的偏差。
在一些实施例中，根据第一图像，计算第一参考点与第三参考点在图像坐标系中的距离，以及第二参考点与第四参考点在图像坐标系中的距离。
根据第一图像在世界坐标系中的拍摄高度、第一参考点在世界坐标系中距离地面的高度，计算第一参考点与第三参考点在世界坐标系中的距离。
根据第一图像在世界坐标系中的拍摄高度、第二参考点在世界坐标系中距离地面的高度，计算第二参考点与第四参考点在世界坐标系中的距离。
例如，第一图像中A和B两点之间横轴距离，对应世界坐标系中网格门两个底角的真实水平距离；第一图像中C和D两点之间横轴距离与A和B两点之间横轴距离相同，且对应世界坐标系中网格门两个底角的真实水平距离。
第一图像中A和C的纵轴距离与B和D的纵轴距离相同，且对应世界坐标系中的真实距离。该真实距离为相机拍摄距离地面高度减去网格门底角距离地面高度。
在一些实施例中，第一图像中ABCD四个点的像素坐标已知，AB、AC、CD、BD对应的世界坐标系中的真实距离已知。例如，可以通过pnp(pespective-n-point，多点透视)算法计算机器人相对机柜的真实世界坐标关系，即机器人的当前位置在世界坐标系中的坐标。
在步骤140中，根据偏差，控制机器人到达指定位置。
在一些实施例中，根据上面的计算结果，结合机器人的指定位置，计算偏差；控制机器人按照偏差移动到指定位置进行巡检，从而实现机器人高精度定位。
在一些实施例中，目标物体为内部装有服务器的机柜，通过机柜上的可观测窗口能够观测到服务器的工作状态，机器人为巡检机器人。在巡检机器人到达指定位置后，获取包含可观测窗口的第二图像，用于检测服务器的工作状态。
上述实施例中，结合机柜自身的尺寸特性、机器人相机高度、机柜网格们底角位置等信息，在不添加辅助定位工具情况下，计算机器人相对机柜的位置。从而，获取高精度的机器人相对机柜位置关系，满足了机器人在机房巡检中高精度定位的需求。
在一些实施例中，可以通过如下的步骤实现机器人的控制。
在第一步中，测量机柜尺寸信息。可以预先测量机房中机柜的网格门底角距离地面的真实高度、两个底角之间的真实距离、机器人相机的高度等。
例如，测量网格门底角距离地面的高度记作a；测量同一个机柜中左右两侧网格门底角之间的水平距离记作b。这样，可以获取该机柜型号的尺寸信息。
在第二步中，机器人可通过激光雷达等设备，导航运行到机柜前。
例如，预先指定机器人在机柜面前的巡检位置，根据指定的巡检位置，控制机器人到达当前位置。相机可以使用6mm焦距镜头，在当前位置(如距离机柜60cm)使得相机镜头正对机柜正面的纵轴中心线，拍摄第一图像。此时拍摄的图像能够包含单个机柜的左右轮廓边界，且机柜占据第一图像的面积大于阈值。
例如，将机器人配备的相机滑动到最低高度，该高度使相机镜头中心高于网格门底角的高度，且拍摄画面能够包含网格门底角。
在第三步中，根据指定的巡检位置，机器人通过自主导航移动到机柜面前。机器人可以使用SLAM或者VSLAM等技术进行导航，但定位精度存在一定偏差(如2cm到5cm左右)，即当前位置与指定位置存在偏差。
在第四步中，调节机器人的升降机构，将相机滑动到最低高度，拍摄包含机柜底部的第一图像。例如，安装在机器人上的相机对机柜的底角进行拍照，相机高度的调整能够确保机柜底角在拍摄的图像的下半部分。
此时因为机器人存在导航误差，机器人的当前位置不一定按照指定位置正对机柜。因此，需要通过本公开的算法测量出机器人此时相对机柜的定位坐标关系。
在第五步中，可以对第一图像进行畸变矫正(如张正友标定法等)；可以通过目标检测网络(如yolov4等)，检测出机柜的两个网格门底角A、B在第一图像中的像素坐标，作为第一参考点和第二参考点。
在一些实施例中，以图像高度为中心作为对称轴，找到两个底角在图像上半部分的对称点，从而获取4个参考点。
例如，相机高度高于机柜网格门底角高度，可以取图像的像素高度中心作为第三参考点C、第四参考点D的像素坐标纵轴的值；取检测到两个底角坐标的横轴的值，分别作为C、D像素坐标横轴值的值。
这样，中第一图像中得到了4个参考点的像素坐标，分别为两个底角坐标点A和B，与底角横轴相同且纵轴值为图像中心的两个坐标点C和D。
在第六步中，机柜垂直于地面摆放，机器人相机可以相对地面水平安装，以保证两个底角与地面距离相同。
根据第一步的测量结果，第一图像中A和B两点之间横轴距离，对应世界坐标系中网格门两个底角的真实水平距离；第一图像中C和D两点之间横轴距离与A和B两点之间横轴距离相同，且对应世界坐标系中网格门两个底角的真实水平距离。
第一图像中A和C的纵轴距离与B和D的纵轴距离相同，且对应世界坐标系中的真实距离。该真实距离为相机拍摄距离地面高度减去网格门底角距离地面高度。
在第七步中，第一图像中ABCD四个点的像素坐标已知，AB、AC、CD、BD对应的世界坐标系中的真实距离已知。例如，可以通过pnp算法计算机器人相对机柜的真实世界坐标关系，即机器人的当前位置在世界坐标系中的坐标。
在第八步中，根据上面的计算结果，结合机器人的指定位置，计算偏差；控制机器人按照偏差移动到指定位置进行巡检，从而实现机器人高精度定位。
图4示出本公开的机器人的控制装置的一些实施例的框图。
如图4所示，机器人的控制装置4包括控制单元41、确定单元42。
控制单元41控制机器人到达当前位置，获取目标物体的第一图像；根据当前位置与指定位置之间的偏差，控制机器人到达指定位置。
在一些实施例中，目标物体为内部装有服务器的机柜，通过机柜上的可观测窗口能够观测到服务器的工作状态，机器人为巡检机器人。控制单元41控制巡检机器人到达指定位置后，获取包含可观测窗口的第二图像，用于检测服务器的工作状态。
在一些实施例中，控制单元41根据指定位置，控制机器人到达当前位置；控制机器人上的图像获取装置对准目标物品的纵轴中心线，获取第一图像。
确定单元42在目标物体上确定多个参考点，根据多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定当前位置与指定位置之间的偏差。
在一些实施例中，确定单元42在目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点。第一参考点与第二参考点的连线与地面平行，第三参考点与第一参考点的连线与地面垂直，第四参考点与第二参考点的连线与地面垂直。
在一些实施例中，确定单元42在目标物体的可观测窗口底部两侧的底角处，确定第一参考点、第二参考点。
在一些实施例中，确定单元42根据第一图像的像素中心在图像坐标系中的纵坐标，确定第三参考点、第四参考点在图像坐标系中的纵坐标。
在一些实施例中，确定单元42根据第一图像，计算第一参考点与第三参考点在图像坐标系中的距离，以及第二参考点与第四参考点在图像坐标系中的距离；根据第一图像在世界坐标系中的拍摄高度、第一参考点在世界坐标系中距离地面的高度，计算第一参考点与第三参考点在世界坐标系中的距离；根据第一图像在世界坐标系中的拍摄高度、第二参考点在世界坐标系中距离地面的高度，计算第二参考点与第四参考点在世界坐标系中的距离。
图5示出本公开的机器人的控制装置的另一些实施例的框图。
如图5所示，该实施例的机器人的控制装置5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的机器人的控制方法。
其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader、数据库以及其他程序等。
图6示出本公开的机器人的控制装置的又一些实施例的框图。
如图6所示，该实施例的机器人的控制装置6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的机器人的控制方法。
存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序Boot Loader以及其他程序等。
机器人的控制装置6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
图7示出本公开的机器人的一些实施例的框图。
如图7所示，机器人7包括：控制装置71，用于执行上述任一个实施例中的机器人的控制方法；图像获取装置72，用于获取目标物品的图像。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的机器人的控制方法、机器人的控制装置和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。
Claims (15)
1.一种机器人的控制方法，包括：
控制机器人到达当前位置，获取目标物体的第一图像；
在所述目标物体上确定多个参考点；
根据所述多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定所述当前位置与指定位置之间的偏差；
根据所述偏差，控制所述机器人到达所述指定位置。
2.根据权利要求1所述的控制方法，其中，所述在所述目标物体上确定多个参考点包括：
在所述目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点，所述第一参考点与所述第二参考点的连线与地面平行，所述第三参考点与所述第一参考点的连线与地面垂直，所述第四参考点与所述第二参考点的连线与地面垂直。
3.根据权利要求1所述的控制方法，其中，所述在所述目标物体上确定多个参考点包括：
在所述目标物体的可观测窗口底部两侧的底角处，确定第一参考点、第二参考点。
4.根据权利要求2所述的控制方法，其中，所述在所述目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点包括：
根据所述第一图像的像素中心在图像坐标系中的纵坐标，确定所述第三参考点、所述第四参考点在图像坐标系中的纵坐标。
5.根据权利要求4所述的控制方法，其中，所述根据所述多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定所述当前位置与指定位置之间的偏差包括：
根据所述第一图像，计算所述第一参考点与所述第三参考点在图像坐标系中的距离，以及所述第二参考点与所述第四参考点在图像坐标系中的距离；
根据所述第一图像在世界坐标系中的拍摄高度、所述第一参考点在世界坐标系中距离地面的高度，计算所述第一参考点与所述第三参考点在世界坐标系中的距离；
根据所述第一图像在世界坐标系中的拍摄高度、所述第二参考点在世界坐标系中距离地面的高度，计算所述第二参考点与所述第四参考点在世界坐标系中的距离。
6.根据权利要求1所述的控制方法，其中，所述控制机器人到达当前位置，获取目标物体的第一图像包括：
根据所述指定位置，控制所述机器人到达所述当前位置；
控制所述机器人上的图像获取装置对准所述目标物品的纵轴中心线，获取所述第一图像。
7.根据权利要求1-6任一项所述的控制方法，其中，
所述目标物体为内部装有服务器的机柜，通过所述机柜上的可观测窗口能够观测到所述服务器的工作状态，所述机器人为巡检机器人；
还包括：
在所述巡检机器人到达所述指定位置后，获取包含所述可观测窗口的第二图像，用于检测所述服务器的工作状态。
8.一种机器人的控制装置，包括：
控制单元，用于控制机器人到达当前位置，获取目标物体的第一图像，根据所述当前位置与指定位置之间的偏差，控制所述机器人到达所述指定位置；
确定单元，用于在所述目标物体上确定多个参考点，根据所述多个参考点在图像坐标系中的距离、在世界坐标系中的距离，确定所述当前位置与指定位置之间的偏差。
9.根据权利要求8所述的控制装置，其中，
所述确定单元在所述目标物体上确定第一参考点、第二参考点、第三参考点、第四参考点，所述第一参考点与所述第二参考点的连线与地面平行，所述第三参考点与所述第一参考点的连线与地面垂直，所述第四参考点与所述第二参考点的连线与地面垂直。
10.根据权利要求8所述的控制装置，其中，
所述确定单元在所述目标物体的可观测窗口底部两侧的底角处，确定第一参考点、第二参考点。
11.根据权利要求9所述的控制装置，其中，
所述确定单元根据所述第一图像的像素中心在图像坐标系中的纵坐标，确定所述第三参考点、所述第四参考点在图像坐标系中的纵坐标。
12.根据权利要求8-11任一项所述的控制装置，其中，
所述目标物体为内部装有服务器的机柜，通过所述机柜上的可观测窗口能够观测到所述服务器的工作状态，所述机器人为巡检机器人；
所述控制单元控制所述巡检机器人到达所述指定位置后，获取包含所述可观测窗口的第二图像，用于检测所述服务器的工作状态。
13.一种机器人，包括：
控制装置，用于执行权利要求1-7任一项所述的机器人的控制方法；
图像获取装置，用于获取目标物品的图像。
14.一种机器人的控制装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-7任一项所述的机器人的控制方法。
15.一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的机器人的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110619451.3A CN113268063A (zh) | 2021-06-03 | 2021-06-03 | 机器人的控制方法、装置和非易失性计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110619451.3A CN113268063A (zh) | 2021-06-03 | 2021-06-03 | 机器人的控制方法、装置和非易失性计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113268063A true CN113268063A (zh) | 2021-08-17 |
Family
ID=77234164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110619451.3A Pending CN113268063A (zh) | 2021-06-03 | 2021-06-03 | 机器人的控制方法、装置和非易失性计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113268063A (zh) |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10332334A (ja) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | 画像処理による位置計測方法および装置 |
| JP2001133311A (ja) * | 1999-11-04 | 2001-05-18 | Hitachi Ltd | 水位計測方法および水位計測システム |
| FR2980844A1 (fr) * | 2011-10-03 | 2013-04-05 | Renault Sa | Procede d'etalonnage d'une barre de mise a l'echelle |
| US20150110347A1 (en) * | 2013-10-22 | 2015-04-23 | Fujitsu Limited | Image processing device and image processing method |
| CN107300919A (zh) * | 2017-06-22 | 2017-10-27 | 中国科学院深圳先进技术研究院 | 一种机器人及其行进控制方法 |
| CN108189043A (zh) * | 2018-01-10 | 2018-06-22 | 北京飞鸿云际科技有限公司 | 一种应用于高铁机房的巡检方法及巡检机器人系统 |
| CN108198216A (zh) * | 2017-12-12 | 2018-06-22 | 深圳市神州云海智能科技有限公司 | 一种机器人及其基于标识物的位姿估计方法和装置 |
| CN108491905A (zh) * | 2018-03-16 | 2018-09-04 | 浙江国自机器人技术有限公司 | 一种移动机器人定位方法、系统、介质及设备 |
| CN108628306A (zh) * | 2018-04-10 | 2018-10-09 | 平安科技（深圳）有限公司 | 机器人行走障碍检测方法、装置、计算机设备和存储介质 |
| CN109285190A (zh) * | 2018-09-06 | 2019-01-29 | 广东天机工业智能系统有限公司 | 对象定位方法、装置、电子设备和存储介质 |
| CN109373992A (zh) * | 2016-08-19 | 2019-02-22 | 广州艾若博机器人科技有限公司 | 基于发光设备的地图纠正方法及装置 |
| CN109711503A (zh) * | 2018-12-29 | 2019-05-03 | 中国银联股份有限公司 | 一种机器人定位方法及装置 |
| CN109855602A (zh) * | 2019-01-14 | 2019-06-07 | 南通大学 | 运动视场下的单目视觉定位方法 |
| CN109877833A (zh) * | 2019-02-28 | 2019-06-14 | 芜湖赛宝机器人产业技术研究院有限公司 | 一种工业视觉机器人快速定位方法 |
| CN110174093A (zh) * | 2019-05-05 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 定位方法、装置、设备和计算机可读存储介质 |
| CN110399945A (zh) * | 2019-07-18 | 2019-11-01 | 广州弘度信息科技有限公司 | 一种机柜门定位方法、系统及机器人 |
| CN110488838A (zh) * | 2019-08-29 | 2019-11-22 | 四川阿泰因机器人智能装备有限公司 | 一种室内自主导航机器人精确重复定位方法 |
| CN110842908A (zh) * | 2018-08-21 | 2020-02-28 | 广州弘度信息科技有限公司 | 一种机器人及其辅助定位方法 |
| CN111604916A (zh) * | 2020-04-30 | 2020-09-01 | 上海允登信息科技有限公司 | 一种机房it设备故障机柜u位定位系统及方法 |
| US20200311979A1 (en) * | 2019-03-28 | 2020-10-01 | Industrial Technology Research Institute | Image positioning method and system thereof |
| US20200410716A1 (en) * | 2019-06-26 | 2020-12-31 | TmaxData Co., Ltd. | Method for Calibration |
| CN112580402A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 一种单目视觉行人测距方法及其系统、车辆、介质 |
-
2021
- 2021-06-03 CN CN202110619451.3A patent/CN113268063A/zh active Pending
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10332334A (ja) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | 画像処理による位置計測方法および装置 |
| JP2001133311A (ja) * | 1999-11-04 | 2001-05-18 | Hitachi Ltd | 水位計測方法および水位計測システム |
| FR2980844A1 (fr) * | 2011-10-03 | 2013-04-05 | Renault Sa | Procede d'etalonnage d'une barre de mise a l'echelle |
| US20150110347A1 (en) * | 2013-10-22 | 2015-04-23 | Fujitsu Limited | Image processing device and image processing method |
| CN109373992A (zh) * | 2016-08-19 | 2019-02-22 | 广州艾若博机器人科技有限公司 | 基于发光设备的地图纠正方法及装置 |
| CN107300919A (zh) * | 2017-06-22 | 2017-10-27 | 中国科学院深圳先进技术研究院 | 一种机器人及其行进控制方法 |
| CN108198216A (zh) * | 2017-12-12 | 2018-06-22 | 深圳市神州云海智能科技有限公司 | 一种机器人及其基于标识物的位姿估计方法和装置 |
| CN108189043A (zh) * | 2018-01-10 | 2018-06-22 | 北京飞鸿云际科技有限公司 | 一种应用于高铁机房的巡检方法及巡检机器人系统 |
| CN108491905A (zh) * | 2018-03-16 | 2018-09-04 | 浙江国自机器人技术有限公司 | 一种移动机器人定位方法、系统、介质及设备 |
| CN108628306A (zh) * | 2018-04-10 | 2018-10-09 | 平安科技（深圳）有限公司 | 机器人行走障碍检测方法、装置、计算机设备和存储介质 |
| CN110842908A (zh) * | 2018-08-21 | 2020-02-28 | 广州弘度信息科技有限公司 | 一种机器人及其辅助定位方法 |
| CN109285190A (zh) * | 2018-09-06 | 2019-01-29 | 广东天机工业智能系统有限公司 | 对象定位方法、装置、电子设备和存储介质 |
| CN109711503A (zh) * | 2018-12-29 | 2019-05-03 | 中国银联股份有限公司 | 一种机器人定位方法及装置 |
| CN109855602A (zh) * | 2019-01-14 | 2019-06-07 | 南通大学 | 运动视场下的单目视觉定位方法 |
| CN109877833A (zh) * | 2019-02-28 | 2019-06-14 | 芜湖赛宝机器人产业技术研究院有限公司 | 一种工业视觉机器人快速定位方法 |
| US20200311979A1 (en) * | 2019-03-28 | 2020-10-01 | Industrial Technology Research Institute | Image positioning method and system thereof |
| CN110174093A (zh) * | 2019-05-05 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 定位方法、装置、设备和计算机可读存储介质 |
| US20200410716A1 (en) * | 2019-06-26 | 2020-12-31 | TmaxData Co., Ltd. | Method for Calibration |
| CN110399945A (zh) * | 2019-07-18 | 2019-11-01 | 广州弘度信息科技有限公司 | 一种机柜门定位方法、系统及机器人 |
| CN110488838A (zh) * | 2019-08-29 | 2019-11-22 | 四川阿泰因机器人智能装备有限公司 | 一种室内自主导航机器人精确重复定位方法 |
| CN112580402A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 一种单目视觉行人测距方法及其系统、车辆、介质 |
| CN111604916A (zh) * | 2020-04-30 | 2020-09-01 | 上海允登信息科技有限公司 | 一种机房it设备故障机柜u位定位系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10290118B2 (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
| CN108447097B (zh) | 深度相机标定方法、装置、电子设备及存储介质 | |
| US11830216B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| KR101003168B1 (ko) | 다차원 에비던스 그리드 및 그를 적용한 시스템 및 방법 | |
| US9927222B2 (en) | Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium | |
| WO2012023593A1 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
| US20150125035A1 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
| US10499038B2 (en) | Method and system for recalibrating sensing devices without familiar targets | |
| KR102608956B1 (ko) | 스테레오 이미지의 정류를 위한 방법 및 시스템 | |
| US20230252679A1 (en) | Extrinsic parameter calibration device and method for multiple camera devices, storage medium, and electronic device | |
| CN111161358B (zh) | 一种用于结构光深度测量的相机标定方法和装置 | |
| US20220230348A1 (en) | Method and apparatus for determining a three-dimensional position and pose of a fiducial marker | |
| TWI526879B (zh) | 互動系統、遙控器及其運作方法 | |
| US20200242806A1 (en) | Stereo camera calibration method and image processing device for stereo camera | |
| CN107504917B (zh) | 一种三维尺寸测量方法及装置 | |
| CN113781576B (zh) | 多自由度位姿实时调整的双目视觉检测系统、方法、装置 | |
| US20230086050A1 (en) | Method and apparatus for modeling dynamic intrinsic parameters of a camera | |
| JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| CN114049401A (zh) | 双目相机标定方法、装置、设备及介质 | |
| Jiang et al. | A ball-shaped target development and pose estimation strategy for a tracking-based scanning system | |
| CN113268063A (zh) | 机器人的控制方法、装置和非易失性计算机可读存储介质 | |
| WO2023040095A1 (zh) | 相机的标定方法、装置、电子设备及存储介质 | |
| Li et al. | Research on dynamic stability precision test of artillery based on dual-target and CCD | |
| US20230033339A1 (en) | Image processing system | |
| Kanuganti | Optimization of the Single Point Active Alignment Method (SPAAM) with a Random Forest for accurate Visual Registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |