CN109358628A - 一种货箱对位方法及机器人 - Google Patents

一种货箱对位方法及机器人 Download PDF

Info

Publication number
CN109358628A
CN109358628A CN201811314709.3A CN201811314709A CN109358628A CN 109358628 A CN109358628 A CN 109358628A CN 201811314709 A CN201811314709 A CN 201811314709A CN 109358628 A CN109358628 A CN 109358628A
Authority
CN
China
Prior art keywords
container
key point
image pattern
camera
container image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811314709.3A
Other languages
English (en)
Inventor
张雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Mumeng Intelligent Technology Co Ltd
Original Assignee
Jiangsu Mumeng Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Mumeng Intelligent Technology Co Ltd filed Critical Jiangsu Mumeng Intelligent Technology Co Ltd
Priority to CN201811314709.3A priority Critical patent/CN109358628A/zh
Publication of CN109358628A publication Critical patent/CN109358628A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明提供了一种货箱对位方法及机器人，其方法包括：构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。本发明不仅克服了红外对位或者标签对位进行货箱对位所存在的缺陷，还提高了货箱对位的准确度。

Description

一种货箱对位方法及机器人
技术领域
本发明涉及机器人技术领域，尤指一种货箱对位方法及机器人。
背景技术
近年来，随着机器人技术的发展和人工智能研究不断深入，智能机器人在人类生活中扮演越来越重要的角色，在诸多领域得到广泛应用。
机器人在进行自动装卸货的过程中，需要对货箱进行精准的对位。目前，一般采用红外对位或者标签对位，红外对位需要使用红外收发装置，容易出现不稳定的情况；标签对位需要在货箱上粘贴标签显得太突兀。因此，本领域亟需实现一种新的货箱对位方法。
发明内容
本发明的目的是提供一种货箱对位方法及机器人，不仅克服了红外对位或者标签对位进行货箱对位所存在的缺陷，还提高了货箱对位的准确度。
本发明提供的技术方案如下：
本发明提供一种货箱对位方法，包括步骤：构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；
训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；
利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；
根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
优选的，在所述的训练检测货箱图像样本并回归货箱关键点的算法模型之后还包括步骤：
检测货箱图像样本的全局货箱关键点；
根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
进一步优选的，所述检测货箱图像的全局货箱关键点具体包括步骤：
构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
进一步优选的，所述的在训练算法模型时进行货箱图像样本检测与货箱关键点回归具体包括步骤：
生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
进一步优选的，所述的根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置具体包括步骤：
选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；
根据所述货箱关键点的相机平面坐标，求出相机的相机位置；
其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
本发明还通过一种机器人，包括：关键点标记模块，用于构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；
算法训练模块，用于训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；
相机位置计算模块，用于利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；
对位导航模块，用于根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
优选的，还包括：关键点检测模块，用于检测货箱图像样本的全局货箱关键点；
位置优化模块，用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
关键点更替模块，用于根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
优选的，还包括：关键点训练模块，用于构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
图像检测模块，用于对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
检测生成模块，用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
优选的，还包括：候选框训练模块，用于生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
候选框筛选模块，用于从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
关键点输出模块，用于根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
优选的，还包括：
关键点位置计算模块，用于选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；
所述相机位置计算模块，用于根据所述货箱关键点的相机平面坐标，求出相机的相机位置；
其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
通过本发明提供的一种货箱对位方法及机器人，能够带来以下至少一种有益效果：
1、本发明利用货箱图像样本训练算法模型，再利用训练好的算法模型计算出货箱关键点位置，再根据货箱关键点位置计算出相机位置，最后根据相对位置进行货箱对位导航，不仅提高了货箱对位的准确度；还克服了红外对位或者标签对位进行货箱对位所存在的缺陷。
2、本发明利用货箱图像样本的全局货箱关键点对回归的货箱关键点的货箱关键点位置进行优化；从而对算法模型进行优化；进而提高货箱对位的准确度。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种货箱对位方法及机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明货箱对位方法的一个实施例的流程图；
图2是本发明货箱对位方法的另一个实施例的流程图；
图3是本发明货箱对位方法的又一个实施例的流程图；
图4是本发明货箱对位方法的再一个实施例的流程图；
图5是本发明货箱对位方法的另一个实施例的流程图；
图6是本发明机器人的一个实施例的结构示意图。
附图标号说明：
10—关键点标记模块 20—算法训练模块
21—候选框训练模块 22—候选框筛选模块
23—关键点输出模块 30—关键点检测模块
301—关键点训练模块 302—图像检测模块
303—检测生成模块 31—位置优化模块
32—关键点更替模块 41—关键点位置计算模块
42—相机位置计算模块 50—对位导航模块
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
根据本发明提供的一种实施例，如图1所示，一种沿线导航的方法，包括：
S10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
具体的，在构建货箱图像样本库之后，会将货箱图像样本库分成货箱图像样本训练集、货箱图像样本验证集、货箱图像样本测试集。其货箱图像样本训练集占货箱图像样本库的70％～80％，即货箱图像样本库中有一万张货箱图像样本，货箱图像样本训练集中有七千～八千张货箱图像样本。
其中，货箱图像样本训练集是用于训练算法模型，货箱图像样本验证集是用于验证算法模型，货箱图像样本测试集用于训练算法模型；算法模型的验证步骤不是必须的，可以对算法模型进行验证，也可以不对算法模型进行验证。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
具体的，在货箱检测面上用彩色胶带贴成四个角，每个角的两个角边上彩色胶带的色彩形成鲜明对比，且相邻两个角位于同一侧上的两个角边上彩色胶带的颜色不同；
例如，第一个角是用红色胶带和绿色胶带组成，第二个角是用绿色胶带和粉红色胶带组成，第三个角是用红色胶带和黄色胶带组成，第四个角是用粉红色胶带和黄色胶带组成；四个角可以形成矩形的四个角。
货箱关键点可以是四个角的顶点，货箱关键点还可以彩色胶带上其他点。在货箱图像样本训练集中货箱图像样本标记有四个货箱关键点后，利用标记有四个货箱关键点的货箱图像样本训练算法模型。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。
具体的，在算法模型训练完成后，利用训练后的算法模型对相机获取到的货箱图像进行检测，并在货箱图像上回归货箱关键点。
在货箱图像上显示彩色胶带的关键点时，可以根据彩色胶带的关键点位置和相机的内参，计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
具体的，在求出货箱关键点位置、相机位置后，可以根据两个位置的相对位置，对货箱进行导航；例如相对位置为2m时，控制机器人移动2m；当相对位置为0m时，该机器人到达位置准确，无需控制机器人移动。
本实施例中，在货箱检测面上贴有颜色鲜明的彩色胶带，方便快速检测出货箱关键点；首先构建图像样本库，对算法模型进行训练；再利用训练后的算法模型准确预测出货箱关键点。本发明利用图像对货箱对位进行导航；摒弃了传统的红外技术、标签技术进行货箱对位；克服了红外技术、标签技术进行货箱对位时所存在的缺陷；还提高了货箱对位的准确度。
根据本发明提供的另一种实施例，如图2所示，一种沿线导航的方法，包括：
S10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
S30、检测货箱图像样本的全局货箱关键点；
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
S32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
本实施例中，在货箱检测面上用彩色胶带贴有四个角，彩色胶带形成的四个角顶点之间的固定距离是已知、固定不变的。在标记出各个角顶点的货箱关键点作为全局货箱关键点。
利用货箱图像样本上预测的货箱关键点和标记的全局货箱关键点，对货箱图像样本上预测的货箱关键点进行位置优化。
对货箱图像样本上选择距离标记的全局关键点最近的预测的货箱关键点更替预测的货箱关键点。
根据本发明提供的再一种实施例，如图3所示，一种沿线导航的方法，包括：
S10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
S301、构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
S302、对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
S303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
S32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
本实施例中，首先构建一个合成图像数据库，在这些图片里关键点包括四个角顶点，小椭圆中心和直线段端点，通过缩放，单应变换扩充训练样本。这些样本可以认为是真实世界中关键点的子集，这种设计其实是非常巧妙的方法，避免了繁重的人工标注过程。
把输入的未打标签的图像，进行随机的单应变换，然后使用上面的特征点检测器来分别对变换后的图像进行检测，最后把每张图检测到的特征点还原到原图中，那么就尽可能多的实现原图中关键点的检测。
根据本发明提供的又一种实施例，如图4所示，一种沿线导航的方法，包括：
S10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S21、生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
S22、从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
S23、根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
S30、检测货箱图像样本的全局货箱关键点；
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
S32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
本实施例中，优选的，步骤S30具体包括：S301、构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
S302、对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
S303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
首先，主要是算法模型的训练，算法模型主要有货箱分类、边框回归、货箱关键点定位。
其中，货箱分类是指货箱与非货箱，对于每一个货箱图像样本采用交叉熵损失函数：
其pi表示货箱的概率，
其次，对于每一个候选框，需要预测它和真实坐标的偏移，对于每一个货箱图像样本xi通过欧式距离进行回归：
候选框，主要由最左顶点坐标、长、宽组成，每一个box是一个4维向量。
再者，货箱关键点坐标，与候选框回归类似，还是计算候选特征坐标和真实坐标的位置的欧式距离，并最小化此距离。
四个货箱关键点坐标，包括彩色胶带形成鲜明对比的四个角点，每个坐标均有横纵两个坐标，所以每一个landmark是一个8维德向量。
根据本发明提供的另一种实施例，如图5所示，一种沿线导航的方法，包括：
S10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。
S20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。
S30、检测货箱图像样本的全局货箱关键点；
S31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
S32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
S41、选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；
S42、根据所述货箱关键点的相机平面坐标，求出相机的相机位置。
S50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
本实施例中，优选的，步骤S20具体包括：S21、生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
S22、从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
S23、根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
优选的，步骤S30具体包括：S301、构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
S302、对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
S303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
本实施例中，为了更快更节省计算机资源地解决问题，先用3个点计算出4组解获得四个旋转矩阵、平移矩阵。
将第四个点的世界坐标代入公式，获得其在货箱图像中的四个投影(一个解对应一个投影)，取出其中投影误差最小的那个解，就是我们所需要的正解。
从世界坐标系到相机坐标系的转换，需要矩阵[R|t]，其中R是旋转矩阵，t是位移向量。如果世界坐标系为X，相机坐标系对应坐标为X'，那么X'＝
[R|t]*X。从相机坐标系到理想屏幕坐标系的变换就需要内参数矩阵C。那么理想屏幕坐标系L＝C*[R|t]*X。
如何获得[R|t]，几个关键点在世界坐标系的坐标即X已知，然后在摄像头捕获的帧里获得对应点在屏幕坐标系的坐标即L已知，通过求解线性方程组得到[R|t]的初值，再利用非线性最小二乘法迭代求得最优变换矩阵[R|t]，这属于迭代法计算。
根据本发明提供的一种实施例，如图6所示，一种机器人，包括：
关键点标记模块10，用于构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；
算法训练模块20，用于训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；
相机位置计算模块42，用于利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；
对位导航模块50，用于根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
基于上述实施例，本实施例中，还包括：关键点检测模块30，用于检测货箱图像样本的全局货箱关键点；
位置优化模块31，用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
关键点更替模块32，用于根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
基于上述实施例，本实施例中，还包括：关键点训练模块301，用于构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
图像检测模块302，用于对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
检测生成模块303，用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
基于上述实施例，本实施例中，还包括：候选框训练模块21，用于生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
候选框筛选模块22，用于从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
关键点输出模块23，用于根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
基于上述实施例，本实施例中，还包括：
关键点位置计算模块41，用于选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；
所述相机位置计算模块42，用于根据所述货箱关键点的相机平面坐标，求出相机的相机位置；
其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
本实施例中，相应的解释说明可以参照方法，此处不再赘述。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种货箱对位方法，其特征在于，包括步骤：
构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；
训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；
利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；
根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
2.根据权利要求1所述的货箱对位方法，其特征在于，在所述的训练检测货箱图像样本并回归货箱关键点的算法模型之后还包括步骤：
检测货箱图像样本的全局货箱关键点；
根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
3.根据权利要求2所述的货箱对位方法，其特征在于，所述检测货箱图像的全局货箱关键点具体包括步骤：
构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
4.根据权利要求1-3任一项所述的货箱对位方法，其特征在于，所述的在训练算法模型时进行货箱图像样本检测与货箱关键点回归具体包括步骤：
生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
5.根据权利要求1-3任一项所述的货箱对位方法，其特征在于，所述的根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置具体包括步骤：
选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；
根据所述货箱关键点的相机平面坐标，求出相机的相机位置；
其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
6.一种机器人，其特征在于，包括：
关键点标记模块，用于构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；
算法训练模块，用于训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；
相机位置计算模块，用于利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；
对位导航模块，用于根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。
7.根据权利要求6所述的机器人，其特征在于，还包括：
关键点检测模块，用于检测货箱图像样本的全局货箱关键点；
位置优化模块，用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；
关键点更替模块，用于根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。
8.根据权利要求7所述的机器人，其特征在于，还包括：
关键点训练模块，用于构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；
图像检测模块，用于对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；
检测生成模块，用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。
9.根据权利要求6-8任一项所述的机器人，其特征在于，还包括：
候选框训练模块，用于生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
候选框筛选模块，用于从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；
关键点输出模块，用于根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。
10.根据权利要求6-8任一项所述的机器人，其特征在于，还包括：
关键点位置计算模块，用于选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；
所述相机位置计算模块，用于根据所述货箱关键点的相机平面坐标，求出相机的相机位置；
其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。
CN201811314709.3A 2018-11-06 2018-11-06 一种货箱对位方法及机器人 Pending CN109358628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811314709.3A CN109358628A (zh) 2018-11-06 2018-11-06 一种货箱对位方法及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811314709.3A CN109358628A (zh) 2018-11-06 2018-11-06 一种货箱对位方法及机器人

Publications (1)

Publication Number Publication Date
CN109358628A true CN109358628A (zh) 2019-02-19

Family

ID=65344265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811314709.3A Pending CN109358628A (zh) 2018-11-06 2018-11-06 一种货箱对位方法及机器人

Country Status (1)

Country Link
CN (1) CN109358628A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1338421A (zh) * 2000-07-25 2002-03-06 理化学研究所 集装箱位置检测系统
US6826452B1 (en) * 2002-03-29 2004-11-30 The Penn State Research Foundation Cable array robot for material handling
CN105956619A (zh) * 2016-04-27 2016-09-21 浙江工业大学 一种集装箱锁孔粗定位和跟踪方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107239790A (zh) * 2017-05-10 2017-10-10 哈尔滨工程大学 一种基于深度学习的服务机器人目标检测与定位方法
CN107680092A (zh) * 2017-10-12 2018-02-09 中科视拓（北京）科技有限公司 一种基于深度学习的集装箱锁扣检测及预警方法
CN107918780A (zh) * 2017-09-01 2018-04-17 中山大学 一种基于关键点检测的衣服种类和属性分类方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1338421A (zh) * 2000-07-25 2002-03-06 理化学研究所 集装箱位置检测系统
US6826452B1 (en) * 2002-03-29 2004-11-30 The Penn State Research Foundation Cable array robot for material handling
CN105956619A (zh) * 2016-04-27 2016-09-21 浙江工业大学 一种集装箱锁孔粗定位和跟踪方法
CN106094516A (zh) * 2016-06-08 2016-11-09 南京大学 一种基于深度强化学习的机器人自适应抓取方法
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN107239790A (zh) * 2017-05-10 2017-10-10 哈尔滨工程大学 一种基于深度学习的服务机器人目标检测与定位方法
CN107918780A (zh) * 2017-09-01 2018-04-17 中山大学 一种基于关键点检测的衣服种类和属性分类方法
CN107680092A (zh) * 2017-10-12 2018-02-09 中科视拓（北京）科技有限公司 一种基于深度学习的集装箱锁扣检测及预警方法
CN108171748A (zh) * 2018-01-23 2018-06-15 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108229665A (zh) * 2018-02-02 2018-06-29 上海建桥学院 一种以深度卷积神经网络为基础的零件分拣系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIPENG ZHANG ET AL.: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *

Similar Documents

Publication Publication Date Title
CN102175261B (zh) 一种基于自适应标靶的视觉测量系统及其标定方法
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN104200086B (zh) 宽基线可见光相机位姿估计方法
CN100526024C (zh) 一种机器人延伸手眼标定方法
CN109919934A (zh) 一种基于多源域深度迁移学习的液晶面板缺陷检测方法
CN109816725A (zh) 一种基于深度学习的单目相机物体位姿估计方法及装置
CN102305608B (zh) 多目标二维交叉运动模拟系统误差测量补偿方法
CN106553195A (zh) 工业机器人抓取过程中的物体6自由度定位方法及系统
CN104807460A (zh) 无人机室内定位方法及系统
CN103617328B (zh) 一种飞机三维姿态解算方法
CN104077596A (zh) 一种无标志物跟踪注册方法
CN109186606A (zh) 一种基于slam和图像信息的机器人构图及导航方法
CN107063229A (zh) 基于人工路标的移动机器人定位系统及方法
CN110796700B (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN101363733A (zh) 一种超高精度的星敏感器
CN103593838B (zh) 一种快速互相关灰度图像匹配方法与装置
CN103927748B (zh) 一种基于多矩形图像距离转换模型的坐标标定方法
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN106504287A (zh) 基于模板的单目视觉目标空间定位系统
CN106651957A (zh) 基于模板的单目视觉目标空间定位方法
Liu et al. MGBM-YOLO: a faster light-weight object detection model for robotic grasping of bolster spring based on image-based visual servoing
CN107644203A (zh) 一种形状自适应分类的特征点检测方法
CN104156969B (zh) 基于全景影像景深图的探面方法
CN109358628A (zh) 一种货箱对位方法及机器人
Agarwal et al. Robust pose-graph slam using absolute orientation sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190219