CN108109176A - 物品检测定位方法、装置及机器人 - Google Patents

物品检测定位方法、装置及机器人 Download PDF

Info

Publication number
CN108109176A
CN108109176A CN201711498530.3A CN201711498530A CN108109176A CN 108109176 A CN108109176 A CN 108109176A CN 201711498530 A CN201711498530 A CN 201711498530A CN 108109176 A CN108109176 A CN 108109176A
Authority
CN
China
Prior art keywords
feature point
article
point
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711498530.3A
Other languages
English (en)
Inventor
薛林
王玉亮
孙莹频
王巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Science And Technology Ltd Of Evolution Person Robot
Original Assignee
Beijing Science And Technology Ltd Of Evolution Person Robot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Science And Technology Ltd Of Evolution Person Robot filed Critical Beijing Science And Technology Ltd Of Evolution Person Robot
Priority to CN201711498530.3A priority Critical patent/CN108109176A/zh
Publication of CN108109176A publication Critical patent/CN108109176A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了物品检测定位方法、装置及机器人，涉及物品检测定位技术领域，方法应用于设置有双目传感器的机器人，包括：获取双目传感器采集的当前视野内的第一图像和第二图像，并对第一图像进行物品检测，得到第一图像的物品区域；获取第一图像的物品区域中的第一特征点和第二图像中的第二特征点；对第一特征点和第二特征点进行匹配，得到匹配特征点对，并根据双目传感器的测距参数得到匹配特征点对所对应的实际位置点与双目传感器的相对空间位置信息；确定实际位置点在物品区域内的归属物品，根据相对空间位置信息得到归属物品的定位信息。本发明可以对物品进行精准检测定位，并可以在服务机器人上推广，满足用户需求。

Description

物品检测定位方法、装置及机器人
技术领域
本发明涉及物品检测定位技术领域，尤其是物品检测定位方法、装置及机器人。
背景技术
对于机器人来说，人机交互技术、自主导航通常是必要的功能。而物品检测定位技术的实现对于人机交互技术、自主导航技术具有极其重要的意义。
目前，机器人常用的物品检测定位传感器为单目视觉传感器+测距传感器(超声波、激光雷达)，但是受限于测距传感器的类型：超声波在对物品定位时误差率高，无进行精准定位；激光雷达虽然对物品定位精准，但是成本高、性价比低，难以在机器人上推广。
因此，现有的机器人的物品检测定位方法，难以在物品的定位准确性和成本及性价比之间获得平衡。
发明内容
有鉴于此，本发明的目的在于提供物品检测定位方法、装置及机器人，以解决现有的机器人的物品检测定位方法，难以在物品的定位准确性和成本及性价比之间获得平衡的问题。
第一方面，本发明实施例提供了物品检测定位方法，所述方法应用于设置有双目传感器的机器人，包括：
获取双目传感器采集的当前视野内的第一图像和第二图像，并对所述第一图像进行物品检测，得到所述第一图像的物品区域；
提取所述第一图像的物品区域中的第一特征点和所述第二图像中的第二特征点；
对所述第一特征点和所述第二特征点进行匹配，得到匹配特征点对，并根据所述双目传感器的测距参数得到所述匹配特征点对所对应的实际位置点与所述双目传感器的相对空间位置信息；
确定所述实际位置点在所述物品区域内的归属物品，根据所述相对空间位置信息得到所述归属物品的定位信息。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取所述第一图像的物品区域中的第一特征点和所述第二图像中的第二特征点的步骤，包括：
获取所述第一图像的物品区域中的第一特征点提取区域，并根据所述第一特征点提取区域获取所述第二图像的第二特征点提取区域；
从所述第一特征点提取区域提取所述第一特征点，以及从所述第二特征点提取区域中提取所述第二特征点。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，获取所述第一图像的物品区域中的第一特征点提取区域包括：
通过交并比判断所述第一图像的物品区域是否存在交叉；
如果存在，则将相互交叉的物品区域的外包矩形区域作为所述第一特征点提取区域。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，确定所述实际位置点在所述物品区域内的归属物品，根据所述相对空间位置信息得到所述归属物品的定位信息的步骤，包括：
根据所述物品区域内的物品的平均尺寸确定所述实际位置点归属不同物品的距离阈值；
根据所述距离阈值将所述实际位置点分类归属，得到所述实际特征点的归属物品；
根据所述实际位置点与所述双目传感器的相对空间位置信息得到所述归属物品的定位信息。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对所述第一特征点和所述第二特征点进行匹配，得到匹配特征点对的步骤，包括：
对所述第一特征点和所述第二特征点进行匹配，得到第一匹配特征点对集合和第二匹配特征点对集合，其中，所述第一匹配特征点对集合包括所述第一特征点，以及所述第二特征点中与所述第一特征点相匹配的第三特征点，所述第二匹配特征点对集合包括所述第二特征点，以及所述第一特征点中与所述第二特征点相匹配的第四特征点；
根据所述第一匹配特征点对集合和所述第二匹配特征点对集合中重合的特征点对，确定所述第一特征点和所述第二特征点的匹配特征点对。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在对所述第一图像进行物品检测，得到所述第一图像的物品区域之前，还包括：
对所述物品区域内的物品进行特征学习训练，得到物品检测模型。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，在获取双目传感器采集的当前视野内的第一图像和第二图像之前，还包括：
获取所述双目传感器的测距参数。
第二方面，本发明实施例还提供物品检测定位装置，所述装置应用于设置有双目传感器的机器人，包括：
物品检测模块，用于获取双目传感器采集的当前视野内的第一图像和第二图像，并对所述第一图像进行物品检测，得到所述第一图像的物品区域；
特征点提取模块，用于获取所述第一图像的物品区域中的第一特征点和所述第二图像中的第二特征点；
特征点匹配模块，用于对所述第一特征点和所述第二特征点进行匹配，得到匹配特征点对，并根据所述双目传感器的测距参数得到所述匹配特征点对所对应的实际位置点与所述双目传感器的相对空间位置信息；
物品定位模块，用于确定所述实际位置点在所述物品区域内的归属物品，根据所述相对空间位置信息得到所述归属物品的定位信息。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述特征点提取模块包括：
第一特征点提取单元，用于获取所述第一图像的物品区域中的第一特征点提取区域，并根据所述第一特征点提取区域获取所述第二图像的第二特征点提取区域；
第二特征点提取单元，用于从所述第一特征点提取区域提取所述第一特征点，以及从所述第二特征点提取区域中提取所述第二特征点。
第三方面，本发明实施例还提供了机器人，包括双目传感器和处理器，所述双目传感器的拍摄方向朝向所述机器人的外部；
所述双目传感器，用于对机器人的外部进行拍摄；
所述处理器，用于执行如上所述的方法，以对物品进行检测定位。
本发明实施例带来了以下有益效果：
本发明实施例提供了物品检测定位方法、装置及机器人，涉及物品检测定位技术领域，方法应用于设置有双目传感器的机器人，包括：获取双目传感器采集的当前视野内的第一图像和第二图像，并对第一图像进行物品检测，得到第一图像的物品区域；获取第一图像的物品区域中的第一特征点和第二图像中的第二特征点；对第一特征点和第二特征点进行匹配，得到匹配特征点对，并根据双目传感器的测距参数得到匹配特征点对所对应的实际位置点与双目传感器的相对空间位置信息；确定实际位置点在物品区域内的归属物品，根据相对空间位置信息得到归属物品的定位信息。从而可以对物品进行精准检测定位，同时采用的双目传感器成本低、性价比高，可以在机器人上推广，满足用户需求。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的物品检测定位方法流程图；
图2为本发明实施例提供的物品检测定位方法的步骤S102的方法流程图；
图3为本发明实施例提供的物品检测定位方法的步骤S104的方法流程图；
图4为本发明实施例提供的物品检测定位装置示意图。
图标：
10-物品检测模块；20-特征点提取模块；30-特征点匹配模块；40-物品定位模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，现有的机器人的物品检测定位方法，难以在物品的定位准确性和成本及性价比之间获得平衡，基于此，本发明实施例提供的物品检测定位方法、装置及机器人，可以对物品进行精准检测定位，同时采用的双目传感器成本低、性价比高，可以在机器人上推广，满足用户需求。
为便于对本实施例进行理解，首先对本发明实施例所公开的物品检测定位方法进行详细介绍。
实施例一：
图1为本发明实施例提供的物品检测定位方法流程图。
本实施例提供的物品检测定位方法应用于设置有双目传感器的机器人，如图1所示，方法包括以下步骤：
步骤S101，获取双目传感器采集的当前视野内的第一图像和第二图像，并对第一图像进行物品检测，得到第一图像的物品区域；
本实施例中，在步骤S101之前，对机器人上的双目传感器进行立体标定，确定双目传感器的测距参数。再对双目传感器进行极线校正，使物理目标点在双目传感器中左摄像机、右摄像机各自的成像点具有相同的图像纵坐标，即极线约束，确定极线校正参数。
本实施例中，设置在机器人上的双目传感器可以是一个或多个，由于对每个双目传感器获取到的左图像和右图像的处理过程均相同，因此，下面以一个双目传感器为例。
利用设置在机器人上的双目传感器对当前视野进行拍摄，可以获取到一个左图像和一个右图像，可以选择对左图像或右图像进行物品检测，得到检测图像中的物品区域，该物品区域为物品矩形框Objecti＝{ID,x,y,w,h}，其中，ID指物品名称的ID号，x,y,w,h分别指物品矩形框在图像中的左上点坐标(x,y)、宽、高。
以对左图像进行物品检测为例，即本实施例中的第一图像为左图像，第二图像为右图像。
进一步地，在对第一图像进行物品检测，得到第一图像的物品区域之前，还包括：
对物品区域内的物品进行特征学习训练，得到物品检测模型。
本步骤中，采用物品检测算法(R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、YOLO、SSD等)对要检测的物体进行特征学习训练获得相应的物品检测model，训练一次即可。
步骤S102，获取第一图像的物品区域中的第一特征点和第二图像中的第二特征点；
本实施例中，在步骤S102中，首先将第一图像和第二图像灰度化，再进行特征点提取，可以简化计算量。
进一步地，如图3所示，步骤S102包括：
步骤S201，获取第一图像的物品区域中的第一特征点提取区域，并根据第一特征点提取区域获取第二图像的第二特征点提取区域；
本步骤中，通过交并比判断第一图像的物品区域是否存在交叉；如果存在，则将相互交叉的物品区域的外包矩形区域作为第一特征点提取区域，从而避免特征点重复提取导致的重复运算；如果不存在，则将非交叉物品区域作为第一特征点提取区域。
根据第一图像的第一特征点提取区域获取第二图像的第二特征点提取区域RectR＝{0,y,w,h}，其中y取值为y＝max(0,yL,min-Ty)，(式中yL,min为第一特征点提取区域中各个矩形区域左上点纵坐标的最小值，Ty是容错阈值)、w取值为拍摄图像宽度，h取值为h＝min(hImg,yL,max+Ty)-y(式中yL,max为第一特征点提取区域中各个矩形区域右下点纵坐标的最大值，hImg是拍摄图像的高度)。上述是根据双目成像原理得出。
步骤S202，从第一特征点提取区域提取第一特征点，以及从第二特征点提取区域中提取第二特征点。
采用特征点提取算法(Moravec特征点检测算法、FAST特征点检测算法和SIFT特征点检测算法等)提取第一特征点提取区域的第一特征点，构成特征点集合PL＝{PL,1,PL,2,···,PL,nL}，提取第二特征点提取区域的第二特征点，构成特征点集合PR＝{PR,1,PR,2,···,PR,nR}。并采用Brief特征描述方法对特征点集合PL和PR中的每一个特征点进行描述，特征点即角点。
步骤S103，对第一特征点和第二特征点进行匹配，得到匹配特征点对，并根据双目传感器的测距参数得到匹配特征点对所对应的实际位置点与双目传感器的相对空间位置信息；
进一步地，在步骤S103中对第一特征点和第二特征点进行匹配，得到匹配特征点对的步骤包括：
对第一特征点和第二特征点进行匹配，得到第一匹配特征点对集合和第二匹配特征点对集合，其中，第一匹配特征点对集合包括第一特征点，以及第二特征点中与第一特征点相匹配的第三特征点，第二匹配特征点对集合包括第二特征点，以及第一特征点中与第二特征点相匹配的第四特征点；
根据第一匹配特征点对集合和第二匹配特征点对集合中重合的特征点对，确定第一特征点和第二特征点的匹配特征点对。
由前述可知，第一特征点集合为PL＝{PL,1,PL,2,···,PL,nL}，第二特征点集合为PR＝{PR,1,PR,2,···,PR,nR}。采用特征描述子匹配算法(BM算法、FLANN算法)和图像几何的约束(极线约束、唯一性约束、视差连续性约束、顺序一致性约束，相似性约束)相结合的方式实现对第一特征点和第一特征点的匹配，具体过程如下：
(1)将特征点集合PL和PR中的特征点按极线校正参数进行校正，即可得到校正后的特征点集合P'L＝{P'L,1,P'L,2,···,P'L,nL}和P'R＝{P'R,1,P'R,2,···,P'R,nR}。
(2)对于特征点集合P'L中的特征点P'L,i(uL,i,vL,i)，其匹配特征点的v坐标取值范围为
v∈[vL,i-Tv,vL,i+Tv] (1)
式中Tv是极线校正误差阈值，特征点集合P'R中所有符合式(1)的特征点记为特征点P'L,i的疑似匹配特征点。采用brute-force匹配算法计算特征点P'L,i和其所有疑似匹配特征点的匹配度，其中匹配度最大的特征点P'R,ij为特征点P'L,i的匹配特征点，记为匹配特征点对(P'L,i,P'R,ij)。
(3)计算特征点集合P'L中所有特征点的匹配特征点，则以特征点集合P'L中的特征点为基准获得匹配特征点对集合GML＝{(PL,i1,PR,i1j),(PL,i2,PR,i2j),···,(PL,in,PR,inj)}。
(4)对于特征点集合P'R中的特征点P'R,j(uR,j,vR,j)，其匹配特征点的v坐标取值范围如式(1)所示，特征点集合P'L中所有符合式(1)的特征点记为特征点特征点P'R,j的疑似匹配特征点。采用brute-force匹配算法计算特征点P'R,j和其所有疑似匹配特征点的匹配度，其中匹配度最大的特征点P'L,ji为特征点P'R,j的匹配特征点，记为匹配特征点对(P'L,ji,P'R,j)。
(5)计算特征点集合P'R中所有特征点的匹配特征点，则以特征点集合P'R中的特征点为基准获得匹配特征点对集合GMR＝{(PL,j1i,PR,j1),(PL,j2i,PR,j2),···,(PL,jni,PR,jn)}。
(6)根据唯一性约束对GML和GMR进行校验，只保留GML和GMR同时存在的匹配特征点对。从而得到第一特征点和第二特征点的匹配特征点对。
进一步地，在步骤S101中获取双目传感器采集的当前视野内的第一图像和第二图像之前，还获取双目传感器的测距参数。并采用双目测距原理，根据测距参数计算匹配特征点对所对应的实际位置点相对于双目传感器的相对空间位置信息。
步骤S104，确定实际位置点在物品区域内的归属物品，根据相对空间位置信息得到归属物品的定位信息。
进一步地，如图3所示，步骤S104包括：
步骤S301，根据物品区域内的物品的平均尺寸确定实际位置点归属不同物品的距离阈值；
步骤S302，根据距离阈值将实际特征点分类归属，得到实际特征点的归属物品；
步骤S303，根据实际位置点与双目传感器的相对空间位置信息得到归属物品的定位信息。
上述步骤的具体过程如下：
(1)根据要检测物品的平均尺寸确定实际位置点归属不同物品的距离阈值TDis,i＝(x,y,z)(i表示要检测物品的ID)。比如电视的阈值可设为TDis,TV＝(1000,1000,500)。
第一，将属于单一物品区域的实际位置点分类归属，即若一实际位置点仅位于一个物品区域内，则认为该实际位置点为该物品上的实际位置点。已有实际位置点归属的物品集记为Objectlocated。
第二，将属于多物品区域的实际位置点分类归属(以实际位置点Pointi为例，其属于物品的ID为0，…,k)：
(1)计算当前实际位置点Pointi到物品集Objectlocated中每一个物体中的实际位置点集的最小空间距离Disj,min(j表示空间距离最短的物品ID)；
(2)若最小空间距离满足Disj,min≤TDis,j，则该实际位置点归属到该物品；
(3)若最小空间距离满足Disj,min>TDis,j：
a)若该实际位置点Pointi位于的物品均属于Objectlocated，则该实际位置点认为为背景；
b)若该实际位置点Pointi还位于一个不属于Objectlocated的物品，则该实际位置点归属到该物品；
c)若该实际位置点Pointi还位于多个均不属于Objectlocated的物品，则该实际位置点舍弃；
第三，根据TDis,i对归属到ID＝i的实际位置点集进行距离聚类验证，剔除不符合TDis,i的实际位置点，即对于每一个物品即可得到其对应的实际位置点集合。
第四，分别计算每一个物品实际位置点集合中实际位置点空间坐标的平均值作为该物品的定位信息，并将物品检测定位信息传输给机器人。
本发明实施例提供了物品检测定位方法包括：获取双目传感器采集的当前视野内的第一图像和第二图像，并对第一图像进行物品检测，得到第一图像的物品区域；获取第一图像的物品区域中的第一特征点和第二图像中的第二特征点；对第一特征点和第二特征点进行匹配，得到匹配特征点对，并根据双目传感器的测距参数得到匹配特征点对所对应的实际位置点与双目传感器的相对空间位置信息；确定实际位置点在物品区域内的归属物品，根据相对空间位置信息得到归属物品的定位信息。从而可以对物品进行精准检测定位，同时采用的双目传感器成本低、性价比高，可以在机器人上推广，满足用户需求。
实施例二：
图4为本发明实施例提供的物品检测定位装置示意图。
本实施例提供的物品检测定位装置应用于设置有双目传感器的机器人，如图4所示，装置包括：物品检测模块10、特征点提取模块20、特征点匹配模块30、物品定位模块40；
物品检测模块10，用于获取双目传感器采集的当前视野内的第一图像和第二图像，并对第一图像进行物品检测，得到第一图像的物品区域；
特征点提取模块20，用于获取第一图像的物品区域中的第一特征点和第二图像中的第二特征点；
特征点匹配模块30，用于对第一特征点和第二特征点进行匹配，得到匹配特征点对，并根据双目传感器的测距参数得到匹配特征点对所对应的实际位置点与双目传感器的相对空间位置信息；
物品定位模块40，用于确定实际位置点在物品区域内的归属物品，根据相对空间位置信息得到归属物品的定位信息。
进一步地，特征点提取模块20包括：
第一特征点提取单元，用于获取第一图像的物品区域中的第一特征点提取区域，并根据第一特征点提取区域获取第二图像的第二特征点提取区域；
第二特征点提取单元，用于从第一特征点提取区域提取第一特征点，以及从第二特征点提取区域中提取第二特征点。
实施例三：
本实施例提供的机器人，包括双目传感器和处理器，双目传感器的拍摄方向朝向机器人的外部；
双目传感器，用于对机器人的外部进行拍摄；
处理器，用于执行上述实施例的物品检测定位方法，以对物品进行检测定位。
本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的物品检测定位方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的物品检测定位方法的步骤。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行物品检测定位方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种物品检测定位方法，其特征在于，所述方法应用于设置有双目传感器的机器人，包括：
获取双目传感器采集的当前视野内的第一图像和第二图像，并对所述第一图像进行物品检测，得到所述第一图像的物品区域；
提取所述第一图像的物品区域中的第一特征点和所述第二图像中的第二特征点；
对所述第一特征点和所述第二特征点进行匹配，得到匹配特征点对，并根据所述双目传感器的测距参数得到所述匹配特征点对所对应的实际位置点与所述双目传感器的相对空间位置信息；
确定所述实际位置点对应的所述物品区域内的归属物品，根据所述相对空间位置信息得到所述归属物品的定位信息。
2.根据权利要求1所述的物品检测定位方法，其特征在于，提取所述第一图像的物品区域中的第一特征点和所述第二图像中的第二特征点的步骤，包括：
获取所述第一图像的物品区域中的第一特征点提取区域，并根据所述第一特征点提取区域获取所述第二图像的第二特征点提取区域；
从所述第一特征点提取区域提取所述第一特征点，以及从所述第二特征点提取区域中提取所述第二特征点。
3.根据权利要求2所述的物品检测定位方法，其特征在于，获取所述第一图像的物品区域中的第一特征点提取区域包括：
通过交并比判断所述第一图像的物品区域是否存在交叉；
如果存在，则将相互交叉的物品区域的外包矩形区域作为所述第一特征点提取区域。
4.根据权利要求1所述的物品检测定位方法，其特征在于，确定所述实际位置点对应的所述物品区域内的归属物品，根据所述相对空间位置信息得到所述归属物品的定位信息的步骤，包括：
根据所述物品区域内的物品的平均尺寸确定所述实际位置点归属不同物品的距离阈值；
根据所述距离阈值将所述实际位置点分类归属，得到所述实际位置点的归属物品；
根据所述实际位置点与所述双目传感器的相对空间位置信息得到所述归属物品的定位信息。
5.根据权利要求1所述的物品检测定位方法，其特征在于，对所述第一特征点和所述第二特征点进行匹配，得到匹配特征点对的步骤，包括：
对所述第一特征点和所述第二特征点进行匹配，得到第一匹配特征点对集合和第二匹配特征点对集合，其中，所述第一匹配特征点对集合包括所述第一特征点，以及所述第二特征点中与所述第一特征点相匹配的第三特征点，所述第二匹配特征点对集合包括所述第二特征点，以及所述第一特征点中与所述第二特征点相匹配的第四特征点；
根据所述第一匹配特征点对集合和所述第二匹配特征点对集合中重合的特征点对，确定所述第一特征点和所述第二特征点的匹配特征点对。
6.根据权利要求1所述的物品检测定位方法，其特征在于，在对所述第一图像进行物品检测，得到所述第一图像的物品区域之前，还包括：
对所述物品区域内的物品进行特征学习训练，得到物品检测模型。
7.根据权利要求1所述的物品检测定位方法，其特征在于，在获取双目传感器采集的当前视野内的第一图像和第二图像之前，还包括：
获取所述双目传感器的测距参数。
8.一种物品检测定位装置，其特征在于，所述装置应用于设置有双目传感器的机器人，包括：
物品检测模块，用于获取双目传感器采集的当前视野内的第一图像和第二图像，并对所述第一图像进行物品检测，得到所述第一图像的物品区域；
特征点提取模块，用于获取所述第一图像的物品区域中的第一特征点和所述第二图像中的第二特征点；
特征点匹配模块，用于对所述第一特征点和所述第二特征点进行匹配，得到匹配特征点对，并根据所述双目传感器的测距参数得到所述匹配特征点对所对应的实际位置点与所述双目传感器的相对空间位置信息；
物品定位模块，用于确定所述实际特征点对应的所述物品区域内的归属物品，根据所述相对空间位置信息得到所述归属物品的定位信息。
9.根据权利要求8所述的物品检测定位装置，其特征在于，所述特征点提取模块包括：
第一特征点提取单元，用于获取所述第一图像的物品区域中的第一特征点提取区域，并根据所述第一特征点提取区域获取所述第二图像的第二特征点提取区域；
第二特征点提取单元，用于从所述第一特征点提取区域提取所述第一特征点，以及从所述第二特征点提取区域中提取所述第二特征点。
10.一种机器人，其特征在于，包括双目传感器和处理器，所述双目传感器的拍摄方向朝向所述机器人的外部；
所述双目传感器，用于对机器人的外部进行拍摄；
所述处理器，用于执行如权利要求1至7任一项所述的方法，以对物品进行检测定位。
CN201711498530.3A 2017-12-29 2017-12-29 物品检测定位方法、装置及机器人 Pending CN108109176A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711498530.3A CN108109176A (zh) 2017-12-29 2017-12-29 物品检测定位方法、装置及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711498530.3A CN108109176A (zh) 2017-12-29 2017-12-29 物品检测定位方法、装置及机器人

Publications (1)

Publication Number Publication Date
CN108109176A true CN108109176A (zh) 2018-06-01

Family

ID=62215443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711498530.3A Pending CN108109176A (zh) 2017-12-29 2017-12-29 物品检测定位方法、装置及机器人

Country Status (1)

Country Link
CN (1) CN108109176A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300154A (zh) * 2018-11-27 2019-02-01 郑州云海信息技术有限公司 一种基于双目立体的测距方法及装置
CN109559347A (zh) * 2018-11-28 2019-04-02 中南大学 对象识别方法、装置、系统及存储介质
CN110428468A (zh) * 2019-08-12 2019-11-08 北京字节跳动网络技术有限公司 一种穿戴式显示设备的位置坐标生成系统以及方法
CN111310585A (zh) * 2020-01-20 2020-06-19 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN112926371A (zh) * 2019-12-06 2021-06-08 中国移动通信集团设计院有限公司 道路勘测方法及系统
CN114273235A (zh) * 2020-09-27 2022-04-05 菜鸟智能物流控股有限公司 拣选方法、装置、设备、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711559A (zh) * 2002-12-05 2005-12-21 精工爱普生株式会社 特征区域提取装置、特征区域提取方法和特征区域提取程序
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
EP2557391A1 (de) * 2011-08-12 2013-02-13 Leica Geosystems AG Messgerät zur Bestimmung der räumlichen Lage eines Messhilfsinstruments
CN105043350A (zh) * 2015-06-25 2015-11-11 闽江学院 一种双目视觉测量方法
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN107194350A (zh) * 2017-05-19 2017-09-22 北京进化者机器人科技有限公司 障碍物检测方法、装置及机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1711559A (zh) * 2002-12-05 2005-12-21 精工爱普生株式会社 特征区域提取装置、特征区域提取方法和特征区域提取程序
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
EP2557391A1 (de) * 2011-08-12 2013-02-13 Leica Geosystems AG Messgerät zur Bestimmung der räumlichen Lage eines Messhilfsinstruments
CN105043350A (zh) * 2015-06-25 2015-11-11 闽江学院 一种双目视觉测量方法
CN106767399A (zh) * 2016-11-11 2017-05-31 大连理工大学 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法
CN107194350A (zh) * 2017-05-19 2017-09-22 北京进化者机器人科技有限公司 障碍物检测方法、装置及机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
林森等: "双目视觉立体匹配技术研究现状和展望", 《科学技术与工程》 *
王玉伟: "基于RCF边缘检测和双目视觉的箱体体积测量算法", 《现代计算机(专业版)》 *
袁泉等: "双目视觉在类人机器人测距中的应用", 《武汉工程大学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300154A (zh) * 2018-11-27 2019-02-01 郑州云海信息技术有限公司 一种基于双目立体的测距方法及装置
CN109559347A (zh) * 2018-11-28 2019-04-02 中南大学 对象识别方法、装置、系统及存储介质
CN110428468A (zh) * 2019-08-12 2019-11-08 北京字节跳动网络技术有限公司 一种穿戴式显示设备的位置坐标生成系统以及方法
CN112926371A (zh) * 2019-12-06 2021-06-08 中国移动通信集团设计院有限公司 道路勘测方法及系统
CN112926371B (zh) * 2019-12-06 2023-11-03 中国移动通信集团设计院有限公司 道路勘测方法及系统
CN111310585A (zh) * 2020-01-20 2020-06-19 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111310585B (zh) * 2020-01-20 2023-08-01 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN114273235A (zh) * 2020-09-27 2022-04-05 菜鸟智能物流控股有限公司 拣选方法、装置、设备、电子设备和存储介质
CN114273235B (zh) * 2020-09-27 2023-12-26 菜鸟智能物流控股有限公司 拣选方法、装置、设备、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN108109176A (zh) 物品检测定位方法、装置及机器人
EP3471057B1 (en) Image processing method and apparatus using depth value estimation
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
JP5722502B2 (ja) モバイルデバイスのための平面マッピングおよびトラッキング
Smith et al. Real-Time Monocular SLAM with Straight Lines.
CN111709973B (zh) 目标跟踪方法、装置、设备及存储介质
WO2017199141A1 (en) Point cloud matching method
WO2020007483A1 (en) Method, apparatus and computer program for performing three dimensional radio model construction
US20140152660A1 (en) Method for creating 3-d models by stitching multiple partial 3-d models
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN114119864A (zh) 一种基于三维重建与点云匹配的定位方法和装置
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
Yousif et al. MonoRGBD-SLAM: Simultaneous localization and mapping using both monocular and RGBD cameras
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
CN107194350A (zh) 障碍物检测方法、装置及机器人
CN112150518B (zh) 一种基于注意力机制的图像立体匹配方法及双目设备
EP3761268A1 (en) System and method for integrating objects in monocular slam
Kataria et al. Improving structure from motion with reliable resectioning
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
JP5536124B2 (ja) 画像処理システム及び画像処理方法
US20230267632A1 (en) Stereo matching method and image processing device performing same
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
JP2016021097A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601