CN109641351A - 一种物体特征的识别方法、视觉识别装置及机器人 - Google Patents

一种物体特征的识别方法、视觉识别装置及机器人 Download PDF

Info

Publication number
CN109641351A
CN109641351A CN201880003237.1A CN201880003237A CN109641351A CN 109641351 A CN109641351 A CN 109641351A CN 201880003237 A CN201880003237 A CN 201880003237A CN 109641351 A CN109641351 A CN 109641351A
Authority
CN
China
Prior art keywords
grip surface
doubtful
point
figuratrix
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880003237.1A
Other languages
English (en)
Other versions
CN109641351B (zh
Inventor
吴启帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lan Pangzi Machine Intelligence Co ltd
Original Assignee
Shenzhen Dorabot Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dorabot Inc filed Critical Shenzhen Dorabot Inc
Publication of CN109641351A publication Critical patent/CN109641351A/zh
Application granted granted Critical
Publication of CN109641351B publication Critical patent/CN109641351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种物体特征的识别方法,该方法通过获取物体的第一描述信息以及物体所处环境的第二描述信息,根据第一描述信息获取参考信息,根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据,其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系,根据获取到的特征数据确定特征表面,能够准确识别物体。还涉及一种行李箱把手的识别方法、一种视觉识别装置以及一种机器人。

Description

一种物体特征的识别方法、视觉识别装置及机器人
技术领域
本申请涉及视觉识别技术领域,特别是涉及一种物体特征的识别方法、视觉识别装置及机器人。
背景技术
现有的主流视觉技术是采用机器学习的方法,使用大量的数据再训练出特定的模型,首先采集大量数据进行人工标注,再将标注后的数据交给机器学习程序进行训练。
然而现有的机器通过采用有监督学习的方法来学习会存在一些弊端:机器学习需要大量的训练数据做支持,数据从采集到标注都需要大量的人工成本,采集需要征集志愿者配合完成,标注需要大量的人工对数据进行分类处理;机器学习容易出现过拟合现象,即对训练过的情况表现的非常准确,而未训练过的情况则表现出很差的效果;机器学习的结果具有不可预测性,目前人类还无法十分清楚机器学习的结果,可能会出现出人意料的错误。
发明内容
本申请涉及一种物体特征的识别方法、视觉识别装置及机器人,以解决现有技术中的机器难以识别物体的问题。
为解决上述技术问题,本申请提出一种物体特征的识别方法,该方法包括获取物体的第一描述信息以及物体所处环境的第二描述信息;根据第一描述信息获取参考信息;根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据;其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系。
为解决上述技术问题,本申请提出一种行李箱把手的识别方法,该方法包括获取行李箱的第一描述信息以及行李箱所处环境的第二描述信息;根据第一描述信息获取参考信息;根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的把手表面数据;其中,第一条件包括所有把手表面数据与第二描述信息构成的第一关联关系。
为解决上述技术问题,本申请提出一种视觉识别装置,该视觉识别装置包括处理器和存储器,存储器中存储有计算机程序,该处理器执行计算机程序以实现上述方法中任一项所述的方法。
为解决上述技术问题,本申请提出一种机器人,该机器人包括上述的视觉识别装置。
本发明的有益效果是,区别于现有技术,本申请中的物体特征的识别方法通过获取物体的第一描述信息以及物体所处环境的第二描述信息,根据第一描述信息获取参考信息,根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据,其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系,根据获取到的特征数据确定特征表面,能够准确识别物体。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请物体特征的识别方法一实施例的流程图;
图2是本申请物体特征的识别方法另一实施例的流程图;
图3是行李箱把手位置示意图;
图4是本申请行李箱把手的识别方法一实施例的流程图;
图5是本申请视觉识别装置一实施例的结构示意图;
图6是本申请机器人一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请物体特征的识别方法一实施例的流程图,本实施例所揭示的方法具体可以包括以下步骤:
S11:获取物体的第一描述信息以及物体所处环境的第二描述信息。
在本实施例中,物体识别特征的方法用于识别物体的特征表面,特征表面可以为凹面、凸面、平面等等,在本实施例中具体不做限定。
在本步骤S11中,可选择的,物体的第一描述信息以及物体所处环境的第二描述信息可以源于同一视觉图像,即可以在同一获取到的图像中获取第一描述信息及第二描述信息。
物体所处环境的第二描述信息可以是物体的应用场地,当物体为行李箱时,行李箱所处环境的第二描述信息还可以包括应用场地内的其他物体,例如墙面、座椅、其他设施等。
S12:根据第一描述信息获取参考信息。
其中,参考信息可以是物体的物理属性信息,例如物体的尺寸、面积等等,参考信息的类型可以为一种也可以为多种,此处不做限定。
S13:根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据;其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系。
在上述步骤S11与S12中获取到第二描述信息以及参考信息后,在本步骤S13中,第一关联关系可以是所有特征数据与第二描述信息之间的特定关系,例如可以是点对点的相对位置关系、点对面的相对位置关系等等,在本实施例中不做限定。
根据获取到的第二描述信息以及参考信息对获取到的第一描述信息进行筛选,以去除干扰的数据信息,从而根据获取到的特征数据确定特征表面。
本申请提出一种物体特征的识别方法,该方法通过获取物体的第一描述信息以及物体所处环境的第二描述信息,根据第一描述信息获取参考信息,根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据,其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系,根据获取到的特征数据确定特征表面,能够准确识别物体。
为便于理解,以下实施例将结合具体应用加以示例阐明本发明原理。
上述事实例中的物体特征的识别方法可以应用于机场行李分拣系统,提供行李或行李具体特征部(例如,把手)的识别,以进一步实现行李的自动化运送。该方法可以通过处理器调用存储介质中的计算机程序实施。
请参阅图2,图2是本申请物体特征的识别方法另一实施例的流程图,本实施例所揭示的方法具体可以包括以下步骤:
S21:获取物体的第一描述信息以及物体所处环境的第二描述信。
物体识别特征的方法用于识别物体的特征表面,特征表面可以为凹面、凸面、平面等等,在本实施例中特征表面为平面。例如,物体可以是行李箱,识别的特征表面可以为行李箱的表面,也可以为行李箱上把手所在的表面。
可选择的,物体的第一描述信息以及物体所处环境的第二描述信息可以源于同一视觉图像。
可选择的,物体的第一描述信息可以包括物体的三维点云数据。
其中,点云数据是指扫描物体以点的形式记录,每一个点包含有三维坐标,即包含了每个点的空间坐标,还可以包括颜色信息(RGB)或反射强度信息(Intensity)。颜色信息可以通过例如相机等摄像装置获取彩色影像,然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息可以通过激光扫描仪等接收装置采集到的回波强度,强度信息与目标的表面材质、粗糙度、入射角方向,以及仪器的发射能量,激光波长相关。
物体所处环境的第二描述信息可以是物体的应用场地,当物体为行李箱时,行李箱所处环境的第二描述信息还可以是应用场地的三维点云信息,例如应用场地是行李箱的分拣地,相应的,三维点云信息可以包括分拣地的空间描述,以及其空间内的其他物体的描述数据,例如墙面、座椅、运输设备、机器人、行李架和/或其他设施等。
S22:根据第一描述信息获取参考信息。
可选择的,参考信息可以包括三维点云数据中各点的法线方向。
获取三维点云数据中各点的法线方向时,可以通过将采集到的点云信息通过最小二乘拟合算法计算得出,具体获取方法此处不做限定。在本实施例中,参考信息采用法线信息,从而可以过滤掉一些干扰物体。例如,行李箱所处环境中,墙体、地面上非行李箱的设施等均可以归类为与地面不平行的干扰物体,此时可以过滤掉干扰物体,以准确的找到平行于地面的行李箱。
S23:根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据;其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系。
第一关联关系可以是所有特征数据与第二描述信息之间点对点的相对位置关系、点对面的相对位置关系等等。在本实施例中,第一关联关系可以是在同一视觉图像的视觉坐标系中,即布设于应用场地获取图像的坐标系,存在所有特征数据相对于第二描述信息均满足的特定位置关系。例如,该示例中,第一描述信息采用包括行李箱的三维点云数据,第二描述信息采用地面的三维点云数据。行李箱平行于地面的表面为特征表面,可以设置第一条件为第一描述信息中符合与地面平行的数据。例如,通过包括物体的三维点云数据的法线方向与地面方向的夹角,判断是否符合垂直关系,若是,则为符合与地面平行的特征数据。对应的,所有特征数据与地面均构成第一关联关系,该示例中为通过第一条件的判断获取到的特征数据均与地面构成平行关系。
可以理解的是,在采用三维点云数据作为第一描述信息时,可以通过各点的法线方向与地面方向的夹角判断是否该点为与地面平行的点,除了上述判断条件采用是否符合垂直关系,还可以包括一个夹角阈值,以符合实际所需。
可选择的,第二描述信息包括根据物体所处环境设置的世界坐标系,以及世界坐标系下依据环境采用的参考特征,参考特征与特征数据的点均符合第一关联关系。
具体来说,可以依据应用场景的不同,灵活选取特征表面与物体所处环境构成特定关系的第二描述信息,则可以设置该特定关系为第一关联关系,以及设置符合第一关联关系的第一条件。
可以理解的是,当依据真实物体世界中物体与物体所处环境,设定世界坐标系,物体及物体所处环境在世界坐标系中存在对应的空间坐标信息,其中物体特征表面与物体所处环境中选取的参考特征(例如,前述选取地面)均符合的特定条件设置为第一关联关系。
当通过视觉识别装置获取第一描述信息和/或第二描述信息时,视觉识别装置采用的坐标系,需与世界坐标系具有对应的转换关系,使得本方法实施过程中,可以依据视觉识别装置获取的视觉图像得到的数据坐标与世界坐标系中选取的第二描述信息的坐标转换为统一坐标系下。例如,当第二描述信息采用世界坐标系下地面的描述数据,实施该方法时,通过视觉识别装置获取包括物体的视觉图像以获取第一描述信息,根据第一描述信息中符合第一条件获取到的特征数据,要根据第一描述信息与第二描述信息构成第一关联关系得到特征数据,则需要将采用世界坐标系下的地面描述数据与采用视觉坐标系下的第一描述数据统一转换至同一坐标系下。其中,视觉识别装置可以为视觉传感器、相机、3D相机等。
可选择的,获取第一描述信息中符合第一条件的特征数据可以包括,筛选出法线方向相对参考特征的角度在角度阈值范围内的点,以获得第一疑似特征表面点集;其中,角度阈值取决于特征表面相对参考特征的角度;对第一疑似特征表面点集进行区域分割,以获得能够构成平面区域的至少一个第二疑似特征表面点集。
例如,定义视觉坐标系中环境的地面为坐标系X、Y,空间高度为Z,参考特征设定为地面,角度阈值范围设定为80°~100°,当行李箱的把手表面点的法线方向相对地面方向的夹角为89°时,则判定出夹角落入角度阈值,在角度阈值范围内的点默认与地面平行,此时获取所有默认与地面平行的点,从而获得第一疑似特征表面点集A。
对获取到的第一疑似特征表面点集A进行区域分割,在本实施例中,利用三维区域增长算法对第一疑似特征表面点集A进行区域分割,从而获得能够构成平面区域的至少一个第二疑似特征表面点集B,记录平面区域内所有的点到点集B{(x1,y1,z1),(x2,y2,z2)……}。
本实施例采用三维区域增长算法,通过特征信息,免除了繁重的人工数据采集和标注步骤,实现自动化且无监督学习,该方法具有更强的鲁棒性。
S24:根据获取的至少一个第二疑似特征表面点集确定特征表面。
可选择的,根据第二疑似特征表面点集的二维信息,筛选出所构成平面区域的形状和/或大小符合特征表面的形状和/或大小的第二疑似特征表面点集;根据筛选出的第二疑似特征表面点集确定特征表面。
例如,行李箱的形状为矩形,尺寸大小为20寸,此时可以在第二疑似特征表面点集B的二维信息中筛选出所构成平面区域的形状和/或大小符合特征表面的矩形和/或20寸大小的第二疑似特征表面点集C,将第二疑似特征表面点集C作为疑似行李箱的面。
进一步的,获取第二疑似特征表面点集的二维信息时,通过将第二疑似特征表面点集投影到与特征表面平行的二维空间,以由第二疑似特征表面点集的三维点云信息获得二维信息。
具体来说,将获取到的第二疑似特征表面点集B{(x1,y1,z1),(x2,y2,z2)……}投影到与特征表面平行的二维空间,并通过算法找出对应的二维的矩形区域点集C{(xm,ym),(xn,yn)……}(m、n均为正整数),在本实施例中采用霍夫变换算法。
本实施例通过投影的方法,将三维空间投影到二维空间,能够既保留物体原始尺寸,又能通过二维图像处理的方法进行识别,通过了三维与二维结合的方法,使用平面视觉辅助立体视觉,弥补了单纯三维或二维算法的不足。
在本步骤S24中,筛选出符合特征表面的形状和/或大小的第二疑似特征表面点集C后,将二维的矩形区域点集C还原到三维空间(即获取到矩形区域点集对应的y值),得到疑似行李箱的点集D{(xm,ym,zm),(xn,yn,zn)……}。
在上述实施方式中可以识别出特征表面,但若特征表面上还存在特征部时,例如把手,则可以根据特征部与特征表面的关系准确识别特征部,因此,本实施方式进一步包括下述步骤,用于识别凸出设置在特征表面上的特征部。
S25:根据三维点云信息计算环境中的点相对特征表面的垂直距离;筛选出垂直距离在距离阈值范围内的点,以获得疑似特征部点集;其中,距离阈值范围取决于特征部相对特征表面的高度。其中,上述实施例的方法得到多个特征表面时,判断各特征表面在一定空间范围内是否具有符合距离阈值范围的点,若有,则对应的特征表面为设置特征部所在的表面。
S26:根据疑似特征部点集确定特征部。
下面将步骤S25、S26放到一起进行说明:在上述步骤S24中得到三维点集D的点云信息后,根据点集D上的点的高度坐标筛选出垂直距离在距离阈值范围内的点,例如,设把手相对于行李箱表面最低的高度值为z-t,把手相对于行李箱表面最高的高度值为z+t,此时把手相对行李箱表面的距离阈值范围为(z-t,z+t),若判断出在距离阈值范围内存在点,可选择的,进一步判断z的阈值范围内是否存在连续的点,以获得疑似把手点集,从而根据疑似把手点集确定把手。
S27:根据三维点云信息,确定所筛选出的点投影在特征表面的位置信息;进一步筛选出位置信息符合位置条件的点,以构成疑似特征部点集;其中,位置条件取决于特征部相对特征表面的位置。
具体来说,在获取到三维点云信息后,根据所筛选出的点投影在特征表面的位置信息来筛选出位置信息符合位置条件的点。例如,行李箱的把手一般设置在行李箱一侧表面的中间区域,因此可以将位置条件设置为连续的点是否对应疑似行李箱的面的中间区域,若判断结果为是,则可以筛选出符合位置条件的点集E以构成行李箱的把手,即在符合把手位置条件内。例如高度高于行李箱上表面2cm以上,还可以包括限定位于面的中间区域,若存在突起物,则该突起物的连续点可判断为行李箱把手。
上述步骤中确定特征部所使用的坐标信息均是基于视觉坐标系的,因此要想确定真实世界坐标系中的特征部,需要根据坐标系变换算法将点集E中所有点的坐标转换为真实世界坐标系。
需要说明的是,上述实施例中以寻找行李箱平行于地面的把手为例进行说明,当然也可以寻找到行李箱侧面的把手,具体如图3所示,图3是行李箱把手位置示意图,行李箱100侧面的把手110即位于垂直地面的行李箱100表面的把手。只需在上述步骤S23中,根据第一描述信息中点的法线方向与地面方向的夹角,调整角度阈值的范围,若行李箱100的把手110所在的特征表面点的法线方向相对地面坐标的夹角落入调整后的角度阈值范围内,则默认角度阈值范围内的点与地面垂直,此时记录所有与地面垂直的所有点到点集P并转换点集P坐标为垂直地面的点集P。其他实施方式与上述实施方式类似,此处不做赘述。
可以知道的是,本实施例的方法可以同时或分别识别行李箱平行于地面的把手以及行李箱侧面的把手,在某些情况下,调整调整角度阈值的范围可以找到与地面形成不同角度的把手。
本申请提出一种物体特征的识别方法,该方法通过获取物体的第一描述信息以及物体所处环境的第二描述信息,第一描述信息包括物体的三维点云数据,根据第一描述信息获取参考信息,参考信息包括三维点云数据中各点的法线方向,根据第二描述信息以及参考信息,筛选出法线方向相对参考特征的角度在角度阈值范围内的点,以获得第一疑似特征表面点集;其中,角度阈值取决于特征表面相对参考特征的角度;对第一疑似特征表面点集进行区域分割,以获得能够构成平面区域的至少一个第二疑似特征表面点集;根据至少一个第二疑似特征表面点集确定特征表面,从而获取第一描述信息中符合第一条件的特征数据,其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系,根据获取到的特征数据确定特征表面,能够准确识别物体。
在上述实施方式的基础上,本申请提出一种行李箱把手的识别方法,具体请参阅图4,图4是本申请行李箱把手的识别方法一实施例的流程图,本申请所揭示的方法具体可包括以下步骤:
S41:获取行李箱的第一描述信息以及行李箱所处环境的第二描述信息。
可选择的,第一描述信息包括行李箱的三维点云数据;第二描述信息包括根据行李箱所处环境设置的世界坐标系,以及世界坐标系下依据环境采用的参考把手表面,参考把手表面与把手表面数据的点均符合第一关联关系。
S42:根据第一描述信息获取参考信息。
可选择的,参考信息包括三维点云数据中各点的法线方向。
S43:根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的把手表面数据;其中,第一条件包括所有把手表面数据与第二描述信息构成的第一关联关系。
可选择的,筛选出法线方向相对参考把手表面的角度在角度阈值范围内的点,以获得第一疑似把手表面点集;其中,角度阈值取决于把手表面相对参考把手表面的角度;对第一疑似把手表面点集进行区域分割,以获得能够构成平面区域的至少一个第二疑似把手表面点集;根据至少一个第二疑似把手表面点集确定把手表面。
可选择的,利用三维区域增长算法对第一疑似把手表面点集进行区域分割。
可选择的,根据第二疑似把手表面点集的二维信息,筛选出所构成平面区域的形状和/或大小符合把手表面的形状和/或大小的第二疑似把手表面点集;根据筛选出的第二疑似把手表面点集确定把手表面。
可选择的,进一步包括将第二疑似把手表面点集投影到与把手表面平行的二维空间,以由第二疑似把手表面点集的三维点云信息获得二维信息。
可选择的,方法用于识别凸出设置在把手表面上的把手表面部,进一步包括根据三维点云信息计算环境中每个点相对把手表面的垂直距离;筛选出垂直距离在距离阈值范围内的点,以获得疑似把手表面部点集;其中,距离阈值范围取决于把手表面部相对把手表面的高度;根据疑似把手表面部点集确定把手表面部。
可选择的,进一步包括根据三维点云信息,确定所筛选出的点投影在把手表面的位置信息;进一步筛选出位置信息符合位置条件的点,以构成疑似把手表面部点集;其中,位置条件取决于把手表面部相对把手表面的位置。
本申请行李箱把手的识别方法与上述实施方式类似,具体不做赘述。
本申请提出一种行李箱把手的识别方法,该方法包括获取行李箱的第一描述信息以及行李箱所处环境的第二描述信息;根据第一描述信息获取参考信息;根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的把手表面数据;其中,第一条件包括所有把手表面数据与第二描述信息构成的第一关联关系,根据获取到的把手表面数据确定把手表面,能够准确识别行李箱把手。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一种视觉识别装置中,本申请提出一种视觉识别装置,具体可参阅图5,图5是本申请一种视觉识别装置的结构示意图。本实施例所揭示的视觉识别装置200包括处理器210和存储器220,存储器220中存储有计算机程序,处理器210执行计算机程序以实现上述实施方式中任一项所述的方法。
具体来说,处理器210用于获取物体的第一描述信息以及物体所处环境的第二描述信息;根据第一描述信息获取参考信息;根据第二描述信息以及参考信息,获取第一描述信息中符合第一条件的特征数据;其中,第一条件包括所有特征数据与第二描述信息构成的第一关联关系。
本实施例中视觉识别装置200实现物体特征的识别方法的具体实施方式与上述方案中类似,此处不做赘述。此外,图5中仅表示各个器件之间的逻辑关系,并不对其电路连接关系构成限定。
本申请所提供的视觉识别装置200能够实现上述方案中任意一种物体特征的识别方法,能够实现准确识别物体。
本申请提出一种机器人,具体可参阅图6,图6是本申请一种机器人的结构示意图,本申请所揭示的机器人300包括视觉识别装置310,视觉识别装置310的结构及具体实施方式与上述实施方式中的视觉识别装置200类似,此处不做赘述。
本申请所提供的机器人300能够实现准确识别物体。
在本申请所提供的几个实施方式中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (20)

1.一种物体特征的识别方法,其特征在于,所述方法包括:
获取所述物体的第一描述信息以及物体所处环境的第二描述信息;
根据所述第一描述信息获取参考信息;
根据所述第二描述信息以及所述参考信息,获取所述第一描述信息中符合第一条件的特征数据;其中,所述第一条件包括所有所述特征数据与所述第二描述信息构成的第一关联关系。
2.根据权利要求1所述的方法,其特征在于,所述第一描述信息包括所述物体的三维点云数据。
3.根据权利要求2所述的方法,其特征在于,所述参考信息包括所述三维点云数据中各点的法线方向。
4.根据权利要求3所述的方法,其特征在于,所述第二描述信息包括:
根据所述物体所处环境设置的世界坐标系,以及所述世界坐标系下依据所述环境采用的参考特征,所述参考特征与所述特征数据的点均符合所述第一关联关系。
5.根据权利要求4所述的方法,其特征在于,获取所述第一描述信息中符合第一条件的特征数据包括:
筛选出所述法线方向相对所述参考特征的角度在角度阈值范围内的点,以获得第一疑似特征表面点集;其中,所述角度阈值取决于所述特征表面相对所述参考特征坐标的角度;
对所述第一疑似特征表面点集进行区域分割,以获得能够构成平面区域的至少一个第二疑似特征表面点集;
根据所述至少一个第二疑似特征表面点集确定所述特征表面。
6.根据权利要求5所述的方法,其特征在于,所述对所述第一疑似特征表面点集进行区域分割,包括:
利用三维区域增长算法对所述第一疑似特征表面点集进行区域分割。
7.根据权利要求5所述的方法,其特征在于,所述根据所述第二疑似特征表面点集确定所述特征表面,包括:
根据所述第二疑似特征表面点集的二维信息,筛选出所构成平面区域的形状和/或大小符合所述特征表面的形状和/或大小的第二疑似特征表面点集;
根据筛选出的第二疑似特征表面点集确定所述特征表面。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第二疑似特征表面点集确定所述特征表面,进一步包括:
将所述第二疑似特征表面点集投影到与所述特征表面平行的二维空间,以由所述第二疑似特征表面点集的三维点云信息获得二维信息。
9.根据权利要求5所述的方法,其特征在于,所述方法用于识别凸出设置在所述特征表面上的特征部,所述方法进一步包括:
根据所述三维点云信息计算所述环境中的点相对所述特征表面的垂直距离;
筛选出所述垂直距离在距离阈值范围内的点,以获得疑似特征部点集;其中,所述距离阈值范围取决于所述特征部相对所述特征表面的高度;
根据所述疑似特征部点集确定所述特征部。
10.根据权利要求9所述的方法,其特征在于,所述方法进一步包括:
根据所述三维点云信息,确定所筛选出的点投影在所述特征表面的位置信息;
进一步筛选出所述位置信息符合位置条件的点,以构成疑似特征部点集;其中,所述位置条件取决于所述特征部相对所述特征表面的位置。
11.一种行李箱把手的识别方法,其特征在于,所述方法包括:
获取所述行李箱的第一描述信息以及行李箱所处环境的第二描述信息;
根据所述第一描述信息获取参考信息;
根据所述第二描述信息以及所述参考信息,获取所述第一描述信息中符合第一条件的把手表面数据;其中,所述第一条件包括所有所述把手表面数据与所述第二描述信息构成的第一关联关系。
12.根据权利要求11所述的方法,其特征在于,所述第一描述信息包括所述行李箱的三维点云数据;所述参考信息包括所述三维点云数据中各点的法线方向;
所述第二描述信息包括:
根据所述行李箱所处环境设置的世界坐标系,以及所述世界坐标系下依据所述环境采用的参考把手表面,所述参考把手表面与所述把手表面数据的点均符合所述第一关联关系。
13.根据权利要求12所述的方法,其特征在于,获取所述第一描述信息中符合第一条件的把手表面数据包括:
筛选出所述法线方向相对所述参考把手表面的角度在角度阈值范围内的点,以获得第一疑似把手表面点集;其中,所述角度阈值取决于所述把手表面相对所述参考把手表面坐标的角度;
对所述第一疑似把手表面点集进行区域分割,以获得能够构成平面区域的至少一个第二疑似把手表面点集;
根据所述至少一个第二疑似把手表面点集确定所述把手表面。
14.根据权利要求13所述的方法,其特征在于,所述对所述第一疑似把手表面点集进行区域分割,包括:
利用三维区域增长算法对所述第一疑似把手表面点集进行区域分割。
15.根据权利要求13所述的方法,其特征在于,所述根据所述第二疑似把手表面点集确定所述把手表面,包括:
根据所述第二疑似把手表面点集的二维信息,筛选出所构成平面区域的形状和/或大小符合所述把手表面的形状和/或大小的第二疑似把手表面点集;
根据筛选出的第二疑似把手表面点集确定所述把手表面。
16.根据权利要求15所述的方法,其特征在于,所述根据所述第二疑似把手表面点集确定所述把手表面,进一步包括:
将所述第二疑似把手表面点集投影到与所述把手表面平行的二维空间,以由所述第二疑似把手表面点集的三维点云信息获得二维信息。
17.根据权利要求13所述的方法,其特征在于,所述方法用于识别凸出设置在所述把手表面上的把手表面部,所述方法进一步包括:
根据所述三维点云信息计算所述环境中的点相对所述把手表面的垂直距离;
筛选出所述垂直距离在距离阈值范围内的点,以获得疑似把手表面部点集;其中,所述距离阈值范围取决于所述把手表面部相对所述把手表面的高度;
根据所述疑似把手表面部点集确定所述把手表面部。
18.根据权利要求17所述的方法,其特征在于,所述方法进一步包括:
根据所述三维点云信息,确定所筛选出的点投影在所述把手表面的位置信息;
进一步筛选出所述位置信息符合位置条件的点,以构成疑似把手表面部点集;其中,所述位置条件取决于所述把手表面部相对所述把手表面的位置。
19.一种视觉识别装置,其特征在于,所述视觉识别装置包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序以实现权利要求1-18中任一项所述的方法。
20.一种机器人,其特征在于,所述机器人包括权利要求19所述的视觉识别装置。
CN201880003237.1A 2018-06-08 2018-06-08 一种物体特征的识别方法、视觉识别装置及机器人 Active CN109641351B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/090421 WO2019232782A1 (zh) 2018-06-08 2018-06-08 一种物体特征的识别方法、视觉识别装置及机器人

Publications (2)

Publication Number Publication Date
CN109641351A true CN109641351A (zh) 2019-04-16
CN109641351B CN109641351B (zh) 2021-11-26

Family

ID=66060194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880003237.1A Active CN109641351B (zh) 2018-06-08 2018-06-08 一种物体特征的识别方法、视觉识别装置及机器人

Country Status (2)

Country Link
CN (1) CN109641351B (zh)
WO (1) WO2019232782A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112816976B (zh) * 2021-01-29 2023-05-16 三一海洋重工有限公司 集装箱箱门朝向检测方法及其系统、存储介质及电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351310A (en) * 1991-05-21 1994-09-27 International Business Machines Corporation Generalized shape autocorrelation for shape acquisition and recognition
US5864779A (en) * 1996-02-29 1999-01-26 Fujitsu Limited Strict recognizing apparatus using observation point
US20090316990A1 (en) * 2008-06-20 2009-12-24 Akira Nakamura Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
CN102930246A (zh) * 2012-10-16 2013-02-13 同济大学 一种基于点云片段分割的室内场景识别方法
CN104217205A (zh) * 2013-05-29 2014-12-17 华为技术有限公司 一种识别用户活动类型的方法及系统
CN104608150A (zh) * 2013-11-05 2015-05-13 发那科株式会社 通过机器人取出放置在三维空间中的物品的装置及方法
CN105303189A (zh) * 2014-07-29 2016-02-03 阿里巴巴集团控股有限公司 一种用于检测预定区域中特定标识图像的方法及装置
CN105512689A (zh) * 2014-09-23 2016-04-20 苏州宝时得电动工具有限公司 基于图像的草地识别方法及草坪维护机器人
CN105976375A (zh) * 2016-05-06 2016-09-28 苏州中德睿博智能科技有限公司 一种基于rgb-d类传感器的托盘识别和定位方法
CN106826833A (zh) * 2017-03-01 2017-06-13 西南科技大学 基于3d立体感知技术的自主导航机器人系统
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107239794A (zh) * 2017-05-18 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
CN108122081A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 机器人及其库存管理方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5351310A (en) * 1991-05-21 1994-09-27 International Business Machines Corporation Generalized shape autocorrelation for shape acquisition and recognition
US5864779A (en) * 1996-02-29 1999-01-26 Fujitsu Limited Strict recognizing apparatus using observation point
US20090316990A1 (en) * 2008-06-20 2009-12-24 Akira Nakamura Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
CN102930246A (zh) * 2012-10-16 2013-02-13 同济大学 一种基于点云片段分割的室内场景识别方法
CN104217205A (zh) * 2013-05-29 2014-12-17 华为技术有限公司 一种识别用户活动类型的方法及系统
CN104608150A (zh) * 2013-11-05 2015-05-13 发那科株式会社 通过机器人取出放置在三维空间中的物品的装置及方法
CN105303189A (zh) * 2014-07-29 2016-02-03 阿里巴巴集团控股有限公司 一种用于检测预定区域中特定标识图像的方法及装置
CN105512689A (zh) * 2014-09-23 2016-04-20 苏州宝时得电动工具有限公司 基于图像的草地识别方法及草坪维护机器人
CN105976375A (zh) * 2016-05-06 2016-09-28 苏州中德睿博智能科技有限公司 一种基于rgb-d类传感器的托盘识别和定位方法
CN108122081A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 机器人及其库存管理方法
CN106826833A (zh) * 2017-03-01 2017-06-13 西南科技大学 基于3d立体感知技术的自主导航机器人系统
CN107186708A (zh) * 2017-04-25 2017-09-22 江苏安格尔机器人有限公司 基于深度学习图像分割技术的手眼伺服机器人抓取系统及方法
CN107239794A (zh) * 2017-05-18 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘阳: "三维点云场景中对象识别技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Also Published As

Publication number Publication date
WO2019232782A1 (zh) 2019-12-12
CN109641351B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN105825173B (zh) 通用道路和车道检测系统与方法
US8396284B2 (en) Smart picking in 3D point clouds
CN104536445B (zh) 移动导航方法和系统
EP3168812B1 (en) System and method for scoring clutter for use in 3d point cloud matching in a vision system
CN103903246A (zh) 物体检测方法和装置
CN207067803U (zh) 一种用于处理任务区域的任务的移动电子设备
CN207488823U (zh) 一种移动电子设备
CN104268933B (zh) 一种车载二维激光运动中三维环境扫描成像方法
CN108459596A (zh) 一种移动电子设备以及该移动电子设备中的方法
CN103593641A (zh) 基于立体摄像机的物体检测方法和装置
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
CN110223380A (zh) 融合航拍与地面视角图像的场景建模方法、系统、装置
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN109641351A (zh) 一种物体特征的识别方法、视觉识别装置及机器人
Li et al. Vision-based target detection and positioning approach for underwater robots
CN108388854A (zh) 一种基于改进fast-surf算法的定位方法
CN110443228A (zh) 一种行人匹配方法、装置、电子设备及存储介质
Bajcsy Perception with feedback
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN108335329A (zh) 应用于飞行器中的位置检测方法和装置、飞行器
Zhang et al. Three dimensional object segmentation based on spatial adaptive projection for solid waste
CN108459598A (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
Lee et al. Calibration of VLP-16 Lidar Sensor and Vision Cameras Using the Center Coordinates of a Spherical Object
Foo Design and develop of an automated tennis ball collector and launcher robot for both able-bodied and wheelchair tennis players-ball recognition systems.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 h6-1, H6 reservoir, Chiwan oil base, H6 reservoir, Chiwan left battery Road, Chiwan community, zhaoshang street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Lan pangzi machine intelligence Co.,Ltd.

Address before: B701-702, industrialization building, Shenzhen Virtual University Park, No.2, Yuexing Third Road, Nanshan District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN DORABOT Inc.

CP03 Change of name, title or address