CN107953329A - 物体识别和姿态估计方法、装置及机械臂抓取系统 - Google Patents

物体识别和姿态估计方法、装置及机械臂抓取系统 Download PDF

Info

Publication number
CN107953329A
CN107953329A CN201610903034.0A CN201610903034A CN107953329A CN 107953329 A CN107953329 A CN 107953329A CN 201610903034 A CN201610903034 A CN 201610903034A CN 107953329 A CN107953329 A CN 107953329A
Authority
CN
China
Prior art keywords
msubsup
mrow
feature descriptor
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610903034.0A
Other languages
English (en)
Other versions
CN107953329B (zh
Inventor
曾伟
梁国远
王灿
吴新宇
黄胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201610903034.0A priority Critical patent/CN107953329B/zh
Publication of CN107953329A publication Critical patent/CN107953329A/zh
Application granted granted Critical
Publication of CN107953329B publication Critical patent/CN107953329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于人工智能应用技术领域，提供了一种物体识别和姿态估计方法、装置及机械臂抓取系统，该方法包括：通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；采集目标物体的物体姿态图像；通过所述多级深度学习模型，从目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态。通过本发明能同时学习物体类别和姿态，提高识别精度。

Description

物体识别和姿态估计方法、装置及机械臂抓取系统
技术领域
本发明属于人工智能应用技术领域，尤其涉及一种物体识别和姿态估计方法、装置及机械臂抓取系统。
背景技术
机械臂完成对物体的抓取，需要精准的物体识别和姿态估计方法。目前物体识别和姿态估计存在着多种方法，不同的方法之间采用的传感器、特征处理方法和标定策略不尽相同，而这些方法均存在一定的局限性。
例如，一些方法基于三维建模，通过数据对齐的方式估计物体的姿态等信息，这种方法建模难度大，需要处理大量的三维数据。又例如，双目视觉方法，这种方法对于光照变化等非常敏感，纹理不够则不够鲁棒。另外一些方法则基于主动投射的抓取方式，这类方法往往需要投射激光或光栅，使得末端结构复杂。还有一些方法基于二维图像信息识别，都采用手工特征的学习方法，其识别效果和精度往往不够理想。
发明内容
有鉴于此，本发明实施例提供了一种物体识别和姿态估计方法、装置及机械臂抓取系统，以解决现有技术中物体识别和姿态估计精准性较差的问题。
本发明实施例的第一方面，提供了一种物体识别和姿态估计方法，包括：
通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；
采集目标物体的物体姿态图像；
通过所述多级深度学习模型，从所述目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。
本发明实施例的第二方面，提供了一种物体识别和姿态估计装置，包括学习单元、图像采集单元和识别单元；
所述学习单元，用于通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；
所述图像采集单元，用于采集目标物体的物体姿态图像；
所述识别单元，用于通过所述多级深度学习模型，从目标物体的物体姿态图像中获取新目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。
本发明实施例的第三方面，提供了一种机械臂抓取系统，包括机械臂和物体识别和姿态估计装置，所述物体识别和姿态估计装置为上述物体识别和姿态估计装置。
本发明实施例的第四方面，提供了一种机器人，包括上述机械臂抓取系统。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过多级深度学习模型对图像样本进行物体类别和姿态学习，建立特征描述子集合，并从目标物体的物体姿态图像中获取目标物体的特征描述子，然后结合特征描述子集合对目标物体进行物体识别和姿态估计，相对于现有技术，能同时学习物体类别和姿态，提高识别精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的物体识别和姿态估计方法的实现流程图；
图2是本发明实施例一提供的目标物体的仰角和旋转角示意图；
图3是本发明实施例一提供的多级深度学习模型的实现流程图；
图4是本发明实施例一提供的多级深度学习模型的网络结构示意图；
图5是本发明实施例二提供的物体识别和姿态估计装置的模块框架图；
图6是本发明实施例二提供的多级深度学习模型的模块框架图；
图7是本发明实施例三提供的机械臂抓取系统的框架图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
实施例一：
图1示出了本发明实施例一提供的物体识别和姿态估计方法的实现流程，详述如下：
在步骤S101中，通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合。
本实施例中，特征描述子集合包括至少两个特征描述子。每个特征描述子用于表征一种物体类别和物体姿态。即，每个特征描述子对应一个物体类别和物体姿态。两个以上的特征描述子可以对应一种物体类别，但物体姿态不尽相同。
在本实施例中，图像样本通过对物体的角度进行调整，并采用图像采集装置采集物体多个角度的物体姿态图像获得。其中，所述角度包括仰角和旋转角。仰角为物体与图像采集装置的连线与水平面的夹角，旋转角为放置物体的转动装置的旋转角。通过对物体的仰角和旋转角进行调整，来采集物体多个角度的物体姿态图像。
具体的，参见图2，物体10放置在转动装置30上，图像采集装置20可固定在可调整的支架上。图像采集装置20的镜头方向和水平方向的夹角为θ，即为仰角。物体10直接放在转动装置30上，转动装置30的旋转角为，即为物体10的旋转角。通过这个系统，就可以采样得到物体10多个角度的不同姿态图像。例如，图像采集装置20固定在可调整的支架上，物体10放置转动装置的台面上，均匀地对旋转角和仰角的最大值进行划分，就可以得到不同视角的物体姿态图像。
多级深度学习模型主要对采集到的图像样本进行训练和测试分析，其中涉及到网络结构的设计，损失函数的设计和特征描述子的搜索方法。多级深度学习模型采用一种分流、跨网络层链接的方式，分两个以上不同阶段、多尺度、多分辨率进行特征提取。多级深度学习模型可以分多个不同的阶段处理，每个阶段完成不同方式的特征处理。
参见图3，多级深度学习模型对物体姿态图像进行物体的类别和姿态学习可以包括：
步骤S301，对输入的图像样本进行卷积和下采样处理。
步骤S302，将经过卷积和下采样处理的图像样本跨网络层进行两种以上的特征处理。
步骤S303，将处理后的图像样本发送至全连接层。
参见图4，该网络不同于经典的神经网络，实现了分流学习不同图像样本的方法，实现了跨层多尺度采样的方式，最后全连接层避免了分类器的使用，可以高度的压缩特征向量。模型分三个主要的学习阶段处理：首先是输入，后面链接卷积和下采样阶段(即第一阶段)，输出传递到第二阶段和第三阶段，最后汇总到全连接层。在第一阶段对输入的图像进行卷积和下采样处理。在第二阶段和第三阶段将经过卷积和下采样处理的图像跨网络层进行两种以上的特征处理。最后将处理后的图像发送至全连接层。另外，整个网络层的一种结构参数也在图中进行了标注。
本实施例中的多级深度学习模型，在最后一层神经网络避免了单个或者多个分类器的使用，而是将特征直接映射到特征向量空间，从而可以有效地压缩输出特征向量的维度，将特征描述子嵌入到欧式距离空间。
本实施例中，建立特征描述子步骤可以包括：将特征描述子集合中的各个特征描述子映射到欧式特征空间，通过损失函数将各个特征描述子进行收敛处理，并采用最近邻搜索方法将各个特征描述子分为至少两类。每一类特征描述子对应一种物体类别和物体姿态。另外，在欧式特征空间中，距离较近的特征描述子可以对应一种物体类别和物体姿态。
具体的，本实施例中，以下对损失函数的建立过程进行描述：
如果将输入图像表示为x，则在距离空间的特征描述子表示为f(x)∈Rd，表示将一张图像映射到一个距离d维的距离空间。则triplets可以为：这就是一个训练样本集(Batch)。Batch的构成主要满足两个要求：(1)代表某一个物体，和代表同一类物体并且距离最近；代表与不同类的物体；(2)代表某一个物体某一个姿态，和代表同一类物体且姿态距离最近；代表与同类的物体，但姿态距离最远。其中，为参考描述子，为负描述子，为正描述子。
根据距离空间定义，令：
其中，α为一个正负样本对的分界边缘，则根据极小化原则能够得到：
最终得到损失函数为：
其中，第一项为Triplet Loss(三元组损失函数)部分，第二项为正则化项，ω表示每个网络层除了偏差项之外的权值向量，λ表示。
根据以上分析可知，本实施例中设计的损失函数是在结构化特征描述子的距离，使特征描述子尽可能满足：同类物体的距离更小，非同类物体间的距离更大；而同类物体不同姿态的距离较大，同类物体类似姿态的距离较小。最后在训练好的特征描述子空间，根据欧氏距离的度量，采用最近邻搜索的方法查找最相近的特征描述子，对特征描述子进行分类。相对于现有方法，采用最近邻搜索的方法处理这类问题，可以很好的控制计算的复杂度，极大的降低算法的复杂度。
本实施例中，通过损失函数对特征描述子进行收敛处理后，特征描述子在空间中会分布在至少两个相对集中的范围内。每一个相对集中的范围内的特征描述子对应一种物体。每个相对集中的范围内的各个特征描述子的姿态可能不尽相同。每个相对集中的范围内，姿态相近的特征描述子的距离相对较近，姿态不同的特征描述子的距离相对较远。
在步骤S102中，采集目标物体的物体姿态图像。
本实施例中，可以通过图像采集装置20采集目标物体的物体姿态图像。图像采集装置20具体可以为照相机或Kinect等设备。其中，Kinect是微软在对XBOX360体感周边外设正式发布的名字。
在步骤S103中，通过多级深度学习模型，从目标物体的物体姿态图像中获取目标物体的特征描述子，并结合特征描述子集合进行物体识别和姿态估计。
本实施例中，通过步骤S101中对多级深度学习模型的学习和训练，多级深度学习模型学习了物体类别和姿态。因此，当输入目标物体图像时，多级深度学习模型就会自动对图像的类别和姿态进行分类，从而可以获取物体的类别和姿态。
具体的，多级深度学习模型从目标物体图像中获取目标物体的特征描述子，然后将目标物体的特征描述子与特征描述子集合进行匹配，得出目标物体的物体类别和姿态，从而完成对目标物体的物体识别和姿态估计。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上述物体识别和姿态估计方法，不仅能同时识别物体类别和估计姿态，还采用了一种改进的多级深度学习模型，通过图像样本提取学习特征描述子，可以得到精准的物体姿态和类别。相比传统的主动投射或者手工特征的方法，本发明实施例的方法能实现物体类别和姿态的高精度识别，采用学习特征描述子的方法，具有更好的鲁棒性，能够识别缺少纹理的物体，提供准确的物体类别和姿态。
实施例二：
对应于上文实施例所述的物体识别和姿态估计方法，图5示出了本发明实施例提供的物体识别和姿态估计装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，与上文实施例所述的物体识别和姿态估计方法重复之处不在累述。
参照图5，该装置可以包括学习单元501、图像采集单元502和识别单元503。其中，各单元的功能如下：
学习单元501，用于通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合。其中，特征描述子集合包括至少两个特征描述子，物体特征描述子表征一种物体类别和物体姿态。
图像采集单元502，用于采集目标物体的物体姿态图像。
识别单元503，用于通过多级深度学习模型，从目标物体的物体姿态图像中获取目标物体的特征描述子，并结合特征描述子集合进行物体识别和姿态估计。
本实施例中，图像样本通过对物体的角度进行调整，并采用图像采集装置采集物体多个角度的物体姿态图像获得。其中，所述角度包括仰角和旋转角。仰角为物体与图像采集装置的连线与水平面的夹角，旋转角为放置物体的转动装置的旋转角。通过对物体的仰角和旋转角进行调整，采集物体多个角度的物体姿态图像。关于目标物体的仰角和旋转角，具体可参见上文实施例所述的物体识别和姿态估计方法中的相应内容。
本实施例中，多级深度学习模型采用分流、跨网络层链接的方式，分两个以上不同阶段、多尺度进行特征提取。参见图6，多级深度学习模型可以包括卷积和下采样模块601和特征处理模块602。
卷积和下采样模块601，用于将输入的图像样本进行卷积和下采样处理，并将处理后的图像样本发送至特征处理模块602。
特征处理模块602，用于将经过卷积和下采样处理的图像样本跨网络层进行两种以上的特征处理，并将处理后的图像样本发送至全连接层。
本实施例中，学习单元501将特征描述子集合中的各个特征描述子映射到欧式特征空间，通过损失函数将各个特征描述子进行收敛处理，并采用最近邻搜索方法将各个特征描述子分为至少两类。其中，每一类特征描述子对应一种物体类别和物体姿态。另外，在欧式特征空间中，距离较近的特征描述子可以对应一种物体类别和物体姿态。
以下对损失函数设计过程进行详细描述：
如果将输入图像表示为x，则在距离空间的特征描述子表示为f(x)∈Rd，表示将一张图像映射到一个距离d维的距离空间。则triplets可以为：这就是一个训练样本集(Batch)。Batch的构成主要满足两个要求：(1)代表某一个物体，和代表同一类物体并且距离最近；代表与不同类的物体；(2)代表某一个物体某一个姿态，和代表同一类物体且姿态距离最近；代表与同类的物体，但姿态距离最远。其中，为参考描述子，为负描述子，为正描述子。
根据距离空间定义，令：
其中，α为一个正负样本对的分界边缘，则根据极小化原则能够得到：
最终得出损失函数为：
其中，第一项为Triplet Loss部分，第二项为正则化项，ω表示每个网络层除了偏差项之外的权值向量，λ表示。
上述物体识别和姿态估计装置，不仅能同时识别物体类别和估计姿态，还采用了一种改进的多级深度学习模型，通过图像样本提取学习特征描述子，可以得到精准的物体姿态和类别。相比传统的主动投射或者手工特征的方法，本发明实施例的方法能实现物体类别和姿态的高精度识别，采用学习特征描述子的方法，具有更好的鲁棒性，能够识别缺少纹理的物体，提供准确的物体类别和姿态。
实施例三：
图7示出了本发明实施例三提供的机械臂抓取系统，包括机械臂701和物体识别和姿态估计装置702。其中，物体识别和姿态估计装置702为上文实施例中所述的物体识别和姿态估计装置。
本实施例中，机械臂抓取系统可以通过三个步骤对目标物体进行抓取：获取图像采集装置和放置目标物体的转动装置的空间相对位置，以及目标物体的图像样本；获取物体的类别和姿态；根据物体的空间位置以及确定的物体类别和姿态，对目标物体进行抓取。
本实施例中，物体识别和姿态估计装置702对图像采集装置和放置目标物体的转动装置的空间相对位置进行确定，具体过程可以为：
假设图像平面上的一点在图像坐标系中的坐标为(u0，v0)，每个像素在成像平面上的物理偏移量为dx和dy，则成像坐标与图像坐标之间转换关系为：
其中，γ为成像平面的坐标轴不正交时的倾斜因子。
根据坐标系之间的转换关系，图像采集装置坐标系和世界坐标系之间用旋转矩阵R和平移矩阵T来相互转换。因此，假设空间的一点在世界坐标系下的坐标为(XW，YW，ZW)和在图像采集装置坐标系下的坐标为(XC，YC，ZC)，则图像采集装置坐标系与世界坐标系之间的关系为：
其中，R为3×3的单位正交矩阵，T为3维的平移向量。
通过以上坐标式之间的转换关系，可以得到图像平面上的一点p对应的世界坐标系中二维平面上的一点P之间的关系，从而可以计算图像中物体在真实的世界坐标系下的二维平面位置。
机械臂701根据物体识别和姿态估计装置702识别出的物体类别、估计出的物体姿态以及确定出的目标物体在世界坐标系下的二维平面位置，对目标物体进行抓取。
实施例四：
本实施例中示出一种机器人，包括上文实施例中所述的机械臂抓取系统。当然，本实施例中的机器人还包括众所周知的其他部分，为便于描述未进行说明。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (12)

1.一种物体识别和姿态估计方法，其特征在于，包括：
通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；
采集目标物体的物体姿态图像；
通过所述多级深度学习模型，从所述目标物体的物体姿态图像中获取所述目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。
2.根据权利要求1所述的物体识别和姿态估计方法，其特征在于，所述图像样本通过对物体的角度进行调整，并采用图像采集装置采集物体多个角度的物体姿态图像；
其中，所述角度包括仰角和旋转角，所述仰角为所述物体与所述图像采集装置的连线与水平面的夹角，所述旋转角为放置所述物体的转动装置的旋转角。
3.根据权利要求1所述的物体识别和姿态估计方法，其特征在于，所述多级深度学习模型对图像样本进行物体的类别和姿态学习包括：
对输入的图像样本进行卷积和下采样处理；
将经过卷积和下采样处理的图像样本跨网络层进行两种以上的特征处理；
将处理后的图像样本发送至全连接层。
4.根据权利要求1所述的物体识别和姿态估计方法，其特征在于，所述建立特征描述子集合包括：
将所述特征描述子集合中的各个所述特征描述子映射到欧式特征空间，通过损失函数将各个所述特征描述子进行收敛处理，并采用最近邻搜索方法将各个所述特征描述子分为至少两类。
5.根据权利要求4所述的物体识别和姿态估计方法，其特征在于，
将输入图像表示为x，则在距离空间的特征描述子表示为f(x)∈Rd，表示将一张图像映射到一个距离d维的距离空间；则定义训练样本集为：
<mrow> <mi>&amp;Phi;</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>,</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>,</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
满足：代表某一个物体，和代表同一类物体并且距离最近；代表与不同类的物体；代表某一个物体某一个姿态，和代表同一类物体且姿态距离最近；代表与同类的物体，但姿态距离最远；
根据距离空间定义得出：
<mrow> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>&lt;</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>
其中，α为一个正负样本对的分界边缘，根据极小化原则得到：
<mrow> <msub> <mi>l</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>i</mi> <mi>p</mi> <mi>l</mi> <mi>e</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
最终得出所述损失函数为：
<mrow> <mi>L</mi> <mo>=</mo> <msub> <mi>l</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>i</mi> <mi>p</mi> <mi>l</mi> <mi>e</mi> <mi>t</mi> </mrow> </msub> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>&amp;omega;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>
其中，ω表示每个网络层除了偏差项所有的权值向量，λ表示正则化参数。
6.一种物体识别和姿态估计装置，其特征在于，包括学习单元、图像采集单元和识别单元；
所述学习单元，用于通过多级深度学习模型对图像样本进行物体的类别和姿态学习，建立特征描述子集合；其中，所述特征描述子集合包括至少两个特征描述子，每个所述特征描述子表征一种物体类别和物体姿态；
所述图像采集单元，用于采集目标物体的物体姿态图像；
所述识别单元，用于通过所述多级深度学习模型，从所述目标物体的物体姿态图像中获取目标物体的特征描述子，并结合所述特征描述子集合进行物体识别和姿态估计。
7.根据权利要求6所述的物体识别和姿态估计装置，其特征在于，所述图像样本通过对物体的角度进行调整，并采用图像采集装置采集物体多个角度的物体姿态图像；
其中，所述角度包括仰角和旋转角，所述仰角为所述物体与所述图像采集装置的连线与水平面的夹角，所述旋转角为放置所述物体的转动装置的旋转角。
8.根据权利要求6所述的物体识别和姿态估计装置，其特征在于，所述多级深度学习模型包括卷积和下采样模块和特征处理模块；
所述卷积和下采样模块，用于将输入的图像样本进行卷积和下采样处理，并将处理后的图像样本发送至所述特征处理模块；
所述特征处理模块，用于将经过卷积和下采样处理的图像样本跨网络层进行两种以上的特征处理，并将处理后的图像样本发送至全连接层。
9.根据权利要求6所述的物体识别和姿态估计装置，其特征在于，所述学习单元将所述特征描述子集合中的各个所述特征描述子映射到欧式特征空间，通过损失函数将各个所述特征描述子进行收敛处理，并采用最近邻搜索方法将各个所述特征描述子分为至少两类。
10.根据权利要求9所述的物体识别和姿态估计装置，其特征在于，
将输入图像表示为x，则在距离空间的特征描述子表示为f(x)∈Rd，表示将一张图像映射到一个距离d维的距离空间；则定义训练样本集为：
<mrow> <mi>&amp;Phi;</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>,</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>,</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
满足：代表某一个物体，和代表同一类物体并且距离最近；代表与不同类的物体；代表某一个物体某一个姿态，和代表同一类物体且姿态距离最近；代表与同类的物体，但姿态距离最远；
根据距离空间定义得出：
<mrow> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>&lt;</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>
其中，α为一个正负样本对的分界边缘，根据极小化原则得到：
<mrow> <msub> <mi>l</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>i</mi> <mi>p</mi> <mi>l</mi> <mi>e</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>,</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>p</mi> </msubsup> <mo>)</mo> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>|</mo> <mo>|</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>a</mi> </msubsup> <mo>)</mo> <mo>-</mo> <mi>f</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>i</mi> <mi>n</mi> </msubsup> <mo>)</mo> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
最终得出所述损失函数为：
<mrow> <mi>L</mi> <mo>=</mo> <msub> <mi>l</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>i</mi> <mi>p</mi> <mi>l</mi> <mi>e</mi> <mi>t</mi> </mrow> </msub> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>&amp;omega;</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>
其中，ω表示每个网络层除了偏差项所有的权值向量，λ表示。
11.一种机械臂抓取系统，包括机械臂和物体识别和姿态估计装置，其特征在于，所述物体识别和姿态估计装置为权利要求6至10任一所述的物体识别和姿态估计装置。
12.一种机器人，其特征在于，包括权利要求11所述的机械臂抓取系统。
CN201610903034.0A 2016-10-17 2016-10-17 物体识别和姿态估计方法、装置及机械臂抓取系统 Active CN107953329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610903034.0A CN107953329B (zh) 2016-10-17 2016-10-17 物体识别和姿态估计方法、装置及机械臂抓取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610903034.0A CN107953329B (zh) 2016-10-17 2016-10-17 物体识别和姿态估计方法、装置及机械臂抓取系统

Publications (2)

Publication Number Publication Date
CN107953329A true CN107953329A (zh) 2018-04-24
CN107953329B CN107953329B (zh) 2021-06-15

Family

ID=61954531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610903034.0A Active CN107953329B (zh) 2016-10-17 2016-10-17 物体识别和姿态估计方法、装置及机械臂抓取系统

Country Status (1)

Country Link
CN (1) CN107953329B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108638054A (zh) * 2018-04-08 2018-10-12 河南科技学院 一种智能排爆机器人五指灵巧手控制方法
CN108942921A (zh) * 2018-06-11 2018-12-07 江苏楚门机器人科技有限公司 一种基于深度学习物体识别的散乱抓取装置
CN109015630A (zh) * 2018-06-21 2018-12-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN109352648A (zh) * 2018-10-12 2019-02-19 北京地平线机器人技术研发有限公司 机械机构的控制方法、装置和电子设备
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN109658454A (zh) * 2018-12-04 2019-04-19 深圳前海达闼云端智能科技有限公司 一种位姿信息确定方法、相关装置及存储介质
CN109816050A (zh) * 2019-02-23 2019-05-28 深圳市商汤科技有限公司 物体位姿估计方法及装置
CN110276805A (zh) * 2019-06-28 2019-09-24 联想(北京)有限公司 一种数据处理方法及电子设备
CN110298886A (zh) * 2019-07-01 2019-10-01 中国科学技术大学 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110321862A (zh) * 2019-07-09 2019-10-11 天津师范大学 一种基于紧致三元损失的行人再识别方法
CN110378325A (zh) * 2019-06-20 2019-10-25 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN111383263A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 机器人抓取物体系统、方法及装置
CN111915674A (zh) * 2020-09-30 2020-11-10 浙江智慧视频安防创新中心有限公司 一种物体姿态识别精度的计算方法、装置、存储介质及终端
CN112911393A (zh) * 2018-07-24 2021-06-04 广州虎牙信息科技有限公司 部位识别方法、装置、终端及存储介质
CN113822102A (zh) * 2020-06-19 2021-12-21 北京达佳互联信息技术有限公司 一种姿态估计方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071024A1 (en) * 2014-02-25 2016-03-10 Sri International Dynamic hybrid models for multimodal analysis
CN105574550A (zh) * 2016-02-02 2016-05-11 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
EP3065085A1 (en) * 2015-03-04 2016-09-07 Accenture Global Services Limited Digital image processing using convolutional neural networks
CN106023220A (zh) * 2016-05-26 2016-10-12 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071024A1 (en) * 2014-02-25 2016-03-10 Sri International Dynamic hybrid models for multimodal analysis
EP3065085A1 (en) * 2015-03-04 2016-09-07 Accenture Global Services Limited Digital image processing using convolutional neural networks
CN105574550A (zh) * 2016-02-02 2016-05-11 北京格灵深瞳信息技术有限公司 一种车辆识别方法及装置
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN106023220A (zh) * 2016-05-26 2016-10-12 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108638054A (zh) * 2018-04-08 2018-10-12 河南科技学院 一种智能排爆机器人五指灵巧手控制方法
CN108942921A (zh) * 2018-06-11 2018-12-07 江苏楚门机器人科技有限公司 一种基于深度学习物体识别的散乱抓取装置
CN109015630B (zh) * 2018-06-21 2021-05-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN109015630A (zh) * 2018-06-21 2018-12-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN112911393A (zh) * 2018-07-24 2021-06-04 广州虎牙信息科技有限公司 部位识别方法、装置、终端及存储介质
CN109352648A (zh) * 2018-10-12 2019-02-19 北京地平线机器人技术研发有限公司 机械机构的控制方法、装置和电子设备
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质
CN109658454A (zh) * 2018-12-04 2019-04-19 深圳前海达闼云端智能科技有限公司 一种位姿信息确定方法、相关装置及存储介质
CN111383263A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 机器人抓取物体系统、方法及装置
WO2020168770A1 (zh) * 2019-02-23 2020-08-27 深圳市商汤科技有限公司 物体位姿估计方法及装置
JP2021536068A (ja) * 2019-02-23 2021-12-23 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. 物体姿勢推定方法および装置
CN109816050A (zh) * 2019-02-23 2019-05-28 深圳市商汤科技有限公司 物体位姿估计方法及装置
CN110378325A (zh) * 2019-06-20 2019-10-25 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN110378325B (zh) * 2019-06-20 2022-03-15 西北工业大学 一种机器人抓取过程中的目标位姿识别方法
CN110276805A (zh) * 2019-06-28 2019-09-24 联想(北京)有限公司 一种数据处理方法及电子设备
CN110298886A (zh) * 2019-07-01 2019-10-01 中国科学技术大学 一种基于四级卷积神经网络的灵巧手抓取规划方法
CN110321862A (zh) * 2019-07-09 2019-10-11 天津师范大学 一种基于紧致三元损失的行人再识别方法
CN113822102A (zh) * 2020-06-19 2021-12-21 北京达佳互联信息技术有限公司 一种姿态估计方法、装置、电子设备及存储介质
CN113822102B (zh) * 2020-06-19 2024-02-20 北京达佳互联信息技术有限公司 一种姿态估计方法、装置、电子设备及存储介质
CN111915674B (zh) * 2020-09-30 2021-01-01 浙江智慧视频安防创新中心有限公司 一种物体姿态识别精度的计算方法、装置、存储介质及终端
CN111915674A (zh) * 2020-09-30 2020-11-10 浙江智慧视频安防创新中心有限公司 一种物体姿态识别精度的计算方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN107953329B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN107953329A (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN108656107B (zh) 一种基于图像处理的机械臂抓取系统及方法
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN113330490B (zh) 三维(3d)辅助个性化家庭对象检测
Hirschmuller Stereo vision in structured environments by consistent semi-global matching
JP6004809B2 (ja) 位置姿勢推定装置、情報処理装置、情報処理方法
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN105740899B (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN113177977B (zh) 一种非接触式三维人体尺寸的测量方法
JP2019056966A (ja) 情報処理装置、画像認識方法および画像認識プログラム
CN108369741A (zh) 用于配准数据的方法和系统
Santos et al. 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera
JP2014096152A (ja) ポイントクラウド内の埋め戻しポイント
CN108629843A (zh) 一种实现增强现实的方法及设备
CN111260649B (zh) 一种近距离机械臂感知与校准方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
JP2011085971A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム
CN111612731B (zh) 基于双目显微视觉的测量方法、装置、系统及介质
CN112163588A (zh) 基于智能进化的异源图像目标检测方法、存储介质及设备
CN109613974B (zh) 一种大场景下的ar家居体验方法
Santos et al. Flexible three-dimensional modeling of plants using low-resolution cameras and visual odometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Guangdong Xinshen Electronic Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980039226

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20230808

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Shenzhen city wall Creative Technology Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980040491

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20230824

Application publication date: 20180424

Assignee: Shenzhen Mingji Agricultural Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980040490

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20230824

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Shenzhen Zhikong Yunhai Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980043398

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231013

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Jiajingjie Environmental Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044068

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

Application publication date: 20180424

Assignee: SHENZHEN ZHONGZHI INVESTMENT CO.,LTD.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044067

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

Application publication date: 20180424

Assignee: Shenzhen Wufeng Lihong Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044081

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

Application publication date: 20180424

Assignee: Shenzhen Ruofei Culture Communication Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044080

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

Application publication date: 20180424

Assignee: Shenzhen shengxin'an information consulting enterprise

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044079

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

Application publication date: 20180424

Assignee: Shenzhen Zhijun Industrial Investment Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044078

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

Application publication date: 20180424

Assignee: Shenzhen Wenchuang Intellectual Property Service Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980044069

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231024

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Zhongke Jingqi (Guangdong) Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980045543

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231102

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Shenzhen Mengchuang Culture Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049247

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231130

Application publication date: 20180424

Assignee: Shenzhen Jinshiwan Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049245

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231130

Application publication date: 20180424

Assignee: Chuangke Zhinong (Shenzhen) Industrial Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049240

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231130

Application publication date: 20180424

Assignee: Chuangke Port (Shenzhen) Science and Technology Innovation Center

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980049236

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231130

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Jingyun Grapefruit Technology (Shenzhen) Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051450

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231211

Application publication date: 20180424

Assignee: Shenzhen Dongfang Huilian Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051448

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231211

Application publication date: 20180424

Assignee: Shenzhen Xunming Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051409

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231211

Application publication date: 20180424

Assignee: Shenzhen Nanshan District Qiangfenfu Hotel

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051406

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231211

Application publication date: 20180424

Assignee: Shenzhen Minghua Trading Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051405

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231211

Application publication date: 20180424

Assignee: Shenzhen Yingqi Consulting Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051402

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231211

Application publication date: 20180424

Assignee: Shenzhen Hongsheng Intelligent Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051395

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231212

Application publication date: 20180424

Assignee: Shenzhen Haocai Digital Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051250

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231212

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20180424

Assignee: Shenzhen lianzhiyouwu Intelligent Technology Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980052063

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231213

Application publication date: 20180424

Assignee: Jianyangkai Advertising Department, Nanshan District, Shenzhen

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051397

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231212

Application publication date: 20180424

Assignee: Shenzhen Weilan Sports Culture Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051394

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231212

Application publication date: 20180424

Assignee: Shenzhen Weigao Investment Development Co.,Ltd.

Assignor: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY CHINESE ACADEMY OF SCIENCES

Contract record no.: X2023980051257

Denomination of invention: Object recognition and attitude estimation methods, devices, and robotic arm grasping systems

Granted publication date: 20210615

License type: Common License

Record date: 20231212