CN107748890A - 一种基于深度图像的视觉抓取方法、装置及其可读存储介质 - Google Patents

一种基于深度图像的视觉抓取方法、装置及其可读存储介质 Download PDF

Info

Publication number
CN107748890A
CN107748890A CN201710811456.XA CN201710811456A CN107748890A CN 107748890 A CN107748890 A CN 107748890A CN 201710811456 A CN201710811456 A CN 201710811456A CN 107748890 A CN107748890 A CN 107748890A
Authority
CN
China
Prior art keywords
target object
point cloud
cloud chart
chart picture
global characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710811456.XA
Other languages
English (en)
Inventor
范衠
李中兴
朱贵杰
李冲
王宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN201710811456.XA priority Critical patent/CN107748890A/zh
Publication of CN107748890A publication Critical patent/CN107748890A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度图像的视觉抓取方法、装置及其可读存储介质，其中方法通过深度摄像机Kinect来获取点云图像，通过RANSAN随机抽样一致算法和欧几里德聚类算法来对得到的点云图像进行分割，将需要识别的目标物体分割出来；再分别提取物体的三维全局特征和颜色特征，并融合成一个新的全局特征；利用各物体新的全局特征对多分类支持向量机SVM分类器进行离线训练，再利用已训练好的多分类支持向量机SVM分类器根据新的全局特征进行识别该目标物体的类别；然后确定目标物体的类别和目标物体的抓取位置，最后根据目标物体的类别和目标物体的抓取位置，控制机械臂和手爪将目标物体抓取并放至指定位置。利用本发明能够精准的识别并抓取目标物体。

Description

一种基于深度图像的视觉抓取方法、装置及其可读存储介质
技术领域
本发明涉及机器人视觉抓取领域，尤其涉及一种基于深度图像的视觉抓取方法、装置及其可读存储介质。
背景技术
机器人视觉抓取在机器人研究领域中是一个非常重要研究方向之一，这种重要性主要体现在其应用场景十分广泛，不仅在工厂装配线上需要大量运用到机械臂视觉抓取来完成装配工作，而且在日常的服务机器人也需要机械臂视觉抓取来完成日常工作，更重要的是随着网购和物联网的兴起，对于仓库中的物品进行智能化分类和挑选也日趋重要，同时机械臂视觉抓取也涉及到多学科交叉，包括自动控制科学、图像处理、机器视觉和计算机图形学等学科。故利用视觉方法对物体进行准确地识别和定位来实现机械臂视觉抓取功能，具有重要意义。
早期的物体识别主要是利用常用的图像处理方法来提取二维图像特征，如颜色特征、SIFT、SURF、ORB，然后再进行特征匹配来对物体进行识别，如果单独利用二维图像信息来对物体识别，这样会丢失物体的三维信息，不仅会对纹理信息较少的物体容易造成误判，还会因为视点、空间和光照的变化而增加对物体识别的不确定性。
而目前对于三维图像的采集，主要利用深度传感器如微软Kinect，来获取物体的RGB-D深度图像，再将深度图像转为三维的点云图像，然后利用三维图像特征提取方法来提取需要识别的物体特征，然后再进行特征匹配对物体进行识别。虽然采用三维图像信息进行物体识别能够很好利用物体的三维信息如外形特征，但没能利用到图像处理方法的优点和利用物体纹理信息，同时也会对相似外形特征的物体造成误判，从而影响到对物体识别的准确性。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于深度图像的视觉抓取方法。不仅能够利用物体的三维外形特征信息，还利用物体的颜色纹理信息来对物体进行识别和抓取，从而提高物体的识别率和物体抓取的准确度。
为了解决上述技术问题，本发明实施例提供了一种基于深度图像的视觉抓取方法，所述方法包括：
步骤1：获取点云图像，通过RANSAN随机抽样一致算法和欧几里德聚类算法来对得到的点云图像进行分割，将需要识别的目标物体分割出来；
步骤2：分别提取所述目标物体的三维全局特征和颜色特征，再将所述三维全局特征和颜色特征融合成一个新的全局特征；
步骤3：利用各物体所述新的全局特征对多分类支持向量机SVM分类器进行离线训练，再利用已训练好的多分类支持向量机SVM分类器根据所述目标物体的新的全局特征进行识别所述目标物体的类别；
步骤4：确定所述目标物体的类别和所述目标物体的抓取位置；
步骤5：根据所述目标物体的类别和所述目标物体的抓取位置，控制机械臂和手爪将所述目标物体抓取并放至指定位置。
进一步地，步骤1-1：通过深度摄像机Kinect来获取点云图像，该点云图像包含物体的位置信息（x,y,z）和颜色信息（R,G,B）；
步骤1-2：在从所述点云图像中分割出目标物体之前，过滤距离所述目标物体较远的点云图像信息和原点云图像的背景信息，得到所述目标物体所处区域的点云图像；
步骤1-3：对所述目标物体所处区域的点云图像，先采用RANSAN随机抽样一致算法将较大的平面物体分割出去，再采用欧几里德聚类算法来获得各个物体的点云图像，最后将较小的点云图像过滤，获得所述目标物体的点云图像。
更进一步地，所述过滤距离所述目标物体较远的点云图像信息的过程为：设定摄像机坐标系中X轴和Z轴的坐标取值范围，过滤超过该坐标取值范围的点云图像信息，得到所述目标物体所处区域的点云图像。
更进一步地，所述步骤2包括：
步骤2-1：对所述目标物体的点云图像进行采样，接着对采样后的点云图像提取法向量信息，再通过所述法向量信息来提取所述目标物体的三维全局特征CVFH描述子，所述目标物体的三维全局特征CVFH描述子以直方图形式表示；
步骤2-2：对分割得到的所述目标物体的点云图像，直接提取所述目标物体的RGB颜色特征，再将所述目标物体的颜色特征由RGB颜色空间转换到HSV颜色空间，获取所述目标物体的HSV颜色特征直方图；
步骤2-3：将所述目标物体的HSV颜色特征直方图与该目标物体的三维全局特征CVFH描述子的直方图进行合并，得到所述新的全局特征。
更进一步地，所述步骤3包括：
步骤3-1：建立各物体的点云图像库，将所述点云图像库作为训练分类器的训练集，提取训练集中各物体点云图像的新的全局特征训练多分类支持向量机SVM分类器；
步骤3-2：用训练好的多分类支持向量机SVM分类器来对分割出来的目标物体进行识别，得到所述目标物体的类别。
更进一步地，所述步骤3-1中所述各物体点云图像库，是通过深度摄像机Kinect从不同角度所获取的各物体各个姿态的点云图像。
更进一步地，所述步骤4中所述抓取位置是为所述目标物体的质心。
相应地，本发明实施例还提供了一种基于深度图像的视觉抓取的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述方法的步骤。
相应地，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。
实施本发明实施例，具有如下有益效果：本发明能够充分利用三维物体的外形特征和颜色特征，提高对目标物体识别的鲁棒性。同时，本发明还具有如下有益效果：
1、本发明的技术方案中，所设计新的全局特征，不仅利用了三维物体的外形特征，还利用了物体的颜色纹理特征，使得系统不仅可以识别较少纹理特征的物体，还能识别具有相似外形和纹理的物体。
2、本发明的技术方案中，在训练集的点云图像采集方面，是从多个角度获取物体各个姿态的点云图像，从而能够提高物体识别的鲁棒性。
3、本发明的技术方案中，在物体识别方面，本发明没有直接采用将图像的特征点与已存储的模板进行一个个匹配来进行物体识别，而是采用多分类SVM方法来训练分类器，然后再利用已训练好的多分类SVM分类器进行物体识别，从而可以节省存储空间，并能减少程序运行时间，提高系统的实时性。
4、本发明的技术方案中，在获取机械臂逆运动学解时，是采用几何法来求解，不仅精确度得到保证，且运行速度快，可以提高系统的实时性。
附图说明
图1为本发明一种基于深度图像的视觉抓取方法的流程示意图；
图2为本发明实施例所述步骤100的流程示意图；
图3为本发明实施例所述步骤200中设计新的全局特征的流程示意图；
图4为本发明实施例所述步骤200中设计新的全局特征的结构示意图；
图5为本发明实施例所述步骤500中具体机械臂控制和抓取目标物体的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
请参阅图1，本发明实施例提供了一种基于深度图像的视觉抓取方法，包括如下步骤：
步骤100：获取点云图像，通过RANSAN随机抽样一致算法和欧几里德聚类算法来对得到的点云图像进行分割，将需要识别的目标物体分割出来。
请参阅图2，先通过深度摄像机Kinect来获取各个物体的点云图像101，该点云图像包含物体的位置信息（x,y,z）和颜色信息（R,G,B）。在从深度摄像机Kinect所获取的点云图像中分割出目标物体之前，过滤距离目标物体较远的点云图像信息和原点云图像的背景信息。
过滤距离目标物体较远的点云图像信息的过程为：设定摄像机坐标中X轴和Z轴的坐标取值范围，将超过该坐标范围的点云图像信息过滤掉，从而更精确地得到目标物体所处区域的点云图像102。
在本发明实施例中，所述的摄像机坐标系中X轴方向为面向目标物体，指向目标物体右边的方向；所述的摄像机坐标系中Z轴方向为面向目标物体，指向目标物体背后的方向。
在得到目标物体所处区域的点云图像后，先采用RANSAN随机抽样一致算法将较大的平面物体103分割出去，再采用欧几里德聚类分割算法104来获得含有多个物体的点云图像105，最后过滤较小的点云图像106，从而获得更精确的目标物体的点云图像107。
步骤200：分别提取目标物体的三维全局特征和颜色特征，再将这两个特征融合成一个新的全局特征。
请参阅图3和图4，在该步骤200中，一方面将分割得到目标物体的点云图像进行采样，接着提取采样后的点云图像的法向量，再通过得到的法向量信息来提取该目标物体的三维全局特征CVFH描述子，该目标物体的三维全局特征CVFH描述子是直方图形式表示。另一方面对分割得到的目标物体的点云图像，直接提取该目标物体点云图像的RGB颜色特征，再将该目标物体的颜色特征由RGB颜色空间转换到HSV颜色空间，获取该目标物体的HSV颜色特征直方图。将该目标物体的HSV颜色特征直方图与该目标物体的三维全局特征CVFH描述子的直方图按照式（1）进行合并，得到一个新的全局特征，该目标物体新的全局特征Fi表示如下：
记物体Oi为第i个目标物体，式子(1)中Ci表示目标物体Oi的HSV颜色特征直方图，Vi表示目标物体Oi的三维全局特征CVFH描述子的直方图。
步骤300：利用各物体新的全局特征对多分类SVM分类器进行离线训练，再利用已训练好的多分类支持向量机SVM分类器根据目标物体的新的全局特征进行识别该目标物体的类别。
在该步骤300中，对于建立训练集来训练多分类支持向量机SVM分类器方面，该训练集的点云图像是通过深度摄像机Kinect从多个角度获取目标物体各个姿态点云图像来得到的，这样能够提高物体识别的鲁棒性。对于物体识别来说，本发明实施例没有直接采用将图像的特征点与已存储的模板进行一个个匹配来进行物体识别，而是采用多分类支持向量机SVM方法来训练分类器，然后再利用该训练好的SVM分类器进行识别目标物体的类别。
步骤400：确定目标物体的类别和目标物体的抓取位置。
在本发明实施例中，所述的目标物体的抓取位置是为该目标物体的质心。
步骤500：根据目标物体的类别和目标物体的抓取位置，控制机械臂和手爪将目标物体抓取并放至指定位置。
在该步骤500中，在机械臂控制方面，采用机械臂的逆运动学原理中的几何法，来控制机械臂末端到达所述目标物体。在控制手爪方面，利用Arduino 开发板通过发送PWM信号来控制手爪执行抓取动作。
在步骤500抓取目标物体的过程中：首先控制机械臂末端到达该目标物体的正前方，然后再让机械臂往前移动至该目标物体的抓取位置执行抓取动作。
请参阅图5，在步骤500中，具体的机械臂控制和抓取目标物体的流程为：首先机械臂根据获得的目标物体的类别和抓取位置，接着求解逆运动学，再控制机械臂末端到达目标物体的位置；然后控制机械臂末端的手爪抓取目标物体，机械臂再根据该目标物体的类别到达该目标物体所属类别指定放置的位置。当机械臂到达指定的位置时，控制手爪放开所抓取的目标物体；接着控制机械臂回到原来位置，然后判断是否还有需要抓取的目标物体；如果还有需要抓取的目标物体，则继续重复以上抓取过程，如果没有需要抓取的目标物体，则结束抓取任务。
从以上描述可知，本发明一种基于深度图像的视觉抓取方法，充分利用了三维物体的外形特征和颜色特征，采用了多分类支持向量机SVM分类器进行训练分类器来识别多个物体的类别，这样不仅可以识别较少纹理特征的物体，还能识别具有相似外形和纹理的物体，提高了对目标物体识别和物体抓取的鲁棒性，可以解决单独采用二维图像特征或三维图像特征来识别物体所存在的问题，而且还可以实现对多物体进行分类和分拣工作。
本发明实施例还提供了一种基于深度图像的视觉抓取的装置，可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述一种基于深度图像的视觉抓取的装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是一种基于深度图像的视觉抓取的装置的示例，并不构成对一种基于深度图像的视觉抓取的装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于深度图像的视觉抓取的装置还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于深度图像的视觉抓取的装置的控制中心，利用各种接口和线路连接整个一种基于深度图像的视觉抓取的装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于深度图像的视觉抓取的装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述一种基于深度图像的视觉抓取的装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (9)

1.一种基于深度图像的视觉抓取方法，其特征在于，所述方法包括：
步骤1：获取点云图像，通过RANSAN随机抽样一致算法和欧几里德聚类算法来对得到的点云图像进行分割，将需要识别的目标物体分割出来；
步骤2：分别提取所述目标物体的三维全局特征和颜色特征，再将所述三维全局特征和颜色特征融合成一个新的全局特征；
步骤3：利用各物体所述新的全局特征对多分类支持向量机SVM分类器进行离线训练，再利用已训练好的多分类支持向量机SVM分类器根据所述目标物体的新的全局特征进行识别所述目标物体的类别；
步骤4：确定所述目标物体的类别和所述目标物体的抓取位置；
步骤5：根据所述目标物体的类别和所述目标物体的抓取位置，控制机械臂和手爪将所述目标物体抓取并放至指定位置。
2.根据权利要求1所述的基于深度图像的视觉抓取方法，其特征在于，所述步骤1包括：
步骤1-1：通过深度摄像机Kinect来获取点云图像，该点云图像包含物体的位置信息（x,y,z）和颜色信息（R,G,B）；
步骤1-2：在从所述点云图像中分割出目标物体之前，过滤距离所述目标物体较远的点云图像信息和原点云图像的背景信息，得到所述目标物体所处区域的点云图像；
步骤1-3：对所述目标物体所处区域的点云图像，先采用RANSAN随机抽样一致算法将较大的平面物体分割出去，再采用欧几里德聚类算法来获得各个物体的点云图像，最后将较小的点云图像过滤，获得所述目标物体的点云图像。
3.根据权利要求2所述的基于深度图像的视觉抓取方法，其特征在于，所述过滤距离所述目标物体较远的点云图像信息的过程为：设定摄像机坐标系中X轴和Z轴的坐标取值范围，过滤超过该坐标取值范围的点云图像信息，得到所述目标物体所处区域的点云图像。
4.根据权利要求1所述的基于深度图像的视觉抓取方法，其特征在于，所述步骤2包括：
步骤2-1：对所述目标物体的点云图像进行采样，接着对采样后的点云图像提取法向量信息，再通过所述法向量信息来提取所述目标物体的三维全局特征CVFH描述子，所述目标物体的三维全局特征CVFH描述子以直方图形式表示；
步骤2-2：对分割得到的所述目标物体的点云图像，直接提取所述目标物体的RGB颜色特征，再将所述目标物体的颜色特征由RGB颜色空间转换到HSV颜色空间，获取所述目标物体的HSV颜色特征直方图；
步骤2-3：将所述目标物体的HSV颜色特征直方图与该目标物体的三维全局特征CVFH描述子的直方图进行合并，得到所述新的全局特征。
5.根据权利要求1所述的基于深度图像的视觉抓取方法，其特征在于，所述步骤3包括：
步骤3-1：建立各物体的点云图像库，将所述点云图像库作为训练分类器的训练集，提取训练集中各物体点云图像的新的全局特征训练多分类支持向量机SVM分类器；
步骤3-2：用训练好的多分类支持向量机SVM分类器来对分割出来的目标物体进行识别，得到所述目标物体的类别。
6.根据权利要求5所述的基于深度图像的视觉抓取方法，其特征在于，所述步骤3-1中所述各物体点云图像库，是通过深度摄像机Kinect从不同角度所获取的各物体各个姿态的点云图像。
7.根据权利要求1~6任一项所述的基于深度图像的视觉抓取方法，其特征在于，所述步骤4中所述抓取位置是为所述目标物体的质心。
8.一种基于深度图像的视觉抓取的装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或7所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或7所述方法的步骤。
CN201710811456.XA 2017-09-11 2017-09-11 一种基于深度图像的视觉抓取方法、装置及其可读存储介质 Pending CN107748890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710811456.XA CN107748890A (zh) 2017-09-11 2017-09-11 一种基于深度图像的视觉抓取方法、装置及其可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710811456.XA CN107748890A (zh) 2017-09-11 2017-09-11 一种基于深度图像的视觉抓取方法、装置及其可读存储介质

Publications (1)

Publication Number Publication Date
CN107748890A true CN107748890A (zh) 2018-03-02

Family

ID=61255641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710811456.XA Pending CN107748890A (zh) 2017-09-11 2017-09-11 一种基于深度图像的视觉抓取方法、装置及其可读存储介质

Country Status (1)

Country Link
CN (1) CN107748890A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108508844A (zh) * 2018-04-17 2018-09-07 四川大学 基于平面辅助光源与机器视觉的产品转移系统及转移方法
CN108520055A (zh) * 2018-04-04 2018-09-11 天目爱视（北京）科技有限公司 一种基于天目点云比对的产品检测鉴定方法
CN109034065A (zh) * 2018-07-27 2018-12-18 西安理工大学 一种基于点云的室内场景物体提取方法
CN109079786A (zh) * 2018-08-17 2018-12-25 上海非夕机器人科技有限公司 机械臂抓取自学习方法及设备
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109409244A (zh) * 2018-09-29 2019-03-01 维沃移动通信有限公司 一种物体摆放方案的输出方法和移动终端
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109657556A (zh) * 2018-11-22 2019-04-19 北京工业大学 道路及其周边地物的分类方法及系统
CN109886112A (zh) * 2019-01-16 2019-06-14 创新奇智(合肥)科技有限公司 一种基于图像的物体识别方法、商品自助收银系统及电子设备
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN110097598A (zh) * 2019-04-11 2019-08-06 暨南大学 一种基于pvfh特征的三维物体位姿估计方法
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、系统及存储介质
CN110335300A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
CN110361710A (zh) * 2018-04-09 2019-10-22 北京京东尚科信息技术有限公司 基于激光点云的物体识别方法和装置
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN110633749A (zh) * 2019-09-16 2019-12-31 无锡信捷电气股份有限公司 基于改进视点特征直方图的三维点云识别方法
WO2020057440A1 (zh) * 2018-09-17 2020-03-26 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备
CN110992372A (zh) * 2019-11-21 2020-04-10 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111191582A (zh) * 2019-12-27 2020-05-22 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111259958A (zh) * 2020-01-15 2020-06-09 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质
CN111428731A (zh) * 2019-04-04 2020-07-17 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备
WO2021017233A1 (zh) * 2019-07-26 2021-02-04 华南理工大学 一种使用平面检测的自动分拣的方法
CN112417944A (zh) * 2020-08-31 2021-02-26 深圳市银星智能科技股份有限公司 一种机器人控制方法及电子设备
CN112605986A (zh) * 2020-11-09 2021-04-06 深圳先进技术研究院 自动取货的方法、装置、设备及计算机可读存储介质
CN112659133A (zh) * 2020-12-31 2021-04-16 软控股份有限公司 一种基于机器视觉的抓胶方法、装置及设备
CN112802093A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN113001559A (zh) * 2021-02-24 2021-06-22 汕头大学 一种带压堵漏机器人自主漏点定位方法
CN113601500A (zh) * 2021-07-12 2021-11-05 广东工业大学 一种单目视觉机器人及应用其的三维匹配定位方法
CN114494392A (zh) * 2022-02-14 2022-05-13 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质
CN115995013A (zh) * 2023-03-21 2023-04-21 江苏金恒信息科技股份有限公司 覆盖剂添加方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
CN106934372A (zh) * 2017-03-13 2017-07-07 哈尔滨工业大学 基于传统vfh描述子加入颜色信息的点云分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530297A (zh) * 2016-11-11 2017-03-22 北京睿思奥图智能科技有限公司 基于点云配准的物体抓取区域定位方法
CN106934372A (zh) * 2017-03-13 2017-07-07 哈尔滨工业大学 基于传统vfh描述子加入颜色信息的点云分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DUOFAN JIANG ET AL.: "A Novel Occlusion-free Active Recognition Algorithm for Objects in Clutter", 《IEEE》 *
RADU BOGDAN RUSU ET AL.: "Close-range Scene Segmentation and Reconstruction of 3D Point Cloud Maps for Mobile Manipulation in Domestic Environments", 《IEEE》 *
吴婷璇 等: "基于三维彩色点云的物体识别算法", 《电视技术》 *
朱笑笑: "助行机器人定位关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520055A (zh) * 2018-04-04 2018-09-11 天目爱视（北京）科技有限公司 一种基于天目点云比对的产品检测鉴定方法
CN110361710A (zh) * 2018-04-09 2019-10-22 北京京东尚科信息技术有限公司 基于激光点云的物体识别方法和装置
CN108508844A (zh) * 2018-04-17 2018-09-07 四川大学 基于平面辅助光源与机器视觉的产品转移系统及转移方法
CN109034065A (zh) * 2018-07-27 2018-12-18 西安理工大学 一种基于点云的室内场景物体提取方法
CN109034065B (zh) * 2018-07-27 2022-08-16 西安理工大学 一种基于点云的室内场景物体提取方法
CN109079786A (zh) * 2018-08-17 2018-12-25 上海非夕机器人科技有限公司 机械臂抓取自学习方法及设备
CN109079786B (zh) * 2018-08-17 2021-08-27 上海非夕机器人科技有限公司 机械臂抓取自学习方法及设备
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
CN109255813B (zh) * 2018-09-06 2021-03-26 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法
WO2020057440A1 (zh) * 2018-09-17 2020-03-26 鲁班嫡系机器人（深圳）有限公司 一种装配方法、装配装置及装配设备
CN109409244A (zh) * 2018-09-29 2019-03-01 维沃移动通信有限公司 一种物体摆放方案的输出方法和移动终端
CN109409244B (zh) * 2018-09-29 2021-03-09 维沃移动通信有限公司 一种物体摆放方案的输出方法和移动终端
CN109461184B (zh) * 2018-10-31 2020-11-10 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109461184A (zh) * 2018-10-31 2019-03-12 聚时科技(上海)有限公司 一种机器人机械臂抓取物体的抓取点自动定位方法
CN109657556A (zh) * 2018-11-22 2019-04-19 北京工业大学 道路及其周边地物的分类方法及系统
CN109886112A (zh) * 2019-01-16 2019-06-14 创新奇智(合肥)科技有限公司 一种基于图像的物体识别方法、商品自助收银系统及电子设备
CN109978949B (zh) * 2019-03-26 2023-04-28 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN111428731A (zh) * 2019-04-04 2020-07-17 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备
CN111428731B (zh) * 2019-04-04 2023-09-26 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备
CN110097598B (zh) * 2019-04-11 2021-09-07 暨南大学 一种基于pvfh特征的三维物体位姿估计方法
CN110097598A (zh) * 2019-04-11 2019-08-06 暨南大学 一种基于pvfh特征的三维物体位姿估计方法
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、系统及存储介质
CN110335300A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN110348333A (zh) * 2019-06-21 2019-10-18 深圳前海达闼云端智能科技有限公司 物体检测方法、装置、存储介质及电子设备
WO2021017233A1 (zh) * 2019-07-26 2021-02-04 华南理工大学 一种使用平面检测的自动分拣的方法
CN110400322A (zh) * 2019-07-30 2019-11-01 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN110400322B (zh) * 2019-07-30 2021-03-16 江南大学 基于颜色和三维几何信息的水果点云分割方法
CN110633749A (zh) * 2019-09-16 2019-12-31 无锡信捷电气股份有限公司 基于改进视点特征直方图的三维点云识别方法
CN110633749B (zh) * 2019-09-16 2023-05-02 无锡信捷电气股份有限公司 基于改进视点特征直方图的三维点云识别方法
CN110992372B (zh) * 2019-11-21 2023-08-29 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN110992372A (zh) * 2019-11-21 2020-04-10 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111191582A (zh) * 2019-12-27 2020-05-22 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
WO2021143297A1 (zh) * 2020-01-15 2021-07-22 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质和计算机程序
CN111259958B (zh) * 2020-01-15 2024-04-16 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质
CN111259958A (zh) * 2020-01-15 2020-06-09 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质
CN112417944B (zh) * 2020-08-31 2024-04-16 深圳银星智能集团股份有限公司 一种机器人控制方法及电子设备
CN112417944A (zh) * 2020-08-31 2021-02-26 深圳市银星智能科技股份有限公司 一种机器人控制方法及电子设备
CN112605986B (zh) * 2020-11-09 2022-04-19 深圳先进技术研究院 自动取货的方法、装置、设备及计算机可读存储介质
CN112605986A (zh) * 2020-11-09 2021-04-06 深圳先进技术研究院 自动取货的方法、装置、设备及计算机可读存储介质
CN112659133A (zh) * 2020-12-31 2021-04-16 软控股份有限公司 一种基于机器视觉的抓胶方法、装置及设备
CN112802093B (zh) * 2021-02-05 2023-09-12 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN112802093A (zh) * 2021-02-05 2021-05-14 梅卡曼德（北京）机器人科技有限公司 对象抓取方法及装置
CN113001559A (zh) * 2021-02-24 2021-06-22 汕头大学 一种带压堵漏机器人自主漏点定位方法
CN113601500A (zh) * 2021-07-12 2021-11-05 广东工业大学 一种单目视觉机器人及应用其的三维匹配定位方法
CN114494392A (zh) * 2022-02-14 2022-05-13 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备以及可读存储介质
CN115995013A (zh) * 2023-03-21 2023-04-21 江苏金恒信息科技股份有限公司 覆盖剂添加方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN107748890A (zh) 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN108509848B (zh) 三维物体的实时检测方法及系统
CN107742102B (zh) 一种基于深度传感器的手势识别方法
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
CN102999152A (zh) 一种手势动作识别方法和系统
Li et al. 3D object recognition and pose estimation from point cloud using stably observed point pair feature
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
CN107798313A (zh) 一种人体姿态识别方法、装置、终端和存储介质
CN108171133A (zh) 一种基于特征协方差矩阵的动态手势识别方法
Wang et al. Real-time hand posture recognition based on hand dominant line using kinect
Zhang et al. Texture-less object detection and 6D pose estimation in RGB-D images
CN109034131A (zh) 一种半自动人脸关键点标注方法及存储介质
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
Blank et al. 6DoF pose-estimation pipeline for texture-less industrial components in bin picking applications
Kurz et al. Representative feature descriptor sets for robust handheld camera localization
Kerdvibulvech A methodology for hand and finger motion analysis using adaptive probabilistic models
CN115293287A (zh) 一种基于车载雷达的对目标进行聚类的方法、存储器及电子装置
CN103295026B (zh) 基于空间局部聚合描述向量的图像分类方法
CN105139013A (zh) 一种融合形状特征和兴趣点的物体识别方法
Zhou et al. Histograms of Gaussian normal distribution for 3D feature matching in cluttered scenes
CN110458177B (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
Zhang et al. Fully automatic system for fish biomass estimation based on deep neural network
Liu et al. Estimation of sunlight direction using 3D object models
Konishi et al. Detection of target persons using deep learning and training data generation for Tsukuba challenge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180302

RJ01 Rejection of invention patent application after publication