CN111667463A - 线缆检测方法、机器人和存储装置 - Google Patents

线缆检测方法、机器人和存储装置 Download PDF

Info

Publication number
CN111667463A
CN111667463A CN202010413466.XA CN202010413466A CN111667463A CN 111667463 A CN111667463 A CN 111667463A CN 202010413466 A CN202010413466 A CN 202010413466A CN 111667463 A CN111667463 A CN 111667463A
Authority
CN
China
Prior art keywords
cables
cable
super
adjacent
superpixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010413466.XA
Other languages
English (en)
Other versions
CN111667463B (zh
Inventor
朱光沸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flexiv Robotics Ltd
Original Assignee
Flexiv Robotics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flexiv Robotics Ltd filed Critical Flexiv Robotics Ltd
Priority to CN202010413466.XA priority Critical patent/CN111667463B/zh
Publication of CN111667463A publication Critical patent/CN111667463A/zh
Priority to PCT/CN2021/093593 priority patent/WO2021228194A1/zh
Priority to US17/925,414 priority patent/US20230186514A1/en
Application granted granted Critical
Publication of CN111667463B publication Critical patent/CN111667463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本申请涉及一种线缆检测方法、机器人和存储装置。所述方法包括：获取线缆的RGB图和对应的深度图；对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素；确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆；判断各线缆是否重叠；以及当检测出线缆重叠时，根据深度图确定检测出的各线缆之间的重叠关系。采用本方法除了能检测出零散放置的线缆以外，还可以对堆叠放置的线缆进行准确检测。

Description

线缆检测方法、机器人和存储装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种线缆检测方法、机器人和存储装置。
背景技术
随着图像处理技术的发展，现在的机器人大部分都具备了图像处理能力。通过机器人检测线缆，并根据检测结果抓取线缆，节省了大量的人力资源。现有的线缆检测方法，通常是基于深度学习和传统机器学习的线缆检测。
然而，传统的线缆检测方法仅适用于零散放置的线缆，而不适用于堆叠放置的线缆。
发明内容
基于此，有必要针对上述技术问题，提供一种能够适用于检测堆叠放置的线缆的线缆检测方法、线缆检测装置、机器人和具有存储功能的装置。
在本申请的一方面，提供一种线缆检测方法，所述方法包括：
获取线缆的RGB图和对应的深度图；
对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；
确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；
判断所述各线缆是否重叠；以及
当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。
在本申请的另一方面，提供一种线缆检测装置，所述装置包括：
获取模块，用于获取线缆的RGB图和对应的深度图；
分割模块，用于对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；
确定模块，用于确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；
判断模块，用于判断所述各线缆是否重叠；以及
所述确定模块还用于当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。
在本申请的另一方面，提供一种机器人，包括存储器、处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序并实现本申请各实施例所述的线缆检测方法的步骤。
在本申请的另一方面，提供一种具有存储功能的装置，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现本申请各实施例所述的线缆检测方法的步骤。
上述线缆检测方法、线缆检测装置、机器人和具有存储功能的装置，通过对获取到的线缆的RGB图进行图像分割，并将RGB图中位置相邻、且像素特征相似的像素点合并为超像素。确定至少部分各超像素与相邻的超像素之间的目标相似度，目标相似度越高，表示超像素与相邻的超像素归属于同一条线缆的概率就越大。进而根据目标相似度检测出RGB图中的各线缆。判断检测出的各线缆是否重叠，当监测到检测出的线缆重叠时，则根据深度图检测出各线缆之间的重叠关系。这样，除了能检测出零散放置的线缆以外，还可以对堆叠放置的线缆进行准确检测。
附图说明
图1为一个实施例中线缆检测方法的应用场景图；
图2为一个实施例中线缆检测方法的流程示意图；
图3为另一个实施例中线缆检测方法的流程示意图；
图4为一个实施例中根据目标相似度检测各线缆的步骤的流程示意图；
图5为一个实施例中根据深度图确定线缆重叠关系的步骤的流程示意图；
图6为一个实施例中线缆检测结果示意图；
图7为一个实施例中线缆检测装置的结构框图；
图8为一个实施例中机器人的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的线缆检测方法，可以应用于如图1所示的应用环境中。该应用环境包括机器人102和若干线缆104。机器人102获取线缆104的RGB图和对应的深度图；机器人102对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素；机器人102确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆104；机器人102判断各线缆104是否重叠；以及当检测出线缆104重叠时，机器人102根据深度图确定检测出的各线缆104之间的重叠关系。
在一个实施例中，如图2所示，提供了一种线缆检测方法，以该方法应用于图1中的机器人102为例进行说明，包括以下步骤：
S202，获取线缆的RGB图和对应的深度图。
具体地，机器人可靠近需要检测的线缆，通过部署在机器人上的摄像机，获取线缆的RGB图和对应的深度图。在一些实施例中，摄像机也可不直接设置在机器人上，而是通过数据传输装置将获取的RGB图传送至机器人。
在一个实施例中，RGB图与深度图对应(例如，在同一位置取景等)，深度图可与RGB图同时获取，也可分别获取。例如，可使用与机器人通信的RGB-D相机同时获取RGB图和对应的深度图。
S204，对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素。
其中，图像分割是将图像细分为多个图像子区域，即像素的集合的过程。超像素是由一系列位置相邻且像素特征相似的像素点组成的小区域。
在一些例子中，像素特征可包括颜色、亮度和纹理等中的至少一种。
具体地，图像分割包括超像素分割，机器人可对获取到RGB图进行超像素分割。机器人可获取各像素点的位置以及像素特征，进而机器人可将位置相邻、且像素特征相似的像素点进行合并，得到超像素。
在一个实施例中，超像素分割可以通过Fast-SLIC(Fast-Simple LinearIterative Clustering，快速简单的线性迭代聚类算法)算法实现，还可以通过其他基于CUDA(Compute Unified Device Architecture，统一计算设备架构)版本的SLIC(SimpleLinear Iterative Clustering，简单的线性迭代聚类算法)算法实现。本实施例对超像素分割的实现算法不做限定。
S206，确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆。
其中，至少部分超像素，是指一部分或者全部超像素。即，可以针对一部分超像素，确定其与相邻的超像素之间的目标相似度，也可以针对全部超像素，确定其与相邻的超像素之间的目标相似度。例如，分割后的超像素可分为属于线缆的超像素和属于环境的超像素，在一些实施例中，可只通过确定属于线缆的超像素与相邻的超像素之间的目标相似度来检测出RGB图中的各线缆。可以理解，在其他实施例中也可通过确定RGB图上的全部超像素与相邻的超像素之间的目标像素度来检测出线缆。
在一些实施例中，目标相似度由视觉相似度和方向相似度中的至少一种决定。即，目标相似度可以由视觉相似度或方向相似度确定，也可以由视觉相似度和方向相似度共同确定。
其中，视觉相似度为当前超像素与相邻的超像素在各自对应的区域内的像素值的相似的置信度。视觉相似度越高表示两个超像素在同一线缆的可能性越大。方向相似度为当前的超像素与相邻的超像素在线缆方向延伸上的置信度。方向相似度越高表示该超像素是属于当前检测线缆上的可能性越大。
在其他实施例中，目标相似度除了可以根据视觉相似度和方向相似度中的至少一种决定以外，还可以根据其他相似度来确定，比如，还可以根据距离相似度确定。
具体地，机器人可获取至少部分超像素与相邻的超像素之间的目标相似度，进而根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆。可以理解，在根据目标相似度依次确定属于各线缆的各超像素的过程，便是检测出RGB图中的各线缆的过程。
S208，判断各线缆是否重叠。
可以理解，对于放置在一起的线缆来说，可能会出现线缆重叠的情况。所以，机器人可以判断各线缆是否重叠。
具体地，机器人在根据分割出的超像素检测线缆时，会将该超像素归属至对应的线缆。当同一个超像素被归属至至少两根线缆时，则判断该超像素对应的线缆重叠。
可以理解，当一个超像素仅被归属至一根线缆时，则判定该超像素对应的线缆不重叠。
S210，当检测出线缆重叠时，根据深度图确定检测出的各线缆之间的重叠关系。
其中，线缆之间的重叠关系，用于表征线缆之间是如何重叠的。
在一个实施例中，线缆之间的重叠关系，可以包括未被压叠和被压叠。
具体地，当机器人检测出线缆重叠时，机器人可以根据深度图检测出重叠的线缆中哪一条线缆属于被压叠，哪一条线缆属于未被压叠。即，针对重叠的线缆，检测出哪一条线缆在上方，哪一条线缆在下方。
可以理解，在其他实施例中，线缆之间的重叠关系，还可以包括线缆之间的具体重叠的位置和重叠程度中的至少一种。
上述线缆检测方法中，通过对获取到的线缆的RGB图进行图像分割，并将RGB图中位置相邻、且像素特征相似的像素点合并为超像素。通过确定至少部分各超像素与相邻的超像素之间的目标相似度，目标相似度越高，表示超像素与相邻的超像素归属于同一条线缆的概率就越大。进而根据目标相似度检测出RGB图中的各线缆。判断检测出的各线缆是否重叠，当监测到检测出的线缆重叠时，则根据深度图检测出各线缆之间的重叠关系。这样，对于零散放置的线缆和堆叠放置的线缆，均能准确检测出来。
此外，由于检测出了重叠的线缆之间的重叠关系，所以，在后续抓取线缆的时候，则可以基于该重叠关系，准确抓取线缆，相较于传统方法，不仅能够准确抓取未重叠的线缆，还可以准确抓取重叠的线缆，因而提高了抓取准确率。
在一个实施例中，如图3所示，提供了一种线缆检测方法，同样以该方法应用于图1中的机器人102为例进行说明，该方法具体包括以下步骤S302～S312：
S302，获取线缆的RGB图和对应的深度图。
可以理解，步骤S302与步骤S202的具体处理类似，在此不再赘述。
S304，对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素。
在一个实施例中，执行步骤S304中将RGB图中位置相邻且像素特征相似的像素点合并为超像素的步骤，具体包括以下步骤：确定预设的超像素数量和超像素形状；确定RGB图中各像素点的位置和像素特征；以及根据预设的超像素数量和超像素形状，将位置相邻且像素特征相似的像素点合并为超像素。
具体地，机器人可确定预设的超像素数量和超像素形状。机器人获取的线缆的RGB图中包括多个像素点，各像素点在RGB图中的位置是唯一的，且每个像素点具备各自的像素特征。机器人可根据预设的超像素数量和超像素形状，将位置相邻且像素特征相似的像素点合并为超像素。可以理解，最后合并得到的超像素的总数量，符合该预设的超像素数量，而且生成的超像素的形状，符合该预设的超像素形状。
比如，假设，预设的超像素的数量为25个，超像素形状为四边形。那么，则可以将位置相邻且像素特征相似的像素点合并，得到25个四边形的超像素。需要说明的是，这里仅以四边形对超像素形状进行示意，并不限定超像素形状必须为四边形，具体可以根据实际需求设置相应的超像素形状，例如其他多边形。
上述实施例中，通过预先设定需要合并的超像素的数量和超像素形状，进而根据预设的超像素数量和超像素形状，将位置相邻、且像素特征相似的像素点进行合并，得到超像素。这样，提高了超像素的合并效率。
S306，确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆。
在一个实施例中，如图4所示，步骤S306包括以下步骤S3061～S3064：
S3061，提取RGB图中各线缆的端点。
具体地，每一根线缆均包括两个端点，机器人在获取到线缆的RGB图后，可提取RGB图中各线缆的端点。机器人可在合并的所有超像素中，查找出各线缆的端点所属的超像素，并将该端点所属的超像素作为线缆检测的检测起始点。
在一个实施例中，线缆的端点检测可为任一种基于深度学习的目标检测算法。比如YOLO(You Only Look Once，目标检测算法)，Fast-RCNN(Fast-Rich featurehierarchies for accurate object detection and semantic segmentation，快速用于精确物体定位和语义分割的丰富特征层次结构)，FCOS(Fully Convolutional One-StageObject Detection，逐像素目标检测算法)或ATSS(Advanced Technical StaffingSolutions，高级技术人员配置解决方案)等。本实施例对线缆的端点检测方法不做限定。
S3062，将各线缆的端点对应的超像素作为对应线缆的检测起始点。
S3063，将检测起始点作为当前点，确定当前点与相邻的多个超像素的目标相似度。
在一个实施例中，步骤S3063包括：确定当前点与相邻的多个超像素之间的视觉相似度和方向相似度；以及根据视觉相似度和方向相似度确定各当前点与相邻的多个超像素之间的目标相似度。
可以理解，超像素之间的目标相似度可以由视觉相似度和/或方向相似度确定。机器人可分别确定当前点与相邻的多个超像素之间的视觉相似度和/或方向相似度。进而，机器人可根据视觉相似度和/或方向相似度，确定各当前点与相邻的多个超像素之间的目标相似度。
在一个实施例中，机器人可以根据视觉相似度和方向相似度的乘积(即线性相乘)，得到目标相似度。可以理解，在其他实施例中，机器人也可以以其他方式处理(例如，分别赋予不同的权重)视觉相似度和方向相似度进行计算，得到当前点与相邻的多个超像素之间的目标相似度。
在一个实施例中，目标相似度的计算公式如下：
total confidence＝visual similarity*direction similarity。
其中，total confidence总置信度，即表示目标相似度；visual similarity表示视觉相似度，direction similarity表示方向相似度。
上述实施例中，通过确定当前点与相邻的多个超像素之间的视觉相似度和方向相似度，以得到超像素之间的目标相似度，根据目标相似度检测线缆，提升了线缆的检测精确度。
在一个实施例中，在根据视觉相似度和方向相似度确定各当前点与相邻的多个超像素之间的目标相似度的步骤之前，该方法还包括：将当前点与相邻的多个超像素之间的视觉相似度与预设相似度阈值进行比对，将视觉相似度超过预设相似度阈值的相邻的超像素，作为备选的相邻的超像素。本实施例中，根据视觉相似度和方向相似度确定各当前点与相邻的多个超像素之间的目标相似度包括：根据备选的超像素对应的视觉相似度和对应的方向相似度，确定各备选的相邻的超像素对应的目标相似度。具体地，机器人可获取预设相似度阈值，并将当前点与相邻的多个超像素之间的视觉相似度与预设相似度阈值进行比对。当相邻的超像素的视觉相似度超过预设相似度阈值时，则将该相邻的超像素作为下一个备选的相邻的超像素。机器人可以根据备选的超像素对应的视觉相似度和对应的方向相似度，确定各备选的相邻的超像素对应的目标相似度。在此实施例中，只有在当前点与一相邻点的视觉相似度超过预设相似度阈值时，才将该相邻点列为备选。即只在该相邻点与当前点视觉相似的情况下才考虑总的目标相似度，避免了直接考虑总的目标相似度的情况下，一些视觉差异很大(即不太可能属于同一线缆)但方向相似度高的超像素被标记为同一线缆的情况。
进一步地，机器人则可以针对备选的相邻的超像素执行步骤S3064，即，针对备选的相邻的超像素，将对应于最高目标相似度的相邻的超像素标记为对应线缆上的点并作为新的当前点。
为了便于理解，现举例说明。比如，预设相似度阈值为0.7，当前超像素对应相邻的超像素有10个。其中，若有4个相邻的超像素与当前超像素之间的视觉相似度超过0.7，则将这4个相邻的超像素作为备选的相邻的超像素。将备选的相邻的超像素对应的视觉相似度和对应的方向相似度进行结合，得到目标相似度。然后，从这4个备选的相邻的超像素中，选择目标相似度最高的相邻的超像素标记为当前线缆上的点，并作为下一个判定超像素之间的相似度的新的当前点。以此类推，直至当前线缆被完整检测出。
在一个实施例中，当前点与相邻的多个超像素之间的视觉相似度的计算方式包括以下任一种：将超像素对应的像素值进行两两比较，得到超像素之间的视觉相似度；将超像素映射到颜色空间，基于颜色空间计算超像素之间的视觉相似度；获取超像素中像素点的像素值对应的直方图，并根据直方图相似的置信度确定超像素之间的视觉相似度。
具体地，两个超像素之间可计算视觉相似度，机器人可直接将超像素对应的像素值进行两两比较，得到超像素之间的视觉相似度。或者，机器人可将超像素映射到颜色空间(比如，CIELab，CIE lab value，表色体系)，进而基于颜色空间计算超像素之间的视觉相似度。其中，CIELab是一个颜色系统，表色体系，基于这个颜色系统之上，可确定某个颜色的数值信息。或者，机器人可获取超像素中像素点的像素值对应的直方图，并根据超像素中像素点的像素值对应的直方图相似的置信度，确定超像素之间的视觉相似度。在一个实施例中，超像素中像素点的像素值对应的直方图，其横坐标可为像素点的像素值，纵坐标可为像素点的数量。
在一个实施例中，视觉相似度可通过比较各超像素中像素点的像素值对应的直方图得到，用S1表示第一个超像素，用S2表示第二个超像素，用H(S1)表示第一个超像素中像素点的像素值对应的直方图，用H(S2)表示第二个超像素中像素点的像素值对应的直方图，则视觉相似度visual similarity(S1,S2)可表示为：
visual similarity(S1,S2)＝∑min(H(S1),H(S2))
上述实施例中，通过比较像素值，或基于颜色空间，或基于直方图确定超像素之间的视觉相似度，使得超像素之间的视觉相似度确定方式更加灵活。
S3064，将对应于最高目标相似度的相邻的超像素标记为对应线缆上的点并作为新的当前点，并返回S3063中确定当前点与相邻的多个超像素的目标相似度的步骤，直至作为当前点的超像素与各相邻的超像素的目标相似度均小于预设目标相似度，从而检测出各线缆的端点对应的线缆。
具体地，每一个当前点，其附近都存在多个相邻的超像素。机器人可分别确定当前点与每一个相邻的超像素的目标相似度。机器人可将计算得到的每一个目标相似度进行排序，并将对应于最高目标相似度的相邻的超像素标记为与当前点位于同一线缆，并作为新的当前点继续进行检测。类似的，新的当前点附近存在多个相邻的超像素。返回执行确定当前点与相邻的多个超像素的目标相似度的步骤，直至当前线缆被完整地检测出来，即得到该线缆的端点对应的线缆。例如，当作为当前点的超像素与各相邻的超像素的目标相似度均小于预设目标相似度，则可认为当前线缆已被完整检测出。
可以理解，线缆的检测是一个循环迭代的过程，机器人将对应于最高目标相似度的相邻的超像素标记为对应线缆上的点并作为新的当前点后，会返回S3063中确定当前点与相邻的多个超像素的目标相似度的步骤，而目标相似度的计算步骤中包括方向相似度的计算，那么，在计算新的当前点与相邻的多个超像素之间的方向相似度时，可以结合已经检测出的同条线缆上的先前点来进行计算。
在一个实施例中，确定当前点与相邻的多个超像素之间的方向相似度的方法可包括：提取预设数量的连续的先前点；并根据各先前点的位置计算对应当前点的参考方向；分别获取当前点和每个相邻的超像素确定的向量；以及根据参考方向以及获取的当前点和每个相邻的超像素确定的向量，确定当前点与相邻的多个超像素之间的方向相似度。
其中，先前点为已检测出的与当前点位于同一线缆的超像素。
具体地，机器人可以从当前点所位于的线缆上提取预设数量的连续的先前点，并根据各先前点的位置计算对应当前点的参考方向。可以理解，根据当前点和每个相邻的超像素可分别确定对应的向量(或方向)，因此，机器人可分别获取根据当前点和每个相邻的超像素所确定的向量。进而，机器人可根据参考方向，以及根据当前点和每个相邻的超像素所生成的向量，计算当前点与相邻的多个超像素之间的方向相似度。
在一个实施例中，机器人可以从当前点所位于的线缆上，按照距离当前点由近到远的顺序提取预设数量的、且连续的先前点。在其他实施例中，机器人也可以从当前点所位于的线缆上，选择随机数量的连续的先前点。
在一个实施例中，机器人可将根据当前超像素和每一个相邻的超像素所生成的向量和参考方向的夹角导入到Von Mises分布(冯·米塞斯分布，即一种圆上连续概率分布模型，也被称作循环正态分布。)中计算方向相似度。方向相似度越大，表示当前的超像素和相邻的超像素在方向上更匹配，更有可能在同一条线缆上。方向相似度可表示为：
direction similarity(S1,S2,rd)＝VonMises(arccos(S2(c)-S1(c),rd),k)
其中，S1表示第一个超像素，S2表示第二个超像素，rd表示参考方向，c表示超像素的中心点的坐标值，S1(c)表示第一个超像素的向量，S2(c)表示第二个超像素的向量，k表示Von Mises分布的参数。应当理解，在其他实施例中也可以使用其他方式计算方向相似度，在此不做限定。
上述实施例中，通过相应数量的超像素计算参考方向，并根据当前的超像素和每个相邻的超像素所生成的向量和参考方向，计算超像素之间的方向相似度。这样，使超像素之间的方向相似度计算更加准确。
在一个实施例中，预设数量为第一预设数量或第二预设数量，在确定当前点与相邻的多个超像素之间的方向相似度的步骤中，首先使用第一预设数量作为预设数量。在步骤S3064，也就是检测出各线缆的端点对应的线缆的步骤后，还可包括：将检测出的该线缆包含的超像素的数量与预设阈值进行比较，当该线缆包含的超像素的数量小于预设阈值时，以第二预设数量作为预设数量，重新对该线缆进行检测，其中第二预设数量小于第一预设数量。
可以理解，经过图像分割之后的线缆由多个超像素构成，比如，一根线缆可包括几十个超像素。机器人可设置一个预设阈值。机器人可将检测出的该线缆包含的超像素的数量与预设阈值进行比较。当检测出的该线缆包含的超像素的数量大于预设阈值时，机器人可继续使用第一预设数量作为预设数量，并根据第一预设数量继续进行线缆检测。当检测出的该线缆包含的超像素的数量小于或等于预设阈值时，机器人可使用小于第一预设数量的第二预设数量作为预设数量，并以第二预设数量重新进行线缆检测。
可以理解，当检测出的该线缆包含的超像素的数量大于预设阈值时，则可以判定该线缆为直线缆，当检测出的该线缆包含的超像素的数量小于或等于预设阈值时，则判定该线缆为弯曲线缆。相当于，针对直线缆和弯曲线缆分别设置了不同的预设数量，即针对直线缆设置的第一预设数量比针对弯曲线缆设置的第二预设数量要大。在确定线缆为弯曲线缆时，更换为较小的第二预设数量来选取先前点，能够使得选取的先前点更有参考性，从而在计算方向相似度时能够更加准确。
为便于理解，现举例说明。假设，预设阈值可设为10，第一预设数量可为16，第二预设数量可为5。那么，可以先以第一预设数量16来选取当前点所在线缆上的先前点进行方向相似度计算。当检测出的该线缆包含的超像素的数量为12(即大于10)时，则可以判定该线缆为直线缆，机器人可继续使用16作为预设数量，并根据16继续进行线缆检测。当检测出的该线缆包含的超像素的数量为8(即小于10)时，则判定该线缆为弯曲线缆。机器人可使用5作为预设数量选取先前点，以重新进行线缆检测。
在本实施例中，我们首先假设线缆较直，以第一预设数量作为预设数量进行检测，当检测出属于线缆的超像素点较少(即小于预设阈值)时，重新使用第二预设数量作为预设数量进行检测，从而避免了该线缆是较弯的线缆的情况下属于该线缆的超像素漏检的情况。通过这样的方式，兼顾了检测的效率和准确性。
应当理解，当检测属于某一条线缆的前几个点(例如，作为起始检测点的线缆的端点或者其后的一两个点)时，可能存在先前点的数量小于预设数量的情况。本领域的技术人员可以理解，在一些实施例中，可以在计算总的目标相似度时暂不引入方向相似度，或者，可以使用所有的先前点计算参考方向。例如，在检测线缆的第二个点时，其先前点只有起始检测点，在这种情况下可不引入方向相似度，只通过视觉相似度确定总的目标相似度来检测第二个点；或者，若预设数量为5，则在检测线缆的第三、第四和第五个点时，可分别只使用两个、三个和四个先前点来确定参考方向。此外，在另一些实施例中，可以人为对各线缆的端点预设参考方向，在检测起始检测点的后一个或若干个超像素时，先使用预设的参考方向计算方向相似度，之后再按照前述实施例中的方法计算后续超像素的参考方向和方向相似度。
上述实施例中，通过确定RGB图中各线缆的端点，并确定各线缆的端点所属的超像素，将端点所属的超像素作为线缆检测的检测起始点。通过循环过程确定出各超像素与相邻的超像素的目标相似度，以根据检测出的超像素，得到RGB图中的线缆。这样，进一步提升了线缆的检测效率。
S308，判断各线缆是否重叠。
可以理解，步骤S308与步骤S208的具体处理类似，即当一个超像素被归属至两根线缆时，则判断该两根线缆重叠。
S310，当检测出线缆重叠时，根据深度图确定检测出的各线缆之间的重叠关系。
在一个实施例中，如图5所示，执行步骤S310包括以下步骤S3101～S3104：
S3101，针对RGB图中任意两条被检测出重叠的线缆，提取两条线缆重合的超像素，并根据深度图确定重合的超像素的第一深度值。
具体地，针对RGB图中任意两条被检测出重叠的线缆，机器人可提取两条线缆重合的超像素，并根据获取到的深度图确定重合的超像素的第一深度值。
在一个实施例中，第一深度值为以重合的超像素的中心点为中心的预设窗口范围内的平均深度值。例如，该预设窗口大小可以为3*3或5*5等。
S3102，从两条线缆上分别提取第三预设数量的相邻的超像素，并根据深度图确定两条线缆上提取的相邻的超像素各自对应的第二深度值。
在一些实施例中，两条线缆上分别提取的相邻的超像素，相对于重合的超像素位于同一侧；不同线缆所提取的相邻的超像素之间一一对应，且相对应的相邻的超像素与重合的超像素之间的距离一致(例如，间隔的超像素数量一致)。
机器人可从两条线缆上分别提取第三预设数量的相邻的超像素，以保证最终检测重叠关系的准确性。机器人根据深度图确定两条线缆上提取的相邻的超像素各自对应的第二深度值。在一些实施例中，第二深度值为以对应的超像素的中心点为中心的预设窗口范围内的平均深度值。例如，该预设窗口大小可以为3*3或5*5等。
S3103，根据第一深度值和第二深度值，分别计算两条线缆上提取的相邻的超像素与重合的超像素之间的深度差距。
具体地，针对重叠的两条线缆来说，机器人可计算重合的超像素对应的第一深度值，分别与每条线缆上的相邻的超像素所对应的第二深度值之间的差值，从而得到两条线缆上提取的相邻的超像素与重合的超像素之间的深度差距。
可以理解，深度差距为一个正值。当第一深度值与第二深度值之间的差值为负值时，则可以对其取绝对值，从而得到相应的深度差距。
S3104，根据深度差距确定检测出的各线缆之间的重叠关系，其中，将重合的超像素归属到两条线缆中对应的深度差距较小的一条，将两条线缆中对应的深度差距较大的一条标记为被压叠。
具体地，机器人可将重合的超像素归属到两条线缆中对应的深度差距较小的一条，并将归属至的这条线缆标记为未被压叠，将两条线缆中对应的深度差距较大的一条标记为被压叠，从而得到这两条线缆之间的重叠关系。可以理解，判断出线缆的重叠关系后，可便于机器人抓取线缆。
例如，机器人可确定比另一条线缆中所对应的相邻的超像素的深度差距小的相邻的超像素。进而，机器人可对深度差距小的相邻的超像素的数量进行统计，并判定数量较大的线缆为未被压叠，另一条线缆为被压叠。
举例说明，重合超像素的深度值为100，取两条线缆在重合超像素同一侧5个相邻的超像素。假如第一条线缆的5个超像素和重合超像素的深度绝对差为[4,6,10，15，18]。第二条线缆的5个超像素和重合超像素的深度绝对差为[8,9,11，15，16]。第一条线缆有3个超像素比第二条线缆更接近重合超像素(即，4<8,6<9，10<11)，故判定第一条线缆未被压叠，第二条线缆则被压叠。
在一个实施例中，第三预设数量为奇数(比如，1个、3个、5个或7个)。执行步骤S3104，也就是根据深度差距确定检测出的各线缆之间的重叠关系的步骤，包括：针对两条线缆中的每条线缆，确定比另一条线缆中所对应的相邻的超像素的深度差距小的相邻的超像素的数量；判定数量较大的线缆为未被压叠，另一条线缆为被压叠。由于第三预设数量为奇数，则必然出现一条线缆对应的相邻的超像素的深度差距小的超像素数量与另一条不同，避免了无法得出检测结果的情况。
在一个实施例中，如图6所示，图中有编号为601-至607的线缆。图6为根据深度图的信息确定线缆之间的重叠关系的判断结果。线缆的检测结果可以点加线的方式进行表示。可以理解，一条线缆和另一条线缆重叠，重叠部分线缆的连接方式为直线，而不是点加线的连接方式。当连接方式为直线时，则表示该线缆在下方被压叠。当连接方式为点加线时，则表示该线缆在上方未被压叠。比如，图6中线缆601和线缆602，重合的超像素a归属于线缆601，则表示线缆601在上方未被压叠，线缆602在下方被压叠。本实施例只是线缆重叠关系的一种示意方式，其对线缆的重叠关系并不限定。
上述实施例中，通过深度图，可分别计算出重合的超像素对应的深度值以及相邻的超像素的深度值。根据深度差距判断线缆之间的重叠关系。这样，可便于根据重叠关系控制机器人抓取线缆，提高抓取效率。
S312，根据各线缆之间的重叠关系，确定与未被压叠的线缆对应的抓取位置和抓取方向，根据抓取位置和抓取方向抓取未被压叠的线缆。
具体地，针对重叠的线缆，机器人在判断出线缆之间的重叠关系后，可确定与未被压叠的线缆对应的抓取位置和抓取方向，并根据抓取位置和抓取方向抓取未被压叠的线缆。可以理解，先抓取未被压叠的、即在上方的线缆，可依次按顺序抓取线缆，避免无规则抓取线缆，使线缆之间互相缠绕，导致抓取困难。
在一个实施例中，当机器人检测出的线缆未重叠时，则机器人可直接抓取未重叠的线缆。
上述实施例中，通过检测结果，调整机器人的抓取位置和抓取方向，并根据调整好的位姿对需要抓取的线缆进行抓取。这样，可提升机器人对线缆的抓取效率。
应该理解的是，虽然图2至图5中的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述图2至图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种线缆检测装置700，包括：获取模块701、分割模块702、确定模块703和判断模块704，其中：
获取模块701，用于获取线缆的RGB图和对应的深度图。
分割模块702，用于对RGB图进行图像分割，并将RGB图中位置相邻且像素特征相似的像素点合并为超像素。
确定模块703，用于确定至少部分超像素与相邻的超像素之间的目标相似度，并根据至少部分超像素与相邻的超像素之间的目标相似度检测出RGB图中的各线缆。
判断模块704，用于判断各线缆是否重叠。
确定模块703还用于当检测出线缆重叠时，根据深度图确定检测出的各线缆之间的重叠关系。
在一个实施例中，确定模块703还用于根据各线缆之间的重叠关系，确定与未被压叠的线缆对应的抓取位置和抓取方向，根据抓取位置和抓取方向抓取未被压叠的线缆。
在一个实施例中，分割模块702还用于确定预设的超像素数量和超像素形状；确定RGB图中各像素点的位置和像素特征；以及根据预设的超像素数量和超像素形状，将位置相邻且像素特征相似的像素点合并为超像素。
在一个实施例中，确定模块703还用于提取RGB图中各线缆的端点；将各线缆的端点对应的超像素作为对应线缆的检测起始点；将检测起始点作为当前点，确定当前点与相邻的多个超像素的目标相似度；以及将对应于最高目标相似度的相邻的超像素标记为对应线缆上的点并作为新的当前点，并返回确定当前点与相邻的多个超像素的目标相似度的步骤，直至作为当前点的超像素与各相邻的超像素的目标相似度均小于预设目标相似度，从而检测出各线缆的端点对应的线缆。
在一个实施例中，确定模块703还用于确定当前点与相邻的多个超像素之间的视觉相似度和方向相似度；以及根据视觉相似度和方向相似度确定各当前点与相邻的多个超像素之间的目标相似度。
在一个实施例中，确定模块703还用于提取预设数量的连续的先前点，先前点为已检测出的与当前点位于同一线缆的超像素，并根据各先前点的位置计算对应当前点的参考方向；分别获取当前点和每个相邻的超像素确定的向量；以及根据参考方向以及获取的当前点和每个相邻的超像素确定的向量，确定当前点与相邻的多个超像素之间的方向相似度。
在一个实施例中，预设数量为第一预设数量或第二预设数量，确定模块603还用于首先使用第一预设数量作为预设数量。
在一个实施例中，确定模块703还用于将检测出的该线缆包含的超像素的数量与预设阈值进行比较，当该线缆包含的超像素的数量小于预设阈值时，以第二预设数量作为预设数量，重新对该线缆进行检测，其中第二预设数量小于第一预设数量。
在一个实施例中，确定模块703还用于针对RGB图中任意两条被检测出重叠的线缆，提取两条线缆重合的超像素，并根据深度图确定重合的超像素的第一深度值；从两条线缆上分别提取第三预设数量的相邻的超像素，并根据深度图确定两条线缆上提取的相邻的超像素各自对应的第二深度值；根据第一深度值和第二深度值，分别计算两条线缆上提取的相邻的超像素与重合的超像素之间的深度差距；以及根据深度差距确定检测出的各线缆之间的重叠关系，其中，将重合的超像素归属到两条线缆中对应的深度差距较小的一条，将两条线缆中对应的深度差距较大的一条标记为被压叠。
在一个实施例中，第三预设数量为奇数；确定模块703还用于针对两条线缆中的每条线缆，确定比另一条线缆中所对应的相邻的超像素的深度差距小的相邻的超像素的数量；判定数量较大的线缆为未被压叠，另一条线缆为被压叠。
上述线缆检测装置，通过对获取到的线缆的RGB图进行图像分割，并将RGB图中位置相邻、且像素特征相似的像素点合并为超像素。通过确定至少部分各超像素与相邻的超像素之间的目标相似度，目标相似度越高，表示超像素与相邻的超像素归属于同一条线缆的概率就越大。进而根据目标相似度检测出RGB图中的各线缆。判断检测出的各线缆是否重叠，当监测到检测出的线缆重叠时，则根据深度图检测出各线缆之间的重叠关系。这样，对于零散放置的线缆和堆叠放置的线缆，均能准确检测出来。
此外，由于检测出了重叠的线缆之间的重叠关系，所以，在后续抓取线缆的时候，则可以基于该重叠关系，准确抓取线缆，相较于传统方法，不仅能够准确抓取未重叠的线缆，还可以准确抓取重叠的线缆，因而提高了抓取准确率。
关于线缆检测装置的具体限定可以参见上文中对于线缆检测方法的限定，在此不再赘述。上述线缆检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于机器人中的处理器中，也可以以软件形式存储于机器人中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种机器人，该机器人可以是上述图1中的机器人102，其内部结构图可以如图8所示。该机器人包括通过系统总线801连接的处理器802、存储器803和图像采集装置804。其中，该机器人的处理器802用于提供计算和控制能力。该机器人的存储器803包括非易失性存储介质8031。该非易失性存储介质8031存储有操作系统8031a和计算机程序8031b。该存储器803为非易失性存储介质8031中的操作系统8031a和计算机程序8031b的运行提供环境。存储器803存储有程序指令，处理器802可执行该程序指令执行前述线缆检测方法的步骤。此处线缆检测方法的步骤可以是上述各个实施例的线缆检测方法中的步骤。图8所示的机器人可以是各类型的机器人，例如工业用机械臂或仿人型机器人等，在此不做限定。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的机器人的限定，具体的机器人可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。例如，图8所示的图像采集装置804和/存储器803可以设置于机器人的内部，也可以位于机器人的外部并以可通信的方式与机器人的处理器802连接。
在一个实施例中，本申请还提供了一种具有存储功能的装置，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述线缆检测方法的步骤。此处线缆检测方法的步骤可以是上述各个实施例的线缆检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种线缆检测方法，其特征在于，所述方法包括：
获取线缆的RGB图和对应的深度图；
对所述RGB图进行图像分割，并将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素；
确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆；
判断所述各线缆是否重叠；以及
当检测出所述线缆重叠时，根据所述深度图确定检测出的各所述线缆之间的重叠关系。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据各所述线缆之间的重叠关系，确定与未被压叠的所述线缆对应的抓取位置和抓取方向，根据所述抓取位置和抓取方向抓取未被压叠的所述线缆。
3.根据权利要求1所述的方法，其特征在于，所述将所述RGB图中位置相邻且像素特征相似的像素点合并为超像素的步骤，包括：
确定预设的超像素数量和超像素形状；
确定所述RGB图中各所述像素点的位置和像素特征；以及
根据所述预设的超像素数量和超像素形状，将位置相邻且像素特征相似的所述像素点合并为超像素。
4.根据权利要求1所述的方法，其特征在于，所述确定至少部分所述超像素与相邻的所述超像素之间的目标相似度，并根据所述至少部分所述超像素与相邻的所述超像素之间的目标相似度检测出所述RGB图中的各线缆的步骤，包括：
提取所述RGB图中各线缆的端点；
将各所述线缆的端点对应的超像素作为对应线缆的检测起始点；
将所述检测起始点作为当前点，确定所述当前点与相邻的多个超像素的目标相似度；以及
将对应于最高目标相似度的相邻的超像素标记为对应线缆上的点并作为新的当前点，并返回所述确定所述当前点与相邻的多个超像素的目标相似度的步骤，直至作为所述当前点的超像素与各相邻的超像素的目标相似度均小于预设目标相似度，从而检测出各所述线缆的所述端点对应的线缆。
5.根据权利要求4所述的方法，其特征在于，所述确定所述当前点与相邻的多个超像素的目标相似度的步骤，包括：
确定所述当前点与相邻的多个超像素之间的视觉相似度和方向相似度；以及
根据所述视觉相似度和所述方向相似度确定各所述当前点与相邻的多个超像素之间的目标相似度。
6.根据权利要求5所述的方法，其特征在于，确定所述当前点与相邻的多个超像素之间的方向相似度的步骤，包括：
提取预设数量的连续的先前点，所述先前点为已检测出的与所述当前点位于同一线缆的超像素，并根据各所述先前点的位置计算对应所述当前点的参考方向；
分别获取所述当前点和每个相邻的超像素确定的向量；以及
根据所述参考方向以及获取的所述当前点和每个相邻的超像素确定的向量，确定所述当前点与相邻的多个超像素之间的方向相似度。
7.根据权利要求6所述的方法，其特征在于，所述预设数量为第一预设数量或第二预设数量，在所述确定所述当前点与相邻的多个超像素之间的方向相似度的步骤中，首先使用所述第一预设数量作为预设数量；
在所述检测出各所述线缆的所述端点对应的线缆的步骤后，还包括：
将检测出的该线缆包含的超像素的数量与预设阈值进行比较，当所述该线缆包含的超像素的数量小于预设阈值时，以所述第二预设数量作为预设数量，重新对所述该线缆进行检测，其中所述第二预设数量小于所述第一预设数量。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述根据所述深度图确定检测出的各所述线缆之间的重叠关系的步骤，包括：
针对所述RGB图中任意两条被检测出重叠的线缆，提取所述两条线缆重合的超像素，并根据所述深度图确定所述重合的超像素的第一深度值；
从所述两条线缆上分别提取第三预设数量的相邻的超像素，并根据所述深度图确定所述两条线缆上提取的相邻的超像素各自对应的第二深度值；
根据所述第一深度值和所述第二深度值，分别计算所述两条线缆上提取的所述相邻的超像素与所述重合的超像素之间的深度差距；以及
根据所述深度差距确定检测出的各所述线缆之间的重叠关系，其中，将所述重合的超像素归属到所述两条线缆中对应的所述深度差距较小的一条，将所述两条线缆中对应的所述深度差距较大的一条标记为被压叠。
9.根据权利要求8所述的方法，其特征在于，所述第三预设数量为奇数；
所述根据所述深度差距确定检测出的各所述线缆之间的重叠关系的步骤，包括：
针对所述两条线缆中的每条线缆，确定比另一条线缆中所对应的相邻的超像素的深度差距小的相邻的超像素的数量；
判定所述数量较大的线缆为未被压叠，另一条线缆为被压叠。
10.根据权利要求8所述的方法，其特征在于：
所述第一深度值为以所述重合的超像素的中心点为中心的预设窗口范围内的平均深度值；
所述第二深度值为以对应的超像素的中心点为中心的预设窗口范围内的平均深度值。
11.一种机器人，包括存储器、处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于执行所述计算机程序并实现权利要求1至10中任一项所述的方法的步骤。
12.一种具有存储功能的装置，用于存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202010413466.XA 2020-05-15 2020-05-15 线缆检测方法、机器人和存储装置 Active CN111667463B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010413466.XA CN111667463B (zh) 2020-05-15 2020-05-15 线缆检测方法、机器人和存储装置
PCT/CN2021/093593 WO2021228194A1 (zh) 2020-05-15 2021-05-13 线缆检测方法、机器人和存储装置
US17/925,414 US20230186514A1 (en) 2020-05-15 2021-05-13 Cable detection method, robot and storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413466.XA CN111667463B (zh) 2020-05-15 2020-05-15 线缆检测方法、机器人和存储装置

Publications (2)

Publication Number Publication Date
CN111667463A true CN111667463A (zh) 2020-09-15
CN111667463B CN111667463B (zh) 2023-12-15

Family

ID=72383782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413466.XA Active CN111667463B (zh) 2020-05-15 2020-05-15 线缆检测方法、机器人和存储装置

Country Status (1)

Country Link
CN (1) CN111667463B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112502A (zh) * 2021-05-11 2021-07-13 上海非夕机器人科技有限公司 线缆检测方法、机器人和具有存储功能的装置
WO2021228194A1 (zh) * 2020-05-15 2021-11-18 上海非夕机器人科技有限公司 线缆检测方法、机器人和存储装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584281A (zh) * 2018-10-30 2019-04-05 江苏大学 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法
CN110617772A (zh) * 2019-10-09 2019-12-27 南京天创电子技术有限公司 一种非接触式线径测量装置及方法
CN111127548A (zh) * 2019-12-25 2020-05-08 深圳市商汤科技有限公司 抓取位置检测模型训练方法、抓取位置检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584281A (zh) * 2018-10-30 2019-04-05 江苏大学 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法
CN110617772A (zh) * 2019-10-09 2019-12-27 南京天创电子技术有限公司 一种非接触式线径测量装置及方法
CN111127548A (zh) * 2019-12-25 2020-05-08 深圳市商汤科技有限公司 抓取位置检测模型训练方法、抓取位置检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴晟杰 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021228194A1 (zh) * 2020-05-15 2021-11-18 上海非夕机器人科技有限公司 线缆检测方法、机器人和存储装置
CN113112502A (zh) * 2021-05-11 2021-07-13 上海非夕机器人科技有限公司 线缆检测方法、机器人和具有存储功能的装置
CN113112502B (zh) * 2021-05-11 2023-10-20 上海非夕机器人科技有限公司 线缆检测方法、机器人和具有存储功能的装置

Also Published As

Publication number Publication date
CN111667463B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN113658132B (zh) 基于计算机视觉的结构件焊缝检测方法
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
US9639927B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
US9576363B2 (en) Object picking system, object detecting device, object detecting method
CN110321933B (zh) 一种基于深度学习的故障识别方法和装置
EP3249579A1 (en) Object recognition apparatus, objection recognition method, and program
CN111598889B (zh) 均压环倾斜故障的识别方法、装置、计算机设备
US20230186514A1 (en) Cable detection method, robot and storage device
CN111667463B (zh) 线缆检测方法、机器人和存储装置
CN110866932A (zh) 多通道舌体边缘检测装置、方法及存储介质
KR20080032856A (ko) 조선소 소조립 용접부재 위치 인식 방법
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
JP2018124184A (ja) ハーネス認識装置、及びハーネス認識方法
CN114693529B (zh) 一种图像拼接方法、装置、设备及存储介质
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN109063598A (zh) 人脸毛孔检测方法、装置、计算机设备和存储介质
CN110826571A (zh) 一种用于图像快速识别及特征匹配的图像遍历算法
CN109313708B (zh) 图像匹配方法和视觉系统
US20240005548A1 (en) Information processing apparatus, three-dimensional position estimation method, and a non-transitory computer-readable medium
CN111401341B (zh) 一种基于视觉的减速带检测方法、装置及其存储介质
CN112785595B (zh) 目标属性检测、神经网络训练及智能行驶方法、装置
CN110956664A (zh) 一种手持式三维扫描系统的相机位置实时重定位方法
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN113112502B (zh) 线缆检测方法、机器人和具有存储功能的装置
CN115187867A (zh) 一种基于深度学习的多源遥感图像融合方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant