CN112990148B - 智能搬运机器人目标识别方法及系统 - Google Patents

智能搬运机器人目标识别方法及系统 Download PDF

Info

Publication number
CN112990148B
CN112990148B CN202110495644.2A CN202110495644A CN112990148B CN 112990148 B CN112990148 B CN 112990148B CN 202110495644 A CN202110495644 A CN 202110495644A CN 112990148 B CN112990148 B CN 112990148B
Authority
CN
China
Prior art keywords
target
image
fused
images
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110495644.2A
Other languages
English (en)
Other versions
CN112990148A (zh
Inventor
雷思敏
张家亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202110495644.2A priority Critical patent/CN112990148B/zh
Publication of CN112990148A publication Critical patent/CN112990148A/zh
Application granted granted Critical
Publication of CN112990148B publication Critical patent/CN112990148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种智能搬运机器人目标识别方法及系统，所述方法包括：获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；分别提取图像序列中同一目标对应的目标图像；分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个目标图像的亮度校正；判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。本发明通过图像融合和亮度校正来对待识别目标进行处理，在保留目标原有色彩特征的基础上实现不同目标之间颜色的最大区分，提高对光照变化的适应性和目标识别的准确率。

Description

智能搬运机器人目标识别方法及系统
技术领域
本发明属于机器视觉技术领域，具体涉及一种智能搬运机器人目标识别方法及系统。
背景技术
目前移动机器人已在工业自动化中有诸多应用，比如仓储物流系统中货物的分拣、搬运、工厂流水线加工等，大大降低了人力劳动成本。移动机器人通常设计为可远程控制或自动控制，基于机器视觉的移动机器人控制已成为机器人相关产业的重要方向。
而在对目标颜色进行识别时，外界环境条件如光照、背景等可能会发生变化，即便在同样的环境条件下在不同角度、位置看到的同一目标的光线条件也会有差异定，对目标颜色和明暗度产生影响，尤其是对于表面光滑、易反光的目标，会影响机器人对目标识别的准确度和目标定位精度。
发明内容
有鉴于此，本发明提出了一种智能搬运机器人目标识别方法及系统，用于解决光照条件不稳定下机器人对目标的颜色识别误差过大的问题。
本发明第一方面，公开一种智能搬运机器人目标识别方法，所述方法包括：
获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；
分别提取图像序列中同一目标对应的目标图像及对应的LAB值；
分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；
基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正；
判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。
优选的，所述分别提取图像序列中同一目标对应的目标图像及对应的LAB值具体为：
提取图像序列中的各个图像的特征并进行特征匹配，确定不同图像中同一目标对应的特征；
分别计算每张图像中背景图像和多个不同目标之间的最优分割阈值，基于所述最优分割阈值分别对同一图像中不同目标进行多阈值分割；
分别提取不同图像中同一目标分割出的区域作为目标图像，获取对应的LAB值。
优选的，所述对不同图像中同一目标对应的目标图像进行特征融合及拼接具体为：
对不同图像中同一目标对应的目标图像进行畸变校正和图像配准；
从不同图像中同一目标对应的目标图像中选取亮度分布最均匀、清晰度高于预设阈值的一张目标图像作为基准图像；
以基准图像为参照，提取同一目标的其余目标图像与基准图像的重叠区域和非重叠区域，对重叠区域进行特征融合，对非重叠区域进行特征拼接，在特征融合和特征拼接的过程中进行初步平滑校正得到融合后的目标图像。
优选的，所述对重叠区域进行特征融合，对非重叠区域进行特征拼接具体为：
分别对不同图像中同一目标对应的目标图像进行相同尺度的网格划分，计算各个网格中像素的亮度均值；
统计各个图像中各个网格亮度均值的总体分布特征，提取亮度分布在预设置信度区间之外的网格；
筛选出与基准图像存在重叠区域的目标图像，将亮度分布在预设置信度区间之外的网格从筛选出的目标图像中剔除，按照重叠区域中亮度分布在预设置信度区间之外的网格所占的面积与重叠区域面积的比值由小到大的顺序对筛选出的目标图像排序；
按照目标图像排序依次将目标图像与基准图像进行加权融合，直到融合后的区域最大程度的覆盖基准图像，若基准图像中存在非重叠区域，将非重叠区域与融合后的区域拼接，直到与基准图像融合拼接完成。
优选的，所述基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正具体为：
获取待识别区域不同目标对应的融合后的目标图像中各个像素的LAB值，并映射到同一个以L、A、B为分量的球形颜色空间中；
以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，采用优化算法计算各个目标的最优亮度调节系数；
基于各个目标的最优亮度调节系数分别对各个融合后的目标图像进行亮度校正。
优选的，所述采用优化算法计算各个目标的最优亮度调节系数具体为：
以不同目标的亮度调节系数wi组成的向量作为黏菌优化算法的个体，初始化种群，设定搜索范围[LB,UB]；
模拟黏菌的扩散和觅食行为，并引入天牛须搜索算子进行种群位置更新，位置更新公式为：
Figure GDA0003143830340000031
Xt表示当前位置，Xb表示当前最优位置，Xt+1表示更新后的位置，XA、XB表示随机选取的两个个体位置，rand、z、r、p均为(0,1)之间的常数，W、vb、vc、δt均为可调节参数，g为目标函数，
Figure GDA0003143830340000032
为天牛须方向向量，
Figure GDA0003143830340000033
Figure GDA0003143830340000034
d0为天牛须两须之间的距离；
以所述优化目标为适应度函数进行迭代运算，输出全局最优解作为各个目标的最优亮度调节系数；
设n为待识别区域的目标总数，fi(x,y)为目标i对应的融合后的目标图像，wi为目标i的最优亮度调节系数，i＝1,2,…,n，校正后的图像为Fi(x,y)＝wifi(x,y)。
优选的，所述优化目标为：
Figure GDA0003143830340000041
Ni为第i个目标的像素个数，μij为第i个目标第j个像素的值，μi为校正后第i个目标的像素均值，μT为校正后n个目标的像素均值，pi为第i个目标的像素个数占n个目标的像素个数总和的比例。
本发明第二方面，公开一种智能搬运机器人目标识别系统，所述系统包括：
数据获取模块：用于获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；
图像处理模块：用于分别提取图像序列中同一目标对应的目标图像及对应的LAB值；
图像融合模块：用于分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；
图像校正模块：用于基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正；
目标识别模块：用于判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。
本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。
本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。
本发明相对于现有技术具有以下有益效果：
1)本发明通过机器人移动过程中在不同位置采集的同一区域的多角度图像序列进行特征匹配与多阈值分割，提取同一目标的多个目标图像进行图像融合，在图像融合过程中剔除了亮度分布在预设置信度之外的网格，平衡光照，减少目标图像因光线明暗变化或周围环境光线遮挡变化带来的光斑或阴影、反光等问题，使目标更接近实际颜色；本发明实现了在LAB空间融合同一目标、不同角度的亮度和色彩，减少因角度、位置不佳带来的光线差异对目标识别的影响，增强对光线变化的适应性；
2)本发明在图像融合的基础上，通过在黏菌优化算法中引入天牛须算法来改进寻优算法，加快算法收敛速度，从而快速计算出不同目标之间的最优亮度调节系数，在该最优亮度调节系数下，图像A、B通道的颜色值处于图像颜色识别的最佳范围内，因此本发明基于最佳亮度调节系数进一步校正目标图像，在保留目标原有色彩特征的基础上实现不同目标之间颜色的最大区分；
3)本发明可同时兼顾不同目标之间的颜色准确区分和同一目标的颜色准确识别，提高智能搬运机器人目标识别准确率；
4)本发明可一次性同时识别某一区域内多个不同目标的颜色，不需要每次搬运重复识别，提高智能搬运机器人的搬运效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的智能搬运机器人目标识别方法流程示意图；
图2为LAB球形颜色空间示意图；
图3为不同算法的收敛性能比较结果；
图4智能搬运机器人目标识别系统结构示意图；
图5为本发明实施例使用的智能搬运机器人立体图；
图6为本发明实施例的待识别区域物块示意图；
图7为本发明实施例提供的不同光照条件下测试结果对比图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明公开一种智能搬运机器人目标识别方法，所述方法包括：
S1、获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间。
首先将预处理后的图像序列由RGB色彩空间转换至XYZ空间，然后将XYZ空间的图像序列转换至LAB色彩空间。
S2、分别提取图像序列中同一目标对应的目标图像及对应的LAB值。
具体的，提取图像序列中的各个图像的特征并进行特征匹配，确定不同图像中同一目标对应的特征；分别计算每张图像中背景图像和多个不同目标之间的最优分割阈值，基于所述最优分割阈值分别对同一图像中不同目标进行多阈值分割；分别提取不同图像中同一目标分割出的区域作为目标图像，获取对应的LAB值。
S3、分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像。
步骤S3具体包括如下分步骤：
S31、对不同图像中同一目标对应的目标图像进行畸变校正和图像配准；
S32、从不同图像中同一目标对应的目标图像中选取亮度分布最均匀、清晰度高于预设阈值的一张目标图像作为基准图像；
S33、以基准图像为参照，提取同一目标的其余目标图像与基准图像的重叠区域和非重叠区域；
S34、对重叠区域进行特征融合，对非重叠区域进行特征拼接，在特征融合和特征拼接的过程中进行初步平滑校正得到融合后的目标图像。
步骤S34进一步包括如下步骤：
S341、分别对不同图像中同一目标对应的目标图像进行相同尺度的网格划分，计算各个网格中像素的亮度均值；
S342、统计各个图像中各个网格亮度均值的总体分布特征，提取亮度分布在预设置信度区间之外的网格；
S343、筛选出与基准图像存在重叠区域的目标图像，将亮度分布在预设置信度区间之外的网格从筛选出的目标图像中剔除，按照重叠区域中亮度分布在预设置信度区间之外的网格所占的面积与重叠区域面积的比值由小到大的顺序对筛选出的目标图像排序；
S344、按照目标图像排序依次将目标图像与基准图像进行加权融合，直到融合后的区域最大程度的覆盖基准图像，若基准图像中还存在非重叠区域，将非重叠区域与融合后的区域拼接，在进行拼接处理之前采用渐入渐出的平滑算法，使图像在拼接处的光强平滑过渡，实现图像无缝拼接，直到与基准图像融合拼接完成。
本发明通过机器人移动过程中在不同位置采集的同一区域的多角度图像序列进行特征匹配与多阈值分割，提取同一目标的多个目标图像进行图像融合，在图像融合过程中剔除了亮度分布在预设置信度之外的网格，平衡光照，融合拼接后的目标更接近实际颜色且无光斑和阴影，相较于单一角度的图像颜色识别，这种多角度融合拼接方式可有效适应光线明暗变化，减少环境因素对移动机器人目标识别的影响。
S4、基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正。
步骤S4包括如下步骤：
S41、获取待识别区域不同目标对应的融合后的目标图像中各个像素的LAB值，并映射到同一个以L、A、B为分量的球形颜色空间中。
S42、基于球形颜色空间中目标图像中各个像素的LAB值，以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，采用优化算法计算各个目标的最优亮度调节系数。
步骤S42进一步包括如下步骤：
S421、以不同目标的亮度调节系数wi组成的向量作为黏菌优化算法的粒子，初始化种群，种群数量为M，设定搜索范围[LB,UB]，其中每个亮度调节系数的范围为
Figure GDA0003143830340000081
Li_max、Li_min、Li_mean分别为目标i的亮度最大值、最小值、均值；因此也可统一取搜索范围下限LB为
Figure GDA0003143830340000082
上限UB＝1。
S422、以所述优化目标为适应度函数计算种群中各个个体的适应度值并升序排列，将适应度最小的作为当前迭代最优位置，比较历次迭代的最优位置，得到历史最优位置；具体的，所述优化目标为：
Figure GDA0003143830340000083
Ni为第i个目标的像素个数，μij为第i个目标第j个像素的值，μi为校正后第i个目标的像素均值，μT为校正后n个目标的像素均值，pi为第i个目标的像素个数占n个目标的像素个数总和的比例。
S423、模拟黏菌的扩散和觅食行为，并引入天牛须搜索算子进行种群位置更新，位置更新公式为：
Figure GDA0003143830340000091
t表示当前迭代次数，Xt表示当前位置，Xb表示当前最优位置，Xt+1表示更新后的位置；XA、XB表示随机选取的两个个体位置。rand、z、r、p均为[0,1]之间的数，其中rand、r均为[0,1]之间的随机数，p＝tanh|g(Xt)-g(Xb)|，z为预先设好的参数。Wt、vb、vc、δt均为可调节参数，其中
Figure GDA0003143830340000092
Tmax为最大迭代次数，vc在[-1,1]之内振荡变化最后收敛至0，
Figure GDA0003143830340000093
Figure GDA0003143830340000094
表示当前适应度排序(升序)中排在前一半的种群，δt为天牛须算子第t次迭代的步长。g为目标函数，sign为符号函数，
Figure GDA0003143830340000095
为天牛须方向向量，
Figure GDA0003143830340000096
Figure GDA0003143830340000097
Figure GDA0003143830340000098
分别代表天牛的右须和左须，d0为天牛须两须之间的距离。
S424、重新计算适应度值，并更新当前最优位置和历史最优位置。
S425、判断是否达到结束条件，若达到结束条件，输出全局最优解作为各个目标的最优亮度调节系数；若否返回步骤S422，直到模型收敛于全局最优解。
S43、基于各个目标的最优亮度调节系数分别对各个融合后的目标图像进行亮度校正。
设n为待识别区域的目标总数，fi(x,y)为目标i对应的融合后的目标图像，wi为目标i的最优亮度调节系数，i＝1,2,…,n，校正后的图像为Fi(x,y)＝wifi(x,y)。
将上述优化算法称为黏菌-天牛须优化算法(SMA-BAS)，为了证明改进的黏菌-天牛须优化算法的收敛性，将黏菌-天牛须优化算法与常规黏菌优化算法(SMA)、天牛须优化算法(BAS)进行了比较，请参阅图3的收敛曲线比较结果，其中横轴表示迭代次数t，纵轴表示与当前迭代次数t对应的最优适应度评分(best score)，结果显示黏菌-天牛须优化算法的收敛性良好。
本发明在LAB球形颜色空间中以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，通过在黏菌优化算法中引入天牛须优化算法来改进寻优算法，利用天牛须算子对方向的判断能力使当前黏菌个体朝着最优个体方向运动，有效加快算法收敛速度；同时，由Xt+1的位置更新公式可知，黏菌-天牛须优化算法通过多个随机参数进行搜索范围调节，从三个方面进行位置更新，可扩大寻优范围，弥补了天牛须优化算法易陷入局部最优解的不足，两者结合有取长补短的效果，实现算法收敛速度和全局最优的平衡，从而快速寻找出出不同目标之间的最优亮度调节系数。在该最优亮度调节系数下，图像A、B通道的颜色值处于图像颜色识别的最佳范围内，在保留目标原有色彩特征的基础上实现不同目标之间颜色的最大程度区分，提高颜色识别的准确性。
S5、判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。
将各个目标校正后的目标图像的LAB值与预先标定的各种颜色的标准颜色区间范围进行比较，若目标图像的LAB值落入某一标准颜色区间范围内，则判定目标的颜色是该颜色区间对应的颜色。
本发明多角度图像序列进行特征匹配与多阈值分割，对同一目标，提取的多个目标图像进行图像融合；对不同目标，计算不同目标之间的最优亮度调节系数，使在最优亮度调节系数下，图像A、B通道的颜色值处于图像颜色识别的最佳范围内，因此本发明可同时兼顾不同目标之间的颜色准确区分和同一目标的颜色准确识别，且一次性同时识别某一区域内多个不同目标的颜色，不需要每次搬运重复识别，提高智能搬运机器人的基于颜色的目标识别准确率和搬运效率。
与所述方法实施例相对应，本发明还公开一种智能搬运机器人目标识别系统，请参阅图4，所述系统包括：
数据获取模块10：用于获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；
图像处理模块20：用于分别提取图像序列中同一目标对应的目标图像及对应的LAB值；
图像融合模块30：用于分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；
图像校正模块40：用于基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个目标图像的亮度校正；
目标识别模块50：用于判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。
下面结合具体实验验证本发明的目标识别效果，请参阅图5，图5为本实施例使用的智能搬运机器人立体图，该搬运机器人为六自由度机器人，底部装有四个麦克纳姆轮，可以向任意方向移动，末端执行器为机械抓手，机器人上安装有摄像头。
机器人执行搬运任务时，首先移动至指定位置通过摄像头识别二维码的方式领取搬运任务，搬运任务要求按照指定的顺序搬运多个物块，每个物块只有一个颜色，然后向存放物料的待识别区域移动，本实施例中待识别区域示意图如图6所示。机器人在移动过程中采集待识别区域的多角度图像序列，通过本发明前述的智能搬运机器人目标识别方法对待识别区域的目标进行颜色识别，然后根据搬运任务依次完成搬运。基于同样的搬运任务，本发明在不同光照条件下对本发明前述的智能搬运机器人目标识别方法进行了多组测试实验，并与传统的灰色传感器颜色识别方法进行对比。每次测试时，以每次搬运任务中搬运正确的物块占搬运物块总数的比例作为正确率，设定不同的光照条件，光照由暗到明，图7为不同光照条件下测试结果对比图。由图可知传统的基于灰度传感器的颜色识别方法，在光线较暗、光线变化、或光线过强时识别准确率均较差，且有一定的随机性，仅仅在光线条件较好的一小段光照范围内识别准确率较好。而本发明的方法除了在光线极暗或极强下准确率有所下降外，在较宽的光线变化范围内，均有较好的颜色识别准确率，且光线变化时识别率较为稳定，受其他影响较小。
本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种智能搬运机器人目标识别方法，其特征在于，所述方法包括：
获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；
分别提取图像序列中同一目标对应的目标图像；
分别对同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；
基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的最优亮度调节系数，并进行各个融合后的目标图像的亮度校正；
判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。
2.根据权利要求1所述智能搬运机器人目标识别方法，其特征在于，所述分别提取图像序列中同一目标对应的目标图像具体为：
提取图像序列中的各个图像的特征并进行特征匹配，确定不同图像中同一目标对应的特征；
分别计算每张图像中背景图像和多个不同目标之间的最优分割阈值，基于所述最优分割阈值分别对同一图像中不同目标进行多阈值分割；
分别提取不同图像中同一目标分割出的区域作为目标图像，获取对应的LAB值。
3.根据权利要求1所述智能搬运机器人目标识别方法，其特征在于，所述分别对同一目标对应的目标图像进行特征融合及拼接具体为：
对不同图像中同一目标对应的目标图像进行畸变校正和图像配准；
从不同图像中同一目标对应的目标图像中选取亮度分布最均匀、清晰度高于预设阈值的一张目标图像作为基准图像；
以基准图像为参照，提取同一目标的其余目标图像与基准图像的重叠区域和非重叠区域，对重叠区域进行特征融合，对非重叠区域进行特征拼接，在特征融合和特征拼接的过程中进行初步平滑校正得到融合后的目标图像。
4.根据权利要求3所述智能搬运机器人目标识别方法，其特征在于，所述对重叠区域进行特征融合，对非重叠区域进行特征拼接具体为：
分别对不同图像中同一目标对应的目标图像进行相同尺度的网格划分，计算各个网格中像素的亮度均值；
统计各个图像中各个网格亮度均值的总体分布特征，提取亮度分布在预设置信度区间之外的网格；
筛选出与基准图像存在重叠区域的目标图像，将亮度分布在预设置信度区间之外的网格从筛选出的目标图像中剔除，按照重叠区域中亮度分布在预设置信度区间之外的网格所占的面积与重叠区域面积的比值由小到大的顺序对筛选出的目标图像排序；
按照目标图像排序依次将目标图像与基准图像进行加权融合，直到融合后的区域最大程度的覆盖基准图像，若基准图像中存在非重叠区域，将非重叠区域与融合后的区域拼接，直到与基准图像融合拼接完成。
5.根据权利要求1所述智能搬运机器人目标识别方法，其特征在于，所述基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数，并进行各个目标图像的亮度校正具体为：
获取待识别区域不同目标对应的融合后的目标图像中各个像素的LAB值并映射到同一个以L、A、B为分量的球形颜色空间中；
以不同目标的类内像素方差之和最小且类间像素方差最大为优化目标，采用优化算法计算各个目标的最优亮度调节系数；
基于各个目标的最优亮度调节系数分别对各个融合后的目标图像进行亮度调节校正。
6.根据权利要求5所述智能搬运机器人目标识别方法，其特征在于，所述采用优化算法计算各个目标的最优亮度调节系数具体为：
以不同目标的亮度调节系数wi组成的向量作为黏菌优化算法的个体，初始化种群，设定搜索范围[LB,UB]；
模拟黏菌的扩散和觅食行为，并引入天牛须搜索算子进行种群位置更新，位置更新公式为：
Figure FDA0003143830330000031
Xt表示当前位置，Xb表示当前最优位置，Xt+1表示更新后的位置，XA、XB表示随机选取的两个个体位置，rand、z、r、p均为(0,1)之间的常数，W、vb、vc、δt均为可调节参数，g为目标函数，
Figure FDA0003143830330000032
为天牛须方向向量，
Figure FDA0003143830330000033
Figure FDA0003143830330000034
d0为天牛须两须之间的距离；
以所述优化目标为适应度函数进行迭代运算，输出全局最优解作为各个目标的最优亮度调节系数；
设n为待识别区域的目标总数，fi(x,y)为目标i对应的融合后的目标图像，wi为目标i的最优亮度调节系数，i＝1,2,…,n，校正后的图像为Fi(x,y)＝wifi(x,y)。
7.根据权利要求5所述智能搬运机器人目标识别方法，其特征在于，所述优化目标为：
Figure FDA0003143830330000035
Ni为第i个目标的像素个数，μij为第i个目标第j个像素的值，μi为校正后第i个目标的像素均值，μT为校正后n个目标的像素均值，pi为第i个目标的像素个数占n个目标的像素个数总和的比例。
8.一种使用权利要求1～7任一项所述方法的智能搬运机器人目标识别系统，其特征在于，所述系统包括：
数据获取模块：用于获取机器人在不同位置采集的待识别区域的多角度图像序列，对图像序列进行预处理，转换到LAB色彩空间；
图像处理模块：用于分别提取图像序列中同一目标对应的目标图像及对应的LAB值；
图像融合模块：用于分别对图像序列中同一目标对应的目标图像进行特征融合及拼接，得到融合后的目标图像；
图像校正模块：用于基于各个融合后的目标图像的LAB值计算各个融合后的目标图像的亮度调节系数并进行各个融合后的目标图像的亮度校正；
目标识别模块：判断校正后的目标图像的LAB值所属的颜色区间，识别目标对应的颜色。
9.一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1～7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现权利要求1～7任一项所述的方法。
CN202110495644.2A 2021-05-07 2021-05-07 智能搬运机器人目标识别方法及系统 Active CN112990148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110495644.2A CN112990148B (zh) 2021-05-07 2021-05-07 智能搬运机器人目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110495644.2A CN112990148B (zh) 2021-05-07 2021-05-07 智能搬运机器人目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN112990148A CN112990148A (zh) 2021-06-18
CN112990148B true CN112990148B (zh) 2021-08-03

Family

ID=76337188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110495644.2A Active CN112990148B (zh) 2021-05-07 2021-05-07 智能搬运机器人目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN112990148B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113863068B (zh) * 2021-07-19 2023-04-14 石家庄铁道大学 一种弹条ⅲ型扣件的智能安装及拆卸装置及方法
CN114266704B (zh) * 2021-09-18 2024-01-30 长春理工大学 自适应光斑消除方法
CN115115893B (zh) * 2022-07-26 2023-01-31 金乡县富通金属回收有限公司 用于废金属回收的智能分选方法
CN116977998A (zh) * 2023-07-27 2023-10-31 江苏苏力机械股份有限公司 涂装生产线工件上件视觉识别系统及识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104535047A (zh) * 2014-09-19 2015-04-22 燕山大学 基于视频拼接的多智能体目标跟踪全局定位系统及方法
CN106530265A (zh) * 2016-11-08 2017-03-22 河海大学 一种基于色度坐标的自适应图像融合方法
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
CN108133460B (zh) * 2017-11-21 2021-10-12 武汉中元华电科技股份有限公司 一种适用于电力作业机器人的颜色型状态指示器识别方法
CN109409289A (zh) * 2018-10-26 2019-03-01 国网四川省电力公司电力科学研究院 一种电力作业安全监督机器人安全作业识别方法及系统
JP7277116B2 (ja) * 2018-11-29 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN110020985B (zh) * 2019-04-12 2023-06-02 广西师范大学 一种双目机器人的视频拼接系统及方法
CN112200035B (zh) * 2020-09-29 2023-09-05 深圳市优必选科技股份有限公司 用于模拟拥挤场景的图像获取方法、装置和视觉处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104535047A (zh) * 2014-09-19 2015-04-22 燕山大学 基于视频拼接的多智能体目标跟踪全局定位系统及方法
CN106530265A (zh) * 2016-11-08 2017-03-22 河海大学 一种基于色度坐标的自适应图像融合方法
CN109361855A (zh) * 2018-10-24 2019-02-19 深圳六滴科技有限公司 全景图像像素亮度校正方法、装置、全景相机和存储介质

Also Published As

Publication number Publication date
CN112990148A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112990148B (zh) 智能搬运机器人目标识别方法及系统
US11144787B2 (en) Object location method, device and storage medium based on image segmentation
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
US10325351B2 (en) Systems and methods for normalizing an image
CN107622502B (zh) 复杂光照条件下视觉导引系统的路径提取与识别方法
CN110569696A (zh) 用于车辆部件识别的神经网络系统、方法和装置
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN112164117A (zh) 一种基于Kinect相机的V-SLAM位姿估算方法
CN110619336B (zh) 基于图像处理的货品识别算法
CN112907667A (zh) 一种视觉激光融合的托盘位姿估计方法、系统及装置
Muñoz et al. Fast 6D pose from a single RGB image using Cascaded Forests Templates
CN113408573A (zh) 基于机器学习的瓷砖色号自动分类归类的方法及装置
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN116188540A (zh) 一种基于点云信息的目标识别和位姿估计方法
JPH1151611A (ja) 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
CN113808206B (zh) 一种基于视觉追踪机器人的排版系统及方法
CN114387308A (zh) 一种机器视觉特征跟踪系统
Piratelo et al. Convolutional neural network applied for object recognition in a warehouse of an electric company
CN114882303A (zh) 一种基于帧过滤和目标检测的牲畜计数方法
CN116721303B (zh) 一种基于人工智能的无人机鱼类养殖方法及系统
CN116756835B (zh) 模板组合设计方法、装置、设备及存储介质
CN114897827B (zh) 基于机器视觉的烟叶包装箱状态检测方法
US12017368B2 (en) Mix-size depalletizing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant