CN117130373B - 一种半成品仓中载具输送机器人的控制方法 - Google Patents
一种半成品仓中载具输送机器人的控制方法 Download PDFInfo
- Publication number
- CN117130373B CN117130373B CN202311393599.5A CN202311393599A CN117130373B CN 117130373 B CN117130373 B CN 117130373B CN 202311393599 A CN202311393599 A CN 202311393599A CN 117130373 B CN117130373 B CN 117130373B
- Authority
- CN
- China
- Prior art keywords
- edge
- image
- path
- closed
- enhanced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011265 semifinished product Substances 0.000 title claims abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003708 edge detection Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术领域,具体涉及一种半成品仓中载具输送机器人的控制方法,采集路径图像;增强路径图像;根据路径图像与增强图像的边缘图像之间的差别得到路径图像的增益效果;根据当前路径图像中各边缘在历史图像中的出现情况得到当前路径图像中重要边缘图像;获取重要边缘图像的增益效果;根据路径图像及重要边缘图像的增益效果得到增强图像的增强值;比较不同对比度增益系数的增强图像的增强值得到最优增强图像;通过bp神经网络对最优增强图像进行识别完成机器人避障。从而实现机器人避障,保证输送安全,提高了路径图像质量,保障了路径图像输入神经网络进行障碍识别的准确性,具有较高的障碍物识别精度及机器人输送安全性。
Description
技术领域
本申请涉及人工智能技术领域,具体涉及一种半成品仓中载具输送机器人的控制方法。
背景技术
在制造业或物流行业,半成品可能需要从一个工作站或仓库区域转移到另一个工作站或仓库区域。为了提高效率和减少人力成本,采用载具输送机器人来完成这些任务。但是在进行转移的过程中,容易突然出现障碍物,可能会影响机器人的正常运行,故需要对机器人输送路径上的物体进行识别,进而提前进行避障。
由于机器人处在移动过程中,以及机器人拍摄设备等原因,导致机器人采集图像质量较差,导致障碍物识别中可能出现识别不准确的情况,使用现有算法进行图像质量增强时,使用不同参数会得到不同去噪效果,故需要一种自适应参数的增强方法。
综上所述,本发明提出一种半成品仓中载具输送机器人的控制方法,采集机器人前方运输路径图像,通过对比当前路径图像与历史路径图像中的差异,得到当前路径图像中重要边缘,将重要边缘组成的图像作为重要边缘图像,采用ACE图像增强算法,不同对比度增益系数对路径图像及重要边缘图像进行增强,通过比较路径图像及重要边缘图像的增益效果,自适应得到最优对比度增益系数,完成图像增强,结合神经网络完成障碍物识别,具有较高路径图像增强效果及障碍物识别精度。
发明内容
为了解决上述技术问题,本发明提供一种半成品仓中载具输送机器人的控制方法,以解决现有的问题。
本发明的一种半成品仓中载具输送机器人的控制方法采用如下技术方案:
本发明一个实施例提供了一种半成品仓中载具输送机器人的控制方法,该方法包括以下步骤:
采集机器人正前方路径图像;结合自适应对比度增强算法及初始对比度增益系数得到增强图像;
设定初始低阈值及低阈值的变化量;设定固定高阈值;采用Canny算子结合初始低阈值及固定高阈值获取路径边缘图像及增强边缘图像;将路径边缘图像及增强边缘图像中的各边缘线分别作为一类边缘及二类边缘;根据一类边缘与二类边缘之间的匹配情况及相似性得到路径边缘图像与增强边缘图像之间的差异度;根据路径边缘图像与增强边缘图像之间的差异度及低阈值的变化量进行迭代得到最优低阈值;根据初始低阈值及最优低阈值得到路径图像的增益效果;
获取当前路径边缘图像及各历史路径边缘图像中各闭合边缘;将各闭合边缘内区域在所属路径图像中对应区域的灰度均值作为各闭合边缘的特征值;根据各闭合边缘的特征值对各闭合边缘进行聚类得到各聚类簇;将当前路径边缘图像中各闭合边缘作为当前闭合边缘;根据各当前闭合边缘与所属聚类簇中每个闭合边缘之间的相似性得到各当前闭合边缘的重要程度;根据各当前闭合边缘的重要程度得到重要闭合边缘及非重要闭合边缘;将重要闭合边缘组成的图像作为重要边缘图像;获得重要边缘图像的增益效果;根据非重要闭合边缘的重要程度、路径图像的增益效果及重要边缘图像的增益效果得到增强图像的增强值;
设定对比度增益系数变化量;根据增强图像的增强值及对比度增益系数变化量进行迭代得到最优增强图像;采用bp神经网络对最优增强图像进行识别,根据识别结果完成机器人避障。
优选的,所述根据一类边缘与二类边缘之间的匹配情况及相似性得到路径边缘图像与增强边缘图像之间的差异度,包括的具体步骤为:
采用形状上下文算法获取每个一类边缘与每个二类边缘之间的相似性,记为第一相似性。采用匈牙利算法,根据第一相似性得到各一类边缘匹配的二类边缘;根据各一类边缘与匹配的二类边缘之间的第一相似性得到路径边缘图像与增强边缘图像之间的差异度的表达式为:
式中,为路径边缘图像与增强边缘图像之间的差异度,/>为以/>为底的指数函数,/>为一类边缘数量与二类边缘数量的差值,/>为一类边缘数量,/>为第/>个一类边缘与匹配的二类边缘之间的长度差值,/>为第/>个一类边缘与匹配的二类边缘之间的第一相似性。
优选的,根据路径边缘图像与增强边缘图像之间的差异度及低阈值的变化量进行迭代得到最优低阈值,包括的具体步骤为:
步骤1:设定差异阈值;设定低阈值变化范围;
步骤2:当路径边缘图像相对增强边缘图像的差异度大于差异阈值时,将初始低阈值加上变化量得到新的低阈值;根据新的低阈值获取增强图像的增强边缘图像;获取路径边缘图像相对增强边缘图像的差异度;
步骤3:重复步骤2进行迭代,当路径边缘图像相对增强边缘图像的差异度小于差异阈值时或新的低阈值超出变化范围时停止迭代,将最后一次迭代的低阈值作为最优低阈值;
步骤4:获取最优增强边缘图像与各次迭代的增强边缘图像之间的差异度;设定第一阈值;将差异度小于第一阈值的各次迭代增强边缘图像所用低阈值作为优选调整低阈值;将优选调整低阈值中最小值作为最终的最优低阈值。
优选的,所述根据初始低阈值及最优低阈值得到路径图像的增益效果,具体包括:
路径图像的增益效果与最优低阈值及初始低阈值的差值成负相关,与最优低阈值成负相关。
优选的,所述获取当前路径边缘图像及各历史路径边缘图像中各闭合边缘,包括的具体步骤为:
以当前边缘图像及各历史边缘图像中各边缘点为中心像素点建立邻域;获取各边缘点的邻域内边缘点数量;设定数量阈值;当边缘线上各边缘点的邻域内边缘点数量均大于数量阈值时,将边缘线作为闭合边缘。
优选的,所述根据各闭合边缘的特征值对各闭合边缘进行聚类得到各聚类簇,包括的具体步骤为:
根据各闭合边缘的特征值对当前边缘图像及各历史路径边缘图像中的闭合边缘进行聚类得到各聚类簇,记为综合聚类簇;将综合聚类簇中当前边缘图像的各闭合边缘的聚类簇作为当前聚类簇。
优选的,所述根据各当前闭合边缘与所属聚类簇中每个闭合边缘之间的相似性得到各当前闭合边缘的重要程度,具体包括:
各当前闭合边缘的重要程度与各当前闭合边缘所在当前聚类簇中闭合边缘个数成反比,与各当前闭合边缘所在当前聚类簇中闭合边缘个数及所在综合聚类簇中闭合边缘个数的比值成反比,与各当前闭合边缘与所在当前聚类簇中各条闭合边缘之间的相似性成反比。
优选的,所述根据各当前闭合边缘的重要程度得到重要闭合边缘及非重要闭合边缘,包括的具体步骤为:
根据各当前闭合边缘的重要程度进行聚类;将聚类结果中各当前闭合边缘的重要程度均值最大的聚类簇中各闭合边缘作为重要闭合边缘;将其它当前闭合边缘作为非重要闭合边缘。
优选的,所述根据非重要闭合边缘的重要程度、路径图像的增益效果及重要边缘图像的增益效果得到增强图像的增强值,具体包括:
增强图像的增强值与路径图像的增益效果及重要边缘图像的增益效果之和成正比。
优选的,所述根据增强图像的增强值及对比度增益系数变化量进行迭代得到最优增强图像,包括的具体步骤为:
步骤1:设定增强阈值;设定对比度增益系数变化范围;
步骤2:当增强图像的增强值小于增强阈值时,将初始对比度增益系数加上变化量得到新的对比度增益系数;根据新的对比度增益系数获取新的增强图像;获取新的增强图像的增强值;
步骤3:重复步骤2进行迭代,当增强图像的增强值大于增强阈值时或新的对比度增益系数超出变化范围时停止迭代,将最后一次迭代的增强图像作为最优增强图像。
本发明至少具有如下有益效果:
本发明通过结合机器人运行时实时传输的正前方路径图像,根据路径图像中边缘信息以及图像中重要区域进行分析,获取路径图像使用ACE图像增强算法增强后对应增强效果,进而获取最优对比度增益系数,根据最优对比度增益系数完成路径图像增强,解决了机器人采集图像质量较差导致障碍物识别不准确的问题,避免了人为设定对比度增益系数不准确导致图像增强效果较差的问题,提高了障碍物识别精度;
本发明通过对比当前路径图像与历史路径图像中的差异,得到当前路径图像中重要边缘,将重要边缘组成的图像作为重要边缘图像,采用ACE图像增强算法,不同对比度增益系数对路径图像及重要边缘图像进行增强,通过比较路径图像及重要边缘图像的增益效果,自适应得到最优对比度增益系数,完成图像增强,结合神经网络完成障碍物识别,提高了路径图像中较模糊物体边缘信息的识别效果,提高了路径图像质量,保障了路径图像输入神经网络进行障碍识别的准确性,确保了机器人输送过程中的输送安全,具有较高的障碍物识别精度及机器人输送安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明提供的一种半成品仓中载具输送机器人的控制方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种半成品仓中载具输送机器人的控制方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种半成品仓中载具输送机器人的控制方法的具体方案。
本发明一个实施例提供的一种半成品仓中载具输送机器人的控制方法。
具体的,提供了如下的一种半成品仓中载具输送机器人的控制方法,请参阅图1,该方法包括以下步骤:
步骤S001,采集机器人正前方的路径图像。
在输送机器人身上安装图像采集设备,需要说明的是,具体采集设备及摄像头采集角度实施者可自行设定,本实施例将工业相机安装在输送机器人正面头部位置,采集机器人工作时输送过程中正前方的路径图像。
步骤S002,采用ACE图像增强算法,根据不同对比度增益系数对路径图像进行增强,根据增强后图像的增强效果对图像的对比度增益系数进行自适应调节,获取最优增强图像。
本发明使用现有ACE图像增强算法对采集到的路径图像进行图像增强,其中图像增强算法公式为:
式中,表示路径图像增强后的像素点/>的像素值,/>表示路径图像的低频图像中像素点/>的像素值,/>表示路径图像中像素点/>的像素值,/>为对比度增益系数。
设定路径图像的初始对比度增益系数=0.5,对比度增益系数的变换范围为[0.5,5.0],每次对比度增益系数的变化量为/>=0.25,需要说明的是,对比度增益系数的、系数变换范围及/>的取值实施者可自行设定,本实施例不做具体限制。
采用ACE图像增强算法,根据初始对比度增益系数对路径图像进行增强得到增强图像。由于使用ACE算法进行图像增强时,选取的对比度增益系数过低,可能达不到图像增强的目的,而对比度增益系数过高,可能会导致图像边缘细节被过度增强,反而获取不到图像细节信息,故需要对不同对比度增益系数获得的增强图像进行分析,进而获取具有最优增强效果的增强图像。
增强图像的增强效果可以通过比较增强图像与路径图像的边缘信息的差异进行获取,由于图像增强使图像对比度得到了增加,故边缘检测时,增强前图像需要较小的低阈值才能获取较完整边缘信息,而增强后图像采用较大低阈值即可达到相同边缘检测效果,且在达到相同边缘检测效果的前提下,增强效果越强,采用的低阈值越大。将增强图像的边缘图像与路径图像的边缘图像最相似时,增强图像的边缘图像采用的低阈值作为最优低阈值,因此,获取上述增强图像的最优低阈值的具体方法如下:
首先,设定初始低阈值及固定高阈值/>,低阈值的变化范围为[50,150],每次低阈值的变化量为/>,需要说明的是,低阈值的/>、变化范围及/>的取值实施者可自行设定,本实施例不做具体限制。采用Canny算子,根据初始低阈值及固定高阈值对路径图像进行边缘检测得到路径边缘图像;根据初始低阈值及固定高阈值对增强图像进行边缘检测得到增强边缘图像。
其次,将边缘线上像素点个数作为边缘线的长度,设定长度阈值,需要说明的是,长度阈值的设定实施者可自行设定,本实施例将长度阈值设定为7,将长度大于长度阈值的边缘线作为正式边缘,分别获取路径边缘图像及增强边缘图像中正式边缘,分别记为一类边缘及二类边缘。
然后,采用形状上下文算法获取每个一类边缘与每个二类边缘之间的相似性,记为第一相似性。采用匈牙利算法,根据第一相似性得到各一类边缘匹配的二类边缘,具体方法为公知技术,此处不再赘述。当一类边缘与其匹配的二类边缘之间的相似性越高,两条边缘越相似,两类边缘组成的两张边缘图像越相似,从而获取路径边缘图像与增强边缘图像之间的差异度的表达式为:
式中,为路径边缘图像与增强边缘图像之间的差异度,/>为以/>为底的指数函数,/>为一类边缘数量与二类边缘数量的差值,/>为一类边缘数量,/>为第/>个一类边缘与匹配的二类边缘之间的长度差值,/>为第/>个一类边缘与匹配的二类边缘之间的第一相似性。路径边缘图像与增强边缘图像中正式边缘数量越相近,且对应边缘线长度的差异越小、第一相似性越大,则说明路径边缘图像与增强边缘图像之间的差异度越小,两幅图像越相似。
最后,设定差异阈值,需要说明的是,差异阈值的设定实施者可自行设定,本实施例将差异阈值设定为0.2。当路径边缘图像与增强边缘图像之间的差异度大于差异阈值时,说明路径边缘图像与增强边缘图像之间差别较大,则将初始低阈值加上变化量得到新的低阈值,根据新的低阈值对增强图像进行边缘检测得到新的增强边缘图像。获取路径边缘图像与新的增强边缘图像之间的差异度;不断迭代;当路径边缘图像与新的增强边缘图像之间的差异度小于差异阈值时或新的低阈值超出其变化范围时,停止迭代,将最后一次迭代所选取的增强边缘图像作为最优增强边缘图像;将最后一次迭代所选取的低阈值作为最优低阈值。最优低阈值越大,说明增强效果越好。
由于可能存在以下类似情况:当增强边缘图像的低阈值取80时,两个边缘图像之间的差别仅为增强边缘图像比路径边缘图像多出一条边缘线,但当增强边缘图像的低阈值取到100时,上述多出的边缘线开始消失,从而导致最优低阈值虚高。因此为避免上述类似情况的影响,需要对最优低阈值进行调整,具体为:
获取上述各次迭代的增强边缘图像,计算最优增强边缘图像与各次迭代的增强边缘图像之间的差异度,记为,其中/>表示第/>次迭代的增强边缘图像。记/>为第次迭代所选取的低阈值,/>为最优低阈值。其中/>变换范围为[50,/>],即/>的取值范围为[0,/>]。由于第/>次迭代的增强边缘图像与最优增强边缘图像越相似,则说明第次迭代所选取的低阈值越可能为/>所需要的最优调整低阈值。因此,设定第一阈值为0.2,当/>小于第一阈值时,认为第/>次迭代所选取的低阈值/>为/>的优选调整低阈值,获取优选调整低阈值中最小值作为/>的最优调整低阈值,记为/>。将/>作为最终的最优低阈值。
由此构建路径图像的增益效果,具体表达式为:
式中,为路径图像的增益效果,/>为最优低阈值,/>为初始低阈值。最优低阈值越大,与初始低阈值的差别越大,增益效果越好。
由于机器人输送过程中,机器人需要识别运输路径上的障碍物,故可以对机器人路径上较为奇异的物体进行识别。当前时刻运输路径中突然出现障碍物时,当前路径图像与历史路径图像的边缘图像中存在较大差别,为获取疑似障碍物的边缘,首先,获取当前路径图像及各历史路径图像的边缘图像,分别记为当前边缘图像及各历史边缘图像,其中各历史路径图像的获取间隔为1秒,获取范围为当前时刻的前5分钟内的机器人采集的路径图像。
其次,获取当前边缘图像及各历史边缘图像中各闭合边缘,具体为,以当前边缘图像及各历史边缘图像中各边缘点为中心像素点建立3*3邻域,获取各边缘点的邻域内边缘点数量,当边缘线上各边缘点的邻域内边缘点数量均大于2时,将所述边缘线作为闭合边缘。
然后,将各闭合边缘内区域在所属路径图像中对应区域的灰度均值作为各闭合边缘的特征值进行聚类,具体为,采用DBSCAN聚类算法,根据各闭合边缘的特征值对所有闭合边缘进行聚类得到各聚类簇,记为综合聚类簇,其中聚类半径为3,MinPts=3,需要说明的时聚类半径及MinPts的值实施者可自行选取,本实施例不做具体限制。将当前边缘图像中各闭合边缘作为各当前闭合边缘,通过上述方法获取当前闭合边缘的各聚类簇作为各当前聚类簇。
最后,当前边缘图像中的闭合边缘在各历史边缘图像中相似度高的闭合边缘的数量越多,即当前闭合边缘所属综合聚类簇中闭合边缘数量越多,则说明当前闭合边缘越不可能为障碍物体的边缘。故采用形状上下文算法获取各当前闭合边缘与所属当前聚类簇中每个闭合边缘之间的相似性,由此得到各当前闭合边缘的重要程度的表达式为:
式中,为第/>条当前闭合边缘的重要程度,/>为第/>条当前闭合边缘所在当前聚类簇中闭合边缘个数,/>为第/>条当前闭合边缘所在当前聚类簇中闭合边缘个数与所在综合聚类簇中闭合边缘个数的比值,/>为第/>条当前闭合边缘与所在当前聚类簇中第/>条闭合边缘之间的相似性。/>越小,第/>条当前闭合边缘越可能为障碍物边缘;/>越小,则说明第/>条当前闭合边缘在历史边缘图像中出现过的概率越低,第/>条当前闭合边缘越可能为障碍物边缘;/>越小,第/>条当前闭合边缘与簇内各闭合边缘的差异越大,则说明第/>条当前闭合边缘越可能为障碍物边缘,其重要程度越大。设定初始聚类中心为2,采用K-means聚类算法,根据各当前闭合边缘的归一化重要程度进行聚类,将聚类结果中各当前闭合边缘的重要程度均值最大的聚类簇中各闭合边缘作为重要闭合边缘,将其它当前闭合边缘作为非重要闭合边缘。将重要闭合边缘组成的边缘图像作为重要边缘图像,则重要边缘图像即为疑似障碍物边缘图像。
根据路径图像的增益效果的获取方式获得重要边缘图像的增益效果,记为。结合非重要边缘的重要程度及路径图像的增益效果构建增强图像的增强值/>:
式中,为增强图像的增强值,/>为第一权重,/>为路径图像的增益效果,/>为第二权重,/>为重要边缘图像的增益效果,/>为非重要边缘个数,/>为第/>条非重要边缘的重要程度,/>为当前边缘图像中闭合边缘个数,/>为当前边缘图像中第/>个闭合边缘的重要程度。/>越小,即/>越大,则说明非重要边缘的重要程度越小,即重要边缘的重要程度相对越大,重要边缘的增益效果越明显,增强图像的增强值越大;路径图像是增益效果越明显,增强图像的增强值越大。
本实施例中对比度增益系数的变换范围为[0.5,5.0],根据不同的对比度增益系数对路径图像进行迭代增强,获取最优增强图像,具体过程为:
设定增强阈值;当增强图像的增强值小于增强阈值时,将初始对比度增益系数加上变化量得到新的对比度增益系数;根据新的对比度增益系数获取新的增强图像;获取新的增强图像的增强值;重复上述过程,直至增强图像的增强值大于增强阈值时或新的对比度增益系数超出变化范围时停止迭代,将最后一次迭代的增强图像作为最优增强图像。
步骤S003,通过bp神经网络对最优增强图像进行识别完成机器人避障。
将增强后的图像输入至训练好的神经网络中,对图像中的障碍物进行识别,其中神经网络使用bp神经网络,网络输入为采集图像,网络输出为对应障碍物。当识别出障碍物时,将对应输送机器人进行手动控制,完成避障。
综上所述,本发明实施例通过结合机器人运行时实时传输的正前方路径图像,根据路径图像中边缘信息以及图像中重要区域进行分析,获取路径图像使用ACE图像增强算法增强后对应增强效果,进而获取最优对比度增益系数,根据最优对比度增益系数完成路径图像增强,解决了机器人采集图像质量较差导致障碍物识别不准确的问题,避免了人为设定对比度增益系数不准确导致图像增强效果较差的问题,提高了障碍物识别精度;
本实施例通过对比当前路径图像与历史路径图像中的差异,得到当前路径图像中重要边缘,将重要边缘组成的图像作为重要边缘图像,采用ACE图像增强算法,不同对比度增益系数对路径图像及重要边缘图像进行增强,通过比较路径图像及重要边缘图像的增益效果,自适应得到最优对比度增益系数,完成图像增强,结合神经网络完成障碍物识别,提高了路径图像中较模糊物体边缘信息的识别效果,提高了路径图像质量,保障了路径图像输入神经网络进行障碍识别的准确性,确保了机器人输送过程中的输送安全,具有较高的障碍物识别精度及机器人输送安全性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种半成品仓中载具输送机器人的控制方法,其特征在于,该方法包括以下步骤:
采集机器人正前方路径图像;结合自适应对比度增强算法及初始对比度增益系数得到增强图像;
设定初始低阈值及低阈值的变化量;设定固定高阈值;采用Canny算子结合初始低阈值及固定高阈值获取路径边缘图像及增强边缘图像;将路径边缘图像及增强边缘图像中的各边缘线分别作为一类边缘及二类边缘;根据一类边缘与二类边缘之间的匹配情况及相似性得到路径边缘图像与增强边缘图像之间的差异度;根据路径边缘图像与增强边缘图像之间的差异度及低阈值的变化量进行迭代得到最优低阈值;根据初始低阈值及最优低阈值得到路径图像的增益效果;
获取当前路径边缘图像及各历史路径边缘图像中各闭合边缘;将各闭合边缘内区域在所属路径图像中对应区域的灰度均值作为各闭合边缘的特征值;根据各闭合边缘的特征值对各闭合边缘进行聚类得到各聚类簇;将当前路径边缘图像中各闭合边缘作为当前闭合边缘;根据各当前闭合边缘与所属聚类簇中每个闭合边缘之间的相似性得到各当前闭合边缘的重要程度;根据各当前闭合边缘的重要程度得到重要闭合边缘及非重要闭合边缘;将重要闭合边缘组成的图像作为重要边缘图像;获得重要边缘图像的增益效果;根据非重要闭合边缘的重要程度、路径图像的增益效果及重要边缘图像的增益效果得到增强图像的增强值;
设定对比度增益系数变化量;根据增强图像的增强值及对比度增益系数变化量进行迭代得到最优增强图像;采用bp神经网络对最优增强图像进行识别,根据识别结果完成机器人避障;
所述根据一类边缘与二类边缘之间的匹配情况及相似性得到路径边缘图像与增强边缘图像之间的差异度,包括的具体步骤为:
采用形状上下文算法获取每个一类边缘与每个二类边缘之间的相似性,记为第一相似性;采用匈牙利算法,根据第一相似性得到各一类边缘匹配的二类边缘;根据各一类边缘与匹配的二类边缘之间的第一相似性得到路径边缘图像与增强边缘图像之间的差异度的表达式为:
式中,为路径边缘图像与增强边缘图像之间的差异度,/>为以/>为底的指数函数,/>为一类边缘数量与二类边缘数量的差值,/>为一类边缘数量,/>为第/>个一类边缘与匹配的二类边缘之间的长度差值,/>为第/>个一类边缘与匹配的二类边缘之间的第一相似性。
2.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,根据路径边缘图像与增强边缘图像之间的差异度及低阈值的变化量进行迭代得到最优低阈值,包括的具体步骤为:
步骤1:设定差异阈值;设定低阈值变化范围;
步骤2:当路径边缘图像相对增强边缘图像的差异度大于差异阈值时,将初始低阈值加上变化量得到新的低阈值;根据新的低阈值获取增强图像的增强边缘图像;获取路径边缘图像相对增强边缘图像的差异度;
步骤3:重复步骤2进行迭代,当路径边缘图像相对增强边缘图像的差异度小于差异阈值时或新的低阈值超出变化范围时停止迭代,将最后一次迭代的低阈值作为最优低阈值;
步骤4:获取最优增强边缘图像与各次迭代的增强边缘图像之间的差异度;设定第一阈值;将差异度小于第一阈值的各次迭代增强边缘图像所用低阈值作为优选调整低阈值;将优选调整低阈值中最小值作为最终的最优低阈值。
3.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述根据初始低阈值及最优低阈值得到路径图像的增益效果,具体包括:
路径图像的增益效果与最优低阈值及初始低阈值的差值成负相关,与最优低阈值成负相关。
4.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述获取当前路径边缘图像及各历史路径边缘图像中各闭合边缘,包括的具体步骤为:
以当前边缘图像及各历史边缘图像中各边缘点为中心像素点建立邻域;获取各边缘点的邻域内边缘点数量;设定数量阈值;当边缘线上各边缘点的邻域内边缘点数量均大于数量阈值时,将边缘线作为闭合边缘。
5.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述根据各闭合边缘的特征值对各闭合边缘进行聚类得到各聚类簇,包括的具体步骤为:
根据各闭合边缘的特征值对当前边缘图像及各历史路径边缘图像中的闭合边缘进行聚类得到各聚类簇,记为综合聚类簇;将综合聚类簇中当前边缘图像的各闭合边缘的聚类簇作为当前聚类簇。
6.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述根据各当前闭合边缘与所属聚类簇中每个闭合边缘之间的相似性得到各当前闭合边缘的重要程度,具体包括:
各当前闭合边缘的重要程度与各当前闭合边缘所在当前聚类簇中闭合边缘个数成反比,与各当前闭合边缘所在当前聚类簇中闭合边缘个数及所在综合聚类簇中闭合边缘个数的比值成反比,与各当前闭合边缘与所在当前聚类簇中各条闭合边缘之间的相似性成反比。
7.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述根据各当前闭合边缘的重要程度得到重要闭合边缘及非重要闭合边缘,包括的具体步骤为:
根据各当前闭合边缘的重要程度进行聚类;将聚类结果中各当前闭合边缘的重要程度均值最大的聚类簇中各闭合边缘作为重要闭合边缘;将其它当前闭合边缘作为非重要闭合边缘。
8.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述根据非重要闭合边缘的重要程度、路径图像的增益效果及重要边缘图像的增益效果得到增强图像的增强值,具体包括:
增强图像的增强值与路径图像的增益效果及重要边缘图像的增益效果之和成正比。
9.如权利要求1所述的一种半成品仓中载具输送机器人的控制方法,其特征在于,所述根据增强图像的增强值及对比度增益系数变化量进行迭代得到最优增强图像,包括的具体步骤为:
步骤1:设定增强阈值;设定对比度增益系数变化范围;
步骤2:当增强图像的增强值小于增强阈值时,将初始对比度增益系数加上变化量得到新的对比度增益系数;根据新的对比度增益系数获取新的增强图像;获取新的增强图像的增强值;
步骤3:重复步骤2进行迭代,当增强图像的增强值大于增强阈值时或新的对比度增益系数超出变化范围时停止迭代,将最后一次迭代的增强图像作为最优增强图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311393599.5A CN117130373B (zh) | 2023-10-26 | 2023-10-26 | 一种半成品仓中载具输送机器人的控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311393599.5A CN117130373B (zh) | 2023-10-26 | 2023-10-26 | 一种半成品仓中载具输送机器人的控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117130373A CN117130373A (zh) | 2023-11-28 |
CN117130373B true CN117130373B (zh) | 2024-03-08 |
Family
ID=88853016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311393599.5A Active CN117130373B (zh) | 2023-10-26 | 2023-10-26 | 一种半成品仓中载具输送机器人的控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117130373B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
CN114727063A (zh) * | 2022-04-02 | 2022-07-08 | 清华大学 | 施工现场的路径安全监测系统、方法及装置 |
CN115082453A (zh) * | 2022-07-27 | 2022-09-20 | 南通艾果纺织品有限公司 | 基于神经网络的床上用品生产用包边机智能控制方法 |
CN116300876A (zh) * | 2023-01-12 | 2023-06-23 | 南京信息工程大学 | 一种多智能体未知环境自主协同探索方法、系统、装置及存储介质 |
CN116823673A (zh) * | 2023-08-24 | 2023-09-29 | 常熟理工学院 | 基于图像处理的高速电梯轿厢乘客状态视觉感知方法 |
CN116883293A (zh) * | 2023-09-08 | 2023-10-13 | 青岛云智霄凡科技有限公司 | 一种用于神经麻醉穿刺的图像增强处理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210224591A1 (en) * | 2020-01-17 | 2021-07-22 | Seiko Epson Corporation | Methods and systems for training an object detection algorithm |
US20220198723A1 (en) * | 2020-12-17 | 2022-06-23 | Mediatek Inc. | Image enhancement method and image enhancement apparatus |
US20230186637A1 (en) * | 2021-12-10 | 2023-06-15 | Ford Global Technologies, Llc | Systems and methods for detecting deep neural network inference quality using image/data manipulation without ground truth information |
-
2023
- 2023-10-26 CN CN202311393599.5A patent/CN117130373B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914816A (zh) * | 2014-03-04 | 2014-07-09 | 西安电子科技大学 | 一种基于非局部正则化和关键帧的视频超分辨方法 |
CN114727063A (zh) * | 2022-04-02 | 2022-07-08 | 清华大学 | 施工现场的路径安全监测系统、方法及装置 |
CN115082453A (zh) * | 2022-07-27 | 2022-09-20 | 南通艾果纺织品有限公司 | 基于神经网络的床上用品生产用包边机智能控制方法 |
CN116300876A (zh) * | 2023-01-12 | 2023-06-23 | 南京信息工程大学 | 一种多智能体未知环境自主协同探索方法、系统、装置及存储介质 |
CN116823673A (zh) * | 2023-08-24 | 2023-09-29 | 常熟理工学院 | 基于图像处理的高速电梯轿厢乘客状态视觉感知方法 |
CN116883293A (zh) * | 2023-09-08 | 2023-10-13 | 青岛云智霄凡科技有限公司 | 一种用于神经麻醉穿刺的图像增强处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117130373A (zh) | 2023-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107229904B (zh) | 一种基于深度学习的目标检测与识别方法 | |
US10325351B2 (en) | Systems and methods for normalizing an image | |
US8571271B2 (en) | Dual-phase red eye correction | |
CN107194317B (zh) | 一种基于网格聚类分析的暴力行为检测方法 | |
CN112819772A (zh) | 一种高精度快速图形检测识别方法 | |
US20190114532A1 (en) | Apparatus and method for convolution operation of convolution neural network | |
CN109033994A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
CN111783693A (zh) | 果蔬采摘机器人的智能识别方法 | |
CN116721389A (zh) | 农作物的种植管理方法 | |
CN117130373B (zh) | 一种半成品仓中载具输送机器人的控制方法 | |
CN116935293B (zh) | 一种远程视频查勘定损自动化处理方法及系统 | |
CN116843581B (zh) | 一种多场景图的图像增强方法、系统、设备和存储介质 | |
CN111414997A (zh) | 一种基于人工智能的用于战场目标识别的方法 | |
CN114419081B (zh) | 一种图像语义分割方法、系统及可读存储介质 | |
CN105740768A (zh) | 一种局部和全局特征相结合的无人驾驶叉运装置 | |
CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
CN109993035B (zh) | 基于嵌入式系统的人体检测的方法以及装置 | |
Piratelo et al. | Convolutional neural network applied for object recognition in a warehouse of an electric company | |
CN110348530A (zh) | 用于识别口红色号的方法 | |
CN115359112B (zh) | 一种高位料库机器人的码垛控制方法 | |
CN114255203B (zh) | 一种鱼苗数量估计方法及系统 | |
Parihar et al. | An optimal fuzzy filter for Gaussian noise in color images using bacterial foraging algorithm | |
CN117315376B (zh) | 基于机器学习的机械零件工业质检方法 | |
CN110766698B (zh) | 一种动态背景下振荡苹果跟踪识别方法 | |
AlDahoul et al. | Utilizing hierarchical extreme learning machine based reinforcement learning for object sorting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |