CN115082523A - 一种基于视觉的机器人智能引导系统及方法 - Google Patents
一种基于视觉的机器人智能引导系统及方法 Download PDFInfo
- Publication number
- CN115082523A CN115082523A CN202210761775.5A CN202210761775A CN115082523A CN 115082523 A CN115082523 A CN 115082523A CN 202210761775 A CN202210761775 A CN 202210761775A CN 115082523 A CN115082523 A CN 115082523A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- loading
- acquiring
- information
- mounted terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Abstract
本发明涉及路径规划技术领域,具体公开了一种基于视觉的机器人智能引导系统及方法,所述系统包括处理端,用于定位工作区;根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹;车载终端,用于接收处理端发送的运动轨迹;实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息。本发明通过对车间图像进行识别,确定工作区,根据工作区生成移动端的运动轨迹,在移动端的工作过程中,不断地进行检测,根据检测结果调整运动轨迹,使得出现问题的移动端在下一个工位处继续工作,尽量的减少停止时间,变相地提高了工作效率。
Description
技术领域
本发明涉及路径规划技术领域,具体是一种基于视觉的机器人智能引导系统及方法。
背景技术
随着智能设备的普及,现有车间中的很多工作都会交由智能设备完成,这些智能设备有的在固定工位上,有的是移动式的;移动式的智能设备一般用于装卸工作,由于工作复杂,工作指令较多,错误率也较高,因此,在它的工作过程中,开发方往往会设置一些风险检测模块,进而搭建出一种带有检测功能的移动式工作架构;但是,现有的移动式工作架构,在检测到问题后的处理过程往往不够明确,检测到问题后,移动端往往会停止不动,处理待修状态,影响工作效率;如果检测到的问题是由于外界原因造成,那么移动端的停止时间就是对资源的一种变相浪费。
发明内容
本发明的目的在于提供一种基于视觉的机器人智能引导系统及方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于视觉的机器人智能引导系统,所述系统包括:
处理端,用于获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送;
车载终端,用于接收处理端发送的运动轨迹,根据所述运动轨迹生成运动指令;实时获取位置信息,当位置信息与所述装载位置重合时,生成停止指令;基于V2X车载终端和V2X装载侧设备建立连接通道,实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息;将所述评价信息上传至处理端。
作为本发明进一步的方案:所述处理端包括:
工作区定位模块,用于获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;
轨迹生成发送模块,用于根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;
轨迹修正模块,用于接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送。
作为本发明进一步的方案:所述车载终端包括:
运动指令生成模块,用于接收处理端发送的运动轨迹,根据所述运动轨迹生成运动指令;
停止指令生成模块,用于实时获取位置信息,当位置信息与所述装载位置重合时,生成停止指令;
评价信息生成模块,用于基于V2X车载终端和V2X装载侧设备建立连接通道,实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息;
数据上传模块,用于将所述评价信息上传至处理端。
作为本发明进一步的方案:所述工作区定位模块包括:
轮廓识别单元,用于获取车间的俯视图像,对所述俯视图像进行轮廓识别,确定设备轮廓;
图像切分单元,用于根据所述设备轮廓对俯视图像进行切分,确定待检区域;
色值识别单元,用于缩放所述待检区域,对缩放后的待检区域进行色值识别,根据色值识别结果确定标签轮廓;其中,所述标签预先设置在车间中且各标签的色值类型为预设的有限值;
文本识别单元,用于对所述标签轮廓进行文本识别,根据文本识别结果定位各工作区。
作为本发明进一步的方案:所述轨迹生成发送模块包括:
装载位置确定单元,用于获取各工作区对应的文本识别结果,根据文件识别结果确定装载位置;
起终点确定单元,用于获取车载终端的停泊位置,计算所述停泊位置与各装载位置之间的距离,将距离最小的装载位置作为运动起点,距离最大的装置位置作为运动终点;
第一执行单元,用于将所述运动起点作为源点,所述运动终点作为终点输入迪杰斯特拉算法模型,得到运动轨迹;
其中,所述装载位置和所述停泊位置均为坐标数据。
作为本发明进一步的方案:所述评价信息生成模块包括:
装载量预测单元,用于实时获取装载侧设备中各检测节点的输入信息,将所述输入信息输入训练好的理论装载模型,得到装载量;
偏差率计算单元,用于将所述装载量与实际货物量进行比对,确定设备运行偏差率;
异常值计算单元,用于实时获取音频信号,对所述音频信号进行稳定性分析,根据稳定性分析结果确定设备运行异常值;
评价分计算单元,用于将所述设备运行偏差率和所述设备运行异常值输入预设的评价公式,得到评价分;
第二执行单元,用于获取所述评价分、比对结果和稳定性分析结果,得到评价信息。
作为本发明进一步的方案:所述异常值计算单元包括:
截取子单元,用于根据预设的递进式音频幅值截取所述音频信号,得到分隔点;
转换子单元,用于根据分隔点将所述音频信号转换为音频片段组;
特征提取子单元,用于获取音频片段组中各音频片段的特征值,得到与音频片段组对应的特征值组;
比对子单元,用于将所述特征值组与历史数据进行比对,根据比对结果确定设备运行异常值;
更新子单元,用于当所述设备运行异常值在预设的异常范围内时,根据所述特征值组更新历史数据。
本发明技术方案还提供了一种基于视觉的机器人智能引导方法,所述方法应用于处理端,所述方法包括:
获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;
根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;
接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送。
作为本发明进一步的方案:所述获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区的步骤包括:
获取车间的俯视图像,对所述俯视图像进行轮廓识别,确定设备轮廓;
根据所述设备轮廓对俯视图像进行切分,确定待检区域;
缩放所述待检区域,对缩放后的待检区域进行色值识别,根据色值识别结果确定标签轮廓;其中,所述标签预先设置在车间中且各标签的色值类型为预设的有限值;
对所述标签轮廓进行文本识别,根据文本识别结果定位各工作区。
作为本发明进一步的方案:所述根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送包括:
获取各工作区对应的文本识别结果,根据文件识别结果确定装载位置;
获取车载终端的停泊位置,计算所述停泊位置与各装载位置之间的距离,将距离最小的装载位置作为运动起点,距离最大的装置位置作为运动终点;
将所述运动起点作为源点,所述运动终点作为终点输入迪杰斯特拉算法模型,得到运动轨迹;
其中,所述装载位置和所述停泊位置均为坐标数据。
与现有技术相比,本发明的有益效果是:本发明通过对车间图像进行识别,确定工作区,根据工作区生成移动端的运动轨迹,在移动端的工作过程中,不断地进行检测,根据检测结果调整运动轨迹,使得出现问题的移动端在下一个工位处继续工作,尽量的减少停止时间,变相地提高了工作效率;可以想到,如果是移动端自身出现问题,它会依次在各个工位处进行尝试性工作,只要存在它能够完成的工作,工作效率就算是变相地提高了。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为基于视觉的机器人智能引导系统中处理端的组成结构框图。
图2为基于视觉的机器人智能引导系统中车载终端的组成结构框图。
图3为处理端中工作区定位模块的组成结构框图。
图4为处理端中轨迹生成发送模块的组成结构框图。
图5为车载终端中评价信息生成模块的组成结构框图。
图6为基于视觉的机器人智能引导方法的流程框图。
图7为基于视觉的机器人智能引导方法的第一子流程框图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
本发明实施例中,一种基于视觉的机器人智能引导系统,所述系统包括:
处理端,用于获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送;
车载终端,用于接收处理端发送的运动轨迹,根据所述运动轨迹生成运动指令;实时获取位置信息,当位置信息与所述装载位置重合时,生成停止指令;基于V2X车载终端和V2X装载侧设备建立连接通道,实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息;将所述评价信息上传至处理端。
本发明技术方案是两端交互的系统,分别为处理端和车载终端,所述处理端完成的功能是获取车间图像,根据车间图像生成车载终端的运动轨迹;所述车载终端的功能是在所述运动轨迹下,完成自身工作;在车载终端工作的过程中,不断地获取装载信息,处理端根据这些装载信息对运动轨迹进行修正;修正的过程主要是更新运动轨迹,比如,对于不稳定的装载位置,可以在运动轨迹中剔除,先在稳定的装载位置处进行工作,最后统一的在不稳定的装载位置处进行基于人工控制的装卸工作。
图1为基于视觉的机器人智能引导系统中处理端的组成结构框图,所述处理端10包括:
工作区定位模块11,用于获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;
轨迹生成发送模块12,用于根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;
轨迹修正模块13,用于接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送。
上述内容对处理端10的各项功能进行了模块化的细分,首先,通过工作区定位模块11获取车间的俯视图像,对俯视图像进行内容识别,根据内容识别结果可以定位工作区,也就是需要执行装卸或其他动作的区域;根据工作区可以确定运动轨迹,将运动轨迹向车载终端发送,接收车载终端在运动轨迹上获取到的信息,最后,基于获取到的信息对车载终端进行修正即可。
图2为基于视觉的机器人智能引导系统中车载终端的组成结构框图,所述车载终端20包括:
运动指令生成模块21,用于接收处理端发送的运动轨迹,根据所述运动轨迹生成运动指令;
停止指令生成模块22,用于实时获取位置信息,当位置信息与所述装载位置重合时,生成停止指令;
评价信息生成模块23,用于基于V2X车载终端和V2X装载侧设备建立连接通道,实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息;
数据上传模块24,用于将所述评价信息上传至处理端。
当车载终端20接收到处理端10发送的运动轨迹后,根据运动轨迹确定自身的运动指令;当检测到车载终端经过装载位置时,生成停止指令,在停止时,自动装载机器人开始工作,在工作的同时,实时获取工作过程中产生的数据,车载终端对获取到的信息进行优化后,可以得到一个评价信息,处理端10就是根据这一评价信息进行运动轨迹的调整。
图3为处理端中工作区定位模块的组成结构框图,所述工作区定位模块11包括:
轮廓识别单元111,用于获取车间的俯视图像,对所述俯视图像进行轮廓识别,确定设备轮廓;
图像切分单元112,用于根据所述设备轮廓对俯视图像进行切分,确定待检区域;
色值识别单元113,用于缩放所述待检区域,对缩放后的待检区域进行色值识别,根据色值识别结果确定标签轮廓;其中,所述标签预先设置在车间中且各标签的色值类型为预设的有限值;
文本识别单元114,用于对所述标签轮廓进行文本识别,根据文本识别结果定位各工作区。
上述内容对工作区的确定过程进行了具体的描述,首先,对俯视图像进行轮廓识别,确定设备轮廓,根据设备轮廓可以确定车间中的设备区;在俯视图像中剔除相应的设备区,即可得到待检区域;当待检区域后,可以对待检区域进行放大式检测,检测的目标是预设的标签,在车间中,每个工作区都会有相关的标识,这个标识就是所述标签;所述标签一般是二值化标签,比如白底黑字,或者黄底蓝字;因此,上述色值识别以及文本识别过程都不困难。
图4为处理端中轨迹生成发送模块的组成结构框图,所述轨迹生成发送模块12包括:
装载位置确定单元121,用于获取各工作区对应的文本识别结果,根据文件识别结果确定装载位置;
起终点确定单元122,用于获取车载终端的停泊位置,计算所述停泊位置与各装载位置之间的距离,将距离最小的装载位置作为运动起点,距离最大的装置位置作为运动终点;
第一执行单元123,用于将所述运动起点作为源点,所述运动终点作为终点输入迪杰斯特拉算法模型,得到运动轨迹;
其中,所述装载位置和所述停泊位置均为坐标数据。
上述内容对轨迹生成过程进行了具体的描述,其原理就是借助迪杰斯特拉算法模型生成运动轨迹;迪杰斯特拉算法(Dijkstra)是由荷兰计算机科学家狄克斯特拉于1959年提出的,因此又叫狄克斯特拉算法。是从一个顶点到其余各顶点的最短路径算法,解决的是有权图中最短路径问题。
图5为车载终端中评价信息生成模块的组成结构框图,所述评价信息生成模块23包括:
装载量预测单元231,用于实时获取装载侧设备中各检测节点的输入信息,将所述输入信息输入训练好的理论装载模型,得到装载量;
偏差率计算单元232,用于将所述装载量与实际货物量进行比对,确定设备运行偏差率;
异常值计算单元233,用于实时获取音频信号,对所述音频信号进行稳定性分析,根据稳定性分析结果确定设备运行异常值;
评价分计算单元234,用于将所述设备运行偏差率和所述设备运行异常值输入预设的评价公式,得到评价分;
第二执行单元235,用于获取所述评价分、比对结果和稳定性分析结果,得到评价信息。
上述内容对评价信息的生成过程进行了具体的描述,首先,根据装载侧中各个节点的输入信号,可以计算出一个理论的装载量,也就是装载侧的负载量,将这个负载量与实际货物量进行比对,可以判断装载侧自身的状态如何。在此基础上,增设音频信号判断流程,可以判断装载侧的工作过程中是否发出了异常声音,进一步的分析装载侧状态;结合上述两个维度,可以对装载侧状态进行准确的识别。
进一步的,所述异常值计算单元233包括:
截取子单元,用于根据预设的递进式音频幅值截取所述音频信号,得到分隔点;
转换子单元,用于根据分隔点将所述音频信号转换为音频片段组;
特征提取子单元,用于获取音频片段组中各音频片段的特征值,得到与音频片段组对应的特征值组;
比对子单元,用于将所述特征值组与历史数据进行比对,根据比对结果确定设备运行异常值;
更新子单元,用于当所述设备运行异常值在预设的异常范围内时,根据所述特征值组更新历史数据。
上述内容对于音频信号的分析过程进行了具体的限定,首先,将音频信号转换为多段音频信号,转换标准是幅度;然后,对多段音频信号进行特征提取,所述特征提取过程可以借助一些常用的波形处理算法,具体是何种算法并不重要,重要的是需要统一;最后,将特征值与历史数据进行比对,即可得到一个差异数值,也就是设备运行异常值;值得一提的是,所述历史数据是特征值组的集合,当获取到新的特征值组时,当它的异常值在一定范围内时,对历史数据进行更新;如果超出一定范围,则不对历史数据进行更新。
实施例2
图6为基于视觉的机器人智能引导方法的流程框图,本发明实施例中,一种基于视觉的机器人智能引导方法,所述方法应用于处理端,所述方法包括:
步骤S100:获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;
步骤S200:根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;
步骤S300:接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送。
图7为基于视觉的机器人智能引导方法的第一子流程框图,所述获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区的步骤包括:
步骤S101:获取车间的俯视图像,对所述俯视图像进行轮廓识别,确定设备轮廓;
步骤S102:根据所述设备轮廓对俯视图像进行切分,确定待检区域;
步骤S103:缩放所述待检区域,对缩放后的待检区域进行色值识别,根据色值识别结果确定标签轮廓;其中,所述标签预先设置在车间中且各标签的色值类型为预设的有限值;
步骤S104:对所述标签轮廓进行文本识别,根据文本识别结果定位各工作区。
进一步的,所述根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送包括:
获取各工作区对应的文本识别结果,根据文件识别结果确定装载位置;
获取车载终端的停泊位置,计算所述停泊位置与各装载位置之间的距离,将距离最小的装载位置作为运动起点,距离最大的装置位置作为运动终点;
将所述运动起点作为源点,所述运动终点作为终点输入迪杰斯特拉算法模型,得到运动轨迹;
其中,所述装载位置和所述停泊位置均为坐标数据。
所述基于视觉的机器人智能引导方法所能实现的功能均由计算机设备完成,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现所述基于视觉的机器人智能引导方法的功能。
处理器从存储器中逐条取出指令、分析指令,然后根据指令要求完成相应操作,产生一系列控制命令,使计算机各部分自动、连续并协调动作,成为一个有机的整体,实现程序的输入、数据的输入以及运算并输出结果,这一过程中产生的算术运算或逻辑运算均由运算器完成;所述存储器包括只读存储器(Read-Only Memory,ROM),所述只读存储器用于存储计算机程序,所述存储器外部设有保护装置。
示例性的,计算机程序可以被分割成一个或多个模块,一个或者多个模块被存储在存储器中,并由处理器执行,以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在终端设备中的执行过程。
本领域技术人员可以理解,上述服务设备的描述仅仅是示例,并不构成对终端设备的限定,可以包括比上述描述更多或更少的部件,或者组合某些部件,或者不同的部件,例如可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,上述处理器是上述终端设备的控制中心,利用各种接口和线路连接整个用户终端的各个部分。
上述存储器可用于存储计算机程序和/或模块,上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如信息采集模板展示功能、产品信息发布功能等)等;存储数据区可存储根据泊位状态显示系统的使用所创建的数据(比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例系统中的全部或部分模块/单元,也可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个系统实施例的功能。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于视觉的机器人智能引导系统,其特征在于,所述系统包括:
处理端,用于获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送;
车载终端,用于接收处理端发送的运动轨迹,根据所述运动轨迹生成运动指令;实时获取位置信息,当位置信息与所述装载位置重合时,生成停止指令;基于V2X车载终端和V2X装载侧设备建立连接通道,实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息;将所述评价信息上传至处理端。
2.根据权利要求1所述的基于视觉的机器人智能引导系统,其特征在于,所述处理端包括:
工作区定位模块,用于获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;
轨迹生成发送模块,用于根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;
轨迹修正模块,用于接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送。
3.根据权利要求1所述的基于视觉的机器人智能引导系统,其特征在于,所述车载终端包括:
运动指令生成模块,用于接收处理端发送的运动轨迹,根据所述运动轨迹生成运动指令;
停止指令生成模块,用于实时获取位置信息,当位置信息与所述装载位置重合时,生成停止指令;
评价信息生成模块,用于基于V2X车载终端和V2X装载侧设备建立连接通道,实时获取装载信息与环境信息,并根据所述装载信息和所述环境信息生成评价信息;
数据上传模块,用于将所述评价信息上传至处理端。
4.根据权利要求2所述的基于视觉的机器人智能引导系统,其特征在于,所述工作区定位模块包括:
轮廓识别单元,用于获取车间的俯视图像,对所述俯视图像进行轮廓识别,确定设备轮廓;
图像切分单元,用于根据所述设备轮廓对俯视图像进行切分,确定待检区域;
色值识别单元,用于缩放所述待检区域,对缩放后的待检区域进行色值识别,根据色值识别结果确定标签轮廓;其中,所述标签预先设置在车间中且各标签的色值类型为预设的有限值;
文本识别单元,用于对所述标签轮廓进行文本识别,根据文本识别结果定位各工作区。
5.根据权利要求4所述的基于视觉的机器人智能引导系统,其特征在于,所述轨迹生成发送模块包括:
装载位置确定单元,用于获取各工作区对应的文本识别结果,根据文件识别结果确定装载位置;
起终点确定单元,用于获取车载终端的停泊位置,计算所述停泊位置与各装载位置之间的距离,将距离最小的装载位置作为运动起点,距离最大的装置位置作为运动终点;
第一执行单元,用于将所述运动起点作为源点,所述运动终点作为终点输入迪杰斯特拉算法模型,得到运动轨迹;
其中,所述装载位置和所述停泊位置均为坐标数据。
6.根据权利要求3所述的基于视觉的机器人智能引导系统,其特征在于,所述评价信息生成模块包括:
装载量预测单元,用于实时获取装载侧设备中各检测节点的输入信息,将所述输入信息输入训练好的理论装载模型,得到装载量;
偏差率计算单元,用于将所述装载量与实际货物量进行比对,确定设备运行偏差率;
异常值计算单元,用于实时获取音频信号,对所述音频信号进行稳定性分析,根据稳定性分析结果确定设备运行异常值;
评价分计算单元,用于将所述设备运行偏差率和所述设备运行异常值输入预设的评价公式,得到评价分;
第二执行单元,用于获取所述评价分、比对结果和稳定性分析结果,得到评价信息。
7.根据权利要求6所述的基于视觉的机器人智能引导系统,其特征在于,所述异常值计算单元包括:
截取子单元,用于根据预设的递进式音频幅值截取所述音频信号,得到分隔点;
转换子单元,用于根据分隔点将所述音频信号转换为音频片段组;
特征提取子单元,用于获取音频片段组中各音频片段的特征值,得到与音频片段组对应的特征值组;
比对子单元,用于将所述特征值组与历史数据进行比对,根据比对结果确定设备运行异常值;
更新子单元,用于当所述设备运行异常值在预设的异常范围内时,根据所述特征值组更新历史数据。
8.一种基于视觉的机器人智能引导方法,其特征在于,所述方法应用于处理端,所述方法包括:
获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区;
根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送;
接收车载终端反馈的评价信息,根据所述评价信息修正运动轨迹,并将修正后的运动轨迹向车载终端发送。
9.根据权利要求8所述的基于视觉的机器人智能引导方法,其特征在于,所述获取车间的俯视图像,对所述俯视图像进行内容识别,定位工作区的步骤包括:
获取车间的俯视图像,对所述俯视图像进行轮廓识别,确定设备轮廓;
根据所述设备轮廓对俯视图像进行切分,确定待检区域;
缩放所述待检区域,对缩放后的待检区域进行色值识别,根据色值识别结果确定标签轮廓;其中,所述标签预先设置在车间中且各标签的色值类型为预设的有限值;
对所述标签轮廓进行文本识别,根据文本识别结果定位各工作区。
10.根据权利要求9所述的基于视觉的机器人智能引导方法,其特征在于,所述根据所述工作区生成含有装载位置的运动轨迹,将所述运动轨迹向车载终端发送包括:
获取各工作区对应的文本识别结果,根据文件识别结果确定装载位置;
获取车载终端的停泊位置,计算所述停泊位置与各装载位置之间的距离,将距离最小的装载位置作为运动起点,距离最大的装置位置作为运动终点;
将所述运动起点作为源点,所述运动终点作为终点输入迪杰斯特拉算法模型,得到运动轨迹;
其中,所述装载位置和所述停泊位置均为坐标数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210761775.5A CN115082523A (zh) | 2022-06-29 | 2022-06-29 | 一种基于视觉的机器人智能引导系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210761775.5A CN115082523A (zh) | 2022-06-29 | 2022-06-29 | 一种基于视觉的机器人智能引导系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115082523A true CN115082523A (zh) | 2022-09-20 |
Family
ID=83257344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210761775.5A Pending CN115082523A (zh) | 2022-06-29 | 2022-06-29 | 一种基于视觉的机器人智能引导系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082523A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117079454A (zh) * | 2023-07-27 | 2023-11-17 | 北京利通盛达科技有限公司 | 智慧城市安全管理方法和系统 |
CN117097767A (zh) * | 2023-10-18 | 2023-11-21 | 长春师范大学 | 一种用于汽车车联网的联合通讯方法及系统 |
-
2022
- 2022-06-29 CN CN202210761775.5A patent/CN115082523A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117079454A (zh) * | 2023-07-27 | 2023-11-17 | 北京利通盛达科技有限公司 | 智慧城市安全管理方法和系统 |
CN117097767A (zh) * | 2023-10-18 | 2023-11-21 | 长春师范大学 | 一种用于汽车车联网的联合通讯方法及系统 |
CN117097767B (zh) * | 2023-10-18 | 2023-12-22 | 长春师范大学 | 一种用于汽车车联网的联合通讯方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115082523A (zh) | 一种基于视觉的机器人智能引导系统及方法 | |
CN113139559B (zh) | 一种目标检测模型的训练方法、数据的标注方法和装置 | |
CN110850872A (zh) | 机器人巡检方法、装置、计算机可读存储介质及机器人 | |
CN107742304B (zh) | 移动轨迹的确定方法及装置、移动机器人及存储介质 | |
CN110163153B (zh) | 用于识别交通标志牌边界的方法及装置 | |
CN113127666B (zh) | 一种连续帧数据的标注系统、方法和装置 | |
CN114581442B (zh) | 用于mes系统的产品检测方法及装置 | |
CN114911239A (zh) | 一种无人驾驶矿车的异常识别方法及系统 | |
CN114548832A (zh) | 一种基于大数据的风电设备状态评估方法及系统 | |
CN112212866A (zh) | 机器人及其跨楼层导航方法和装置 | |
CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
CN115509765A (zh) | 一种超融合云计算方法、系统、计算机设备及存储介质 | |
CN115037766A (zh) | 一种工业设备物联网数据采集方法及装置 | |
CN114911238A (zh) | 一种无人驾驶矿车协同控制方法及系统 | |
CN111145634B (zh) | 一种校正地图的方法及装置 | |
CN113963033A (zh) | 一种基于人工智能的电力设备异常检测方法和系统 | |
CN112097772B (zh) | 机器人及其地图构建方法和装置 | |
CN115086343B (zh) | 一种基于人工智能的物联网数据交互方法及系统 | |
CN112415524A (zh) | 机器人及其定位导航方法和装置 | |
CN114202080A (zh) | 一种基于地理信息线路交叉跨越点的自动识别方法及系统 | |
CN113923405B (zh) | 一种基于安全监控的移动通信系统 | |
CN115734072A (zh) | 一种工业自动化设备的物联网集中监控方法及装置 | |
CN115346041A (zh) | 基于深度学习的点位标注方法、装置、设备及存储介质 | |
CN114708239A (zh) | 胶宽检测方法、装置、电子设备及存储介质 | |
CN114511753A (zh) | 一种目标检测模型的更新方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |