CN118154687B - 基于单目视觉的送餐机器人目标定位与避障方法及系统 - Google Patents

基于单目视觉的送餐机器人目标定位与避障方法及系统 Download PDF

Info

Publication number
CN118154687B
CN118154687B CN202410564837.2A CN202410564837A CN118154687B CN 118154687 B CN118154687 B CN 118154687B CN 202410564837 A CN202410564837 A CN 202410564837A CN 118154687 B CN118154687 B CN 118154687B
Authority
CN
China
Prior art keywords
meal delivery
restaurant
target
motion blur
delivery robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410564837.2A
Other languages
English (en)
Other versions
CN118154687A (zh
Inventor
于晗骁
冯骁骥
韩子墨
杨晓君
闵海波
谢洁明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202410564837.2A priority Critical patent/CN118154687B/zh
Publication of CN118154687A publication Critical patent/CN118154687A/zh
Application granted granted Critical
Publication of CN118154687B publication Critical patent/CN118154687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及三维空间感知领域，公开了基于单目视觉的送餐机器人目标定位与避障方法及系统，包括以下步骤：引入多种算法使送餐机器人进行目标定位和避障处理，包括使用盲去卷积算法、变分贝叶斯算法和Richardson‑Lucy算法对餐厅实时图片进行运动模糊消除，使用FCRN深度学习网络获取运动模糊消除图片的深度信息，使用HSV阈值分割算法、模板像素匹配算法和PNP算法进行目标路径获取。多种算法结合使用的目的是使送餐机器人进行目标定位和避障处理，实现自动将食物送达至预定的餐桌供客人食用，起到节省人力物力的作用。同时，使用单目视觉的就送餐机器人可以降低硬件成本，提高图像抗干扰性能，适用于成本和性能均需要兼顾的环境。

Description

基于单目视觉的送餐机器人目标定位与避障方法及系统
技术领域
本发明涉及三维空间感知领域，特别是基于单目视觉的送餐机器人目标定位与避障方法及系统。
背景技术
送餐机器人在现代餐饮服务行业中越来越受到欢迎，主要用于提高服务效率并降低人力成本。这些机器人通常在复杂的餐厅环境中操作，包括在多变的光照条件下识别和避开障碍物。传统送餐机器人主要依赖于激光雷达（LIDAR）技术并结合双目视觉等系统来实现障碍物检测和空间定位，但该系统容易受到室内光线环境变化、机器人运动等多种因素的干扰，容易导致镜头成像质量不佳、画面存在拖影模糊等问题，降低了目标识别和深度估算的准确性。此外，双目视觉系统对摄像头的同步和校准要求极高，这在实际应用中可能导致操作复杂性增加和成本上升。本发明的优点是通过使用单目摄像头代替激光雷达和双目视觉系统，大幅度降低了硬件成本，且本方案采用盲去卷积技术对室内复杂场景下的图像进行处理，以优化图像拖影模糊的问题，提高了目标识别和深度估算的准确性。上述优点使得本发明的送餐机器人在市场上具有较高的竞争力和广阔的应用前景，尤其适用于成本和性能都需要兼顾的商业环境。
发明内容
本发明克服了现有技术的不足，提供了基于单目视觉的送餐机器人目标定位与避障方法及系统。
为达到上述目的，本发明采用的技术方案为：
本发明第一方面提供了基于单目视觉的送餐机器人目标定位与避障方法，包括以下步骤：
S102：获取餐厅的建筑结构和器械摆放布局，基于所述餐厅的建筑结构和器械摆放布局，构建送餐机器人的所有送餐路径；
S104：通过单目视觉传感器采集餐厅实时图片，并基于盲去卷积算法、变分贝叶斯算法和Richardson-Lucy算法对餐厅实时图片进行运动模糊消除；
S106：引用FCRN深度学习网络对运动模糊消除图片进行卷积采样优化，得到不同运动模糊消除图片的深度信息，并基于不同运动模糊消除图片的深度信息控制送餐机器人进行避障处理；
S108：通过HSV阈值分割算法对不同的桌牌进行特征分析，得到特征分析结果后基于模板像素匹配算法和PNP算法，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
进一步的，本发明的一个较佳实施例中，所述S102，具体为：
获取历史数据网络，所述历史数据网络中包含餐厅的设计图纸，对所述餐厅的设计图纸进行结构分析，得到餐厅的建筑结构；
在餐厅中安装监控摄像头，并基于所述监控摄像头实时获取餐厅内器械的摆放图片，所述餐厅内器械的摆放图片包括餐厅中餐桌、餐椅的摆放位置以及人行道的分布；
对餐厅内器械的摆放图片进行图像特征提取分析，得到餐厅内器械的摆放图片特征，对餐厅内器械的摆放图片特征进行特征分析，生成餐厅的器械摆放布局；
在餐厅中确定送餐起始点，引入深度优先搜索算法，对送餐起始点、餐厅的建筑结构和器械摆放布局进行路径分析，得到餐厅的所有送餐路径以及不同送餐路径的路径尺寸；
将餐厅内用于送餐的机器人标定为送餐机器人，获取送餐机器人的尺寸，基于所述送餐机器人的尺寸，确定送餐路径的最小路径尺寸；
对餐厅的所有送餐路径进行分析，选取路径尺寸大于最小路径尺寸的送餐路径输出，标定为合格送餐路径，获取所有合格送餐路径，构建合格送餐路径图，并将所述合格送餐路径图导入至送餐机器人的数据库中存储。
进一步的，本发明的一个较佳实施例中，所述S104，具体为：
在送餐机器人上放置食物，并控制送餐机器人工作，所述送餐机器人工作时，控制送餐机器人沿数据库中存储的合格送餐路径图中的合格送餐路径执行送餐任务；
在送餐机器人上安装单目视觉传感器，并在送餐机器人内预设运动模糊消除模块、FCRN单目深度估计模块和目标检测与定位模块；
当送餐机器人开始工作时，通过所述单目视觉传感器实时采集餐厅的实时图片，标定为餐厅实时图片，并将所述餐厅实时图片导入运动模糊消除模块内；
对餐厅实时图片进行图像预处理，所述图像预处理为对餐厅实时图片进行灰度化处理和降噪处理，得到预处理餐厅实时图片；
运行所述运动模糊消除模块，在所述运动模糊消除模块中引入盲去卷积算法和变分贝叶斯算法，基于所述盲去卷积算法和变分贝叶斯算法，计算预处理餐厅实时图片的卷积核，标定为目标卷积核；
引入Richardson-Lucy算法，对目标卷积核以及预处理餐厅实时图片进行迭代求解，并预设最大迭代次数；
对目标卷积核以及预处理餐厅实时图片进行迭代求解的次数大于最大迭代次数，停止进行迭代求解，输出迭代求解后的预处理餐厅实时图片，标定为运动模糊消除图片。
进一步的，本发明的一个较佳实施例中，所述S106，具体为：
启动FCRN单目深度估计模块，并在所述FCRN单目深度估计模块中引入FCRN深度学习网络；
将运动模糊消除图片导入FCRN单目深度估计模块内，并在FCRN单目深度估计模块内，控制FCRN深度学习网络的卷积层和池化层对运动模糊消除图片进行特征提取，得到不同层级的运动模糊消除图片特征；
将不同层级的运动模糊消除图片特征进行融合，得到运动模糊消除图片融合特征图，并在FCRN深度学习网络中通过卷积层对运动模糊消除图片融合特征图进行深度回归，得到运动模糊消除图片融合特征图上不同像素点的深度值；
结合运动模糊消除图片融合特征图上不同像素点的深度值，生成运动模糊消除图片的深度信息，并获取不同运动模糊消除图片的深度信息；
预设最大深度信息，若送餐机器人识别的运动模糊消除图片的深度信息大于最大深度信息，则控制送餐机器人调整送餐方向，当送餐机器人识别的运动模糊消除图片的深度信息小于最小深度信息，则控制送餐机器人继续沿合格送餐路径执行送餐任务。
进一步的，本发明的一个较佳实施例中，所述S108，具体为：
在送餐机器人执行送餐任务时，启动目标检测与定位模块，所述目标检测与定位模块中包含HSV阈值分割算法、模板像素匹配算法和PNP算法；
基于所述HSV阈值分割算法，对运动模糊消除图片进行格式转换，将运动模糊消除图片的RGB格式转换为HSV颜色空间格式；
在HSV颜色空间格式的运动模糊消除图片中，获取运动模糊消除图片中不同像素的颜色分量，所述颜色分量为色相分量、饱和度分量和明度分量；
获取桌牌号所在的桌牌的颜色，标定为目标颜色，基于所述目标颜色，确定目标颜色分量阈值范围；
在送餐机器人执行送餐任务时，实时对不同运动模糊消除图片的不同像素的颜色分量进行分析，若运动模糊消除图片中，存在像素的颜色分量维持在目标颜色分量阈值范围内，则将对应的运动模糊消除图片标定为一类运动模糊消除图片，并在一类运动模糊消除图片上将对应的像素所在的区域标记为目标区域；
对一类运动模糊消除图片的目标区域进行特征提取，得到目标区域特征值，获取桌牌的面积以及长宽比，基于所述桌牌的面积以及长宽比，生成目标特征阈值；
计算目标区域特征值是否在目标特征阈值内，若是，则证明对应的一类运动模糊消除图片的目标区域为桌牌，并将对应的一类运动模糊消除图片的目标区域标定为桌牌区域；
引入模板像素匹配算法对桌牌区域进行二值化像素值比对，在二值化像素值比对后基于PNP算法定位送餐机器人的坐标，与目标桌牌三维坐标进行综合分析，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
进一步的，本发明的一个较佳实施例中，所述引入模板像素匹配算法对桌牌区域进行二值化像素值比对，在二值化像素值比对后基于PNP算法定位送餐机器人的坐标，与目标桌牌三维坐标进行综合分析，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务，具体为：
获取送餐机器人需要送达的餐桌的桌牌号，标定为目标桌牌号，并获取目标桌牌号的数字模板；
在送餐机器人执行送餐任务过程中，基于模板像素匹配算法，对一类运动模糊图片上的桌牌区域与目标桌牌号的数字模板进行实时二值化像素值匹配，生成桌牌号实时匹配率并存储至目标检测与定位模块内；
预设桌牌号匹配阈值，在送餐机器人执行送餐任务过程中，若目标检测与定位模块内的桌牌号实时匹配率不大于桌牌号匹配阈值，则控制送餐机器人一直沿合格送餐路径执行送餐任务，并控制送餐机器人在执行送餐任务时不重复经过相同的合格送餐路径；
在送餐机器人执行送餐任务过程中，若目标检测与定位模块内的桌牌号实时匹配率大于桌牌号匹配阈值，则获取使桌牌号实时匹配率大于桌牌号匹配阈值的对应的一类运动模糊图片，标定为二类运动模糊图片，并获取二类运动模糊图片中的桌牌区域；
基于餐厅的建筑结构和器械摆放布局，构建餐厅三维坐标图，所述餐厅三维坐标图中包含所有桌牌的三维坐标；
当送餐机器人识别得到二类运动模糊图片中的桌牌区域，则获取送餐机器人的单目视觉传感器的内参矩阵，基于PNP算法，对送餐机器人的单目视觉传感器的内参矩阵和餐厅三维坐标图进行结合分析，得到送餐机器人在餐厅中的实时三维坐标；
获取目标桌牌号对应桌牌的三维坐标，标定为目标桌牌三维坐标，使用深度优先搜索算法，基于送餐机器人在餐厅中的实时三维坐标、目标桌牌三维坐标以及合格路径，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
本发明第二方面还提供了基于单目视觉的送餐机器人目标定位与避障系统，所述目标定位与避障系统包括存储器与处理器，所述存储器中储存有目标定位与避障方法，所述目标定位与避障方法被所述处理器执行时，实现如下步骤：
获取餐厅的建筑结构和器械摆放布局，基于所述餐厅的建筑结构和器械摆放布局，构建送餐机器人的所有送餐路径；
通过单目视觉传感器采集餐厅实时图片，并基于盲去卷积算法、变分贝叶斯算法和Richardson-Lucy算法对餐厅实时图片进行运动模糊消除；
引用FCRN深度学习网络对运动模糊消除图片进行卷积采样优化，得到不同运动模糊消除图片的深度信息，并基于不同运动模糊消除图片的深度信息控制送餐机器人进行避障处理；
通过HSV阈值分割算法对不同的桌牌进行特征分析，得到特征分析结果后基于模板像素匹配算法和PNP算法，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
本发明解决的背景技术中存在的技术缺陷，本发明具备以下有益效果：引入多种算法使送餐机器人进行目标定位和避障处理，包括使用盲去卷积算法、变分贝叶斯算法和Richardson-Lucy算法对餐厅实时图片进行运动模糊消除，使用FCRN深度学习网络获取运动模糊消除图片的深度信息，使用HSV阈值分割算法、模板像素匹配算法和PNP算法进行目标路径获取。多种算法结合使用的目的是使送餐机器人进行目标定位和避障处理，实现自动将食物送达至预定的餐桌供客人食用，起到节省人力物力的作用。同时，使用单目视觉的就送餐机器人可以降低硬件成本，提高图像抗干扰性能，适用于成本和性能均需要兼顾的环境。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。
图1示出了基于单目视觉的送餐机器人目标定位与避障方法的流程图；
图2示出了通过HSV阈值分割算法、模板像素匹配算法和PNP算法生成目标路径的方法流程图；
图3示出了基于单目视觉的送餐机器人目标定位与避障系统。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了基于单目视觉的送餐机器人目标定位与避障方法的流程图，包括以下步骤：
S102：获取餐厅的建筑结构和器械摆放布局，基于所述餐厅的建筑结构和器械摆放布局，构建送餐机器人的所有送餐路径；
S104：通过单目视觉传感器采集餐厅实时图片，并基于盲去卷积算法、变分贝叶斯算法和Richardson-Lucy算法对餐厅实时图片进行运动模糊消除；
S106：引用FCRN深度学习网络对运动模糊消除图片进行卷积采样优化，得到不同运动模糊消除图片的深度信息，并基于不同运动模糊消除图片的深度信息控制送餐机器人进行避障处理；
S108：通过HSV阈值分割算法对不同的桌牌进行特征分析，得到特征分析结果后基于模板像素匹配算法和PNP算法，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
进一步的，本发明的一个较佳实施例中，所述S102，具体为：
获取历史数据网络，所述历史数据网络中包含餐厅的设计图纸，对所述餐厅的设计图纸进行结构分析，得到餐厅的建筑结构；
在餐厅中安装监控摄像头，并基于所述监控摄像头实时获取餐厅内器械的摆放图片，所述餐厅内器械的摆放图片包括餐厅中餐桌、餐椅的摆放位置以及人行道的分布；
对餐厅内器械的摆放图片进行图像特征提取分析，得到餐厅内器械的摆放图片特征，对餐厅内器械的摆放图片特征进行特征分析，生成餐厅的器械摆放布局；
在餐厅中确定送餐起始点，引入深度优先搜索算法，对送餐起始点、餐厅的建筑结构和器械摆放布局进行路径分析，得到餐厅的所有送餐路径以及不同送餐路径的路径尺寸；
将餐厅内用于送餐的机器人标定为送餐机器人，获取送餐机器人的尺寸，基于所述送餐机器人的尺寸，确定送餐路径的最小路径尺寸；
对餐厅的所有送餐路径进行分析，选取路径尺寸大于最小路径尺寸的送餐路径输出，标定为合格送餐路径，获取所有合格送餐路径，构建合格送餐路径图，并将所述合格送餐路径图导入至送餐机器人的数据库中存储。
需要说明的是，餐厅在建造时拥有自身的结构，且餐厅内摆放有多张餐桌、椅子、杂物等，所以餐厅内存在多条路径可以供送餐机器人行走运送食物。送餐机器人是一种能够自动将食物送至指定的餐桌上供客人食用的机器人。由于部分桌子之间可能间隔较小，或者存在餐厅内部分位置不可以进入送餐机器人，所以需要获取送餐机器人的全部可以执行送餐任务的路径，目的是供送餐机器人执行送餐任务。送餐起始点使送餐机器人的起点，该点通常为厨房等地方，从送餐起始点开始，结合餐厅的建筑结构和器械摆放布局，使用深度优先搜索算法可以获取餐厅内的所有送餐路径。深度优先搜索算法是一种可以用于路径规划的算法，基于深度优先搜索算法，获取所有送餐路径后，需要判断送餐路径的尺寸是否大于送餐机器人的尺寸，若小于则送餐机器人无法通过该路径，最后得到合格送餐路径，并构建合格送餐路径图。送餐机器人的送餐路径必须为合格送餐路径，否则执行送餐任务的效率较低，甚至会造成人体危险。
进一步的，本发明的一个较佳实施例中，所述S104，具体为：
在送餐机器人上放置食物，并控制送餐机器人工作，所述送餐机器人工作时，控制送餐机器人沿数据库中存储的合格送餐路径图中的合格送餐路径执行送餐任务；
在送餐机器人上安装单目视觉传感器，并在送餐机器人内预设运动模糊消除模块、FCRN单目深度估计模块和目标检测与定位模块；
当送餐机器人开始工作时，通过所述单目视觉传感器实时采集餐厅的实时图片，标定为餐厅实时图片，并将所述餐厅实时图片导入运动模糊消除模块内；
对餐厅实时图片进行图像预处理，所述图像预处理为对餐厅实时图片进行灰度化处理和降噪处理，得到预处理餐厅实时图片；
运行所述运动模糊消除模块，在所述运动模糊消除模块中引入盲去卷积算法和变分贝叶斯算法，基于所述盲去卷积算法和变分贝叶斯算法，计算预处理餐厅实时图片的卷积核，标定为目标卷积核；
引入Richardson-Lucy算法，对目标卷积核以及预处理餐厅实时图片进行迭代求解，并预设最大迭代次数；
对目标卷积核以及预处理餐厅实时图片进行迭代求解的次数大于最大迭代次数，停止进行迭代求解，输出迭代求解后的预处理餐厅实时图片，标定为运动模糊消除图片。
需要说明的是，在送餐机器人根据合格送餐路径进行送餐的时候，通过单目视觉传感器实时采集餐厅内的图片进行图片预处理。所述单目视觉传感器一种用于获取环境信息的传感器，通过单个摄像头或者视觉设备来捕获场景的图像，并结合多种算法对图像进行分析，从而获取环境的信息。进行图片预处理的目的是在对图片进行特征处理的过程中降低计算复杂度，提高计算的精度。在获取图片的时候，由于送餐机器人是在运动的状况下获取图片，且光照可能不足，所以获取的图片可能会存在模糊不清等情况，图片较模糊会导致识别的精度下降，所以需要消除图片因光线、运动等问题造成的画面模糊，为后续图像处理提供优质数据。可以通过盲去卷积法对手机的每一帧图片进行处理，所述盲去卷积法是一种用于恢复模糊图像的算法，通过估计图像模糊的卷积核，并进行卷积操作，使模糊图像恢复原样。盲去卷积法可以和变分贝叶斯算法结合使用，得到目标卷积核。变分贝叶斯算法是一种用于推断概率模型中参数和隐变量的近似推断方法。它结合了贝叶斯推断和变分推断的思想，在本申请中可以对图片进行卷积核解析计算，得到目标卷积核。Richardson-Lucy算法是一种图像回复算法，通过对目标卷积核进行反卷积操作，实现迭代计算，迭代计算的目的是模糊图像恢复清晰，并在预设的迭代次数过后停止迭代计算，即可得到运动模糊消除图片。
进一步的，本发明的一个较佳实施例中，所述S106，具体为：
启动FCRN单目深度估计模块，并在所述FCRN单目深度估计模块中引入FCRN深度学习网络；
将运动模糊消除图片导入FCRN单目深度估计模块内，并在FCRN单目深度估计模块内，控制FCRN深度学习网络的卷积层和池化层对运动模糊消除图片进行特征提取，得到不同层级的运动模糊消除图片特征；
将不同层级的运动模糊消除图片特征进行融合，得到运动模糊消除图片融合特征图，并在FCRN深度学习网络中通过卷积层对运动模糊消除图片融合特征图进行深度回归，得到运动模糊消除图片融合特征图上不同像素点的深度值；
结合运动模糊消除图片融合特征图上不同像素点的深度值，生成运动模糊消除图片的深度信息，并获取不同运动模糊消除图片的深度信息；
预设最大深度信息，若送餐机器人识别的运动模糊消除图片的深度信息大于最大深度信息，则控制送餐机器人调整送餐方向，当送餐机器人识别的运动模糊消除图片的深度信息小于最小深度信息，则控制送餐机器人继续沿合格送餐路径执行送餐任务。
需要说明的是，FCRN深度学习网络是一种用于单目深度估计任务的深度学习网络，该网络为全卷积层网络，不包含全连接层，可处理任意尺寸的输入图像。FCRN深度学习网络使用的为残差连接的方式，通过在网络中添加残差块来促进更深层网络的训练。在本申请中使用FCRN深度学习网络计算运动模糊消除图片的深度信息，图片中每一个像素点均有对应的深度值，像素点的深度值指像素点对应的三维空间中的距离，深度值越大，证明图片中该点在三维空间中为障碍物的可能性越大。由于障碍物会阻挡送餐机器人执行送餐任务，所以需要计算图片深度信息，为实现送餐机器人避障处理提供条件。对图片深度信息进行分析前需要对图片进行特征提取，通过网络中的卷积层和池化层可以进行特征提取，目的是减少图片尺寸，增加特征深度，降低运算难度；然后需要对不同层级的运动模糊消除图片特征进行融合，得到运动模糊消除图片融合特征图，目的是提高深度信息估计的准确性；最后将特征图进行深度回归，使图片的每一个像素点均映射得到相应的深度值，并通过深度值的大小判定送餐机器人是否需要进行避障处理。送餐机器人执行避障处理的方式为，当识别的图片的深度信息较高，则控制送餐机器人调整送餐方向，直至送餐机器人识别的图片的深度信息小于预设值，并继续进行送餐处理，且方向调整后，继续送餐也需要按照合格送餐路径进行送餐任务。在使用FCRN深度学习网络进行图片深度值计算的过程中，通过卷积采样的方式对图片进行特征提取，且卷积采样需要使用小卷积采样，目的是减少参数的数量，提高采样效率。在卷积采样过程中，FCRN深度学习网络需要使用损失函数进行卷积采样，本申请中使用BerHu损失函数函数作为损失函数。BerHu损失函数的优点在于它在处理异常值时具有鲁棒性。与均方误差损失函数相比，BerHu损失函数对于异常值的影响更小，因为它在残差较大时将损失限制在一个固定的值，而不是像均方误差损失函数那样线性增加。这使得BerHu损失函数在处理存在异常值的数据时更加稳健。
图2示出了通过HSV阈值分割算法、模板像素匹配算法和PNP算法生成目标路径的方法流程图，包括以下步骤：
S202：通过HSV阈值分割算法对运动模糊消除图片进行处理，得到桌牌区域；
S204：基于模板像素匹配算法，对一类运动模糊图片上的桌牌区域与目标桌牌号的数字模板进行实时二值化像素值匹配，生成桌牌号实时匹配率并存储至目标检测与定位模块内；
S206：基于PNP算法定位送餐机器人的坐标，与目标桌牌三维坐标进行综合分析，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
进一步的，本发明的一个较佳实施例中，所述S202，具体为：
在送餐机器人执行送餐任务时，启动目标检测与定位模块，所述目标检测与定位模块中包含HSV阈值分割算法、模板像素匹配算法和PNP算法；
基于所述HSV阈值分割算法，对运动模糊消除图片进行格式转换，将运动模糊消除图片的RGB格式转换为HSV颜色空间格式；
在HSV颜色空间格式的运动模糊消除图片中，获取运动模糊消除图片中不同像素的颜色分量，所述颜色分量为色相分量、饱和度分量和明度分量；
获取桌牌号所在的桌牌的颜色，标定为目标颜色，基于所述目标颜色，确定目标颜色分量阈值范围；
在送餐机器人执行送餐任务时，实时对不同运动模糊消除图片的不同像素的颜色分量进行分析，若运动模糊消除图片中，存在像素的颜色分量维持在目标颜色分量阈值范围内，则将对应的运动模糊消除图片标定为一类运动模糊消除图片，并在一类运动模糊消除图片上将对应的像素所在的区域标记为目标区域；
对一类运动模糊消除图片的目标区域进行特征提取，得到目标区域特征值，获取桌牌的面积以及长宽比，基于所述桌牌的面积以及长宽比，生成目标特征阈值；
计算目标区域特征值是否在目标特征阈值内，若是，则证明对应的一类运动模糊消除图片的目标区域为桌牌，并将对应的一类运动模糊消除图片的目标区域标定为桌牌区域。
需要说明的是，在送餐机器人执行送餐任务的时候，需要适时对识别的图片进行分析，实现将食物送达至指定地点的目的。首先需要通过HSV阈值分割算法对运动模糊消除图片进行阈值分割，判断运动模糊消除图片中是否存在桌牌。由于每张桌子上均有桌牌，向送餐机器人提前设定需要送达的桌牌，则送餐机器人则会在送餐途中实时识别桌牌并将食物送达。HSV阈值分割算法一种常用的基于颜色空间的图像分割方法，可以将图片进行格式转换，图片在采集时的格式均为RGB格式，需要转换为HSV颜色空间格式，目的是为了获取图片中颜色的三个分量，分别为色相分量、饱和度分量和明度分量。图片中颜色的三个分量可以区分颜色属性，不同的颜色的三个分量均不同。预设分量阈值范围，所述分量阈值范围根据桌牌的颜色而设定，判断图片中是否存在像素的颜色的三个分量在阈值范围内，若是则证明图片中包含桌牌，即送餐机器人在三维空间内的前方是一张餐桌。本申请中桌牌的颜色为红底白字，且需要结合桌牌的固有特征，比如桌牌的面积以及长宽比进行限制，实现桌牌识别的精准性，并得到桌牌区域。引入以下公式，根据面积以及长宽比对目标区域的桌牌特征进行目标筛选。
；
其中，和表示目标区域的最大和最小限定值，和表示目标区域的最大和最小长宽比。
此时需要对桌牌区域进行桌牌号分析，判定该桌牌对应的餐桌是否为需要进行送餐的餐桌。可以通过模板像素匹配算法进行分析，在送餐机器人内预设需要送餐的餐桌的桌牌号，并通过模板像素匹配算法对桌牌区域进行分析，分析的方式为将预设的桌牌号模板与桌牌区域进行二值化像素值比对，评获取匹配率，匹配率越高，证明该桌牌区域对应的桌牌为需要送餐的餐桌对应的桌牌。匹配率的计算方法为：
；
其中表示匹配率，表示像素值相同的像素数，表示像素值不同的像素数，表示总像素。匹配率可以通过像素数进行分析，像素数相同的数量越高，证明匹配率越高。
进一步的，本发明的一个较佳实施例中，所述S206，具体为：
预设桌牌号匹配阈值，在送餐机器人执行送餐任务过程中，若目标检测与定位模块内的桌牌号实时匹配率不大于桌牌号匹配阈值，则控制送餐机器人一直沿合格送餐路径执行送餐任务，并控制送餐机器人在执行送餐任务时不重复经过相同的合格送餐路径；
在送餐机器人执行送餐任务过程中，若目标检测与定位模块内的桌牌号实时匹配率大于桌牌号匹配阈值，则获取使桌牌号实时匹配率大于桌牌号匹配阈值的对应的一类运动模糊图片，标定为二类运动模糊图片，并获取二类运动模糊图片中的桌牌区域；
基于餐厅的建筑结构和器械摆放布局，构建餐厅三维坐标图，所述餐厅三维坐标图中包含所有桌牌的三维坐标；
当送餐机器人识别得到二类运动模糊图片中的桌牌区域，则获取送餐机器人的单目视觉传感器的内参矩阵，基于PNP算法，对送餐机器人的单目视觉传感器的内参矩阵和餐厅三维坐标图进行结合分析，得到送餐机器人在餐厅中的实时三维坐标；
获取目标桌牌号对应桌牌的三维坐标，标定为目标桌牌三维坐标，使用深度优先搜索算法，基于送餐机器人在餐厅中的实时三维坐标、目标桌牌三维坐标以及合格路径，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
需要说明的是，若送餐机器人在识别桌牌号的过程中，不存在桌牌号实时匹配率不大于桌牌号匹配阈值，证明当前送餐机器人所处的位置距离目标送达的餐桌有一段距离，则控制送餐机器人一直沿合格送餐路径执行送餐任务。控制送餐机器人在执行送餐任务时不重复经过相同的合格送餐路径目的是，走过的合格送餐路径上并无送餐机器人需要送餐的餐桌，所以重复经过会浪费送餐时间，降低效率。当送餐机器人识别得到的桌牌号实时匹配率大于桌牌号匹配阈值，证明在送餐机器人附近存在需要送餐的餐桌，此时需要定位送餐机器人在餐厅内的坐标，并获取目标桌牌号对用桌牌的坐标。坐标为三维坐标，因为需要在三维空间中实行目标定位与避障。餐厅三维坐标图表述了餐厅中所有桌牌的三维坐标，以桌牌三维坐标作为参照物，结合送餐机器人的单目视觉传感器的内参矩阵和PNP算法，可以得到送餐机器人的三维坐标。送餐机器人的单目视觉传感器的内参矩阵为描述相机内部特性的一个重要矩阵，通常用于相机几何校正、图像畸变校正以及三维重建等计算机视觉任务中。PNP算法是一种用于计算摄像机相对于三维空间中点集的位置和方向的常用算法。PNP算法可以根据已知的三维空间中的点，即桌牌三维坐标，以及在图片中的对应投影点，结合送餐机器人的单目视觉传感器的内参矩阵进行分析，得到送餐机器人在三维空间内当前的坐标位置。当得到了送餐机器人的坐标，结合目标桌牌三维坐标，即可构建在合格送餐路径基础上的一条适用于向目标桌牌三维坐标对应的餐桌进行送餐的路径，及目标路径，并根据目标路径进行送餐处理。
此外，所述基于单目视觉的送餐机器人目标定位与避障方法，还包括以下步骤：
当送餐机器人执行送餐任务后，在餐厅三维坐标图中获取送餐起始点的三维坐标，并基于深度优先搜索算法，对送餐起始点的三维坐标和目标桌牌三维坐标进行路径演算，得到所有的返回路径；
对所有返回路径进行分析，判断返回路径是否为合格送餐路径，若是，则将返回路径标定为待选返回路径；
获取所有待选返回路径的路径长度，并选择路径长度最短的待选返回路径作为送餐机器人返回至送餐起始点的路径，标定为目标返回路径；
控制送餐机器人根据目标返回路径返回至送餐起始点，并在送餐机人返回途中，启动FCRN单目深度估计模块实时分析是否存在障碍物，若是则需要控制送餐机器人调整返回方向。
需要说明的是，在送餐机器人完成送餐任务后，需要返回送餐起始点，即厨房等地执行下一次的送餐任务。由于知晓了送餐机器人最后一次送餐所处位置的三维坐标，即目标桌牌三维坐标，并且在餐厅三维坐标图中存在送餐起始点的三维坐标，所以可以根据深度优先搜索算法演算得到所有目标桌牌三维坐标到送餐起始点的三维坐标的路径，定义为返回路径。返回路径需要与合格送餐路径相重合，因为合格送餐路径可以通过送餐机器人，尺寸合适。为了节省送餐机器人的电能，提高工作效率，所以需要对所有的待选返回路径进行长度分析，选择长度最短的输出，得到目标返回路径。在返回时启用FCRN单目深度估计模块，确保送餐机器人在返回时实现避障处理，提高效率。
如图3所示，本发明第二方面还提供了基于单目视觉的送餐机器人目标定位与避障系统，所述目标定位与避障系统包括存储器与处理器，所述存储器中储存有目标定位与避障方法，所述目标定位与避障方法被所述处理器执行时，实现如下步骤：
获取餐厅的建筑结构和器械摆放布局，基于所述餐厅的建筑结构和器械摆放布局，构建送餐机器人的所有送餐路径；
通过单目视觉传感器采集餐厅实时图片，并基于盲去卷积算法、变分贝叶斯算法和Richardson-Lucy算法对餐厅实时图片进行运动模糊消除；
引用FCRN深度学习网络对运动模糊消除图片进行卷积采样优化，得到不同运动模糊消除图片的深度信息，并基于不同运动模糊消除图片的深度信息控制送餐机器人进行避障处理；
通过HSV阈值分割算法对不同的桌牌进行特征分析，得到特征分析结果后基于模板像素匹配算法和PNP算法，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.基于单目视觉的送餐机器人目标定位与避障方法，其特征在于，包括以下步骤：
S102：获取餐厅的建筑结构和器械摆放布局，基于所述餐厅的建筑结构和器械摆放布局，构建送餐机器人的所有送餐路径；
S104：通过单目视觉传感器采集餐厅实时图片，并基于盲去卷积算法、变分贝叶斯算法和Richardson-Lucy算法对餐厅实时图片进行运动模糊消除；
S106：引用FCRN深度学习网络对运动模糊消除图片进行卷积采样优化，得到不同运动模糊消除图片的深度信息，并基于不同运动模糊消除图片的深度信息控制送餐机器人进行避障处理；
S108：通过HSV阈值分割算法对不同的桌牌进行特征分析，得到特征分析结果后基于模板像素匹配算法和PNP算法，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务；
其中，所述S106，具体为：
启动FCRN单目深度估计模块，并在所述FCRN单目深度估计模块中引入FCRN深度学习网络；
将运动模糊消除图片导入FCRN单目深度估计模块内，并在FCRN单目深度估计模块内，控制FCRN深度学习网络的卷积层和池化层对运动模糊消除图片进行特征提取，得到不同层级的运动模糊消除图片特征；
将不同层级的运动模糊消除图片特征进行融合，得到运动模糊消除图片融合特征图，并在FCRN深度学习网络中通过卷积层对运动模糊消除图片融合特征图进行深度回归，得到运动模糊消除图片融合特征图上不同像素点的深度值；
结合运动模糊消除图片融合特征图上不同像素点的深度值，生成运动模糊消除图片的深度信息，并获取不同运动模糊消除图片的深度信息；
预设最大深度信息，若送餐机器人识别的运动模糊消除图片的深度信息大于最大深度信息，则控制送餐机器人调整送餐方向，当送餐机器人识别的运动模糊消除图片的深度信息小于最大深度信息，则控制送餐机器人继续沿合格送餐路径执行送餐任务；
其中，所述S108，具体为：
在送餐机器人执行送餐任务时，启动目标检测与定位模块，所述目标检测与定位模块中包含HSV阈值分割算法、模板像素匹配算法和PNP算法；
基于所述HSV阈值分割算法，对运动模糊消除图片进行格式转换，将运动模糊消除图片的RGB格式转换为HSV颜色空间格式；
在HSV颜色空间格式的运动模糊消除图片中，获取运动模糊消除图片中不同像素的颜色分量，所述颜色分量为色相分量、饱和度分量和明度分量；
获取桌牌号所在的桌牌的颜色，标定为目标颜色，基于所述目标颜色，确定目标颜色分量阈值范围；
在送餐机器人执行送餐任务时，实时对不同运动模糊消除图片的不同像素的颜色分量进行分析，若运动模糊消除图片中，存在像素的颜色分量维持在目标颜色分量阈值范围内，则将对应的运动模糊消除图片标定为一类运动模糊消除图片，并在一类运动模糊消除图片上将对应的像素所在的区域标记为目标区域；
对一类运动模糊消除图片的目标区域进行特征提取，得到目标区域特征值，获取桌牌的面积以及长宽比，基于所述桌牌的面积以及长宽比，生成目标特征阈值；
计算目标区域特征值是否在目标特征阈值内，若是，则证明对应的一类运动模糊消除图片的目标区域为桌牌，并将对应的一类运动模糊消除图片的目标区域标定为桌牌区域；
引入模板像素匹配算法对桌牌区域进行二值化像素值比对，在二值化像素值比对后基于PNP算法定位送餐机器人的坐标，与目标桌牌三维坐标进行综合分析，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务；
其中，所述引入模板像素匹配算法对桌牌区域进行二值化像素值比对，在二值化像素值比对后基于PNP算法定位送餐机器人的坐标，与目标桌牌三维坐标进行综合分析，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务，具体为：
获取送餐机器人需要送达的餐桌的桌牌号，标定为目标桌牌号，并获取目标桌牌号的数字模板；
在送餐机器人执行送餐任务过程中，基于模板像素匹配算法，对一类运动模糊图片上的桌牌区域与目标桌牌号的数字模板进行实时二值化像素值匹配，生成桌牌号实时匹配率并存储至目标检测与定位模块内；
预设桌牌号匹配阈值，在送餐机器人执行送餐任务过程中，若目标检测与定位模块内的桌牌号实时匹配率不大于桌牌号匹配阈值，则控制送餐机器人一直沿合格送餐路径执行送餐任务，并控制送餐机器人在执行送餐任务时不重复经过相同的合格送餐路径；
在送餐机器人执行送餐任务过程中，若目标检测与定位模块内的桌牌号实时匹配率大于桌牌号匹配阈值，则获取使桌牌号实时匹配率大于桌牌号匹配阈值的对应的一类运动模糊图片，标定为二类运动模糊图片，并获取二类运动模糊图片中的桌牌区域；
基于餐厅的建筑结构和器械摆放布局，构建餐厅三维坐标图，所述餐厅三维坐标图中包含所有桌牌的三维坐标；
当送餐机器人识别得到二类运动模糊图片中的桌牌区域，则获取送餐机器人的单目视觉传感器的内参矩阵，基于PNP算法，对送餐机器人的单目视觉传感器的内参矩阵和餐厅三维坐标图进行结合分析，得到送餐机器人在餐厅中的实时三维坐标；
获取目标桌牌号对应桌牌的三维坐标，标定为目标桌牌三维坐标，使用深度优先搜索算法，基于送餐机器人在餐厅中的实时三维坐标、目标桌牌三维坐标以及合格路径，生成目标路径，并控制送餐机器人沿目标路径执行送餐任务。
2.根据权利要求1中所述的基于单目视觉的送餐机器人目标定位与避障方法，其特征在于，所述S102，具体为：
获取历史数据网络，所述历史数据网络中包含餐厅的设计图纸，对所述餐厅的设计图纸进行结构分析，得到餐厅的建筑结构；
在餐厅中安装监控摄像头，并基于所述监控摄像头实时获取餐厅内器械的摆放图片，所述餐厅内器械的摆放图片包括餐厅中餐桌、餐椅的摆放位置以及人行道的分布；
对餐厅内器械的摆放图片进行图像特征提取分析，得到餐厅内器械的摆放图片特征，对餐厅内器械的摆放图片特征进行特征分析，生成餐厅的器械摆放布局；
在餐厅中确定送餐起始点，引入深度优先搜索算法，对送餐起始点、餐厅的建筑结构和器械摆放布局进行路径分析，得到餐厅的所有送餐路径以及不同送餐路径的路径尺寸；
将餐厅内用于送餐的机器人标定为送餐机器人，获取送餐机器人的尺寸，基于所述送餐机器人的尺寸，确定送餐路径的最小路径尺寸；
对餐厅的所有送餐路径进行分析，选取路径尺寸大于最小路径尺寸的送餐路径输出，标定为合格送餐路径，获取所有合格送餐路径，构建合格送餐路径图，并将所述合格送餐路径图导入至送餐机器人的数据库中存储。
3.根据权利要求1中所述的基于单目视觉的送餐机器人目标定位与避障方法，其特征在于，所述S104，具体为：
在送餐机器人上放置食物，并控制送餐机器人工作，所述送餐机器人工作时，控制送餐机器人沿数据库中存储的合格送餐路径图中的合格送餐路径执行送餐任务；
在送餐机器人上安装单目视觉传感器，并在送餐机器人内预设运动模糊消除模块、FCRN单目深度估计模块和目标检测与定位模块；
当送餐机器人开始工作时，通过所述单目视觉传感器实时采集餐厅的实时图片，标定为餐厅实时图片，并将所述餐厅实时图片导入运动模糊消除模块内；
对餐厅实时图片进行图像预处理，所述图像预处理为对餐厅实时图片进行灰度化处理和降噪处理，得到预处理餐厅实时图片；
运行所述运动模糊消除模块，在所述运动模糊消除模块中引入盲去卷积算法和变分贝叶斯算法，基于所述盲去卷积算法和变分贝叶斯算法，计算预处理餐厅实时图片的卷积核，标定为目标卷积核；
引入Richardson-Lucy算法，对目标卷积核以及预处理餐厅实时图片进行迭代求解，并预设最大迭代次数；
对目标卷积核以及预处理餐厅实时图片进行迭代求解的次数大于最大迭代次数，停止进行迭代求解，输出迭代求解后的预处理餐厅实时图片，标定为运动模糊消除图片。
4.基于单目视觉的送餐机器人目标定位与避障系统，其特征在于，所述送餐机器人目标定位与避障系统包括存储器与处理器，所述存储器中存储有送餐机器人目标定位与避障方法程序，当所述送餐机器人目标定位与避障方法程序被所述处理器执行时，实现如权利要求1-3任一项的送餐机器人目标定位与避障方法步骤。
CN202410564837.2A 2024-05-09 2024-05-09 基于单目视觉的送餐机器人目标定位与避障方法及系统 Active CN118154687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410564837.2A CN118154687B (zh) 2024-05-09 2024-05-09 基于单目视觉的送餐机器人目标定位与避障方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410564837.2A CN118154687B (zh) 2024-05-09 2024-05-09 基于单目视觉的送餐机器人目标定位与避障方法及系统

Publications (2)

Publication Number Publication Date
CN118154687A CN118154687A (zh) 2024-06-07
CN118154687B true CN118154687B (zh) 2024-07-19

Family

ID=91297123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410564837.2A Active CN118154687B (zh) 2024-05-09 2024-05-09 基于单目视觉的送餐机器人目标定位与避障方法及系统

Country Status (1)

Country Link
CN (1) CN118154687B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118377309B (zh) * 2024-06-26 2024-09-13 深圳市永迦电子科技有限公司 一种通过电梯送餐的机器人控制方法、系统及可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106863332A (zh) * 2017-04-27 2017-06-20 广东工业大学 一种机器人视觉定位方法及系统
CN110710852A (zh) * 2019-10-30 2020-01-21 广州铁路职业技术学院（广州铁路机械学校） 基于送餐机器人的送餐方法、系统、介质及智能设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115024624A (zh) * 2021-03-06 2022-09-09 智慧式有限公司 一种无人自主经营餐厅外卖自动送达系统及设备
CN113977610A (zh) * 2021-12-17 2022-01-28 青岛云裳羽衣物联科技有限公司 一种基于rfid技术的自动送餐智能机器人
CN115147723B (zh) * 2022-07-11 2023-05-09 武汉理工大学 一种内河船舶识别与测距方法、系统、介质、设备及终端
CN115657654B (zh) * 2022-07-26 2023-12-08 东莞康视达自动化科技有限公司 一种用于送餐机器人的视觉识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106863332A (zh) * 2017-04-27 2017-06-20 广东工业大学 一种机器人视觉定位方法及系统
CN110710852A (zh) * 2019-10-30 2020-01-21 广州铁路职业技术学院（广州铁路机械学校） 基于送餐机器人的送餐方法、系统、介质及智能设备

Also Published As

Publication number Publication date
CN118154687A (zh) 2024-06-07

Similar Documents

Publication Publication Date Title
CN110598610B (zh) 一种基于神经选择注意的目标显著性检测方法
CN118154687B (zh) 基于单目视觉的送餐机器人目标定位与避障方法及系统
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
US8442269B2 (en) Method and apparatus for tracking target object
US9008457B2 (en) Systems and methods for illumination correction of an image
CN104620282B (zh) 用于抑制图像中的噪声的方法和系统
CN109087325B (zh) 一种基于单目视觉的直接法点云三维重建及尺度确定方法
CN112361990B (zh) 激光图案提取方法、装置、激光测量设备和系统
CN108197521A (zh) 一种多相位二维码获取识别装置及方法
CN112465735B (zh) 行人检测方法、装置及计算机可读存储介质
CN109214996A (zh) 一种图像处理方法及装置
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
CN111161219B (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN113628202B (zh) 一种确定方法、清洁机器人和计算机存储介质
CN113888420A (zh) 一种基于修正模型的水下图像复原方法、设备及存储介质
CN112949423A (zh) 物体识别方法、物体识别装置及机器人
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN113592947B (zh) 一种半直接法的视觉里程计实现方法
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法
CN112571409B (zh) 基于视觉slam的机器人控制方法、机器人及介质
CN114549978A (zh) 一种基于多摄像头的移动机器人运行方法及系统
CN109934045B (zh) 行人检测方法和装置
WO2021102928A1 (zh) 图像处理方法及装置
CN112766338A (zh) 一种计算距离图像的方法、系统及计算机可读存储介质
CN113822253B (zh) 一种人机协作方法及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant