CN113917932A - 基于机器视觉的导航方法、装置、电子设备及存储介质 - Google Patents

基于机器视觉的导航方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113917932A
CN113917932A CN202111507946.3A CN202111507946A CN113917932A CN 113917932 A CN113917932 A CN 113917932A CN 202111507946 A CN202111507946 A CN 202111507946A CN 113917932 A CN113917932 A CN 113917932A
Authority
CN
China
Prior art keywords
shelf
robot
image
commodity
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111507946.3A
Other languages
English (en)
Other versions
CN113917932B (zh
Inventor
范朝龙
袁悦
林培文
范黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202111507946.3A priority Critical patent/CN113917932B/zh
Publication of CN113917932A publication Critical patent/CN113917932A/zh
Application granted granted Critical
Publication of CN113917932B publication Critical patent/CN113917932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及机器人控制领域，具体为一种基于机器视觉的导航方法、装置、电子设备及存储介质，应用于机器人的控制系统以使机器人在商场中行驶，其步骤包括：获取目标商品的商品信息：类别信息、货架信息和目标商品名称；根据类别信息控制机器人沿第一引导线在商场中移动并寻找到目标商品所在的第一区域；根据货架信息，控制机器人在第一区域内寻找目标商品所在的第一货架的位置；根据第一货架的位置获取第一货架对应的第一过道的位置；根据第一过道的位置控制机器人进入第一过道；识别路侧货架图像中的各商品的第二标签信息以找到目标商品；本发明通过图像控制机器人导航移动并寻找目标商品，不依赖于建立地图和标定特征点，其导航稳定性高。

Description

基于机器视觉的导航方法、装置、电子设备及存储介质
技术领域
本发明涉及机器人控制领域，具体涉及一种基于机器视觉的导航方法、装置、电子设备及存储介质。
背景技术
大部分传统的室内导航技术都依赖于在室内建立地图和标定特征点，建立地图费时费力同时在特征点发生变化时将会对地图的匹配及导航精度造成较大影响，例如在超市、商场这种场景下，货架中被经常性地放入或取出商品，其特征变化频繁且变化程度较大，以致机器人在导航过程地图匹配不上而发生飘逸，从而使机器人在导航过程中极为不稳定，因此在超市、商场中以传统的现有技术难以实现机器人导航。
因此，现有技术有待改进和发展。
发明内容
本发明的目的在于提供一种基于机器视觉的导航方法、装置、电子设备及存储介质，无需建立地图和特征点，通过视觉识别控制机器人完成目标寻找和移动行驶，有效避免周边环境的变化影响机器人导航。
第一方面，本申请提供一种基于机器视觉的导航方法，应用于机器人的控制系统以使所述机器人在商场中行驶，其步骤包括：
S1.获取目标商品的商品信息，所述商品信息包括类别信息、货架信息和目标商品名称；
S2.根据所述类别信息控制所述机器人沿第一引导线在所述商场中移动并寻找到目标商品所在的第一区域；所述第一引导线设置在所述商场的各商品存放区域之间的通道上；
S3.根据所述货架信息，控制所述机器人在所述第一区域内寻找所述目标商品所在的第一货架的位置；
S4.根据所述第一货架的位置获取所述第一货架对应的第一过道的位置；
S5.根据所述第一过道的位置控制所述机器人进入所述第一过道；
S6.循环执行以下步骤：
S61.获取所述第一过道路侧货架的货架图像；
S62.从所述第一货架所在的所述货架图像中识别各商品的第二标签的第二标签信息；
S63.在所述各商品的第二标签信息不包含所述目标商品名称的时候，根据所述货架图像控制所述机器人沿所述第一过道继续前进；
S64.在所述各商品的第二标签信息包含所述目标商品名称的时候，退出循环。
通过视觉控制机器人移动并识别商场中的分类标签以寻得目标位置，降低了货架中商品变化对机器人导航的影响，有利于增加机器人导航的稳定性。
进一步的，步骤S61包括：
在所述第一过道的两侧均有货架的时候，获取左侧货架图像和右侧货架图像；
步骤S63包括：
在所述第一过道两侧均有货架的时候，执行步骤：
S631.根据所述左侧货架图像分离出左侧货架每层的第一横梁图像；
S632.获取所有所述第一横梁图像的中心点坐标以计算所述机器人到所述左侧货架的第一距离；
S633.根据所述右侧货架图像分离出右侧货架每层的第二横梁图像；
S634.获取所有所述第二横梁图像的中心点坐标以计算所述机器人到所述右侧货架的第二距离；
S635.根据所述第一距离和所述第二距离控制所述机器人沿所述第一过道直线行驶。
在商场中货架位置一般不会发生变动，通过左右两侧货架上的横梁图像控制机器人与货架之间的距离，使得机器人在移动时能够实现直线行驶，一方面有效避免机器人意外撞向货架，另一方面有利于提高机器人导航稳定性。
进一步的，步骤S632包括：
根据以下公式计算所述第一距离：
Figure 112621DEST_PATH_IMAGE001
；
Figure 498603DEST_PATH_IMAGE002
；
Figure 888128DEST_PATH_IMAGE003
；
Figure 752178DEST_PATH_IMAGE004
；
其中，
Figure 300971DEST_PATH_IMAGE005
为所述左侧货架中第
Figure 982489DEST_PATH_IMAGE006
层的所述第一横梁图像的中心点与所述机器人的距离，
Figure 718363DEST_PATH_IMAGE007
为所述机器人的横轴坐标，
Figure 651684DEST_PATH_IMAGE008
为所述机器人的纵轴坐标，
Figure 428885DEST_PATH_IMAGE009
为所述机器人的竖轴坐标，
Figure 891091DEST_PATH_IMAGE010
为所述左侧货架中第
Figure 379841DEST_PATH_IMAGE006
层的第一横梁图像的中心点的横轴坐标，
Figure 975907DEST_PATH_IMAGE011
为所述左侧货架中第
Figure 968134DEST_PATH_IMAGE006
层的第一横梁图像的中心点的纵轴坐标，
Figure 742186DEST_PATH_IMAGE012
为所述左侧货架中第
Figure 718232DEST_PATH_IMAGE006
层的第一横梁图像的中心点的竖轴坐标，
Figure 727777DEST_PATH_IMAGE013
为所述左侧货架中所述第一横梁的总数量，
Figure 105668DEST_PATH_IMAGE014
为所述左侧货架中第
Figure 34310DEST_PATH_IMAGE015
层的第一横梁与所述机器人之间的相对距离，
Figure 497652DEST_PATH_IMAGE016
为所述左侧货架中第1层的第一横梁与所述机器人之间的相对距离，
Figure 310888DEST_PATH_IMAGE017
为述左侧货架中第2层的第一横梁与所述机器人之间的相对距离，
Figure 675045DEST_PATH_IMAGE018
为所述左侧货架中第
Figure 915534DEST_PATH_IMAGE015
层的第一横梁与所述机器人之间的夹角，
Figure 725227DEST_PATH_IMAGE019
为所述左侧货架中第
Figure 342153DEST_PATH_IMAGE015
层的第一横梁图像的中心点的纵轴坐标，
Figure 163479DEST_PATH_IMAGE020
为所述左侧货架中第
Figure 715814DEST_PATH_IMAGE015
层的第一横梁图像的中心点的横轴坐标，
Figure 888169DEST_PATH_IMAGE021
为所述机器人到所述左侧货架的第一距离；
步骤S634包括：
根据以下公式计算所述第二距离：
Figure 777628DEST_PATH_IMAGE022
；
Figure 109252DEST_PATH_IMAGE023
；
Figure 957122DEST_PATH_IMAGE024
；
Figure 351194DEST_PATH_IMAGE025
；
其中，
Figure 683825DEST_PATH_IMAGE026
为所述右侧货架中第
Figure 479742DEST_PATH_IMAGE027
层的所述第二横梁图像的中心点与所述机器人的距离，
Figure 498514DEST_PATH_IMAGE007
为所述机器人的横轴坐标，
Figure 504516DEST_PATH_IMAGE008
为所述机器人的纵轴坐标，
Figure 266936DEST_PATH_IMAGE009
为所述机器人的竖轴坐标，
Figure 917360DEST_PATH_IMAGE028
为所述右侧货架中第
Figure 716820DEST_PATH_IMAGE027
层的第二横梁图像的中心点的横轴坐标，
Figure 85484DEST_PATH_IMAGE029
为所述右侧货架中第
Figure 386015DEST_PATH_IMAGE027
层的第二横梁图像的中心点的纵轴坐标，
Figure 546738DEST_PATH_IMAGE030
为所述右侧货架中第
Figure 376154DEST_PATH_IMAGE027
层的第二横梁图像的中心点的竖轴坐标，
Figure 340437DEST_PATH_IMAGE031
为所述右侧货架中所述第二横梁的总数量，
Figure 179080DEST_PATH_IMAGE032
为所述右侧货架中第
Figure 928730DEST_PATH_IMAGE015
层的第二横梁与所述机器人之间的相对距离，
Figure 460205DEST_PATH_IMAGE033
为所述右侧货架中第1层的第二横梁与所述机器人之间的相对距离，
Figure 537883DEST_PATH_IMAGE034
为右侧货架中第2层的第二横梁与所述机器人之间的相对距离，
Figure 321162DEST_PATH_IMAGE035
为所述右侧货架中第
Figure 800685DEST_PATH_IMAGE036
层的第二横梁与所述机器人之间的夹角，
Figure 503062DEST_PATH_IMAGE037
为所述右侧货架中第
Figure 458248DEST_PATH_IMAGE036
层的第二横梁图像的中心点的纵轴坐标，
Figure 638694DEST_PATH_IMAGE038
为所述右侧货架中第
Figure 238303DEST_PATH_IMAGE036
层的第二横梁图像的中心点的横轴坐标，
Figure 485482DEST_PATH_IMAGE039
为所述机器人到所述右侧货架的第二距离。
进一步的，步骤S635包括：
根据所述第一距离和所述第二距离控制所述机器人沿所述第一过道的中线行驶。
控制机器人沿第一过道的中线行驶，有利于保证机器人能够获得完整的左右侧货架图像，避免机器人过于贴近其中一侧导致该侧部分商品的第二标签信息无法识别。
进一步的，步骤S631包括：
根据预设的宽度阈值从左侧货架图像中识别出所述第一横梁；
步骤S633包括：
根据预设的宽度阈值从右侧货架图像中识别出所述第二横梁。
通过宽度从图像中辨别并提取出横梁，过滤掉竖梁对机器人控制的影响，有利于提高机器人导航的稳定性。
进一步的，步骤S61包括：
在所述第一过道仅左侧或右侧有货架的时候，获取左侧货架图像或右侧货架图像；
步骤S63包括：
在所述第一过道仅左侧或右侧有货架的时候，执行步骤：
S636.根据所述左侧货架图像分离出左侧货架每层的第一横梁图像，或根据所述右侧货架图像分离出右侧货架每层的第二横梁图像；
S637.获取所有所述第一横梁图像的中心点坐标以计算所述机器人到所述左侧货架的第一距离，或获取所有所述第二横梁图像的中心点坐标以计算所述机器人到所述右侧货架的第二距离；
S638.根据所述第一距离或所述第二距离控制所述机器人沿所述第一过道直线行驶。
进一步的，步骤S2包括：
S21.循环执行以下步骤：
S211.获取设置在所述商场内的第一引导线的第一引导线图像；
S212.根据所述第一引导线图像，控制所述机器人沿所述第一引导线行驶；
S213.获取当前商品存放区域的用于记录商品类别的第一标签的第一标签图像；
S214.从所述第一标签图像中识别出第一标签信息；
S215.在当前商品存放区域的所述第一标签信息不包含所述类别信息时，控制所述机器人沿所述第一引导线行驶至下一个商品存放区域；
S216.在所述机器人移动至所述第一标签信息包含所述类别信息的第一区域时，退出循环。
第二方面，本发明还提供了一种基于机器视觉的导航装置，应用于机器人的控制系统以使所述机器人在商场中行驶，所述基于机器视觉的导航装置包括：
第一获取模块，用于获取目标商品的商品信息，所述商品信息包括类别信息、货架信息和目标商品名称；
第一控制模块，用于根据所述类别信息控制所述机器人沿第一引导线在所述商场中移动并寻找到目标商品所在的第一区域；所述第一引导线设置在所述商场的各商品存放区域之间的通道上；
第二控制模块，用于根据所述货架信息，控制所述机器人在所述第一区域内寻找所述目标商品所在的第一货架的位置；
第二获取模块，用于根据所述第一货架的位置获取所述第一货架对应的第一过道的位置；
第三控制模块，用于根据所述第一过道的位置控制所述机器人进入所述第一过道；
执行模块，用于循环执行以下步骤：
获取所述第一过道路侧货架的货架图像；
从所述第一货架所在的所述货架图像中识别各商品的第二标签的第二标签信息；
在所述各商品的第二标签信息不包含所述目标商品名称的时候，根据所述货架图像控制所述机器人沿所述第一过道继续前进；
在所述各商品的第二标签信息包含所述目标商品名称的时候，退出循环。
机器人通过图像控制其移动，并通过视觉识别在商场中寻找目标商品，实现了无需在商场中建立地图和特征点完成机器人的导航，节省了地图建立的时间，增加了机器人导航的稳定性。
第三方面，本发明提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述基于机器视觉的导航方法中的步骤。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述基于机器视觉的导航方法中的步骤。
由上可知，本申请机器人能够从图像中准确识别出商场中分类标签和商品标签的文本信息，根据该信息控制机器人移动并寻得目标商品，相比于现有技术，本申请机器人导航不依赖于建立地图和标定特征点，因而周边环境的变化对机器人导航影响较小，从而大大提高机器人导航的稳定性。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的基于机器视觉的导航方法的一种流程图。
图2为本申请实施例提供的基于机器视觉的导航装置的第一种结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
图4为本申请实施例中其中一种商场布局的俯视图。
图5为本申请实施例中单个商品存放区域的其中一种布局的俯视图。
标号说明：
100、机器人；200、第一引导线；300、第一标签；400、第一区域；500、第二引导线；600、第一货架；700、第一过道；810、第一获取模块；820、第一控制模块；830、第二控制模块；840、第二获取模块；850、第三控制模块；860、执行模块；1101、处理器；1102、存储器；1103、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，下文中“前侧”指的是以机器人前进方向为参考的一侧，“后侧”指的是以机器人后退方向为参考的一侧。
还需要说明的是，下文中提及的坐标信息，均是基于以机器人为原点建立的空间坐标系，其中，若第一引导线和第二引导线为直线则以平行于第一引导线或第二引导线的方向作为x轴，若第一引导线和第二引导线为曲线则以平行于第一引导线或第二引导线的切线方向作为x轴，在水平面上垂直于x轴方向的则为y轴，竖直垂直于水平面方向的则为z轴。
在实际应用中，为了方便顾客找到所需商品，商场都会对所有商品进行分类摆放并以区域划分，且各个区域上都会悬挂或张贴该区域商品的分类牌，例如生活用品区、家用电器区、熟食区等等；同时各个区域都会设置多个货架以供商品存放。
在某些实施例中，一种基于机器视觉的导航方法，应用于机器人的控制系统以使机器人在商场中行驶，其步骤包括：
S1.获取目标商品的商品信息，商品信息包括类别信息、货架信息和目标商品名称；
S2.根据类别信息控制机器人沿第一引导线在商场中移动并寻找到目标商品所在的第一区域；第一引导线设置在商场的各商品存放区域之间的通道上；
S3.根据货架信息，控制机器人在第一区域内寻找目标商品所在的第一货架的位置；
S4.根据第一货架的位置获取第一货架对应的第一过道的位置；
S5.根据第一过道的位置控制机器人进入第一过道；
S6.循环执行以下步骤：
S61.获取第一过道路侧货架的货架图像；
S62.从第一货架所在的货架图像中识别各商品的第二标签的第二标签信息；
S63.在各商品的第二标签信息不包含目标商品名称的时候，根据货架图像控制机器人沿第一过道继续前进；
S64.在各商品的第二标签信息包含目标商品名称的时候，退出循环。
在本实施例中，机器人的左侧、右侧和顶部均安装有摄像头，同时，商场中各个商品存放区域之间的过道均设置有第一引导线，第一引导线可以设置在商场的天花板上，机器人通过顶部的摄像头获取第一引导线图像，根据第一引导线图像识别出第一引导线的位置，控制机器人沿第一引导线行驶，从而使得机器人能够行驶至各个商品存放区域。
在某些实施例中，机器人也可以仅设置单个能够全方位转向的摄像头以获取所需的图像，但机器人需要时刻获取多个方向的图像，单个摄像头需要多次快速转动，其转动结构容易损坏。
实际使用时，用户向机器人输入目标商品名称（例如“汽水”），控制系统则根据该商品名称从预设的数据库中筛选出目标商品的商品信息（例如类别信息“饮品区”；货架信息“3号货架”；目标商品名称“汽水”），在目标商品被确定后，机器人则从预设的起点出发并沿第一引导线行驶。
进一步的，步骤S2包括：
S21.循环执行以下步骤：
S211.获取设置在商场内的第一引导线的第一引导线图像；
S212.根据第一引导线图像，控制机器人沿第一引导线行驶；
S213.获取当前商品存放区域的用于记录商品类别的第一标签的第一标签图像；
S214.从第一标签图像中识别出第一标签信息；
S215.在当前商品存放区域的第一标签信息不包含类别信息时，控制机器人沿第一引导线行驶至下一个商品存放区域，并返回执行步骤S211；
S216.在机器人移动至第一标签信息包含类别信息的第一区域时，退出循环。
机器人沿途行驶时从各个商品存放区域的第一标签图像（即分类牌图像）中识别出第一标签信息（即从图像中读取文本信息），通过与类别信息进行对比，若第一标签信息不包含类别信息的文本则可以判断为该目标商品不属于当前的商品存放区域，然后控制机器人继续沿第一引导线行驶，并返回步骤S211重新执行后续步骤，直至寻找到目标商品所在的第一区域后退出循环。
机器人通过顶部摄像头获取第一引导线的图像，并获取图像中心点的坐标信息，根据第一引导线的坐标信息计算机器人与第一引导线之间的偏差，根据该偏差调整机器人的行驶方向，避免机器人偏离第一引导线；
在某些实施例中，根据以下公式1、公式2和公式3计算机器人与第一引导线之间的偏差：
Figure 803331DEST_PATH_IMAGE040
（公式1）；
Figure 521888DEST_PATH_IMAGE041
（公式2）；
Figure 366216DEST_PATH_IMAGE042
（公式3）；
其中，
Figure 410396DEST_PATH_IMAGE043
为第一引导线图像的中心点与机器人的距离，
Figure 215541DEST_PATH_IMAGE044
为机器人的横轴坐标，
Figure 3368DEST_PATH_IMAGE045
为机器人的纵轴坐标，
Figure 187356DEST_PATH_IMAGE046
为机器人的竖轴坐标，
Figure 402437DEST_PATH_IMAGE047
为第一引导线图像的中心点的横轴坐标，
Figure 429298DEST_PATH_IMAGE048
为第一引导线图像的中心点的纵轴坐标，
Figure 145451DEST_PATH_IMAGE049
为第一引导线图像的中心点的竖轴坐标，
Figure 574158DEST_PATH_IMAGE050
为机器人和第一引导线图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 960140DEST_PATH_IMAGE051
为机器人与第一引导线的偏差。
当机器人与第一引导线的偏差超出预设的第一阈值时，则控制机器人根据第一引导线图像以预设的第一角度调整机器人的行驶方向使得机器人靠近第一引导线，当机器人与第一引导线的偏差处于正常范围时，则回正机器人，机器人正常沿第一引导线行驶。
参考附图4和附图5，在实际应用时，各个商品存放区域的天花板上都设置有第二引导线500，从俯视图上观察，货架的两端各有一条第二引导线500，且第二引导线500垂直于货架设置，同时第二引导线500的长度大于该商品存放区域中的第一行货架到最后一行货架的距离；此外，第二引导线500的其中一端上规定为起点（一般以第二引导线500靠近第一行货架的一端作为起点），当机器人寻找到第一区域400后，通过摄像头识别第一区域400内的第二引导线500位置，并控制机器人移动至该第二引导线500的起点位置。
需要说明的是，因为第一区域中存在2条第二引导线，在机器人沿第一引导线移动至某个位置时可能同时识别到2条第二引导线，一方面可以通过分别计算2条第二引导线到机器人的距离，根据计算结果分辨出最接近机器人的第二引导线并控制机器人移动至该第二引导线的位置上；另一方面可以人为设定当机器人同时识别到2条第二引导线时，则控制机器人移动至图像其中一侧（例如左侧或右侧）的第二引导线的位置上。
在某些可能的实施例中，可以通过在第二引导线的起点位置设置标志，机器人通过视觉识别该标志以确定第二引导线的起点位置。
在某些可能的实施例中，亦可以通过在各个货架上设置标号，例如第一行货架标号为“A”，则机器人可以通过视觉识别该标号以确定最靠近该第一行货架的第二引导线的端部为起点位置，若机器人所识别的标号并非为“A”，例如机器人行驶第一区域内的最后一行货架，此时机器人位于第二引导线的另一端，则控制机器人先沿第二引导线行驶，直至移动到标号为“A”的第一行货架，再重新以靠近第一行货架的第二引导线的端部作为起点沿第二引导线行驶。
进一步的，货架信息包括行号信息；
步骤S3包括：
S31.循环执行以下步骤：
S311.获取设置在第一区域内的第二引导线的第二引导线图像；
S312.根据第二引导线图像，控制机器人沿第二引导线行驶；
S313.记录机器人在行驶过程中所经过的货架数量；
S314.在所经过的货架数量和行号一致时，退出循环。
本实施例中，行号信息为包含目标商品位于第一区域中的第n个货架的信息；当机器人移动至第二引导线的起点位置后，通过图像识别技术控制机器人沿第二引导线行驶，每当机器人途经一个货架时，则控制系统累计记录所经过的货架数量，在所经过的货架数量为n时，则代表机器人当前位置所对应的第一货架中存放有目标商品。例如，控制系统所获取的货架信息中行数为3，而第一区域中按顺序布置有5行货架，则机器人在第二引导线起点出发，累计途经3个货架时，则停止沿第二引导线前进，当前位置的货架则为存放有目标商品的第一货架。
机器人通过顶部摄像头获取第二引导线的图像，并获取图像中心点的坐标信息，根据第二引导线的坐标信息计算机器人与第二引导线之间的偏差，根据该偏差调整机器人的行驶方向，避免机器人跑出第二引导线；
在某些实施例中，根据以下公式4、公式5和公式6计算机器人与第二引导线之间的偏差：
Figure 739877DEST_PATH_IMAGE052
（公式4）；
Figure 977829DEST_PATH_IMAGE053
（公式5）；
Figure 261043DEST_PATH_IMAGE054
（公式6）；
其中，
Figure 83506DEST_PATH_IMAGE055
为第二引导线图像的中心点与机器人的距离，
Figure 209593DEST_PATH_IMAGE044
为机器人的横轴坐标，
Figure 877335DEST_PATH_IMAGE045
为机器人的纵轴坐标，
Figure 15055DEST_PATH_IMAGE046
为机器人的竖轴坐标，
Figure 883785DEST_PATH_IMAGE056
为第二引导线图像的中心点的横轴坐标，
Figure 372536DEST_PATH_IMAGE057
为第二引导线图像的中心点的纵轴坐标，
Figure 843968DEST_PATH_IMAGE058
为第二引导线图像的中心点的竖轴坐标，
Figure 101774DEST_PATH_IMAGE059
为机器人和第二引导线图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 125094DEST_PATH_IMAGE060
为机器人与第二引导线的偏差。
当机器人与第二引导线的偏差超出预设的第二阈值时，则控制机器人根据第二引导线图像以预设的第二角度调整机器人的行驶方向使得机器人靠近第二引导线，当机器人与第二引导线的偏差处于正常范围时，则回正机器人，机器人正常沿第二引导线行驶。
在某些实施例中，通过在各个货架的两端设置标号，例如第一区域中有3个货架，分别标号为1号货架、2号货架和3号货架，当机器人进入第一区域时，可以通过图像识别出当前货架的标号并与行号信息进行对比，直至对比结果一致，则表示该标号的货架为第一货架。
需要说明的是，上述从第一引导线图像或第二引导线图像中识别出第一引导线或第二引导线为现有技术，在此不再赘述。
在某些实施例中，第一引导线和第二引导线亦可以设置在地面上，但设置在地面上容易被破坏，以致无法用于引导机器人行驶。
进一步的，货架信息还包括放置信息；
步骤S4包括：
S41.根据标识控制机器人移动至第一货架的前侧或后侧。
放置信息为包含目标商品位于第一货架前侧或后侧的信息。大部分商场内的货架前后两面都会存放有商品；机器人沿第二引导线移动到第一货架时，机器人位于第一货架的端部位置上，此时需要根据放置信息确定目标商品是位于第一货架前侧还是位于第一货架后侧才能够控制机器人向前转向进入货架前侧的过道中，还是向后转向进入货架后侧的过道中。
在实际应用中，大部分商场中位于同一个商品存放区域中的各个货架之间都留有足够宽的过道位置，且各个货架之间过道的宽度都相近，因此用户可以通过控制系统控制机器人以预设角度转向进入过道中。
在某些优选的实施例中，根据放置信息控制机器人前进一段距离或后退一段距离，该距离为预设的第三距离阈值，一般设置为第一过道宽度的一半，使得机器人能够移动至第一过道中线上，再控制机器人原地旋转90度，最后控制机器人直线行驶即可使机器人进入第一过道中；例如第一过道宽度为100cm，则第三距离阈值设定为50cm，放置信息记录目标商品位于第一货架的后侧，当机器人移动至第一货架位置时，机器人沿第二引导线后退50cm，然后原地旋转90度使得机器人朝向第一过道，最后控制机器人行驶进入第一过道。
实际应用中，货架上各个商品对应位置上都会设置有第二标签，第二标签一般包含商品的具体信息，例如商品的价格、商品的重量、商品的名称等。当机器人进入第一过道后，通过摄像头获取第一货架的货架图像并从货架图像中识别出各个商品的第二标签信息，将各个商品的第二标签信息逐一与目标商品名称进行对比，若当前位置所获得的货架图像中并不包含目标商品，则控制机器人继续沿第一过道行驶，直至找到目标商品在第一货架上的具体位置，完成导航任务。
为了进一步解释清楚，以下列举其中一种具体的实施方式：
参考附图4，机器人100放置在商场中的预设起点，该商场包括4个商品存放区域，机器人100获取目标商品的商品信息后沿第一引导线200开始移动，移动过程中识别出包含类别信息的第一标签300，因而确定第一区域400；
参考附图5，假设第一区域400中存在4个货架，货架从下往上依次为：第一行货架、第二行货架、第三行货架和第四行货架，且目标商品在第二行货架前侧，则第二行货架为第一货架600，第二行货架与第三行货架之间的过道为第一过道700；机器人100从第一引导线200移动至第二引导线500的起点位置并沿第二引导线500行驶，根据货架信息确定第一货架600的位置，并控制机器人100转入第一过道700中，然后控制机器人100根据两侧货架的图像在第一过道700中直线行驶并识别第一货架600上各个商品的第二标签信息，直至找到目标商品。
需要说明的是，上述实施例中商品存放区域的划分和排布并非唯一，实际应用时可根据需求调整。
在某些可能的实施例中，机器人导航至目标商品位置目的在于将该目标商品补充到货架上，因而在机器人找到目标商品在第一货架上的具体位置时，控制机器人继续进行直线移动，直至目标商品位于图像正中心（即控制机器人与目标商品对齐）以方便机器人对目标商品进行补给。
在某些可能的实施例中，机器人导航至目标商品位置目的仅在于寻找到目标商品的具体位置，因而当机器人通过货架图像找到目标商品在第一货架上的具体位置时，机器人即可停止移动。
在某些实施例中，步骤S61包括：
在第一过道的两侧均有货架的时候，获取左侧货架图像和右侧货架图像；
步骤S63包括：
在第一过道两侧均有货架的时候，执行步骤：
S631.根据左侧货架图像分离出左侧货架每层的第一横梁图像；
S632.获取所有第一横梁图像的中心点坐标以计算机器人到左侧货架的第一距离；
S633.根据右侧货架图像分离出右侧货架每层的第二横梁图像；
S634.获取所有第二横梁图像的中心点坐标以计算机器人到右侧货架的第二距离；
S635.根据第一距离和第二距离控制机器人沿第一过道直线行驶。
实际应用中，货架内通过设置横梁将各个商品分层存放，横梁属于货架中的固定结构，其位置固定不变，通过控制横梁和机器人之间的距离，有利于避免机器人在移动过程中意外撞向货架。同时，因为商品经常被放入或取出，相比于以商品位置作为控制机器人移动的参考，利用位置固定不变的横梁作为参考更有利于增加机器人导航的稳定性。
在本实施例中，机器人在移动过程中时刻计算第一距离和第二距离，当机器人以某个方向发生偏移并超出允许的偏差时，该侧的距离变小，控制系统根据距离大小即可判断出机器人发生偏移的方向，从而控制机器人往反方向调整位置；例如第一距离变小而第二距离变大，则表明机器人即将撞向左侧货架，控制系统立即控制机器人以预设的偏转角调整机器人向右侧偏转，在第一距离和第二距离回归正常范围内后，则控制机器人回正，从而确保机器人能够保持在第一过道中直线行驶。
在某些实施例中，步骤S632包括：
根据以下公式7、公式8、公式9和公式10计算第一距离：
Figure 835561DEST_PATH_IMAGE061
（公式7）；
Figure 110684DEST_PATH_IMAGE002
（公式8）；
Figure 862477DEST_PATH_IMAGE003
（公式9）；
Figure 932065DEST_PATH_IMAGE004
（公式10）；
其中，
Figure 395407DEST_PATH_IMAGE005
为左侧货架中第
Figure 208642DEST_PATH_IMAGE006
层的第一横梁图像的中心点与机器人的距离，
Figure 565674DEST_PATH_IMAGE007
为机器人的横轴坐标，
Figure 540583DEST_PATH_IMAGE008
为机器人的纵轴坐标，
Figure 491222DEST_PATH_IMAGE009
为机器人的竖轴坐标，
Figure 983514DEST_PATH_IMAGE010
为左侧货架中第
Figure 804840DEST_PATH_IMAGE006
层的第一横梁图像的中心点的横轴坐标，
Figure 481809DEST_PATH_IMAGE011
为左侧货架中第
Figure 778798DEST_PATH_IMAGE006
层的第一横梁图像的中心点的纵轴坐标，
Figure 933836DEST_PATH_IMAGE012
为左侧货架中第
Figure 140826DEST_PATH_IMAGE006
层的第一横梁图像的中心点的竖轴坐标，
Figure 723117DEST_PATH_IMAGE013
为左侧货架中第一横梁的总数量，
Figure 491091DEST_PATH_IMAGE014
为左侧货架中第
Figure 449820DEST_PATH_IMAGE015
层的第一横梁与机器人之间的相对距离，
Figure 511316DEST_PATH_IMAGE016
为左侧货架中第1层的第一横梁与机器人之间的相对距离，
Figure 389143DEST_PATH_IMAGE017
为左侧货架中第2层的第一横梁与机器人之间的相对距离，
Figure 270511DEST_PATH_IMAGE018
为机器人和左侧货架中第
Figure 377138DEST_PATH_IMAGE015
层的第一横梁图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 293142DEST_PATH_IMAGE019
为左侧货架中第
Figure 341869DEST_PATH_IMAGE015
层的第一横梁图像的中心点的纵轴坐标，
Figure 976113DEST_PATH_IMAGE020
为左侧货架中第
Figure 11065DEST_PATH_IMAGE015
层的第一横梁图像的中心点的横轴坐标，
Figure 155476DEST_PATH_IMAGE021
为机器人到左侧货架的第一距离；
步骤S634包括：
根据以下公式11、公式12、公式13和公式14计算第二距离：
Figure 516050DEST_PATH_IMAGE022
（公式11）；
Figure 372011DEST_PATH_IMAGE023
（公式12）；
Figure 335288DEST_PATH_IMAGE024
（公式13）；
Figure 960304DEST_PATH_IMAGE025
（公式14）；
其中，
Figure 491780DEST_PATH_IMAGE026
为右侧货架中第
Figure 710403DEST_PATH_IMAGE027
层的第二横梁图像的中心点与机器人的距离，
Figure 618316DEST_PATH_IMAGE007
为机器人的横轴坐标，
Figure 97839DEST_PATH_IMAGE008
为机器人的纵轴坐标，
Figure 924849DEST_PATH_IMAGE009
为机器人的竖轴坐标，
Figure 489823DEST_PATH_IMAGE028
为右侧货架中第
Figure 670268DEST_PATH_IMAGE027
层的第二横梁图像的中心点的横轴坐标，
Figure 378199DEST_PATH_IMAGE029
为右侧货架中第
Figure 251477DEST_PATH_IMAGE027
层的第二横梁图像的中心点的纵轴坐标，
Figure 693960DEST_PATH_IMAGE030
为右侧货架中第
Figure 412517DEST_PATH_IMAGE027
层的第二横梁图像的中心点的竖轴坐标，
Figure 132211DEST_PATH_IMAGE031
为右侧货架中第二横梁的总数量，
Figure 51757DEST_PATH_IMAGE032
为右侧货架中第
Figure 591323DEST_PATH_IMAGE015
层的第二横梁与机器人之间的相对距离，
Figure 379150DEST_PATH_IMAGE033
为右侧货架中第1层的第二横梁与机器人之间的相对距离，
Figure 77985DEST_PATH_IMAGE034
为右侧货架中第2层的第二横梁与机器人之间的相对距离，
Figure 27486DEST_PATH_IMAGE035
为机器人和右侧货架中第
Figure 54348DEST_PATH_IMAGE036
层的第二横梁图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 19768DEST_PATH_IMAGE037
为右侧货架中第
Figure 182896DEST_PATH_IMAGE036
层的第二横梁图像的中心点的纵轴坐标，
Figure 568878DEST_PATH_IMAGE038
为右侧货架中第
Figure 207670DEST_PATH_IMAGE036
层的第二横梁图像的中心点的横轴坐标，
Figure 71720DEST_PATH_IMAGE039
为机器人到右侧货架的第二距离。
需要说明的是，第一横梁图像的中心点坐标和第二横梁图像的中心点坐标在摄像头拍摄图像时即可获得，此为现有技术，在此不再赘述。
进一步的，步骤S635包括：
根据第一距离和第二距离控制机器人沿第一过道的中线行驶。
机器人与货架之间的距离会影响摄像头的成像效果，例如机器人距离货架太近，则有可能无法拍摄到每一层的商品，导致部分商品的第二标签信息无法被识别；又如机器人离货架太远，则图像中横梁显示较小，有可能无法准确获得横梁图像。
本实施例中，控制第一距离和第二距离保持相等，使得机器人能够沿过道中线行驶，确保两侧所获得的图像效果一致，避免影响其中一侧的图像识别。
在某些实施例中，步骤S631包括：
根据预设的宽度阈值从左侧货架图像中识别出第一横梁；
步骤S633包括：
根据预设的宽度阈值从右侧货架图像中识别出第二横梁。
在实际应用中，商场中的货架一般以横梁作为分层，以竖梁分隔相邻的商品，而横梁主要用于承受整层商品的重量，而竖梁仅用于分隔相邻商品并不受力，因此横梁在设计时其宽度一般大于竖梁。
本实施例中，从货架图像中过滤掉小于宽度阈值的轮廓（即竖梁），保留各层横梁的图像，有效避免机器人错误地把竖梁识别为横梁，从而确保控制机器人移动的精准度。
在某些实施例中，步骤S61包括：
在第一过道仅左侧或右侧有货架的时候，获取左侧货架图像或右侧货架图像；
步骤S63包括：
在第一过道仅左侧或右侧有货架的时候，执行步骤：
S636.根据左侧货架图像分离出左侧货架每层的第一横梁图像，或根据右侧货架图像分离出右侧货架每层的第二横梁图像；
S637.获取所有第一横梁图像的中心点坐标以计算机器人到左侧货架的第一距离，或获取所有第二横梁图像的中心点坐标以计算机器人到右侧货架的第二距离；
S638.根据第一距离或第二距离控制机器人沿第一过道直线行驶。
参考附图4和附图5，当机器人100在第一行货架后侧过道或最后一行货架前侧过道行驶时，其过道仅有一侧存在货架，通过获取该侧货架图像并计算机器人100与货架之间的距离，通过该距离控制机器人100直线行驶，有利于避免机器人100意外撞向货架。
需要说明的是，上述步骤S637中，第一距离和第二距离的计算步骤与上述步骤S632和步骤S634相同，在此不再赘述。
进一步的，步骤S638包括：
根据第一距离或第二距离控制机器人沿等效直线行驶，等效直线平行于第一过道且与左侧货架或右侧货架保持固定距离。
本实施例中，该等效直线与货架之间相距一定距离，该距离为预设的第四距离阈值，在机器人行驶时，控制所计算的第一距离或第二距离保持与第四距离阈值相同，从而控制机器人沿等效直线行驶。
需要说明的是，上述第一过道的中线和等效直线并非真实设置在商场上的实线标记，仅作为用于衡量机器人直线行驶的标准。
还需要说明的是，上述通过摄像头所获取的货架图像中的第二标签、横梁图像、第一引导线图像、第二引导线图像、第一标签图像均可以通过事先训练好的神经网络模型进行标定和分类；训练过程可以人工对各种图像进行标注，然后输入至YOLOv5中进行训练最后能够获得基于该图片数据集的神经网络模型。
在某些实施例中，机器人在整个导航过程中的速度采用梯形加减速模型进行控制，其步骤包括：
获取目标点位置；
根据目标点位置按以下公式15和公式16计算机器人的实时速度：
Figure 964721DEST_PATH_IMAGE062
（公式15）；
Figure 787184DEST_PATH_IMAGE063
（公式16）；
其中，
Figure 647692DEST_PATH_IMAGE064
为目标点位置与机器人之间的距离，
Figure 315434DEST_PATH_IMAGE065
为机器人预设的最大速度，
Figure 453154DEST_PATH_IMAGE066
为预设的加速度，
Figure 554840DEST_PATH_IMAGE067
为时间变量，
Figure 778011DEST_PATH_IMAGE068
为预设的第五距离阈值，
Figure 374078DEST_PATH_IMAGE069
为机器人实际速度。
需要说明的是，梯形加减速模型为现有技术，在此不再赘述；上述目标点位置具体指第一标签位置、第二引导线起点、第二引导线终点等，例如在实际应用时，机器人识别出第一标签位置，则机器人需要移动该第一标签位置（目标点位置）上进行第一标签信息的识别。
请参照图2，图2是本申请一些实施例中的一种基于机器视觉的导航装置，应用于机器人的控制系统以使机器人在商场中行驶，该基于机器视觉的导航装置以计算机程序的形式集成在该基于机器视觉的导航装置的后端控制设备中，该基于机器视觉的导航装置包括：
第一获取模块810，用于获取目标商品的商品信息，商品信息包括类别信息、货架信息和目标商品名称；
第一控制模块820，用于根据类别信息控制机器人沿第一引导线在商场中移动并寻找到目标商品所在的第一区域；第一引导线设置在商场的各商品存放区域之间的通道上；
第二控制模块830，用于根据货架信息，控制机器人在第一区域内寻找目标商品所在的第一货架的位置；
第二获取模块840，用于根据第一货架的位置获取第一货架对应的第一过道的位置；
第三控制模块850，用于根据第一过道的位置控制机器人进入第一过道；
执行模块860，用于循环执行以下步骤：
获取第一过道路侧货架的货架图像；
从第一货架所在的货架图像中识别各商品的第二标签的第二标签信息；
在各商品的第二标签信息不包含目标商品名称的时候，根据货架图像控制机器人沿第一过道继续前进；
在各商品的第二标签信息包含目标商品名称的时候，退出循环。
在某些实施例中，在第一控制模块820用于根据类别信息控制机器人沿第一引导线移动至对应的商品存放区域处；第一引导线设置在商场的各商品存放区域之间的通道上的时候，循环执行以下步骤：
获取设置在商场内的第一引导线的第一引导线图像；
根据第一引导线图像，控制机器人沿第一引导线行驶；
获取当前商品存放区域的用于记录商品类别的第一标签的第一标签图像；
从第一标签图像中识别出第一标签信息；
在当前商品存放区域的第一标签信息不包含类别信息时，控制机器人沿第一引导线行驶至下一个商品存放区域；
在机器人移动至第一标签信息包含类别信息的第一区域时，退出循环。
在某些实施例中，在第一控制模块820用于根据类别信息控制机器人沿第一引导线移动至对应的商品存放区域处；第一引导线设置在商场的各商品存放区域之间的通道上的时候执行：
根据以下公式计算机器人与第一引导线之间的偏差：
Figure 631884DEST_PATH_IMAGE070
；
Figure 264990DEST_PATH_IMAGE071
；
Figure 116403DEST_PATH_IMAGE072
；
其中，
Figure 125947DEST_PATH_IMAGE073
为第一引导线图像的中心点与机器人的距离，
Figure 97314DEST_PATH_IMAGE074
为机器人的横轴坐标，
Figure 432480DEST_PATH_IMAGE075
为机器人的纵轴坐标，
Figure 630244DEST_PATH_IMAGE076
为机器人的竖轴坐标，
Figure 817380DEST_PATH_IMAGE077
为第一引导线图像的中心点的横轴坐标，
Figure 784199DEST_PATH_IMAGE078
为第一引导线图像的中心点的纵轴坐标，
Figure 24688DEST_PATH_IMAGE079
为第一引导线图像的中心点的竖轴坐标，
Figure 834381DEST_PATH_IMAGE080
为机器人和第一引导线图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 451307DEST_PATH_IMAGE081
为机器人与第一引导线的偏差。
在某些实施例中，货架信息包括行号信息；第二控制模块830用于在根据货架信息，控制机器人在第一区域内寻找目标商品所在的第一货架的位置的时候，循环执行以下步骤：
获取设置在第一区域内的第二引导线的第二引导线图像；
根据第二引导线图像，控制机器人沿第二引导线行驶；
记录机器人在行驶过程中所经过的货架数量；
在所经过的货架数量和行号一致时，退出循环。
在某些实施例中，第二控制模块830用于在根据第二引导线图像，控制机器人沿第二引导线行驶的时候执行：
根据以下公式计算机器人与第二引导线之间的偏差：
Figure 147999DEST_PATH_IMAGE082
；
Figure 559388DEST_PATH_IMAGE083
；
Figure 466164DEST_PATH_IMAGE084
；
其中，
Figure 11415DEST_PATH_IMAGE085
为第二引导线图像的中心点与机器人的距离，
Figure 687247DEST_PATH_IMAGE074
为机器人的横轴坐标，
Figure 535118DEST_PATH_IMAGE075
为机器人的纵轴坐标，
Figure 303091DEST_PATH_IMAGE076
为机器人的竖轴坐标，
Figure 261820DEST_PATH_IMAGE086
为第二引导线图像的中心点的横轴坐标，
Figure 182371DEST_PATH_IMAGE087
为第二引导线图像的中心点的纵轴坐标，
Figure 201143DEST_PATH_IMAGE088
为第二引导线图像的中心点的竖轴坐标，
Figure 82511DEST_PATH_IMAGE089
为机器人和第二引导线图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 454718DEST_PATH_IMAGE090
为机器人与第二引导线的偏差。
在某些实施例中，货架信息还包括放置信息；第二获取模块840用于在根据第一货架的位置获取第一货架对应的第一过道的位置的时候执行：
根据标识控制机器人移动至第一货架的前侧或后侧。
在某些实施例中，执行模块860用于在获取第一过道路侧货架的货架图像的时候执行：
在第一过道的两侧均有货架的时候，获取左侧货架图像和右侧货架图像；
执行模块860用于在各商品的第二标签信息不包含目标商品名称的时候，根据货架图像控制机器人沿第一过道继续前进的时候执行：
在第一过道两侧均有货架的时候，执行步骤：
根据左侧货架图像分离出左侧货架每层的第一横梁图像；
获取所有第一横梁图像的中心点坐标以计算机器人到左侧货架的第一距离；
根据右侧货架图像分离出右侧货架每层的第二横梁图像；
获取所有第二横梁图像的中心点坐标以计算机器人到右侧货架的第二距离；
根据第一距离和第二距离控制机器人沿第一过道直线行驶。
在某些实施例中，执行模块860用于在获取所有第一横梁图像的中心点坐标以计算机器人到左侧货架的第一距离的时候执行：
根据以下公式计算第一距离：
Figure 370721DEST_PATH_IMAGE091
；
Figure 294815DEST_PATH_IMAGE092
；
Figure 53692DEST_PATH_IMAGE093
；
Figure 88645DEST_PATH_IMAGE094
；
其中，
Figure 859154DEST_PATH_IMAGE095
为左侧货架中第
Figure 593630DEST_PATH_IMAGE006
层的第一横梁图像的中心点与机器人的距离，
Figure 184011DEST_PATH_IMAGE096
为机器人的横轴坐标，
Figure 147288DEST_PATH_IMAGE008
为机器人的纵轴坐标，
Figure 37884DEST_PATH_IMAGE009
为机器人的竖轴坐标，
Figure 303780DEST_PATH_IMAGE097
为左侧货架中第
Figure 522403DEST_PATH_IMAGE006
层的第一横梁图像的中心点的横轴坐标，
Figure 899158DEST_PATH_IMAGE098
为左侧货架中第
Figure 644260DEST_PATH_IMAGE006
层的第一横梁图像的中心点的纵轴坐标，
Figure 471270DEST_PATH_IMAGE099
为左侧货架中第
Figure 36244DEST_PATH_IMAGE006
层的第一横梁图像的中心点的竖轴坐标，
Figure 482269DEST_PATH_IMAGE013
为左侧货架中第一横梁的总数量，
Figure 721358DEST_PATH_IMAGE100
为左侧货架中第
Figure 329057DEST_PATH_IMAGE015
层的第一横梁与机器人之间的相对距离，
Figure 381326DEST_PATH_IMAGE101
为左侧货架中第1层的第一横梁与机器人之间的相对距离，
Figure 490097DEST_PATH_IMAGE102
为左侧货架中第2层的第一横梁与机器人之间的相对距离，
Figure 209791DEST_PATH_IMAGE103
为机器人和左侧货架中第
Figure 253970DEST_PATH_IMAGE015
层的第一横梁图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 403323DEST_PATH_IMAGE019
为左侧货架中第
Figure 925571DEST_PATH_IMAGE015
层的第一横梁图像的中心点的纵轴坐标，
Figure 624406DEST_PATH_IMAGE020
为左侧货架中第
Figure 573907DEST_PATH_IMAGE015
层的第一横梁图像的中心点的横轴坐标，
Figure 866348DEST_PATH_IMAGE104
为机器人到左侧货架的第一距离；
执行模块860用于在获取所有第二横梁图像的中心点坐标以计算机器人到右侧货架的第二距离的时候执行：
根据以下公式计算第二距离：
Figure 300610DEST_PATH_IMAGE105
；
Figure 994896DEST_PATH_IMAGE106
；
Figure 380878DEST_PATH_IMAGE107
；
Figure 754091DEST_PATH_IMAGE108
；
其中，
Figure 618141DEST_PATH_IMAGE109
为右侧货架中第
Figure 776721DEST_PATH_IMAGE027
层的第二横梁图像的中心点与机器人的距离，
Figure 333605DEST_PATH_IMAGE096
为机器人的横轴坐标，
Figure 335059DEST_PATH_IMAGE008
为机器人的纵轴坐标，
Figure 393013DEST_PATH_IMAGE009
为机器人的竖轴坐标，
Figure 796313DEST_PATH_IMAGE110
为右侧货架中第
Figure 258518DEST_PATH_IMAGE027
层的第二横梁图像的中心点的横轴坐标，
Figure 144607DEST_PATH_IMAGE111
为右侧货架中第
Figure 881619DEST_PATH_IMAGE027
层的第二横梁图像的中心点的纵轴坐标，
Figure 873846DEST_PATH_IMAGE112
为右侧货架中第
Figure 897166DEST_PATH_IMAGE027
层的第二横梁图像的中心点的竖轴坐标，
Figure 873212DEST_PATH_IMAGE031
为右侧货架中第二横梁的总数量，
Figure 148335DEST_PATH_IMAGE113
为右侧货架中第
Figure 260648DEST_PATH_IMAGE015
层的第二横梁与机器人之间的相对距离，
Figure 471181DEST_PATH_IMAGE114
为右侧货架中第1层的第二横梁与机器人之间的相对距离，
Figure 668944DEST_PATH_IMAGE115
为右侧货架中第2层的第二横梁与机器人之间的相对距离，
Figure 482179DEST_PATH_IMAGE116
为机器人和右侧货架中第
Figure 573632DEST_PATH_IMAGE036
层的第二横梁图像的中心点在水平坐标系上的投影点形成的射线与x轴之间的夹角，
Figure 79699DEST_PATH_IMAGE037
为右侧货架中第
Figure 499179DEST_PATH_IMAGE036
层的第二横梁图像的中心点的纵轴坐标，
Figure 490007DEST_PATH_IMAGE038
为右侧货架中第
Figure 576912DEST_PATH_IMAGE036
层的第二横梁图像的中心点的横轴坐标，
Figure 253881DEST_PATH_IMAGE117
为机器人到右侧货架的第二距离。
在某些实施例中，执行模块860用于在根据第一距离和第二距离控制机器人沿第一过道直线行驶的时候执行：
根据第一距离和第二距离控制机器人沿第一过道的中线行驶。
在某些实施例中，执行模块860用于在根据左侧货架图像分离出左侧货架每层的第一横梁图像的时候执行：
根据预设的宽度阈值从左侧货架图像中识别出第一横梁；
执行模块860用于在根据右侧货架图像分离出右侧货架每层的第二横梁图像的时候执行：
根据预设的宽度阈值从右侧货架图像中识别出第二横梁。
在某些实施例中，执行模块860用于在获取第一过道路侧货架的货架图像的时候执行：
在第一过道仅左侧或右侧有货架的时候，获取左侧货架图像或右侧货架图像；
执行模块860用于在各商品的第二标签信息不包含目标商品名称的时候，根据货架图像控制机器人沿第一过道继续前进的时候执行：
在第一过道仅左侧或右侧有货架的时候，执行步骤：
根据左侧货架图像分离出左侧货架每层的第一横梁图像，或根据右侧货架图像分离出右侧货架每层的第二横梁图像；
获取所有第一横梁图像的中心点坐标以计算机器人到左侧货架的第一距离，或获取所有第二横梁图像的中心点坐标以计算机器人到右侧货架的第二距离；
根据第一距离或第二距离控制机器人沿第一过道直线行驶。
在某些实施例中，执行模块860用于在根据第一距离或第二距离控制机器人沿第一过道直线行驶的时候执行：
根据第一距离或第二距离控制机器人沿等效直线行驶，等效直线平行于第一过道且与左侧货架或右侧货架保持固定距离。
在某些实施例中，该基于机器视觉的导航装置还包括：
第三获取模块，用于获取目标点位置；
计算模块，用于根据目标点位置按以下公式计算机器人的实时速度：
Figure 426236DEST_PATH_IMAGE118
；
Figure 971487DEST_PATH_IMAGE063
；
其中，
Figure 912898DEST_PATH_IMAGE119
为目标点位置与机器人之间的距离，
Figure 495189DEST_PATH_IMAGE120
为机器人预设的最大速度，
Figure 30207DEST_PATH_IMAGE121
为预设的加速度，
Figure 988935DEST_PATH_IMAGE122
为时间变量，
Figure 50432DEST_PATH_IMAGE123
为预设的第五距离阈值，
Figure 803625DEST_PATH_IMAGE124
为机器人实际速度。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器1101和存储器1102，处理器1101和存储器1102通过通信总线1103和/或其他形式的连接机构（未标出）互连并相互通讯，存储器1102存储有处理器1101可执行的计算机程序，当计算设备运行时，处理器1101执行该计算机程序，以执行上述第一方面的实施例的任一可选的实现方式中的基于机器视觉的导航方法，以实现以下功能：获取目标商品的商品信息，商品信息包括类别信息、货架信息和目标商品名称；根据类别信息控制机器人沿第一引导线在商场中移动并寻找到目标商品所在的第一区域；第一引导线设置在商场的各商品存放区域之间的通道上；根据货架信息，控制机器人在第一区域内寻找目标商品所在的第一货架的位置；根据第一货架的位置获取第一货架对应的第一过道的位置；根据第一过道的位置控制机器人进入第一过道；循环执行以下步骤：获取第一过道路侧货架的货架图像；从第一货架所在的货架图像中识别各商品的第二标签的第二标签信息；在各商品的第二标签信息不包含目标商品名称的时候，根据货架图像控制机器人沿第一过道继续前进；在各商品的第二标签信息包含目标商品名称的时候，退出循环。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述第一方面的实施例的任一可选的实现方式中的基于机器视觉的导航方法，以实现以下功能：获取目标商品的商品信息，商品信息包括类别信息、货架信息和目标商品名称；根据类别信息控制机器人沿第一引导线在商场中移动并寻找到目标商品所在的第一区域；第一引导线设置在商场的各商品存放区域之间的通道上；根据货架信息，控制机器人在第一区域内寻找目标商品所在的第一货架的位置；根据第一货架的位置获取第一货架对应的第一过道的位置；根据第一过道的位置控制机器人进入第一过道；循环执行以下步骤：获取第一过道路侧货架的货架图像；从第一货架所在的货架图像中识别各商品的第二标签的第二标签信息；在各商品的第二标签信息不包含目标商品名称的时候，根据货架图像控制机器人沿第一过道继续前进；在各商品的第二标签信息包含目标商品名称的时候，退出循环。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于机器视觉的导航方法，应用于机器人的控制系统以使所述机器人在商场中行驶，其特征在于，其步骤包括：
S1.获取目标商品的商品信息，所述商品信息包括类别信息、货架信息和目标商品名称；
S2.根据所述类别信息控制所述机器人沿第一引导线在所述商场中移动并寻找到目标商品所在的第一区域；所述第一引导线设置在所述商场的各商品存放区域之间的通道上；
S3.根据所述货架信息，控制所述机器人在所述第一区域内寻找所述目标商品所在的第一货架的位置；
S4.根据所述第一货架的位置获取所述第一货架对应的第一过道的位置；
S5.根据所述第一过道的位置控制所述机器人进入所述第一过道；
S6.循环执行以下步骤：
S61.获取所述第一过道路侧货架的货架图像；
S62.从所述第一货架所在的所述货架图像中识别各商品的第二标签的第二标签信息；
S63.在所述各商品的第二标签信息不包含所述目标商品名称的时候，根据所述货架图像控制所述机器人沿所述第一过道继续前进；
S64.在所述各商品的第二标签信息包含所述目标商品名称的时候，退出循环。
2.根据权利要求1所述的基于机器视觉的导航方法，其特征在于，
步骤S61包括：
在所述第一过道的两侧均有货架的时候，获取左侧货架图像和右侧货架图像；
步骤S63包括：
在所述第一过道两侧均有货架的时候，执行步骤：
S631.根据所述左侧货架图像分离出左侧货架每层的第一横梁图像；
S632.获取所有所述第一横梁图像的中心点坐标以计算所述机器人到所述左侧货架的第一距离；
S633.根据所述右侧货架图像分离出右侧货架每层的第二横梁图像；
S634.获取所有所述第二横梁图像的中心点坐标以计算所述机器人到所述右侧货架的第二距离；
S635.根据所述第一距离和所述第二距离控制所述机器人沿所述第一过道直线行驶。
3.根据权利要求2所述的基于机器视觉的导航方法，其特征在于，
步骤S632包括：
根据以下公式计算所述第一距离：
Figure 404553DEST_PATH_IMAGE001
；
Figure 790535DEST_PATH_IMAGE002
；
Figure 39113DEST_PATH_IMAGE003
；
Figure 903164DEST_PATH_IMAGE004
；
其中，
Figure 451957DEST_PATH_IMAGE005
为所述左侧货架中第
Figure 743261DEST_PATH_IMAGE006
层的所述第一横梁图像的中心点与所述机器人的距离，
Figure 977671DEST_PATH_IMAGE007
为所述机器人的横轴坐标，
Figure 910992DEST_PATH_IMAGE008
为所述机器人的纵轴坐标，
Figure 48712DEST_PATH_IMAGE009
为所述机器人的竖轴坐标，
Figure 510918DEST_PATH_IMAGE010
为所述左侧货架中第
Figure 734089DEST_PATH_IMAGE006
层的第一横梁图像的中心点的横轴坐标，
Figure 205521DEST_PATH_IMAGE011
为所述左侧货架中第
Figure 463327DEST_PATH_IMAGE006
层的第一横梁图像的中心点的纵轴坐标，
Figure 96434DEST_PATH_IMAGE012
为所述左侧货架中第
Figure 72480DEST_PATH_IMAGE006
层的第一横梁图像的中心点的竖轴坐标，
Figure 816445DEST_PATH_IMAGE013
为所述左侧货架中所述第一横梁的总数量，
Figure 692872DEST_PATH_IMAGE014
为所述左侧货架中第
Figure 496880DEST_PATH_IMAGE015
层的第一横梁与所述机器人之间的相对距离，
Figure 429064DEST_PATH_IMAGE016
为所述左侧货架中第1层的第一横梁与所述机器人之间的相对距离，
Figure 976720DEST_PATH_IMAGE017
为所述左侧货架中第2层的第一横梁与所述机器人之间的相对距离，
Figure 209118DEST_PATH_IMAGE018
为所述左侧货架中第
Figure 449607DEST_PATH_IMAGE015
层的第一横梁与所述机器人之间的夹角，
Figure 134666DEST_PATH_IMAGE019
为所述左侧货架中第
Figure 751592DEST_PATH_IMAGE015
层的第一横梁图像的中心点的纵轴坐标，
Figure 572918DEST_PATH_IMAGE020
为所述左侧货架中第
Figure 249887DEST_PATH_IMAGE015
层的第一横梁图像的中心点的横轴坐标，
Figure 920777DEST_PATH_IMAGE021
为所述机器人到所述左侧货架的第一距离；
步骤S634包括：
根据以下公式计算所述第二距离：
Figure 810236DEST_PATH_IMAGE022
；
Figure 17226DEST_PATH_IMAGE023
；
Figure 865096DEST_PATH_IMAGE024
；
Figure 524748DEST_PATH_IMAGE025
；
其中，
Figure 483477DEST_PATH_IMAGE026
为所述右侧货架中第
Figure 13815DEST_PATH_IMAGE027
层的所述第二横梁图像的中心点与所述机器人的距离，
Figure 32587DEST_PATH_IMAGE007
为所述机器人的横轴坐标，
Figure 179534DEST_PATH_IMAGE008
为所述机器人的纵轴坐标，
Figure 676375DEST_PATH_IMAGE009
为所述机器人的竖轴坐标，
Figure 592378DEST_PATH_IMAGE028
为所述右侧货架中第
Figure 250893DEST_PATH_IMAGE027
层的第二横梁图像的中心点的横轴坐标，
Figure 118092DEST_PATH_IMAGE029
为所述右侧货架中第
Figure 153044DEST_PATH_IMAGE027
层的第二横梁图像的中心点的纵轴坐标，
Figure 657975DEST_PATH_IMAGE030
为所述右侧货架中第
Figure 487391DEST_PATH_IMAGE027
层的第二横梁图像的中心点的竖轴坐标，
Figure 343351DEST_PATH_IMAGE031
为所述右侧货架中所述第二横梁的总数量，
Figure 181994DEST_PATH_IMAGE032
为所述右侧货架中第
Figure 541431DEST_PATH_IMAGE015
层的第二横梁与所述机器人之间的相对距离，
Figure 305863DEST_PATH_IMAGE033
为所述右侧货架中第1层的第二横梁与所述机器人之间的相对距离，
Figure 321223DEST_PATH_IMAGE034
为所述右侧货架中第2层的第二横梁与所述机器人之间的相对距离，
Figure 963557DEST_PATH_IMAGE035
为所述右侧货架中第
Figure 708659DEST_PATH_IMAGE036
层的第二横梁与所述机器人之间的夹角，
Figure 411036DEST_PATH_IMAGE037
为所述右侧货架中第
Figure 976010DEST_PATH_IMAGE036
层的第二横梁图像的中心点的纵轴坐标，
Figure 422035DEST_PATH_IMAGE038
为所述右侧货架中第
Figure 21643DEST_PATH_IMAGE036
层的第二横梁图像的中心点的横轴坐标，
Figure 127877DEST_PATH_IMAGE039
为所述机器人到所述右侧货架的第二距离。
4.根据权利要求2所述的基于机器视觉的导航方法，其特征在于，步骤S635包括：
根据所述第一距离和所述第二距离控制所述机器人沿所述第一过道的中线行驶。
5.根据权利要求2所述的基于机器视觉的导航方法，其特征在于，
步骤S631包括：
根据预设的宽度阈值从所述左侧货架图像中识别出所述第一横梁；
步骤S633包括：
根据预设的宽度阈值从所述右侧货架图像中识别出所述第二横梁。
6.根据权利要求1所述的基于机器视觉的导航方法，其特征在于，
步骤S61包括：
在所述第一过道仅左侧或右侧有货架的时候，获取左侧货架图像或右侧货架图像；
步骤S63包括：
在所述第一过道仅左侧或右侧有货架的时候，执行步骤：
S636.根据所述左侧货架图像分离出左侧货架每层的第一横梁图像，或根据所述右侧货架图像分离出右侧货架每层的第二横梁图像；
S637.获取所有所述第一横梁图像的中心点坐标以计算所述机器人到所述左侧货架的第一距离，或获取所有所述第二横梁图像的中心点坐标以计算所述机器人到所述右侧货架的第二距离；
S638.根据所述第一距离或所述第二距离控制所述机器人沿所述第一过道直线行驶。
7.根据权利要求1所述的基于机器视觉的导航方法，其特征在于，步骤S2包括：
S21.循环执行以下步骤：
S211.获取设置在所述商场内的第一引导线的第一引导线图像；
S212.根据所述第一引导线图像，控制所述机器人沿所述第一引导线行驶；
S213.获取当前商品存放区域的用于记录商品类别的第一标签的第一标签图像；
S214.从所述第一标签图像中识别出第一标签信息；
S215.在当前商品存放区域的所述第一标签信息不包含所述类别信息时，控制所述机器人沿所述第一引导线行驶至下一个商品存放区域；
S216.在所述机器人移动至所述第一标签信息包含所述类别信息的第一区域时，退出循环。
8.一种基于机器视觉的导航装置，应用于机器人的控制系统以使所述机器人在商场中行驶，其特征在于，所述基于机器视觉的导航装置包括：
第一获取模块，用于获取目标商品的商品信息，所述商品信息包括类别信息、货架信息和目标商品名称；
第一控制模块，用于根据所述类别信息控制所述机器人沿第一引导线在所述商场中移动并寻找到目标商品所在的第一区域；所述第一引导线设置在所述商场的各商品存放区域之间的通道上；
第二控制模块，用于根据所述货架信息，控制所述机器人在所述第一区域内寻找所述目标商品所在的第一货架的位置；
第二获取模块，用于根据所述第一货架的位置获取所述第一货架对应的第一过道的位置；
第三控制模块，用于根据所述第一过道的位置控制所述机器人进入所述第一过道；
执行模块，用于循环执行以下步骤：
获取所述第一过道路侧货架的货架图像；
从所述第一货架所在的所述货架图像中识别各商品的第二标签的第二标签信息；
在所述各商品的第二标签信息不包含所述目标商品名称的时候，根据所述货架图像控制所述机器人沿所述第一过道继续前进；
在所述各商品的第二标签信息包含所述目标商品名称的时候，退出循环。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述基于机器视觉的导航方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述基于机器视觉的导航方法中的步骤。
CN202111507946.3A 2021-12-10 2021-12-10 基于机器视觉的导航方法、装置、电子设备及存储介质 Active CN113917932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111507946.3A CN113917932B (zh) 2021-12-10 2021-12-10 基于机器视觉的导航方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111507946.3A CN113917932B (zh) 2021-12-10 2021-12-10 基于机器视觉的导航方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113917932A true CN113917932A (zh) 2022-01-11
CN113917932B CN113917932B (zh) 2022-03-08

Family

ID=79248484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111507946.3A Active CN113917932B (zh) 2021-12-10 2021-12-10 基于机器视觉的导航方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113917932B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880676A (zh) * 2022-12-21 2023-03-31 南通大学 一种基于深度学习的自助售货机商品识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125738A (zh) * 2016-08-26 2016-11-16 北京航空航天大学 一种基于agv的货架识别装置及方法
CN109093592A (zh) * 2018-09-11 2018-12-28 广东宏穗晶科技服务有限公司 一种超市用循迹导购机器人
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
CN109345344A (zh) * 2018-09-20 2019-02-15 查宇鸿 一种夜间无人值守的商品销售系统
CN110045739A (zh) * 2019-05-10 2019-07-23 湖北汽车工业学院 一种智能仓储物料机器人、控制系统及控制方法
JP2020052629A (ja) * 2018-09-26 2020-04-02 三菱ロジスネクスト株式会社 搬送システム
CN111274845A (zh) * 2018-12-04 2020-06-12 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
US20200339354A1 (en) * 2017-12-28 2020-10-29 Pontificia Universidad Catolica De Chile Autonomous robotic system for automatically monitoring the state of shelves in shops
CN212541100U (zh) * 2020-05-19 2021-02-12 西安烛龙智能科技有限公司 一种用于物流分拣定位的智能车系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106125738A (zh) * 2016-08-26 2016-11-16 北京航空航天大学 一种基于agv的货架识别装置及方法
US20200339354A1 (en) * 2017-12-28 2020-10-29 Pontificia Universidad Catolica De Chile Autonomous robotic system for automatically monitoring the state of shelves in shops
CN109093592A (zh) * 2018-09-11 2018-12-28 广东宏穗晶科技服务有限公司 一种超市用循迹导购机器人
CN109345344A (zh) * 2018-09-20 2019-02-15 查宇鸿 一种夜间无人值守的商品销售系统
JP2020052629A (ja) * 2018-09-26 2020-04-02 三菱ロジスネクスト株式会社 搬送システム
CN109132313A (zh) * 2018-10-26 2019-01-04 北京旷视科技有限公司 物品移动系统、取货机器人、搬运机器人及方法
CN111274845A (zh) * 2018-12-04 2020-06-12 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN110045739A (zh) * 2019-05-10 2019-07-23 湖北汽车工业学院 一种智能仓储物料机器人、控制系统及控制方法
CN212541100U (zh) * 2020-05-19 2021-02-12 西安烛龙智能科技有限公司 一种用于物流分拣定位的智能车系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙振: "变电站智能巡检机器人导航定位技术设计", 《自动化技术与应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880676A (zh) * 2022-12-21 2023-03-31 南通大学 一种基于深度学习的自助售货机商品识别方法
CN115880676B (zh) * 2022-12-21 2024-04-09 南通大学 一种基于深度学习的自助售货机商品识别方法

Also Published As

Publication number Publication date
CN113917932B (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
US10565548B2 (en) Planogram assisted inventory system and method
Wojek et al. Monocular visual scene understanding: Understanding multi-object traffic scenes
US7446766B2 (en) Multidimensional evidence grids and system and methods for applying same
US7742623B1 (en) Method and system for estimating gaze target, gaze sequence, and gaze map from video
US20190180150A1 (en) Color Haar Classifier for Retail Shelf Label Detection
Wojek et al. Monocular 3d scene understanding with explicit occlusion reasoning
WO2021068588A1 (zh) 车位及其方向角度检测方法、装置、设备及介质
US11093762B2 (en) Method for validation of obstacle candidate
Wojke et al. Moving vehicle detection and tracking in unstructured environments
CN108627824A (zh) 具有相机图像和雷达数据融合的自动化车辆对象检测系统
CN113917932B (zh) 基于机器视觉的导航方法、装置、电子设备及存储介质
CN110716559B (zh) 一种用于商场超市拣货机器人的综合控制方法
CN105940430A (zh) 人员计数方法及其装置
US20200050213A1 (en) Mobile robot and method of controlling the same
CN109040539B (zh) 图像采集装置、货架及图像识别方法
Maier et al. Vision-based humanoid navigation using self-supervised obstacle detection
CN115249356A (zh) 识别方法、装置、设备及存储介质
AU2019396253B2 (en) Method, system and apparatus for auxiliary label detection and association
Anezaki et al. Development of a human-tracking robot using qr code recognition
CN113759928A (zh) 用于复杂大尺度室内场景的移动机器人高精度定位方法
CN110766646A (zh) 展示架遮挡检测方法、装置以及存储介质
WO2021126090A1 (en) Autonomous parking systems and methods for vehicles
Stelzer et al. Towards efficient and scalable visual homing
CN110765815B (zh) 展示架遮挡检测方法和装置
CN112016366A (zh) 一种障碍物定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant