CN115082665A - 可提高作业精度的agv小车视觉自检方法、装置及系统 - Google Patents

可提高作业精度的agv小车视觉自检方法、装置及系统 Download PDF

Info

Publication number
CN115082665A
CN115082665A CN202211002798.4A CN202211002798A CN115082665A CN 115082665 A CN115082665 A CN 115082665A CN 202211002798 A CN202211002798 A CN 202211002798A CN 115082665 A CN115082665 A CN 115082665A
Authority
CN
China
Prior art keywords
environment image
target
historical environment
agv
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211002798.4A
Other languages
English (en)
Other versions
CN115082665B (zh
Inventor
郭东进
李栓柱
徐祥琦
袁绪龙
袁绪彬
贺庆壮
王诚善
龙敏勇
王川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ximanke Technology Co ltd
Original Assignee
Shandong Ximanke Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ximanke Technology Co ltd filed Critical Shandong Ximanke Technology Co ltd
Priority to CN202211002798.4A priority Critical patent/CN115082665B/zh
Publication of CN115082665A publication Critical patent/CN115082665A/zh
Application granted granted Critical
Publication of CN115082665B publication Critical patent/CN115082665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种可提高作业精度的AGV小车视觉自检方法、装置及系统，该方法包括：获取目标AGV小车的丢失时刻、该丢失时刻的初始位置及行驶速度，获取目标AGV小车丢失后的可能位置及可能位置的概率值，获取每个可能位置与其周围每个位置的距离，确定所有可能位置的历史环境图像与目标环境图像的匹配顺序，按照匹配顺序计算历史环境图像与目标环境图像的匹配度，并判断是否停止匹配度计算，获取停止匹配度计算后的最终历史环境图像，并确定目标AGV小车的当前位置，重新规划路线，本发明方法减少了系统的计算量，缩短了系统的响应速度，实现了AGV小车的快速定位。

Description

可提高作业精度的AGV小车视觉自检方法、装置及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种可提高作业精度的AGV小车视觉自检方法、装置及系统。
背景技术
AGV小车是一种装备有自动导航装置，能够沿规定的导航路径行驶，具有安全保护以及各种移载功能的运输车，AGV小车在工作过程中主要依据自身定位信息、中央控制器的数据分析模块及路线规划模块实现对AGV小车的控制，其中，基于惯导系统的AGV小车定位由自身惯导装置获取定位数据，但是惯导系统存在误差的累积现象，导致定位容易出现偏差，影响行驶路径的动态规划。
现有技术为了应对惯导系统的定位偏差，主要利用其他定位辅助系统，比如视觉辅助进行定位，视觉辅助定位是利用当前环境图像与历史环境图像的匹配，然后对AGV小车进行定位，然而在当前环境图像与历史环境图像匹配过程中，由于历史环境图像的数据量大，导致匹配运算量过大，使得系统响应时间过慢，导致AGV小车丢失自身的位置信息，进而使得其行驶路线无法规划，使得AGV小车出现无法控制的情况。
因此，需要提供一种可提高作业精度的AGV小车视觉自检方法、装置及系统，予以解决上述问题。
发明内容
本发明提供一种可提高作业精度的AGV小车视觉自检方法、装置及系统，以解决现有的问题。
本发明的一种可提高作业精度的AGV小车视觉自检方法采用如下技术方案：该方法包括：
获取目标AGV小车在规划路线上丢失时刻、该丢失时刻目标AGV小车的初始位置及行驶速度；
根据目标AGV小车的丢失时刻及行驶速度获取目标AGV小车丢失后的当前时刻的可能位置，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值；
获取目标AGV小车在每个可能位置的目标环境图像，获取所有AGV小车经过每个可能位置时的周围位置的历史环境图像，并获取每个可能位置与其周围每个位置的距离；
根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序；
利用模板匹配算法按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度；根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算；
根据停止匹配度计算后得到的所有匹配度获取历史环境图像中的最终历史环境图像，根据最终历史环境图像确定目标AGV小车的当前位置，根据目标AGV小车的当前位置重新规划路线。
优选的，在确定所有可能位置的历史环境图像与目标环境图像的匹配顺序前，还包括：
计算可能位置及其周围位置的历史环境图像与该可能位置的目标环境图像的灰度归一化相关系数；
将大于预设相关系数阈值的灰度归一化相关系数对应的历史环境图像作为确定历史环境图像的匹配顺序中的历史环境图像。
优选的，根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定历史环境图像与目标环境图像的匹配顺序的步骤包括：
将目标AGV小车的每个可能位置与其周围每个位置的距离和每个可能位置的概率值的乘积作为历史环境图像的匹配优先值；
对匹配优先值按照从大到小进行排序得到历史环境图像与目标环境图像的匹配顺序。
优选的，根据预设的匹配度阈值、当前历史环境图像与其相邻的前一个历史环境图像对应的匹配度判断是否停止匹配度计算的步骤包括：
获取当前历史环境图像对应的匹配度与其相邻的前一个历史环境图像对应的匹配度的第一匹配度差值；
获取当前历史环境图像的匹配顺序之前所有历史环境图像对应的匹配度中的最大匹配度；
计算最大匹配度与当前历史环境图像的匹配度的第二匹配度差值；
根据第一匹配度差值与第二匹配度差值计算最终匹配度；
当最终匹配度大于匹配度阈值时，则停止匹配度计算。
优选的，将停止匹配度计算后得到的所有匹配度中的最大匹配度对应的历史环境图像作为最终历史环境图像。
优选的，计算历史环境图像与目标环境图像的匹配度的步骤包括：
对每个历史环境图像与对应的目标环境图像进行SIFT特征匹配，并得到历史环境图像与目标环境图像的特征匹配度；
根据历史环境图像与目标环境图像中对应的SIFT特征的位置计算历史环境图像与目标环境图像的位置差异性；
根据历史环境图像与目标环境图像中的位置差异性、特征匹配度计算历史环境图像与目标环境图像的匹配度。
优选的，根据历史环境图像与目标环境图像中对应的SIFT特征的位置计算历史环境图像与目标环境图像的位置差异性的步骤包括：
获取目标环境图像与历史环境图像中的对应的SIFT特征点；
将目标环境图像中与历史环境图像对应的SIFT特征点两两连接得到多个线段；
将历史环境图像中与目标环境图像对应的SIFT特征点两两连接得到多个线段；
根据目标环境图像、历史环境图像中对应线段的长度及目标环境图像、历史环境图像中对应线段与水平方向的夹角计算历史环境图像与目标环境图像中的位置差异性。
优选的，根据目标环境图像、历史环境图像中对应线段的长度及目标环境图像、历史环境图像中对应线段与水平方向的夹角计算历史环境图像与目标环境图像的位置差异性的步骤包括：
计算目标环境图像与历史环境图像中对应线段的长度差值绝对值；
计算目标环境图像与历史环境图像中对应线段与水平方向的夹角的角度差值绝对值；
根据所有的长度差值绝对值、角度差值绝对值计算历史环境图像与目标环境图像的位置差异性。
本发明公开了一种可提高作业精度的AGV小车视觉自检系统，该系统包括：
信息采集模块，用于获取目标AGV小车在规划路线上丢失时刻及该时刻目标AGV小车的初始位置及行驶速度；
位置预测模块，用于根据目标AGV小车的丢失时刻及行驶速度获取目标AGV小车丢失后的当前时刻的可能位置，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值；
图像采集模块，用于获取目标AGV小车在每个可能位置的目标环境图像，获取所有AGV小车经过每个可能位置时的周围位置的历史环境图像，并获取每个可能位置与其周围每个位置的距离；
排序模块，用于根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序；
参数计算模块，用于按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度；根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算；
路线规划模块，用于根据停止匹配度计算后得到的所有匹配度获取历史环境图像中的最终历史环境图像，根据最终历史环境图像确定目标AGV小车的当前位置，根据目标AGV小车的当前位置重新规划路线。
本发明还公开一种可提高作业精度的AGV小车视觉自检装置，该装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的小车视觉自检程序，小车视觉自检程序被处理器执行时实现一种可提高作业精度的AGV小车视觉方法公开的步骤。
本发明的有益效果是：本发明的一种可提高作业精度的AGV小车视觉自检方法、装置及系统，按照匹配顺序对匹配顺序在前的历史环境图像先进行匹配度计算，从而实现加快了得到最大匹配度的速度，同时根据设定的匹配度计算停止条件，使得在到达停止条件时，即可获取最大匹配度，从而减少了计算量，进一步的，根据在确定历史环境图像与目标环境图像的匹配顺序前，对历史环境图像与目标历史图像进行灰度归一化相关系数计算，并根据相关系数阈值筛选出大于预设相关系数阈值对应的历史环境图像，将大于预设相关系数阈值对应的历史环境图像作为匹配顺序计算时的历史环境图像，从而减少了需要匹配的历史环境图像的数量，进一步的减少计算量，缩短系统的响应时间，实现目标AGV小车的快速定位，并重新规划路线。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种可提高作业精度的AGV小车视觉自检方法、装置及系统的实施例总体步骤的流程图；
图2为实施例的步骤S5中判断是否停止匹配度计算的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的使用场景为：在AGV小车的定位与路线规划中，采用惯导系统定位的AGV小车在利用视觉辅助定位系统的当前环境图像与历史图像数据的匹配过程中，由于历史环境图像的数据量大，导致匹配运算过多，响应时间过慢，使得AGV小车在按规划行驶时，无法响应系统指令，最终丢失位置信息，其中，因此，本发明提供了一种可提高作业精度的AGV小车视觉自检方法的实施例，如图1所示，该方法包括：
S1、获取目标AGV小车在规划路线上丢失时刻、该丢失时刻目标AGV小车的初始位置及行驶速度，具体的，基于惯导系统的目标AGV小车定位时由目标AGV小车自身的惯导装置获取定位数据，即目标AGV小车在规划路线上丢失时刻目标AGV小车自身的惯导装置获取目标AGV小车在丢失时刻对应的初始位置及目标AGV小车的行驶速度。
S2、根据目标AGV小车的丢失时刻及行驶速度获取目标AGV小车丢失后的当前时刻的可能位置，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值。
具体的，根据步骤S1获取了目标AGV小车的初始位置为
Figure DEST_PATH_IMAGE002
，丢失时刻为
Figure DEST_PATH_IMAGE004
、目标AGV小车的行驶速度为
Figure DEST_PATH_IMAGE006
，在小车的行驶方向中，每一次的交叉路口记为
Figure DEST_PATH_IMAGE008
，小车在丢失位置信息以后，在每一个交叉路口都会随机转向，将小车位置信息丢失后的
Figure DEST_PATH_IMAGE010
时刻作为当前时刻，计算目标AGV小车从丢失时刻为
Figure 795269DEST_PATH_IMAGE004
到当前时刻
Figure DEST_PATH_IMAGE012
的行驶路径长度为
Figure DEST_PATH_IMAGE014
，此时，根据行驶路径长度
Figure DEST_PATH_IMAGE016
就可以获取当前时刻
Figure 728721DEST_PATH_IMAGE012
该目标AGV小车的可能位置，并将第
Figure DEST_PATH_IMAGE018
个可能位置标记为
Figure DEST_PATH_IMAGE020
。
具体的，由于目标AGV小车脱离对应的规划路线即为丢失，在目标AGV小车丢失过程中从初始位置
Figure 977300DEST_PATH_IMAGE002
到每个可能位置之间会存在多个路线的交叉路口，因此，目标AGV小车丢失后，目标AGV小车在交叉路口的转向是有多种情况的，故目标AGV小车在对应的可能位置的概率值为条件概率值，因此，本实施例采用目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量作为计算目标AGV小车在对应的可能位置的概率值的条件；
其中，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值的公式为：
Figure DEST_PATH_IMAGE022
式中，
Figure DEST_PATH_IMAGE024
表示目标AGV小车在第
Figure 421444DEST_PATH_IMAGE018
个可能位置的概率值；
Figure DEST_PATH_IMAGE026
表示目标AGV小车在第
Figure 376762DEST_PATH_IMAGE018
个可能位置与目标AGV小车的初始位置之间的交叉路口数量；
Figure DEST_PATH_IMAGE028
表示目标AGV小车在第
Figure DEST_PATH_IMAGE030
个交叉路口的可转向数量。
S3、获取目标AGV小车在每个可能位置的目标环境图像，获取所有AGV小车经过每个可能位置时的周围位置的历史环境图像，并获取每个可能位置与其周围每个位置的距离。
具体的，为了判断目标AGV小车的当前的可能位置，由于根据AGV小车的速度不同，因此，根据单独一个AGV小车采集的历史环境图像判断小车位置可能存在偏差，所以需要获取所有小车在可能位置的周围的历史环境图像，以获得更全面的历史环境图像，从而跟精确的确定小车位置，故在目标AGV小车位置信息丢失后，先利用目标AGV小车的相机拍摄目标AGV小车在当前位置的环境图像，因为目标AGV小车的当前位置可能有多个其他AGV小车多次通过，因此，并且其他AGV小车每次通过时其他AGV小车上的相机都会采集目标AGV小车的当前位置及当前位置周围位置的环境图像，将其他AGV小车上的相机采集的目标AGV小车的当前位置及当前位置周围位置的环境图像作为历史环境图像。
S4、根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序。
具体的，由于每个可能位置的概率值越大，即目标AGV小车的丢失后的在该可能位置的概率就越大，当可能位置与其周围位置的距离越近，则说明可能位置对应的目标图像与周围位置对应的历史环境图像越相近，本实施例认为，越相近的目标图像与历史环境图像之间的相似度越高，故，本实施例据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序，其中，根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定历史环境图像与目标环境图像的匹配顺序的步骤包括：将目标AGV小车的每个可能位置与其周围每个位置的距离和每个可能位置的概率值的乘积作为历史环境图像的匹配优先值，计算匹配优先值的公式：
Figure DEST_PATH_IMAGE032
式中，
Figure DEST_PATH_IMAGE034
表示第
Figure 751287DEST_PATH_IMAGE018
个历史环境图像与目标环境图像的匹配优先值；
Figure 221583DEST_PATH_IMAGE024
表示目标AGV小车在第
Figure 499112DEST_PATH_IMAGE018
个可能位置的概率值；
Figure DEST_PATH_IMAGE036
表示第
Figure 308936DEST_PATH_IMAGE018
个可能位置与周围位置
Figure DEST_PATH_IMAGE038
之间的距离；
对匹配优先值按照从大到小进行排序得到历史环境图像与目标环境图像的匹配顺序。
具体的，由于目标AGV小车的可能位置比较多，所有每个可能位置及每个可能位置对应的历史环境图像的数据量非常大，故为了进一步减少计算量，本实施例在确定所有可能位置的历史环境图像与目标环境图像的匹配顺序之前，计算每个可能位置及其周围位置的历史环境图像与该可能位置的目标环境图像的灰度归一化相关系数，图像与图像的灰度归一化相关系数的计算为现有技术，本实施例不再赘述，即灰度归一化相关系数的越大时，则表示当前图像匹配度越高，此时，根据一般经验设置阈值，将大于预设相关系数阈值的相关系数对应的历史环境图像作为确定历史环境图像的匹配顺序，即步骤S4中计算匹配顺序时的历史环境图像为经过相关系数阈值筛选过的历史环境图像，因此，筛选后的历史环境图像的数量相对于筛选之前大大降低了后续的计算量。
S5、利用模板匹配算法按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度；根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算。
具体的，本实施例中，利用模板匹配算法按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度的步骤包括：即以目标环境图像为模板图像，然后对每个历史环境图像与对应的目标环境图像进行SIFT特征匹配，并得到历史环境图像与目标环境图像的特征匹配度；根据历史环境图像与目标环境图像中对应的SIFT特征的位置计算历史环境图像与目标环境图像的位置差异性；根据历史环境图像与目标环境图像中的位置差异性、特征匹配度计算历史环境图像与目标环境图像的匹配度，其中，计算历史环境图像与目标环境图像的位置差异性的公式：
Figure DEST_PATH_IMAGE040
式中，
Figure DEST_PATH_IMAGE042
表示历史环境图像与目标环境图像的位置差异性；
Figure DEST_PATH_IMAGE044
表示目标环境图像与历史环境图像中对应线段
Figure DEST_PATH_IMAGE046
的长度差值绝对值，
Figure 679131DEST_PATH_IMAGE044
越大，反映对应线段的差异越大，特征点的位置差异性越大，
Figure DEST_PATH_IMAGE048
表示对应线段的长度差值绝对值的最大值，
Figure 574405DEST_PATH_IMAGE048
越大，表示线段长度差异对特征点的位置影响越大，所以线段长度差异在判断特征点的位置差异性的公式中的比例越大；
Figure DEST_PATH_IMAGE050
表示目标环境图像与历史环境图像中对应线段
Figure 576997DEST_PATH_IMAGE046
与水平方向的夹角的角度差值绝对值；
Figure DEST_PATH_IMAGE052
表示目标环境图像与历史环境图像中对应线段的数量；
需要说明的是：两个图像中对应两对特征点对构成的线段特征越相似，则图像的位置越统一，已知线段与图像下边缘中的夹角为
Figure DEST_PATH_IMAGE054
，所以对应线段的斜率大于等于0时，线段的方向角度为
Figure 319956DEST_PATH_IMAGE054
，对应线段的斜率小于0时，线段的方向角度为
Figure DEST_PATH_IMAGE056
，对应线段的斜率不存在时，线段垂直于图像下边缘，此时线段的方向角度为
Figure DEST_PATH_IMAGE058
，所以
Figure 953062DEST_PATH_IMAGE050
越大，反映出历史环境图像与目标环境图像中对应线段的方向差异越大，即特征点的位置差异越大，式中，
Figure DEST_PATH_IMAGE060
表示长度差值绝对值
Figure 476579DEST_PATH_IMAGE050
的最大值，
Figure 814019DEST_PATH_IMAGE060
越大，表示线段方向差异对特征点的位置影响越大。
其中，根据历史环境图像与目标环境图像中的位置差异性、特征匹配度计算历史环境图像与目标环境图像的匹配度的公式：
Figure DEST_PATH_IMAGE062
式中，
Figure DEST_PATH_IMAGE064
表示历史环境图像与目标环境图像的匹配度；在图像的匹配中，图像之间的位置差异性是比较重要的，所以利用
Figure DEST_PATH_IMAGE066
对匹配图像的位置差异性进行放大，然后在根据放大后的位置差异性与历史环境图像与目标环境图像的特征匹配度
Figure DEST_PATH_IMAGE068
计算历史环境图像与目标环境图像的匹配度；
Figure 970674DEST_PATH_IMAGE068
表示历史环境图像与目标环境图像的特征匹配度；
Figure 384469DEST_PATH_IMAGE042
表示历史环境图像与目标环境图像的位置差异性。
具体的，如图2所示，根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算的步骤：S51、获取当前历史环境图像对应的匹配度与其匹配顺序相邻的前一个历史环境图像对应的匹配度的第一匹配度差值；S52、获取当前历史环境图像的匹配顺序之前所有历史环境图像对应的匹配度中的最大匹配度；S53、计算最大匹配度与当前历史环境图像的匹配度的第二匹配度差值；S54、根据第一匹配度差值与第二匹配度差值计算当前历史环境图像的与目标历史图像最终匹配度；S55、当前历史环境图像与目标历史图像的最终匹配度大于匹配度阈值时，则停止匹配度计算，计算当前历史环境图像与目标历史图像的最终匹配度的公式：
Figure DEST_PATH_IMAGE070
式中，
Figure DEST_PATH_IMAGE072
表示第
Figure DEST_PATH_IMAGE074
个历史环境图像与目标历史图像的最终匹配度；
Figure DEST_PATH_IMAGE076
表示第
Figure 208330DEST_PATH_IMAGE074
个历史环境图像与目标历史图像的匹配度；
Figure DEST_PATH_IMAGE078
表示第
Figure DEST_PATH_IMAGE080
个历史环境图像与目标历史图像的匹配度；
Figure DEST_PATH_IMAGE082
表示按照匹配顺序，匹配度计算至第
Figure 569036DEST_PATH_IMAGE074
个历史环境图像及该历史环境图像之前的历史环境图像与目标历史图像的匹配度中的最大匹配度；
需要说明的是，在按照匹配顺序计算历史环境图像与目标环境图像的匹配度时，从计算出的第二个匹配度开始，按照匹配顺序每计算一个匹配度判断一次是否停止匹配度计算，当最终匹配度
Figure 129330DEST_PATH_IMAGE072
大于预设的匹配度阈值时，则停止匹配度计算，且将已经计算了匹配度中的最大匹配度对应的历史环境图像作为最终历史环境图像。
S6、根据停止匹配度计算后得到的所有匹配度获取历史环境图像中的最终历史环境图像，根据最终历史环境图像确定目标AGV小车的当前位置，根据目标AGV小车的当前位置重新规划路线，具体的，将停止匹配度计算后得到的所有匹配度中的最大匹配度对应的历史环境图像作为最终历史环境图像，然后获取最终历史环境图像对应的位置信息，即该对应位置即为目标AGV小车丢失后在当前时刻的当前位置，然后根据当前位置重新规划目标AGV小车的行驶路径，使得目标AGV小车步入规划的路线进行行驶。
一种可提高作业精度的AGV小车视觉自检系统，该系统包括：信息采集模块、位置预测模块、图像采集模块、排序模块、参数计算模块及路线规划模块，信息采集模块用于获取目标AGV小车在规划路线上丢失时刻及该时刻目标AGV小车的初始位置及行驶速度；位置预测模块用于根据目标AGV小车的丢失时刻及行驶速度获取目标AGV小车丢失后的当前时刻的可能位置，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值；图像采集模块用于获取目标AGV小车在每个可能位置的目标环境图像，获取所有AGV小车经过每个可能位置时的周围位置的历史环境图像，并获取每个可能位置与其周围每个位置的距离；排序模块用于根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序；参数计算模块用于按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度；根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算；路线规划模块用于根据停止匹配度计算后得到的所有匹配度获取历史环境图像中的最终历史环境图像，根据最终历史环境图像确定目标AGV小车的当前位置，根据目标AGV小车的当前位置重新规划路线。
一种可提高作业精度的AGV小车视觉自检装置，该装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的小车视觉自检程序，小车视觉自检程序被处理器执行时实现实施例公开的一种可提高作业精度的AGV小车视觉方法的S1-S6步骤。
综上所述，本发明提供一种可提高作业精度的AGV小车视觉自检方法、装置及系统，按照匹配顺序对匹配顺序在前的历史环境图像先进行匹配度计算，从而实现加快了得到最大匹配度的速度，同时根据设定的匹配度计算停止条件，使得在到达匹配度计算停止条件时，即可获取最大匹配度，从而减少了计算量，进一步的，根据在确定历史环境图像与目标环境图像的匹配顺序前，对历史环境图像与目标历史图像进行灰度归一化相关系数计算，并根据相关系数阈值筛选出大于预设相关系数阈值对应的历史环境图像，将大于预设相关系数阈值对应的历史环境图像作为匹配顺序计算时的历史环境图像，从而减少了需要匹配的历史环境图像的数量，进一步的减少计算量，缩短系统的响应时间，实现目标AGV小车的快速定位，并重新规划路线。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种可提高作业精度的AGV小车视觉自检方法，其特征在于，该方法包括：
获取目标AGV小车在规划路线上丢失时刻、该丢失时刻目标AGV小车的初始位置及行驶速度；
根据目标AGV小车的丢失时刻及行驶速度获取目标AGV小车丢失后的当前时刻的可能位置，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值；
获取目标AGV小车在每个可能位置的目标环境图像，获取所有AGV小车经过每个可能位置时的周围位置的历史环境图像，并获取每个可能位置与其周围每个位置的距离；
根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序；
利用模板匹配算法按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度；根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算；
根据停止匹配度计算后得到的所有匹配度获取历史环境图像中的最终历史环境图像，根据最终历史环境图像确定目标AGV小车的当前位置，根据目标AGV小车的当前位置重新规划路线。
2.根据权利要求1所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，在确定所有可能位置的历史环境图像与目标环境图像的匹配顺序前，还包括：
计算可能位置及其周围位置的历史环境图像与该可能位置的目标环境图像的灰度归一化相关系数；
将大于预设相关系数阈值的灰度归一化相关系数对应的历史环境图像作为确定历史环境图像的匹配顺序中的历史环境图像。
3.根据权利要求1所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定历史环境图像与目标环境图像的匹配顺序的步骤包括：
将目标AGV小车的每个可能位置与其周围每个位置的距离和每个可能位置的概率值的乘积作为历史环境图像的匹配优先值；
对匹配优先值按照从大到小进行排序得到历史环境图像与目标环境图像的匹配顺序。
4.根据权利要求1所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，根据预设的匹配度阈值、当前历史环境图像与其相邻的前一个历史环境图像对应的匹配度判断是否停止匹配度计算的步骤包括：
获取当前历史环境图像对应的匹配度与其相邻的前一个历史环境图像对应的匹配度的第一匹配度差值；
获取当前历史环境图像的匹配顺序之前所有历史环境图像对应的匹配度中的最大匹配度；
计算最大匹配度与当前历史环境图像的匹配度的第二匹配度差值；
根据第一匹配度差值与第二匹配度差值计算最终匹配度；
当最终匹配度大于匹配度阈值时，则停止匹配度计算。
5.根据权利要求1所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，将停止匹配度计算后得到的所有匹配度中的最大匹配度对应的历史环境图像作为最终历史环境图像。
6.根据权利要求1所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，计算历史环境图像与目标环境图像的匹配度的步骤包括：
对每个历史环境图像与对应的目标环境图像进行SIFT特征匹配，并得到历史环境图像与目标环境图像的特征匹配度；
根据历史环境图像与目标环境图像中对应的SIFT特征的位置计算历史环境图像与目标环境图像的位置差异性；
根据历史环境图像与目标环境图像中的位置差异性、特征匹配度计算历史环境图像与目标环境图像的匹配度。
7.根据权利要求6所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，根据历史环境图像与目标环境图像中对应的SIFT特征的位置计算历史环境图像与目标环境图像的位置差异性的步骤包括：
获取目标环境图像与历史环境图像中的对应的SIFT特征点；
将目标环境图像中与历史环境图像对应的SIFT特征点两两连接得到多个线段；
将历史环境图像中与目标环境图像对应的SIFT特征点两两连接得到多个线段；
根据目标环境图像、历史环境图像中对应线段的长度及目标环境图像、历史环境图像中对应线段与水平方向的夹角计算历史环境图像与目标环境图像中的位置差异性。
8.根据权利要求7所述的一种可提高作业精度的AGV小车视觉自检方法，其特征在于，根据目标环境图像、历史环境图像中对应线段的长度及目标环境图像、历史环境图像中对应线段与水平方向的夹角计算历史环境图像与目标环境图像的位置差异性的步骤包括：
计算目标环境图像与历史环境图像中对应线段的长度差值绝对值；
计算目标环境图像与历史环境图像中对应线段与水平方向的夹角的角度差值绝对值；
根据所有的长度差值绝对值、角度差值绝对值计算历史环境图像与目标环境图像的位置差异性。
9.一种可提高作业精度的AGV小车视觉自检系统，其特征在于，该系统包括：
信息采集模块，用于获取目标AGV小车在规划路线上丢失时刻及该时刻目标AGV小车的初始位置及行驶速度；
位置预测模块，用于根据目标AGV小车的丢失时刻及行驶速度获取目标AGV小车丢失后的当前时刻的可能位置，根据目标AGV小车的初始位置到每个可能位置的交叉路口数量及每个交叉路口的可转向数量计算目标AGV小车在对应的可能位置的概率值；
图像采集模块，用于获取目标AGV小车在每个可能位置的目标环境图像，获取所有AGV小车经过每个可能位置时的周围位置的历史环境图像，并获取每个可能位置与其周围每个位置的距离；
排序模块，用于根据每个可能位置的概率值、每个可能位置与其周围每个位置的距离确定所有可能位置的历史环境图像与目标环境图像的匹配顺序；
参数计算模块，用于按照匹配顺序依次计算历史环境图像与目标环境图像的匹配度；根据可能位置对应历史环境图像与其相邻的前一个历史环境图像对应的匹配度、预设的匹配度阈值判断是否停止匹配度计算；
路线规划模块，用于根据停止匹配度计算后得到的所有匹配度获取历史环境图像中的最终历史环境图像，根据最终历史环境图像确定目标AGV小车的当前位置，根据目标AGV小车的当前位置重新规划路线。
10.一种可提高作业精度的AGV小车视觉自检装置，其特征在于，该装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的小车视觉自检程序，所述小车视觉自检程序被所述处理器执行时实现权利要求1-8任一项所述的一种可提高作业精度的AGV小车视觉方法的步骤。
CN202211002798.4A 2022-08-22 2022-08-22 可提高作业精度的agv小车视觉自检方法、装置及系统 Active CN115082665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211002798.4A CN115082665B (zh) 2022-08-22 2022-08-22 可提高作业精度的agv小车视觉自检方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211002798.4A CN115082665B (zh) 2022-08-22 2022-08-22 可提高作业精度的agv小车视觉自检方法、装置及系统

Publications (2)

Publication Number Publication Date
CN115082665A true CN115082665A (zh) 2022-09-20
CN115082665B CN115082665B (zh) 2022-11-01

Family

ID=83244389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211002798.4A Active CN115082665B (zh) 2022-08-22 2022-08-22 可提高作业精度的agv小车视觉自检方法、装置及系统

Country Status (1)

Country Link
CN (1) CN115082665B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619869A (zh) * 2022-12-14 2023-01-17 广东瑞仕格科技有限公司 自动导引运输车的定位方法、装置及自动导引运输车
CN115981257A (zh) * 2022-12-21 2023-04-18 北京能科瑞元数字技术有限公司 工业智能制造柔性生产线agv集群协同作业方法及系统
CN116449853A (zh) * 2023-06-14 2023-07-18 济宁龙纳智能科技有限公司 一种叉车式agv的路径规划方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220508A (en) * 1989-12-28 1993-06-15 Kabushiki Kaisha Toyota Chuo Kenkusho Position and heading detecting device for self controlled vehicle
CN105258702A (zh) * 2015-10-06 2016-01-20 深圳力子机器人有限公司 一种基于slam导航移动机器人的全局定位方法
CN108303096A (zh) * 2018-02-12 2018-07-20 杭州蓝芯科技有限公司 一种视觉辅助激光定位系统及方法
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN113050613A (zh) * 2019-12-26 2021-06-29 北京极智嘉科技股份有限公司 自动导引车以及自动导引车控制方法
WO2021147034A1 (en) * 2020-01-22 2021-07-29 Abb Schweiz Ag System and method for controlling the robot, electronic device and computer readable medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220508A (en) * 1989-12-28 1993-06-15 Kabushiki Kaisha Toyota Chuo Kenkusho Position and heading detecting device for self controlled vehicle
CN105258702A (zh) * 2015-10-06 2016-01-20 深圳力子机器人有限公司 一种基于slam导航移动机器人的全局定位方法
CN108303096A (zh) * 2018-02-12 2018-07-20 杭州蓝芯科技有限公司 一种视觉辅助激光定位系统及方法
CN110456797A (zh) * 2019-08-19 2019-11-15 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN113050613A (zh) * 2019-12-26 2021-06-29 北京极智嘉科技股份有限公司 自动导引车以及自动导引车控制方法
WO2021147034A1 (en) * 2020-01-22 2021-07-29 Abb Schweiz Ag System and method for controlling the robot, electronic device and computer readable medium

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
PAULINE ONG ET AL: "Vision-based path detection of an automated guided vehicle using flower pollination algorithm", 《AIN SHAMS ENGINEERING JOURNAL》 *
YINDONG LIAN ET AL: "Improved Coding Landmark-Based Visual Sensor Position Measurement and Planning Strategy for Multiwarehouse Automated Guided Vehicle", 《 IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
刘明兴: "基于全局视觉的车间AGV识别及定位研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
刘海芹: "基于贝塞尔轨迹的视觉导引AGV路径跟踪研究", 《中国测试》 *
吴鹏等: "一种惯性传感器与编码器相结合的AGV航迹推算系统", 《机电工程》 *
朱训栋等: "AGV视觉导航技术研究进展", 《物流科技》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115619869A (zh) * 2022-12-14 2023-01-17 广东瑞仕格科技有限公司 自动导引运输车的定位方法、装置及自动导引运输车
CN115619869B (zh) * 2022-12-14 2023-08-01 库卡机器人(广东)有限公司 自动导引运输车的定位方法、装置及自动导引运输车
CN115981257A (zh) * 2022-12-21 2023-04-18 北京能科瑞元数字技术有限公司 工业智能制造柔性生产线agv集群协同作业方法及系统
CN116449853A (zh) * 2023-06-14 2023-07-18 济宁龙纳智能科技有限公司 一种叉车式agv的路径规划方法
CN116449853B (zh) * 2023-06-14 2023-08-15 济宁龙纳智能科技有限公司 一种叉车式agv的路径规划方法

Also Published As

Publication number Publication date
CN115082665B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115082665B (zh) 可提高作业精度的agv小车视觉自检方法、装置及系统
US11921510B1 (en) Approach for consolidating observed vehicle trajectories into a single representative trajectory
CN110673115B (zh) 雷达与组合导航系统的联合标定方法、装置、设备及介质
JP2669031B2 (ja) 自律走行車両
CN105270410B (zh) 用于自主驾驶车辆的路径规划的精确曲率估计算法
US10860035B2 (en) Travel history storage method, method for producing travel path model, method for estimating local position, and travel history storage device
EP3936822B1 (en) Vehicle positioning method and apparatus, and vehicle, and storage medium
US20200346654A1 (en) Vehicle Information Storage Method, Vehicle Travel Control Method, and Vehicle Information Storage Device
EP0354561B1 (en) Automatic travelling apparatus and method
CN110530372A (zh) 定位方法、路径确定方法、装置、机器人及存储介质
CN108549383B (zh) 一种实时多传感器的社区机器人导航方法
JP2008146197A (ja) ナビゲーション装置とその制御方法
US10474158B2 (en) Vehicle travel control method and travel control device
CN113942524B (zh) 一种车辆行驶控制方法、系统及计算机可读存储介质
CN111474930A (zh) 一种基于视觉定位的循迹控制方法、装置、设备及介质
US20210403008A1 (en) Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle
CN112394725B (zh) 用于自动驾驶的基于预测和反应视场的计划
CN114200945B (zh) 一种移动机器人的安全控制方法
WO2022012316A1 (zh) 控制方法、车辆和服务器
CN112433531A (zh) 一种自动驾驶车辆的轨迹跟踪方法、装置及计算机设备
JP2018048949A (ja) 物体識別装置
CN113920198A (zh) 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN111192327B (zh) 用于确定障碍物朝向的方法和装置
CN112526998B (zh) 轨迹纠偏方法及装置、自动驾驶引导车
US11390286B2 (en) System and process for end to end prediction of lane detection uncertainty

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant