CN110488833A - 一种智能搬运车及其导航的方法、装置、设备和存储介质 - Google Patents
一种智能搬运车及其导航的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110488833A CN110488833A CN201910797110.8A CN201910797110A CN110488833A CN 110488833 A CN110488833 A CN 110488833A CN 201910797110 A CN201910797110 A CN 201910797110A CN 110488833 A CN110488833 A CN 110488833A
- Authority
- CN
- China
- Prior art keywords
- colour band
- image
- imaging sensor
- ground image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 150
- 239000003550 marker Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 239000003981 vehicle Substances 0.000 description 16
- 230000015654 memory Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 2
- 208000003164 Diplopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000008159 sesame oil Substances 0.000 description 1
- 235000011803 sesame oil Nutrition 0.000 description 1
- 230000009184 walking Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Structural Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Geology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Civil Engineering (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Navigation (AREA)
Abstract
本发明实施例公开了一种智能搬运车及其导航的方法、装置、设备和存储介质。一种智能搬运车，包括：车体，车体上安装有图像传感器和运算处理单元；图像传感器的数量至少为两个，用于获取车体行进方向同向和行进方向反向的地面图像；图像传感器与运算处理单元相连；运算处理单元用于基于图像传感器获得的地面图像控制智能搬运车。多个图像传感器同时采集地面图像，加快了处理速度，同时可以确认智能搬运车的行进路线是否是否偏移，并且对智能搬运车的行进路线进行校正。
Description
技术领域
本发明实施例涉及智能叉车技术领域，尤其涉及一种智能搬运车及其导航的方法、装置、设备和存储介质。
背景技术
随着自动化技术和机器视觉技术的蓬勃发展，为了降低人力劳动成本，越来越多的工厂车间、仓库等地使用智能搬运车车搬运货物、装货、卸货等作业。
现阶段，市场中有许多智能搬运车，这些智能搬运车大部分采用磁导航、激光导航、单摄像头色带导航等巡线导航技术。
现有技术中，各种导航技术虽然都可以通过不同方法为智能搬运车导航，但是这些方法都无法确认智能搬运车的行进路线是否偏离设定路线，并且对智能搬运车的行进路线进行校正。由于受到智能搬运车的结构限制，无法在车底安装摄像头并且通过一个摄像头采集色带图像的处理速度较慢。
发明内容
本发明实施例提供一种智能搬运车及其导航的方法、装置、设备和存储介质，在智能搬运车上安装至少两个图像传感器，加快了处理速度并且可以确认智能搬运车的行进路线是否是否偏移，对智能搬运车的行进路线进行校正。
第一方面，本发明实施例提供了一种智能搬运车，该智能搬运车包括：车体，车体上安装有图像传感器和运算处理单元；
图像传感器的数量至少为两个，用于获取车体行进方向同向和行进方向反向的地面图像；图像传感器与运算处理单元相连；
运算处理单元用于基于图像传感器获得的地面图像控制智能搬运车。
第二方面，本发明实施例还提供了一种视觉导航方法，该方法可以应用于本发明任意实施例所述的智能搬运车，该方法包括：通过第一图像传感器和第二图像传感器获取地面图像；第一图像传感器获取的地面图像记为第一地面图像；第二图像传感器获取的地面图像记为第二地面图像；
根据第一地面图像识别色带，并记为第一色带；
根据第二地面图像识别色带、数字和/或字符；第二地面图像识别的色带记为第二色带；
拟合第一色带和第二色带所在的直线；
计算第一色带所在直线偏移第一地面图像的中心线的距离，并记为第一距离；
计算第二色带所在直线偏移第二地面图像的中心线的距离，并记为第二距离；
通过第一距离和第二距离的差值及第一图像传感器和第二图像传感器的距离计算智能搬运车的偏移角度；
根据偏移角度对智能搬运车的行进路线进行校正。
第三方面，本发明实施例还提供了一种视觉导航装置，该装置可以应用于本发明任意实施例所述的智能搬运车，该装置包括：地面图像获取模块：用于通过第一图像传感器和第二图像传感器获取地面图像；第一图像传感器获取的地面图像记为第一地面图像；第二图像传感器获取的地面图像记为第二地面图像；
第一色带识别模块：用于根据第一地面图像识别色带，并记为第一色带；
第二色带识别模块：用于根据第二地面图像识别色带、数字和/或字符；第二地面图像识别的色带记为第二色带；
直线拟合模块：用于拟合第一色带和第二色带所在的直线；
第一距离计算模块：用于计算第一色带所在直线偏移第一地面图像的中心线的距离，并记为第一距离；
第二距离计算模块：用于计算第二色带所在直线偏移第二地面图像的中心线的距离，并记为第二距离；
偏移角度计算模块：用于通过第一距离和第二距离的差值及第一图像传感器和第二图像传感器的距离计算智能搬运车的偏移角度；
行进路线校正模块：用于根据偏移角度对智能搬运车的行进路线进行校正。
第四方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所述的视觉导航方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的视觉导航方法。
本发明实施例通过在智能搬运车车体上安装至少两个图像传感器和运算处理单元，通过至少两个图像传感器获取智能搬运车车体行进方向同向和行进方向反方向的地面图像，然后通过运算处理单元对图像传感器获取的地面图像进行处理，根据处理结果控制智能搬运车的行进路线。解决了当发现智能搬运车的行进发生偏移时，对智能搬运车的行进路线进行校正。
附图说明
图1是本发明实施例一中的一种智能搬运车的结构示意图；
图2是本发明实施例二中的一种视觉导航方法的流程图；
图3是本发明实施例二中列举的一种色带、数字和/或字符的示意图；
图4是本发明实施例二中列举的一种第一图像传感器拍摄到的地面图像的示意图；
图5是本发明实施例四中的一种视觉导航装置的结构示意图；
图6是本发明实施例五中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种智能搬运车的结构示意图，该智能搬运车包括：车体110、图像传感器121或122和运算处理单元130。
具体的，车体110上安装有图像传感器和运算处理单元130。其中，图像传感器的数量至少为两个，用于获取车体行进方向同向和行进方向反向的地面图像，图像传感器与运算处理单元相连。运算处理单元130用于基于图像传感器获得的地面图像控制智能搬运车。
示例性的，本发明实施例涉及到的智能搬运车可以为工厂车间、仓库等地使用的叉车或者无人搬运车(Automated Guided Vehicle，AGV)。其中，图像传感器可以为CCD摄像机，通过CCD摄像机的摄像头获取地面图像。
可选的，至少两个图像传感器分别安装于智能搬运车的车头位置和车尾位置，安装在车头位置的图像传感器记为第一图像传感器121；安装在车尾位置的图像传感器记为第二图像传感器122。
可选的，第一图像传感器121和第二图像传感器122上安装有全局快门，全局快门可以实现所有像素点同时曝光，使智能搬运车运动时，图像传感器拍摄地面图像不会出现虚影。可以在图像传感器附近安装光源，其中，光源可以为线光源、点光源或者面光源，光源的颜色可以为白色，通过在图像传感器附近安装光源可以抑制环境光对智能搬运车导航精度的影响。具体的，智能搬运车工作场地光线较暗，图像传感器无法清晰的获取地面图像，此时，在图像传感器的周围安装光源，即可帮助图像传感器获取清晰的地面图像，或者，智能搬运车工作场地的环境光颜色可能为红色或者黄色，当红色或者黄色的光照射到地面时，会导致图像传感器采集到的地面图像的颜色发生变化，对获取地面图像的处理精度将会下降，从而影响智能搬运车的导航精度。
可选的，第一图像传感器121和第二图像传感器122的安装高度是可以调节的，具体的安装高度可以在0.3米至1米范围内随意调节，不会因为在智能车上安装了图像传感器而影响智能搬运车的通过性。需要说明的是，第一图像传感器121和第二图像传感器122可以安装在同一水平高度，也可以安装在不同水平高度。如果智能搬运车的车长为a，第一图像传感器121的安装高度为b，第二图像传感器122的安装高度为c；当b＝c，即第一图像传感器121和第二图像传感器122安装在同一水平高度时，第一图像传感器121和第二图像传感器122的距离即为智能搬运车的车长a；当b≠c，即第一图像传感器121和第二图像传感器122未安装在同一水平高度时，第一图像传感器121和第二图像传感器122的距离为例如，若智能搬运车的车长为5m，第一图像传感器121的安装高度为0.5m，第二图像传感器122的安装高度为0.5m，则第一图像传感器121和第二图像传感器122的距离为5m；若智能搬运车的车长为3m，第一图像传感器121的安装高度为0.8m，第二图像传感器122的安装高度为0.5m，则第一图像传感器121和第二图像传感器122的距离为
可选的，图像传感器120采集图像的频率不低于100Hz，和/或视频采集延时小于10ms。
示例性的，图像传感器与运算处理单元可以通过总线相连接。
本发明另一种可选的实施方式中，智能搬运车可以包含三个图像传感器，其中，三个图像传感器分别安装于智能搬运车的车头位置和车尾位置。可选的可以在智能搬运车车头位置安装一个图像传感器，智能搬运车车尾位置安装两个图像传感器；或者，在智能搬运车车头位置安装两个图像传感器，智能搬运车车尾位置安装一个图像传感器。
本实施例提供的一种智能搬运车，通过在智能搬运车车体110上安装至少两个图像传感器120和运算处理单元130，通过至少两个图像传感器获取智能搬运车车体行进方向同向和行进方向反方向的地面图像，然后通过运算处理单元对图像传感器获取的地面图像进行处理，根据处理结果控制智能搬运车的行进路线。通过至少两个图像传感器同时识别地面图像，加快了处理速度，并且可以解决当智能搬运车的行进发生偏移时，对智能搬运车的行进路线进行校正。
实施例二
图2是本发明实施例二提供的一种视觉导航方法的流程图，本实施例可以应用于本发明任意实施例所描述的智能搬运车，该方法可以由视觉导航装置执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的设备中，在本实施例中执行本方法的设备可以是计算机、平板电脑和/或手机等智能终端。具体的，参考图2，该方法具体包括如下步骤：
S210、通过第一图像传感器和第二图像传感器获取地面图像；第一图像传感器获取的地面图像记为第一地面图像；第二图像传感器获取的地面图像记为第二地面图像。
具体的，通过第一图像传感器获取与智能搬运车车体行进方向相同的地面图像，通过第二图像传感器获取与智能搬运车车体行进方向相反的地面图像。为了方便叙述，在本发明实施例中将第一图像传感器获取的地面图像记为第一地面图像，将第二图像传感器获取的地面图像记为第二地面图像。
S220、根据第一地面图像识别色带，并记为第一色带。
具体的，在第一图像传感器识别的第一地面图像中，识别出色带，并把识别出的色带记为第一色带。色带可以为贴在地面上的具有一定宽度的线条，示例性的，色带的宽带可以为10厘米或者20厘米；色带的颜色可以为任意色，但要与地面颜色有明显区别，例如，红色、黄色或者蓝色等明显的颜色。其中，色带可以用来为智能搬运车导航，或者根据智能车偏离色带的距离或角度，实现对智能搬运车行进路线的校正。
S230、根据第二地面图像识别色带、数字和/或字符；第二地面图像识别的色带记为第二色带。
具体的，在第二图像传感器识别的第二地面图像中，识别出色带、数字和/或字符，并把识别出的色带记为第二色带。
为了更好的理解本发明实施例，图3列举了一种路线标识的示意图，其中310为色带，数字和/或字符在色带的边沿。可选的，数字和/或字符在色带的边沿，每个数字或者字符之间的间隔相同，其中，每个数字或者字符出现的次数有且仅有一次，从而保证对智能搬运车行进路线的每一个位置进行进行唯一标识，可以通过识别色带周围的数字和/或字符实现智能搬运车位置的精确定位。
S240、拟合第一色带和第二色带所在的直线。
具体的，通过直线拟合算法分别拟合出第一地面图像中的第一色带和第二地面图像中第二色带所在的直线，其中，直线拟合算法可以为最小二乘算法或者RANSAC直线拟合算法等可以快速拟合直线的算法。
S250、计算第一色带所在直线偏移第一地面图像的中心线的距离，并记为第一距离。
具体的，图4列举了一种第一图像传感器可能拍摄带的地面图像，其中41为第一图像传感器采集到的第一地面图像；42为地面上的色带所在的直线；43为中心线即第一图像传感器采集到的第一地面图像的中心线。通过计算直线42和虚线43之间的距离即可求得第一色带所在直线偏移第一地面图像的中心线的距离，并把该距离记为第一距离。
S260、计算第二色带所在直线偏移第二地面图像的中心线的距离，并记为第二距离。
具体的，根据S250相同的方法计算第二色带所在直线偏移第二图像传感器获取的第二地面图像的中心线的距离，并把该距离记为第二距离。
S270、通过第一距离和第二距离的差值及第一图像传感器和第二图像传感器的距离计算智能搬运车的偏移角度。
具体的，首先计算第一距离和第二距离的差值，示例性的，如果计算得到第一距离为-2cm，表示第一色带所在直线相对于第一地面图像的中心线向左偏移2cm；第二距离为3cm，表示第二色带所在直线相对于第二地面图像的中心线香油偏移3cm；第一距离和第二距离的差值为-2-3＝5cm。
如果智能搬运车的车长为a，第一图像传感器的安装高度为b，第二图像传感器的安装高度为c；当b＝c，即第一图像传感器和第二图像传感器安装在同一水平高度时，第一图像传感器和第二图像传感器的距离即为智能搬运车的车长a；当b≠c，即第一图像传感器和第二图像传感器未安装在同一水平高度时，第一图像传感器和第二图像传感器的距离为例如，若智能搬运车的车长为5m，第一图像传感器的安装高度为0.5m，第二图像传感器122的安装高度为0.5m，则第一图像传感器和第二图像传感器122的距离为5m；若智能搬运车的车长为3m，第一图像传感器的安装高度为0.8m，第二图像传感器122的安装高度为0.5m，则第一图像传感器和第二图像传感器的距离为
智能搬运车的偏移角度为：其中x为第一距离和第二距离的差值，y为第一图像传感器和第二图像传感器的距离。例如，根据上述方法计算得到第一距离和第二距离的差值为5cm，第一图像传感器和第二图像传感器的距离为100cm，则智能搬运车的偏移角度为
S280、根据偏移角度对智能搬运车的行进路线进行校正。
具体的，根据计算得到的偏移角度可以确定智能搬运车整体向哪个方向偏移和具体偏移的角度，根据具体的偏移方向和偏移角度值对智能搬运车的行进路线进行校正。例如计算得到智能搬运车的偏移角度为-2°，则可以确定智能搬运车向左偏移，且偏移角度为2°，此时通过运算处理单元控制智能搬运车向右偏移2°即可对智能搬运车的行进路线进行校正。
本发明实施例一种可选的实施方式，通过识别第二图像传感器采集到的色带边沿的数字和/或字符，并根据与每一个色带边沿的数字和/或字符对应的位置标识，确定智能搬运车的位置信息。
本发明实施例另一种可选的实施方式，可以在智能搬运车车头位置安装一个图像传感器并记为第一图像传感器，智能搬运车车尾位置安装两个图像传感器并分别记为第二图像传感器和第三图像传感器。分别通过第一图像传感器获取与智能搬运车车体行进方向相同的地面图像，通过第二图像传感器和第三图像传感器获取与智能搬运车车体行进方向相反的地面图像，并分别记为第一地面图像、第二地面图像和第三地面图像。通过第一地面图像识别第一色带、通过第二地面图像识别第二色带以及通过第三地面图像识别数字和/或字符。并通过第一色带与第二色带计算出智能搬运车的偏移角度以及根据通过第三地面图像识别的数字和/或字符，并根据与每一个色带边沿的数字和/或字符对应的位置标识，确定智能搬运车的位置信息。通过三个图像传感器同时处理采集到的地面图像，与两个图像传感器相比加快了处理速度；实现了当发现智能搬运车的行进路线发生偏移时，对智能搬运车的行进路线进行校正。本实施例的技术方案，通过第一图像传感器和第二图像传感器获取地面图像，并识别第一地面图像的色带和第二地面图像的色带、数字和/或字符；然后拟合第一色带和第二色带所在的直线并计算第一距离和第二距离；通过第一距离和第二距离的差值以及第一图像传感器和第二图像传感器的距离计算智能搬运车的偏移角度；最后根据智能搬运车的偏移角度对智能搬运车的行进路线进行校正。通过第一图像传感器和第二图像传感器同时识别色带图像，加快了处理速度；实现了当发现智能搬运车的行进路线发生偏移时，对智能搬运车的行进路线进行校正。
实施例三
图5为本实施例提供的一种视觉导航装置的结构示意图，该装置可以应用于本发明任意实施例所述的智能搬运车，该装置可以采用软件和/或硬件的方式实现。如图5所示，该装置包括：地面图像获取模块510、第一色带识别模块520、第二色带识别模块530、直线拟合模块540、第一距离计算模块550、第二距离计算模块560、偏移角度计算模块570和行进路线校正模块580。
其中，地面图像获取模块510用于通过第一图像传感器和第二图像传感器获取地面图像；第一图像传感器获取的地面图像记为第一地面图像；第二图像传感器获取的地面图像记为第二地面图像；
第一色带识别模块520：用于根据第一地面图像识别色带，并记为第一色带；
第二色带识别模块530：用于根据第二地面图像识别色带、数字和/或字符；第二地面图像识别的色带记为第二色带；
直线拟合模块540：用于拟合第一色带和第二色带所在的直线；
第一距离计算模块550：用于计算第一色带所在直线偏移第一地面图像的中心线的距离，并记为第一距离；
第二距离计算模块560：用于计算第二色带所在直线偏移第二地面图像的中心线的距离，并记为第二距离；
偏移角度计算模块570：用于通过第一距离和第二距离的差值及第一图像传感器和第二图像传感器的距离计算智能搬运车的偏移角度；
行进路线校正模块580：用于根据偏移角度对智能搬运车的行进路线进行校正。
可选的，第二色带识别模块530识别的色带、数字和/或字符，其中，数字和/或字符在色带的边沿，以保证对智能搬运车行进路线的每一个位置进行标识。
可选的，本发明实施例还可以包括位置信息确定模块，具体的，通过识别第二图像传感器采集到的色带边沿的数字和/或字符，并根据与每一个色带边沿的数字和/或字符对应的位置标识，确定智能搬运车的位置信息。
本发明实施例所提供的视觉导航装置可执行本发明任意实施例所提供的视觉导航方法，具备执行方法相应的功能模块和有益效果。
实施例四
图6为本发明实施例三提供的一种设备的结构示意图，如图6所示，该设备包括处理器60、存储器61、输入装置62和输出装置63；设备中处理器60的数量可以是一个或多个，图6中以一个处理器60为例；设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器61作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视觉导航方法对应的模块(例如，地面图像获取模块510、第一色带识别模块520、第二色带识别模块530、直线拟合模块540、第一距离计算模块550、第二距离计算模块560、偏移角度计算模块570和行进路线校正模块580)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的视觉导航方法。
存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器61可进一步包括相对于处理器60远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种视觉导航方法，该方法可以应用于本发明任意实施例所述的智能搬运车，该方法包括：
通过第一图像传感器和第二图像传感器获取地面图像；第一图像传感器获取的地面图像记为第一地面图像；第二图像传感器获取的地面图像记为第二地面图像；
根据第一地面图像识别色带，并记为第一色带；
根据第二地面图像识别色带、数字和/或字符；第二地面图像识别的色带记为第二色带；
拟合第一色带和第二色带所在的直线；
计算第一色带所在直线偏移第一地面图像的中心线的距离，并记为第一距离；
计算第二色带所在直线偏移第二地面图像的中心线的距离，并记为第二距离；
通过第一距离和第二距离的差值及第一图像传感器和第二图像传感器的距离计算智能搬运车的偏移角度；
根据偏移角度对智能搬运车的行进路线进行校正。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视觉导航方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种智能搬运车，其特征在于，包括：
车体，所述车体上安装有图像传感器和运算处理单元；
所述图像传感器的数量至少为两个，用于获取所述车体行进方向同向和行进方向反向的地面图像；所述图像传感器与所述运算处理单元相连；
所述运算处理单元用于基于所述图像传感器获得的地面图像控制智能搬运车。
2.根据权利要求1所述的一种智能搬运车，其特征在于，所述车体为叉车或者AGV无人搬运车的车体。
3.根据权利要求1所述的一种智能搬运车，其特征在于，至少两个所述图像传感器分别安装于智能搬运车的车头位置和车尾位置；
所述安装在车头位置的图像传感器记为第一图像传感器；所述安装在车尾位置的图像传感器记为第二图像传感器；所述第一图像传感器和所述第二图像传感器上安装有全局快门；
所述第一图像传感器和所述第二图像传感器的安装高度在0.3米至1米范围内调节。
4.根据权利要求1所述的一种智能搬运车，其特征在于，所述图像传感器采集图像的频率不低于100Hz，和/或视频采集延时小于10ms。
5.一种视觉导航方法，其特征在于，应用于权利要求1-4中任一项所述的智能搬运车，包括：
通过所述第一图像传感器和所述第二图像传感器获取地面图像；所述第一图像传感器获取的地面图像记为第一地面图像；所述第二图像传感器获取的地面图像记为第二地面图像；
根据所述第一地面图像识别色带，并记为第一色带；
根据所述第二地面图像识别色带、数字和/或字符；所述第二地面图像识别的所述色带记为第二色带；
拟合所述第一色带和所述第二色带所在的直线；
计算所述第一色带所在直线偏移所述第一地面图像的中心线的距离，并记为第一距离；
计算所述第二色带所在直线偏移所述第二地面图像的中心线的距离，并记为第二距离；
通过所述第一距离和所述第二距离的差值及所述第一图像传感器和所述第二图像传感器的距离计算所述智能搬运车的偏移角度；
根据所述偏移角度对所述智能搬运车的行进路线进行校正。
6.根据权利要求5所述的一种视觉导航的方法，其特征在于，所述数字和/或字符在所述色带的边沿，以保证对所述智能搬运车行进路线的每一个位置进行标识。
7.根据权利要求5或6所述一种视觉导航的方法，其特征在于，还包括：通过识别所述第二图像传感器采集到的所述色带边沿的数字和/或字符，并根据与每一个所述色带边沿的数字和/或字符对应的位置标识，确定所述智能搬运车的位置信息。
8.一种视觉导航装置，其特征在于，应用于权利要求1-4中任一项所述的智能搬运车，包括：
地面图像获取模块：用于通过所述第一图像传感器和所述第二图像传感器获取地面图像；所述第一图像传感器获取的地面图像记为第一地面图像；所述第二图像传感器获取的地面图像记为第二地面图像；
第一色带识别模块：用于根据所述第一地面图像识别色带，并记为第一色带；
第二色带识别模块：用于根据所述第二地面图像识别色带、数字和/或字符；所述第二地面图像识别的所述色带记为第二色带；
直线拟合模块：用于拟合所述第一色带和所述第二色带所在的直线；
第一距离计算模块：用于计算所述第一色带所在直线偏移所述第一地面图像的中心线的距离，并记为第一距离；
第二距离计算模块：用于计算所述第二色带所在直线偏移所述第二地面图像的中心线的距离，并记为第二距离；
偏移角度计算模块：用于通过所述第一距离和所述第二距离的差值及所述第一图像传感器和所述第二图像传感器的距离计算所述智能搬运车的偏移角度；
行进路线校正模块：用于根据所述偏移角度对所述智能搬运车的行进路线进行校正。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求5-7中任一所述的视觉导航方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求5-7中任一所述的视觉导航方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910797110.8A CN110488833A (zh) | 2019-08-27 | 2019-08-27 | 一种智能搬运车及其导航的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910797110.8A CN110488833A (zh) | 2019-08-27 | 2019-08-27 | 一种智能搬运车及其导航的方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110488833A true CN110488833A (zh) | 2019-11-22 |
Family
ID=68554493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910797110.8A Pending CN110488833A (zh) | 2019-08-27 | 2019-08-27 | 一种智能搬运车及其导航的方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110488833A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111486848A (zh) * | 2020-05-25 | 2020-08-04 | 上海杰销自动化科技有限公司 | Agv视觉导航方法、系统、计算机设备以及存储介质 |
| CN111912403A (zh) * | 2020-08-04 | 2020-11-10 | 国以贤智能科技(上海)股份有限公司 | 一种叉车的定位方法及叉车 |
| CN113436464A (zh) * | 2021-06-29 | 2021-09-24 | 东风汽车集团股份有限公司 | 车辆危险预警方法、装置、设备及存储介质 |
| CN113696939A (zh) * | 2021-08-25 | 2021-11-26 | 北京博研盛科科技有限公司 | 一种基于标识物的轨道车定位方法、系统及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59121507A (ja) * | 1982-12-28 | 1984-07-13 | Mitsubishi Heavy Ind Ltd | 自走台車制御装置 |
| JPS61105622A (ja) * | 1984-10-29 | 1986-05-23 | Daifuku Co Ltd | 光学誘導式移動車 |
| US7400236B2 (en) * | 2005-10-21 | 2008-07-15 | Gm Global Technology Operations, Inc. | Vehicular lane monitoring system utilizing front and rear cameras |
| CN103294059A (zh) * | 2013-05-21 | 2013-09-11 | 无锡普智联科高新技术有限公司 | 基于混合导航带的移动机器人定位系统及其方法 |
| CN204679858U (zh) * | 2015-04-30 | 2015-09-30 | 珠海莱达自动化科技有限公司 | 一种基于胶带引导的视觉寻迹agv小车 |
| CN106125740A (zh) * | 2016-08-29 | 2016-11-16 | 深圳市劲拓自动化设备股份有限公司 | 基于模糊算法的视觉导航控制方法及系统 |
| KR101778624B1 (ko) * | 2017-05-16 | 2017-09-26 | (주)텔미전자 | 자율주행용 서라운드 카메라 시스템 |
| CN107525510A (zh) * | 2017-08-30 | 2017-12-29 | 广州市井源机电设备有限公司 | 一种视觉导航型agv小车的控制系统及方法 |
| CN107632602A (zh) * | 2017-09-01 | 2018-01-26 | 上海斐讯数据通信技术有限公司 | Agv小车运行轨道纠偏方法及系统、地标二维码获取装置 |
| CN107885177A (zh) * | 2017-11-17 | 2018-04-06 | 湖北神丹健康食品有限公司 | 一种基于机器视觉导航的agv的仓储管理系统及方法 |
| CN108227701A (zh) * | 2017-12-11 | 2018-06-29 | 大连四达高技术发展有限公司 | 用于自动移动搬运车辆的光学引导定位系统 |
-
2019
- 2019-08-27 CN CN201910797110.8A patent/CN110488833A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59121507A (ja) * | 1982-12-28 | 1984-07-13 | Mitsubishi Heavy Ind Ltd | 自走台車制御装置 |
| JPS61105622A (ja) * | 1984-10-29 | 1986-05-23 | Daifuku Co Ltd | 光学誘導式移動車 |
| US7400236B2 (en) * | 2005-10-21 | 2008-07-15 | Gm Global Technology Operations, Inc. | Vehicular lane monitoring system utilizing front and rear cameras |
| CN103294059A (zh) * | 2013-05-21 | 2013-09-11 | 无锡普智联科高新技术有限公司 | 基于混合导航带的移动机器人定位系统及其方法 |
| CN204679858U (zh) * | 2015-04-30 | 2015-09-30 | 珠海莱达自动化科技有限公司 | 一种基于胶带引导的视觉寻迹agv小车 |
| CN106125740A (zh) * | 2016-08-29 | 2016-11-16 | 深圳市劲拓自动化设备股份有限公司 | 基于模糊算法的视觉导航控制方法及系统 |
| KR101778624B1 (ko) * | 2017-05-16 | 2017-09-26 | (주)텔미전자 | 자율주행용 서라운드 카메라 시스템 |
| CN107525510A (zh) * | 2017-08-30 | 2017-12-29 | 广州市井源机电设备有限公司 | 一种视觉导航型agv小车的控制系统及方法 |
| CN107632602A (zh) * | 2017-09-01 | 2018-01-26 | 上海斐讯数据通信技术有限公司 | Agv小车运行轨道纠偏方法及系统、地标二维码获取装置 |
| CN107885177A (zh) * | 2017-11-17 | 2018-04-06 | 湖北神丹健康食品有限公司 | 一种基于机器视觉导航的agv的仓储管理系统及方法 |
| CN108227701A (zh) * | 2017-12-11 | 2018-06-29 | 大连四达高技术发展有限公司 | 用于自动移动搬运车辆的光学引导定位系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111486848A (zh) * | 2020-05-25 | 2020-08-04 | 上海杰销自动化科技有限公司 | Agv视觉导航方法、系统、计算机设备以及存储介质 |
| CN111912403A (zh) * | 2020-08-04 | 2020-11-10 | 国以贤智能科技(上海)股份有限公司 | 一种叉车的定位方法及叉车 |
| CN111912403B (zh) * | 2020-08-04 | 2021-05-14 | 国以贤智能科技(上海)股份有限公司 | 一种叉车的定位方法及叉车 |
| CN113436464A (zh) * | 2021-06-29 | 2021-09-24 | 东风汽车集团股份有限公司 | 车辆危险预警方法、装置、设备及存储介质 |
| CN113696939A (zh) * | 2021-08-25 | 2021-11-26 | 北京博研盛科科技有限公司 | 一种基于标识物的轨道车定位方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110488833A (zh) | 一种智能搬运车及其导航的方法、装置、设备和存储介质 | |
| CN110361011A (zh) | 视觉导航的方法、装置、设备及存储介质 | |
| CN109767637B (zh) | 倒计时信号灯识别及处理的方法和装置 | |
| US8380382B2 (en) | Unmanned transport apparatus and operating method thereof | |
| CN104183131B (zh) | 使用无线通信检测车道的装置和方法 | |
| CN110278405A (zh) | 一种自动驾驶车辆的侧向图像处理方法、装置和系统 | |
| US11157753B2 (en) | Road line detection device and road line detection method | |
| US11400935B2 (en) | Method for a motor vehicle to select a preferred traffic lane to cross a toll area | |
| US12092470B2 (en) | Vehicle localization method and device, electronic device and storage medium | |
| CN115235493B (zh) | 一种基于矢量地图进行自动驾驶定位的方法及装置 | |
| CN103227905A (zh) | 车载摄像机用曝光控制装置 | |
| EP4019900A1 (en) | Navigation system with parking space identification mechanism and method of operation thereof | |
| CN109327660A (zh) | 图像获取方法和设备 | |
| JP2021149863A (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
| JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN114898332A (zh) | 一种基于自动驾驶的车道线识别方法及系统 | |
| KR20160131222A (ko) | 영상 분석을 통한 자차 위치 파악 및 경로 재탐색을 위한 내비게이션 방법 및 장치 | |
| US11377125B2 (en) | Vehicle rideshare localization and passenger identification for autonomous vehicles | |
| CN110880003B (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
| CN110023781A (zh) | 用于根据车辆周围环境的雷达签名确定车辆的准确位置的方法和设备 | |
| US20220309805A1 (en) | Apparatus, method, and computer program for detecting lane boundary | |
| CN107844749B (zh) | 路面检测方法及装置、电子设备、存储介质 | |
| JPH1139464A (ja) | 車両用画像処理装置 | |
| CN114510031A (zh) | 机器人视觉导航方法、装置、机器人及存储介质 | |
| JP2017072450A (ja) | 自車位置認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201615 603 room -1, No. 1158, No. 1158, Central Road, Songjiang District, Shanghai Applicant after: Guoyixian Intelligent Technology (Shanghai) Co., Ltd Address before: 201615 603 room -1, No. 1158, No. 1158, Central Road, Songjiang District, Shanghai Applicant before: GUOYIXIAN INTELLIGENT TECHNOLOGY (SHANGHAI) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191122 |
|
| RJ01 | Rejection of invention patent application after publication |