CN109460031A - 一种基于人体识别的自动牵引车的跟随系统 - Google Patents
一种基于人体识别的自动牵引车的跟随系统 Download PDFInfo
- Publication number
- CN109460031A CN109460031A CN201811449032.4A CN201811449032A CN109460031A CN 109460031 A CN109460031 A CN 109460031A CN 201811449032 A CN201811449032 A CN 201811449032A CN 109460031 A CN109460031 A CN 109460031A
- Authority
- CN
- China
- Prior art keywords
- human
- automatic tractor
- tracking
- unit
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 claims abstract description 78
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明包括一种基于人体识别的自动牵引车的跟随系统，其中，跟随系统设置在自动牵引车上，包括：获取模块：与自动牵引车连接，用于获取测量范围的图像和获取自动牵引车周围的障碍物信息；识别模块，与获取模块连接，用于识别图像中的包括满足预设的识别特征的跟随对象，和障碍物信息；跟随模块，与识别模块连接，根据跟随对象的动作指令和障碍物信息来控制自动牵引车跟随跟随对象进行工作。本发明的有益效果：通过人体识别来引导自动牵引车进行自动跟随，从而使操作简单方便，使用灵活高和安全可靠。
Description
技术领域
本发明涉及智能机器人技术领域，尤其涉及一种基于人体识别的自动牵引车的跟随系统。
背景技术
随着科学技术的迅速发展，自动牵引车(Automatic Guided Vehicle，AGV)已经成为了一种完成繁重和单调的物料搬运工作的智能搬运装置。并且自动牵引车凭借自动化程度高、结构简单、工作效率高、可控性强和安全性好等优势，在仓储物流、制造工业、交通运输、电子产业和国防军事等领域都有着重要的地位。
现有技术中自动牵引车采用的导航方式包括电磁导航、磁带导航、惯性导航、激光导航和视觉导航。其中，电磁导航和磁带导航都需要在AGV车行驶道路上埋设金属线或贴磁带，实现对AGV车的导引，但是导航路径的扩展性和局限性差；而惯性导航是借助陀螺仪和行驶路径上的定位块来实现对AGV车的导引，但是该现有技术的制造成本较高；并且激光导航是借助激光扫描器和激光反射板来实现AGV车的导引，但激光束易受环境干扰、设备成本高。
发明内容
针对现有技术中存在的上述问题，现提供一种旨在通过人体识别来引导自动牵引车进行自动跟随，从而使操作简单方便，使用灵活高和安全可靠的基于人体识别的自动牵引车的跟随系统。
具体技术方案如下：
一种基于人体识别的自动牵引车的跟随系统，其中，跟随系统设置在自动牵引车上，包括：
获取模块，与自动牵引车连接，用于获取测量范围的图像和获取自动牵引车周围的障碍物信息；
识别模块，与获取模块连接，用于识别图像中的包括满足预设的识别特征的跟随对象，和障碍物信息；
跟随模块，与识别模块连接，根据跟随对象的动作指令和障碍物信息来控制自动牵引车跟随跟随对象进行工作。
优选的，基于人体识别的自动牵引车的跟随系统，其中，获取模块包括：
环境采集单元，用于采集自动牵引车周围的障碍物信息；
对象获取单元，用于获取测量范围的图像。
优选的，基于人体识别的自动牵引车的跟随系统，其中，环境采集单元包括多个传感器，每个传感器分别设置在自动牵引车的车身上，用于采集自动牵引车四周的障碍物信息。
优选的，基于人体识别的自动牵引车的跟随系统，其中，对象获取单元包括一组摄像设备，摄像设备设置在自动牵引车前端，用于获取测量范围的图像。
优选的，基于人体识别的自动牵引车的跟随系统，其中，摄像设备包括由二维彩色工业相机，双目深度摄像机，飞行时间测距深度相机中的任意组合。
优选的，基于人体识别的自动牵引车的跟随系统，其中，识别模块包括：
处理单元，用于对图像进行处理得到跟随对象；
人体识别单元，与处理单元连接，用于判断跟随对象是否满足人体识别特征；
人体细节识别单元，与人体识别单元连接，用于判断满足人体识别特征的跟随对象是否满足人体细节识别特征。
优选的，基于人体识别的自动牵引车的跟随系统，其中，跟随对象包括用户识别特征和人体动作识别特征；
用户识别特征用于确定跟随对象的信息；
人体动作识别特征用于判断跟随对象的动作指令类型。
优选的，基于人体识别的自动牵引车的跟随系统，其中，识别模块还包括：
存储单元，与人体识别单元和人体细节识别单元连接，用于存储每个独立对象的用户识别特征和人体动作识别特征。
优选的，基于人体识别的自动牵引车的跟随系统，其中，人体细节识别单元包括：
用户识别组件，用于判断跟随对象是否满足任一独立对象的用户识别特征；
第一动作识别组件，与用户识别组件连接，用于判断不满足用户识别特征的跟随对象的动作指令是否满足任一独立对象的人体动作识别特征；
第二动作识别组件，与用户识别组件连接，用于判断满足用户识别特征的跟随对象的动作指令是否满足独立对象的任一人体动作识别特征。
优选的，基于人体识别的自动牵引车的跟随系统，其中，跟随模块包括：
路径单元，根据跟随对象的动作指令获取跟随方向；
判断单元，与路径单元连接，用于判断跟随方向是否有障碍物信息；
跟随单元，与判断单元连接，用于根据障碍物信息依据动作指令调整跟随方向。
上述技术方案具有如下优点或有益效果：通过人体识别来引导自动牵引车进行自动跟随，从而使操作简单方便，使用灵活高和安全可靠。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明基于人体识别的自动牵引车的跟随系统实施例的结构示意图；
图2为本发明基于人体识别的自动牵引车的跟随系统实施例的人体细节识别单元的结构示意图。
附图标记：1、获取模块，11、环境采集单元，12、对象获取单元，2、识别模块，21、处理单元，22、人体识别单元，23、人体细节识别单元，231、用户识别组件，232、第一动作识别组件，233、第二动作识别组件，24、存储单元，3、跟随模块，31、路径单元，32、判断单元，33、跟随单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
如图1所示，本发明包括一种基于人体识别的自动牵引车的跟随系统，其中，跟随系统设置在自动牵引车上，包括：
获取模块1，与自动牵引车连接，用于获取测量范围的图像和获取自动牵引车周围的障碍物信息；
识别模块2，与获取模块1连接，用于识别图像中的包括满足预设的识别特征的跟随对象，和障碍物信息；
跟随模块3，与识别模块2连接，根据跟随对象的动作指令和障碍物信息来控制自动牵引车跟随跟随对象进行工作。
进一步地，作为优选的实施方式，通过识别跟随对象的多个人体动作识别特征中的一个人体动作识别特征来控制自动牵引车，可以实现人体识别和跟随对象通过人体动作来控制自动牵引车运动，从而使操作简单方便、使用灵活高、安全可靠。
进一步地，作为优选的实施方式，测量范围可以为自动牵引车的正前方，当跟随对象进行测量范围时，系统直接获取测量范围地图像，从而使获取图像的过程更加方便，当然测量范围也可以为其他位置，例如自动牵引车的四周，可以实现在自动牵引车四周就可以控制自动牵引车的作用；如果有待测物出现在测量范围外，则自动牵引车处于待机状态，但是系统持续工作。
进一步地，在上述实施例中，获取模块1包括：
环境采集单元11，用于采集自动牵引车周围的障碍物信息；
对象获取单元12，用于获取测量范围的图像。
进一步地，在上述实施例中，环境采集单元11包括多个传感器，每个传感器分别设置在自动牵引车的车身上，用于采集自动牵引车四周的障碍物信息。
上述实施例中，通过设置在自动牵引车四周的传感器，方便采集四周的所有障碍物信息。
进一步地，作为优选的实施方式，每个传感器对应设置通信组件，每个传感器通过对应的通信组件将障碍物信息传递给识别模块2。
进一步地，在上述实施例中，对象获取单元12包括一组摄像设备，摄像设备设置在自动牵引车前端，用于获取测量范围的图像。
进一步地，在上述实施例中，摄像设备包括由二维彩色工业相机，双目深度摄像机，飞行时间测距深度相机中的任意组合。
进一步地，作为优选的实施方式，摄像设备可以为双目深度摄像机装置，上述双目深度摄像机装置包括两台二维彩色工业相机和一个结构光源；例如深度视觉装置可以为复合双目深度摄像机装置，上述复合双目深度摄像机装置包括一台二维彩色工业相机和一台TOF(Time offlight-飞行时间测距)深度相机；例如深度视觉装置可以为深度摄像机装置，上述深度摄像机装置包括多台TOF深度相机；其中摄像设备可以为上述示例中的一种或多种摄像机装置组成。需要说明的是，TOF深度相机可以更快的获取视野范围内的物体边缘，分割跟随对象；二维彩色工业相机为对象提供更多的视觉特征，有利于对象识别。
进一步地，在上述实施例中，识别模块2包括：
处理单元21，用于对图像进行处理得到跟随对象；
人体识别单元22，与处理单元21连接，用于判断跟随对象是否满足人体识别特征；
人体细节识别单元23，与人体识别单元22连接，用于判断满足人体识别特征的跟随对象是否满足人体细节识别特征。
进一步地，作为优选的实施方式，系统首先通过深度图像和彩色图像的复合边框识别剥离得到跟随对象；接着获取该跟随对象的人体特征，再将上述人体特征与人体识别特征进行比较，判断人体特征与人体识别特征是否一致，将人体特征与人体识别特征一致的跟随对象发送给人体细节识别单元23；然后获取上述跟随对象的人体细节特征，将上述人体细节特征与人体细节识别特征进行比较，判断人体细节特征与人体细节识别特征是否一致。
需要说明的是，上述图像包括彩色图像和深度图像，彩色图像有利于识别模块2进行识别图像中的人体，深度图像有利于识别模块2识别图像中的人体的躯干。
进一步地，在上述实施例中，跟随对象包括用户识别特征和人体动作识别特征；
用户识别特征用于确定跟随对象的信息；
人体动作识别特征用于判断跟随对象的动作指令类型。
进一步地，在上述实施例中，识别模块2还包括：
存储单元24，与人体识别单元22和人体细节识别单元23连接，用于存储每个独立对象的用户识别特征和人体动作识别特征。
进一步地，在上述实施例中，上述存储单元24中保存有多个跟随对象，每个跟随对象都有用户识别特征和人体动作识别特征，即一个跟随对象中只有一个用户识别特征和多个人体动作识别特征，因此通过查找用户识别特征就可以找到对应的跟随对象或其中一个人体动作识别特征重新进行独立对象的注册。
进一步地，作为优选的实施方式中，人体识别单元22包括：
人体轮廓识别组件，用于判断跟随对象是否满足人体轮廓特征；
人体各关节识别组件，与人体轮廓识别组件连接，用于判断满足人体轮廓特征的跟随对象是否满足人体各关节特征。
进一步地，作为优选的实施方式，通过TOF深度相机或其他深度相机系统获取的点云数据映射到2D彩色图像位置，就能从彩色图像中去除背景从而识别剥离得到跟随对象，然后通过一系列图像处理过程来获取跟随对象的人体特征(主要是跟随对象的人体轮廓)，将跟随对象的人体特征比对人体轮廓特征，判断图像上是否出现了可能作为人体的跟随对象；接着在深度图像物体位置，判断满足人体识别特征的跟随对象是否满足人体各关节特征(其中人体细节识别特征包括身体的不同部位：如头部、躯干、上下臂和上下腿等)通过马尔科夫随机区域的算法(MRFs)确认人体各关节位置，最终确定跟随对象是否为完整的人体。
其中，一系列图像处理过程包括但不限于去噪、锐化、边缘识别、膨胀和腐蚀。
进一步地，在上述实施例中，如图2所示，人体细节识别单元23包括：
用户识别组件231，用于判断跟随对象是否满足任一独立对象的用户识别特征；
其中，用户识别特征主要包括跟随对象的面部特征，当然也可以包括跟随对象的其他特征的相结合的特征。
进一步地，作为优选的实施方式，用户识别组件231首先获取跟随对象的用户特征，再将上述用户特征与存储单元24中存储的所有独立对象的用户识别特征进行比较，当用户特征与任一独立对象的用户识别特征一致时，将上述跟随对象定义为对应的独立对象，此时通过该跟随对象对应的人体动作识别特征来控制自动牵引车。
进一步地，作为优选的实施方式，跟随对象的用户特征包括但不限于：使用者的人脸数据、身高数据、肩宽数据、臂长数据、腿长数据，以及基于人体关节的20个相对位置的色彩数据包括但不限于发色、手肘部位颜色、双肩部位颜色、胯部颜色、腰部颜色、膝盖部位颜色、大腿部位颜色等。
第一动作识别组件232，与用户识别组件231连接，用于判断不满足用户识别特征的跟随对象的动作指令是否满足任一独立对象的人体动作识别特征；
第二动作识别组件233，与用户识别组件231连接，用于判断满足用户识别特征的跟随对象的动作指令是否满足独立对象的任一人体动作识别特征。
进一步地，作为优选的实施方式，第一动作识别组件232首先获取不满足用户识别特征的跟随对象的动作指令，再将动作指令与存储单元24中存储的所有独立对象的人体动作识别特征进行比较，当动作指令与任一独立对象的任一人体动作识别特征一致时，将上述独立对象定义注册为新的独立对象，此时通过该独立对象对应的人体动作识别特征来控制自动牵引车，即通过该动作指令控制自动牵引车1。
进一步地，在上述实施例中，人体动作识别组件包括：
获取坐标块，用于获取跟随对象的每个关节的坐标；
动作指令块，与获取坐标块连接，根据每个关节的坐标得到跟随对象的动作指令；
人体动作识别块，与动作指令块连接，用于判断动作指令是否为任一独立对象的人体动作识别特征。
进一步地，作为优选的实施方式，人体动作识别组件包括获取坐标块，上述获取坐标块建立三维空间坐标系，并给跟随对象的每一个关节设置对应的坐标，并将上述坐标发送给动作指令块，动作指令块根据跟随对象上述坐标的运动轨迹(通过关节点跟踪算法获得运动轨迹为所有坐标的连接，从而实现关键部位静态的起始终止姿态匹配和动态的关键部位运动轨迹匹配)和相对位置得到独立对象的动作指令，并将上述动作指令发送给人体动作识别块，人体动作识别块将动作指令与存储单元24中存储的所有独立对象的人体动作识别特征进行比较，当动作指令与任一独立对象的任一人体动作识别特征一致时，将上述跟随对象定义为对应的控制对象，此时通过该控制对象对应的人体动作识别特征来控制自动牵引车，即通过该动作指令控制自动牵引车。
需要说明的是，上述关节点跟踪算法，包括光流跟踪法和卡尔曼滤波算法。主要先采用光流跟踪法，使用深度相机获取的关节位置，通过连续的两张图片关节位置相同颜色部分的运动轨迹，结合各自深度图像的位置信息计算出运动轨迹。再根据卡尔曼滤波算法优化由于视觉系统抖动、过曝和相似物体误识别所造成的误差。
例如，跟随对象的关键部位为手、手肘和肩这三个位置，举手的起始静态姿势为手与手肘低于肩部高度，举手的终止姿态为手高出肩部一定距离，整个手和手肘运动过程是一个单次的曲线，并且在终止位置停顿一段时间。这整个过程被判定为一个举手动作。除此之外的动作指令还包括但不限于：挥手、伸手和展开手臂等。
进一步地，在上述实施例中，跟随模块3包括：
路径单元31，根据跟随对象的动作指令获取跟随方向；
判断单元32，与路径单元31连接，用于判断跟随方向是否有障碍物信息；
跟随单元33，与判断单元32连接，用于根据障碍物信息依据动作指令调整跟随方向。
进一步地，作为优选的实施方式，跟随模块3可以根据跟随对象进行移动，保证人车之间的一定距离，以及保证跟随对象基本上在测量范围内。跟随模块3也可以实现整车与跟随对象保持短距离，并持续后退，根据跟随对象的位置摆动方向轮(主要是在深度图像中获得位置)。
进一步地，作为优选的实施方式，路径单元31中包括一个存储组件，上述存储组件用于存储路径信息，跟随单元33可以直接根据上述路径信息控制AGV小车进行移动，跟随单元33也可以根据障碍物信息依据动作指令调整跟随方向，同时根据自身到跟随目标的距离，实时删除已经行过的路径点。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种基于人体识别的自动牵引车的跟随系统，其特征在于，所述跟随系统设置在所述自动牵引车上，包括：
一获取模块，与所述自动牵引车连接，用于获取一测量范围的图像和获取所述自动牵引车周围的障碍物信息；
一识别模块，与所述获取模块连接，用于识别所述图像中的包括满足一预设的识别特征的跟随对象，和所述障碍物信息；
一跟随模块，与所述识别模块连接，根据所述跟随对象的动作指令和所述障碍物信息来控制所述自动牵引车跟随所述跟随对象进行工作。
2.如权利要求1所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述获取模块包括：
环境采集单元，用于采集所述自动牵引车周围的障碍物信息；
对象获取单元，用于获取所述测量范围的所述图像。
3.如权利要求2所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述环境采集单元包括多个传感器，每个所述传感器分别设置在所述自动牵引车的车身上，用于采集所述自动牵引车四周的所述障碍物信息。
4.如权利要求2所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述对象获取单元包括一组摄像设备，所述摄像设备设置在所述自动牵引车前端，用于获取所述测量范围的所述图像。
5.如权利要求4所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述摄像设备包括由二维彩色工业相机，双目深度摄像机，飞行时间测距深度相机中的任意组合。
6.如权利要求1所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述识别模块包括：
一处理单元，用于对所述图像进行处理得到所述跟随对象；
一人体识别单元，与所述处理单元连接，用于判断所述跟随对象是否满足所述人体识别特征；
一人体细节识别单元，与所述人体识别单元连接，用于判断满足所述人体识别特征的跟随对象是否满足所述人体细节识别特征。
7.如权利要求6所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述跟随对象包括用户识别特征和人体动作识别特征；
所述用户识别特征用于确定所述跟随对象的信息；
所述人体动作识别特征用于判断所述跟随对象的动作指令类型。
8.如权利要求7所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述识别模块还包括：
一存储单元，与所述人体识别单元和所述人体细节识别单元连接，用于存储每个控制对象的所述用户识别特征和所述人体动作识别特征。
9.如权利要求8所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述人体细节识别单元包括：
一用户识别组件，用于判断所述跟随对象是否满足任一所述控制对象的所述用户识别特征；
一第一动作识别组件，与所述用户识别组件连接，用于判断不满足所述用户识别特征的所述跟随对象的所述动作指令是否满足任一所述控制对象的所述人体动作识别特征；
一第二动作识别组件，与所述用户识别组件连接，用于判断满足所述用户识别特征的所述跟随对象的所述动作指令是否满足所述控制对象的任一所述人体动作识别特征。
10.如权利要求1所述的基于人体识别的自动牵引车的跟随系统，其特征在于，所述跟随模块包括：
一路径单元，根据所述跟随对象的所述动作指令获取跟随方向；
一判断单元，与所述路径单元连接，用于判断所述跟随方向是否有所述障碍物信息；
一跟随单元，与所述判断单元连接，用于根据所述障碍物信息依据所述动作指令调整所述跟随方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811449032.4A CN109460031A (zh) | 2018-11-28 | 2018-11-28 | 一种基于人体识别的自动牵引车的跟随系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811449032.4A CN109460031A (zh) | 2018-11-28 | 2018-11-28 | 一种基于人体识别的自动牵引车的跟随系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109460031A true CN109460031A (zh) | 2019-03-12 |
Family
ID=65612061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811449032.4A Pending CN109460031A (zh) | 2018-11-28 | 2018-11-28 | 一种基于人体识别的自动牵引车的跟随系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109460031A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109947105A (zh) * | 2019-03-27 | 2019-06-28 | 科大智能机器人技术有限公司 | 一种自动牵引车的调速方法和调速装置 |
| CN111208831A (zh) * | 2020-02-24 | 2020-05-29 | 吉林大学 | 一种基于计算机视觉的无人跟随运载小车 |
| CN111399636A (zh) * | 2020-02-25 | 2020-07-10 | 上海交通大学 | 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置 |
| CN112274363A (zh) * | 2020-11-04 | 2021-01-29 | 厦门狄耐克智能科技股份有限公司 | 一种能够自动识别自动跟随的移动查房车 |
| CN112788238A (zh) * | 2021-01-05 | 2021-05-11 | 中国工商银行股份有限公司 | 用于机器人跟随的控制方法和装置 |
| CN113110438A (zh) * | 2021-04-08 | 2021-07-13 | 北京机械设备研究所 | 牵引车自动跟随控制系统、方法及装置 |
| TWI742644B (zh) * | 2020-05-06 | 2021-10-11 | 東元電機股份有限公司 | 跟隨移動平台及其方法 |
| CN113671940A (zh) * | 2020-05-14 | 2021-11-19 | 东元电机股份有限公司 | 跟随移动平台及其方法 |
| CN114089640A (zh) * | 2021-11-11 | 2022-02-25 | 广东美的厨房电器制造有限公司 | 控制方法、跟随设备和计算机可读存储介质 |
| TWI776609B (zh) * | 2021-07-27 | 2022-09-01 | 東元電機股份有限公司 | 人機協作載物車 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465033A (zh) * | 2008-05-28 | 2009-06-24 | 丁国锋 | 一种自动追踪识别系统及方法 |
| CN102895093A (zh) * | 2011-12-13 | 2013-01-30 | 冷春涛 | 一种基于rgb-d传感器的助行机器人跟踪系统及方法 |
| CN104898656A (zh) * | 2014-03-06 | 2015-09-09 | 西北农林科技大学 | 一种基于立体视觉的农田多机器人跟随耕地系统及方法 |
| CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
| CN105807790A (zh) * | 2016-04-25 | 2016-07-27 | 安徽大学 | 一种基于室内混合定位的智能跟随系统及其跟随方法 |
| CN105955251A (zh) * | 2016-03-11 | 2016-09-21 | 北京克路德人工智能科技有限公司 | 一种机器人的视觉跟随控制方法及机器人 |
| CN106227336A (zh) * | 2016-07-15 | 2016-12-14 | 深圳奥比中光科技有限公司 | 体感映射的建立方法以及建立装置 |
| WO2017188800A1 (ko) * | 2016-04-29 | 2017-11-02 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
| CN107309883A (zh) * | 2016-04-27 | 2017-11-03 | 王方明 | 智能机器人 |
| CN108089695A (zh) * | 2016-11-23 | 2018-05-29 | 纳恩博（北京）科技有限公司 | 一种控制可移动设备的方法和装置 |
| CN109558835A (zh) * | 2018-11-28 | 2019-04-02 | 科大智能机器人技术有限公司 | 一种基于人体识别的自动牵引车的控制方法及其系统 |
-
2018
- 2018-11-28 CN CN201811449032.4A patent/CN109460031A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101465033A (zh) * | 2008-05-28 | 2009-06-24 | 丁国锋 | 一种自动追踪识别系统及方法 |
| CN102895093A (zh) * | 2011-12-13 | 2013-01-30 | 冷春涛 | 一种基于rgb-d传感器的助行机器人跟踪系统及方法 |
| CN104898656A (zh) * | 2014-03-06 | 2015-09-09 | 西北农林科技大学 | 一种基于立体视觉的农田多机器人跟随耕地系统及方法 |
| CN105760824A (zh) * | 2016-02-02 | 2016-07-13 | 北京进化者机器人科技有限公司 | 一种运动人体跟踪方法和系统 |
| CN105955251A (zh) * | 2016-03-11 | 2016-09-21 | 北京克路德人工智能科技有限公司 | 一种机器人的视觉跟随控制方法及机器人 |
| CN105807790A (zh) * | 2016-04-25 | 2016-07-27 | 安徽大学 | 一种基于室内混合定位的智能跟随系统及其跟随方法 |
| CN107309883A (zh) * | 2016-04-27 | 2017-11-03 | 王方明 | 智能机器人 |
| WO2017188800A1 (ko) * | 2016-04-29 | 2017-11-02 | 엘지전자 주식회사 | 이동 로봇 및 그 제어방법 |
| CN106227336A (zh) * | 2016-07-15 | 2016-12-14 | 深圳奥比中光科技有限公司 | 体感映射的建立方法以及建立装置 |
| CN108089695A (zh) * | 2016-11-23 | 2018-05-29 | 纳恩博（北京）科技有限公司 | 一种控制可移动设备的方法和装置 |
| CN109558835A (zh) * | 2018-11-28 | 2019-04-02 | 科大智能机器人技术有限公司 | 一种基于人体识别的自动牵引车的控制方法及其系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109947105A (zh) * | 2019-03-27 | 2019-06-28 | 科大智能机器人技术有限公司 | 一种自动牵引车的调速方法和调速装置 |
| CN111208831A (zh) * | 2020-02-24 | 2020-05-29 | 吉林大学 | 一种基于计算机视觉的无人跟随运载小车 |
| CN111399636A (zh) * | 2020-02-25 | 2020-07-10 | 上海交通大学 | 基于肢体动作指令的无人驾驶车辆引导方法、系统及装置 |
| TWI742644B (zh) * | 2020-05-06 | 2021-10-11 | 東元電機股份有限公司 | 跟隨移動平台及其方法 |
| CN113671940A (zh) * | 2020-05-14 | 2021-11-19 | 东元电机股份有限公司 | 跟随移动平台及其方法 |
| CN112274363A (zh) * | 2020-11-04 | 2021-01-29 | 厦门狄耐克智能科技股份有限公司 | 一种能够自动识别自动跟随的移动查房车 |
| CN112788238A (zh) * | 2021-01-05 | 2021-05-11 | 中国工商银行股份有限公司 | 用于机器人跟随的控制方法和装置 |
| CN113110438A (zh) * | 2021-04-08 | 2021-07-13 | 北京机械设备研究所 | 牵引车自动跟随控制系统、方法及装置 |
| TWI776609B (zh) * | 2021-07-27 | 2022-09-01 | 東元電機股份有限公司 | 人機協作載物車 |
| CN114089640A (zh) * | 2021-11-11 | 2022-02-25 | 广东美的厨房电器制造有限公司 | 控制方法、跟随设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460031A (zh) | 一种基于人体识别的自动牵引车的跟随系统 | |
| Padhy et al. | Deep neural network for autonomous uav navigation in indoor corridor environments | |
| Rizzini et al. | Integration of a stereo vision system into an autonomous underwater vehicle for pipe manipulation tasks | |
| CN105866790B (zh) | 一种考虑激光发射强度的激光雷达障碍物识别方法及系统 | |
| Molton et al. | A stereo vision-based aid for the visually impaired | |
| Kobilarov et al. | People tracking and following with mobile robot using an omnidirectional camera and a laser | |
| CN109872324A (zh) | 地面障碍物检测方法、装置、设备和存储介质 | |
| EP1586423A1 (en) | Robot control device, robot control method, and robot control program | |
| Balasuriya et al. | Vision based autonomous underwater vehicle navigation: underwater cable tracking | |
| US10197399B2 (en) | Method for localizing a robot in a localization plane | |
| CN106569225B (zh) | 一种基于测距传感器的无人车实时避障方法 | |
| Tsalatsanis et al. | Vision based target tracking and collision avoidance for mobile robots | |
| CN111157008B (zh) | 基于多维环境信息感知的局部自主导航系统及方法 | |
| CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 | |
| Luo et al. | Stereo Vision-based Autonomous Target Detection and Tracking on an Omnidirectional Mobile Robot. | |
| Shukor et al. | Object tracking and following robot using color-based vision recognition for library environment | |
| Zhang et al. | Triangle codes and tracer lights based absolute positioning method for terminal visual docking of autonomous underwater vehicles | |
| US20230077398A1 (en) | Detection device, tracking device, detection program, and tracking program | |
| Davidson et al. | Monocular vision-based range estimation supported by proprioceptive motion | |
| Matsubara et al. | Three-dimensional Human Tracking of a Mobile Robot by Fusion of Tracking Results of Two Cameras | |
| Francis et al. | Detection of obstacles in the path planning module using differential scene flow technique | |
| CN109558835A (zh) | 一种基于人体识别的自动牵引车的控制方法及其系统 | |
| Cherubini et al. | A redundancy-based approach for visual navigation with collision avoidance | |
| Saucedo et al. | Event Camera and LiDAR based Human Tracking for Adverse Lighting Conditions in Subterranean Environments | |
| Lee et al. | Visual sensor integration on servoing the autonomous mobile robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190312 |
|
| RJ01 | Rejection of invention patent application after publication |