CN110045364A - 基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法 - Google Patents
基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法 Download PDFInfo
- Publication number
- CN110045364A CN110045364A CN201910154998.3A CN201910154998A CN110045364A CN 110045364 A CN110045364 A CN 110045364A CN 201910154998 A CN201910154998 A CN 201910154998A CN 110045364 A CN110045364 A CN 110045364A
- Authority
- CN
- China
- Prior art keywords
- module
- information
- tracking
- suspicious
- carrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000003068 static effect Effects 0.000 title claims abstract description 31
- 230000004888 barrier function Effects 0.000 claims abstract description 26
- 230000000750 progressive effect Effects 0.000 claims abstract description 12
- 238000011017 operating method Methods 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 30
- 230000007613 environmental effect Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 11
- 238000000465 moulding Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 125000000623 heterocyclic group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法。其系统由信息采集单元、信息处理单元、伺服控制单元和电机驱动单元组成；其方法的操作步骤包括：定位可疑目标对象流程、渐进判断目标对象流程、转向避开障碍物流程、检测跟踪目标对象流程。采用本发明，不仅可以完成非正面角度和复杂环境下畸变的图像识别，还可以在准确识别的基础上对静态目标进行检测和对动态目标进行跟踪，同时在检测和跟踪的过程中可以实现规避障碍物的功能。本发明系统结构简单，操作简便，性能优越，能够适应各种复杂环境，具有很强的普适性，应用范围广阔。
Description
技术领域
本发明涉及一种动态目标跟踪和静态目标检测系统与方法，特别是一种基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法。
背景技术
目标识别过程融合了图像处理、模式识别、人工智能等众多先进技术，是计算机视觉领域的一个研究热点。所谓目标识别技术，就是在检测到目标对象的基础上，提取目标对象特征，对特征点进行识别匹配的技术。这一技术在许多领域得到广泛的应用：在交通运输领域，可用于智能交通管理、交通工具流量控制以及自主导航等方面；在智能安防领域，可用于视频监控、危险物品检测等方面；在军事领域，可用于无人机目标侦察、导弹制导以及拦截等方面。中国制造2025把机械制造的目光引向无人化和智能化，未来目标识别将作为一项重要的技术，推动我国科学蓬勃向前发展。
到目前为止，目标识别技术已经取得了很大的进步，但是想要达到快速准确地检测目标对象仍然是一项困难的任务。这种困难主要来自两个方面：(1)目标对象角度的多样化，包括目标对象在图像中的姿势（平面外旋转）、方向、遮挡等；(2) 目标对象背景的复杂化，包括目标对象在环境中的位置、光照、阴影等。所有这些困难可以统称为目标对象在识别过程中的畸变问题。这一问题对检测技术提出了各种挑战，所以需要对非正面角度及复杂环境下畸变的目标对象检测技术进行深入研究，提升宽畸变角度下目标对象的正确检测率，同时快速增加捕获图像的特征量并改善畸变对检测的影响。
为解决上述问题，本发明使用一种渐进式畸变图像特征识别关键技术，达到提升检测率的目的。所谓渐进式畸变图像特征识别关键技术是指，搭载该检测技术的载体首先在非正面角度及复杂环境下检测到可疑目标对象，再考虑到仅使用单帧图像进行检测存在的诸多问题，因此引入渐进式多帧图像处理技术，分析多帧离散图像之间的关系，使载体按照分析结果逐渐移动至可疑目标对象正面角度，增加捕获图像的特征量，改善畸变对检测的影响。最后融合比对后台原始图像，使用正面角度及理想环境下常用且可靠的目标检测识别技术，使载体对被识别对象进行准确、快速、持续的检测跟踪，从而解决非正面角度及复杂环境下畸变的对象的图像特征识别问题。
发明内容
本发明的目的在于针对非正面和复杂环境下目标对象检测准确性不高的问题，提出了一种基于渐进式畸变图像特征识别的动态目标跟踪与静态目标检测的系统与方法，搭载该技术的载体在已知目标对象的基础上，能够实现主动识别检测静态目标对象和识别跟踪动态目标对象的功能，它操作简便，性能优异，应用领域广泛。
为了达到上述的目的，本发明采用如下的技术方案：
一种基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，能够在有限空间中主动识别可疑目标对象，在识别过程中方法采用渐进式畸变图像特征识别关键技术，依靠转动角度等方法主动捕获更多的特征量，从而提高识别判断的准确性。其系统主要由信息采集单元、信息处理单元、伺服控制单元和电机驱动单元组成，其基本特征在于：上述信息采集单元与信息处理单元之间以有线方式连接；上述信息处理单元与伺服控制单元之间以有线方式连接；上述伺服控制单元和电机驱动单元之间以有线方式连接。
上述信息采集单元包括：雷达测距模块、姿态传感模块和图像采集模块，上述雷达测距模块连接雷达转向模块、距离估测模块、状态识别模块和角度校准模块；上述姿态传感模块连接运动控制模块和角度校准模块；上述图像采集模块连接摄像调整模块和特征比对模块；上述雷达测距模块捕获多帧环境信息，包括载体与空间实体的距离信息等等；上述姿态传感模块获取载体的位姿信息；上述图像采集模块采集雷达范围内可疑目标对象特征信息。
上述信息处理单元包括：距离估测模块、状态识别模块、角度校准模块和特征比对模块，上述距离估测模块连接雷达测距模块和避障绕行模块；上述状态识别模块连接雷达测距模块和检测跟踪模块；上述角度校准模块连接雷达测距模块、姿态传感模块和检测跟踪模块；上述特征比对模块连接图像采集模块和检测跟踪模块；上述距离估测模块接收雷达测距模块发送的载体与空间实体的距离d，并且后台将距离d和安全距离s进行比较，如果载体与空间实体的距离d小于安全距离s，则距离估测模块向避障绕行模块发送避障指令；上述状态识别模块在锁定可疑目标对象之后，比较雷达测距模块相邻两帧环境数据，判断可疑目标对象的动静态性；上述角度校准模块接收雷达测距模块多帧环境信息和姿态传感模块的载体位姿信息，得出载体与可疑目标对象正面的角度信息θ；上述特征比对模块接收图像采集模块的可疑目标对象特征信息并且和原始图像特征信息进行比较，如果匹配概率在正确阈值范围内，则向检测跟踪模块发送检测跟踪指令，如果匹配概率不在正确阈值范围内，则重新识别可疑目标对象。
上述伺服控制单元包括：避障绕行模块和检测跟踪模块，上述避障绕行模块连接距离估测模块、雷达转向模块和运动控制模块；上述检测跟踪模块连接状态识别模块、角度校准模块、特征比对模块、运动控制模块和摄像调整模块；上述避障绕行模块接收到距离估测模块发送的避障指令后，对指令进行译码分配发送给雷达转向模块和运动控制模块；上述检测跟踪模块接收状态识别模块发送的可疑目标对象的状态信息，接收角度校准模块发送的载体与可疑目标对象正面的角度信息θ，接收特征比对模块发送的匹配概率在正确阈值范围内的信息后，当可疑目标对象是静态时，检测跟踪模块发送识别检测指令给运动控制模块和摄像调整模块，当可疑目标对象时动态时，检测跟踪模块发送识别跟踪指令给运动控制模块和摄像调整模块。
上述电机驱动单元包括：雷达转向模块、运动控制模块和摄像调整模块。上述雷达转向模块连接避障绕行模块和雷达测距模块；上述运动控制模块连接避障绕行模块、检测跟踪模块和姿态传感模块；上述摄像调整模块连接检测跟踪模块和图像采集模块；上述雷达转向模块接收避障绕行模块发送的指令后，控制雷达测距模块全方位转动；上述运动控制模块接收避障绕行模块发送的避障指令和检测跟踪模块发送的识别检测跟踪指令后，运动控制模块控制载体在向可疑目标对象正面（最佳判决区域）运动的基础上，及时规避障碍物；上述摄像调整模块在接收检测跟踪模块的指令以后，调整摄像头至合适的角度，采集可疑目标对象更多的特征信息。
一种基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，采用上述系统进行操作，其特征在于：工作流程包括：1)定位可疑目标对象流程；2)渐进判断目标对象流程；3)转向避开障碍物流程；4)检测跟踪目标对象流程。
上述操作步骤定位可疑目标对象流程：首先输入多维度目标对象图像信息给特征比对模块，作为原始图像，然后运动控制模块控制载体在有限空间范围内运动，此时摄像调整模块转动摄像头至合适的位置，图像采集模块采集进入摄像头范围内的可疑目标对象的图像信息，之后提取图像内的特征信息传送给特征比对模块，特征比对模块比较采集到的可疑目标对象图像特征信息与原始图像特征信息，如果匹配概率不在正确阈值范围内，则载体重新定位寻找可疑目标对象，如果匹配概率在正确阈值范围内，则锁定了可疑目标对象。
上述操作步骤渐进判断目标对象流程：在锁定可疑目标对象的基础上，姿态传感模块获取载体的位姿信息发送给角度校准模块，角度校准模块校准载体与可疑目标对象正面的角度信息θ发送给检测跟踪模块，检测跟踪模块接收上述信息后，规划出载体运动路径，发送给运动控制模块和摄像调整模块，运动控制模块负责驱动载体运动，摄像调整模块负责调整摄像头的角度，同时图像采集模块采集可疑目标对象图像信息并且提取特征信息发送给特征比对模块，特征比对模块将采集到的可疑目标对象的特征信息和原始图像的特征信息进行比对，如果匹配概率在正确阈值范围内，且没有运动最佳判决区域，则继续向可疑目标对象的最佳判决区域渐进运动；若匹配概率在正确阈值范围内，并且已经运动到了最佳判决区域，则判断可疑目标对象寻找正确；若匹配概率不在正确阈值范围内，则直接判断可疑目标对象寻找错误，重新定位寻找可疑目标对象。
上述操作步骤转向避开障碍物流程：运动控制模块控制载体运动，雷达转向模块控制雷达全方位转动，雷达测距模块判断雷达范围内是否有障碍物存在，如果不存在障碍物，则载体按照规划的路径前进，如果存在障碍物，雷达测距模块发送多帧环境信息给距离估测模块，距离估测模块根据接收到的距离d与安全距离s比较，如果接收到的距离d大于安全距离s，则载体朝着规划的路径继续运动，如果接收到的距离d小于安全距离s，则避障绕行模块给运动控制模块发送避障指令，运动控制模块接收指令后控制载体绕行避障同时雷达转向模块继续控制雷达转动，判断载体的运动轨迹中是否有障碍物的存在，如果有障碍物，则重复上述判断决定是否采取避障举措，如果没有障碍物，则沿着规划的路径继续运动。本处的转向避开障碍物流程主要采用激光雷达进行避障，在实际而操作中还可以采用红外避障等措施。
上述操作步骤检测跟踪目标对象流程：在正确找到目标对象的基础上，状态识别模块判断目标对象的状态，对于目标对象是动态的情况，角度校准模块负责校准载体与目标对象之间的角度信息θ，特征比对模块负责将目标对象的特征信息与后台原始图像特征信息进行比对，如果目标对象特征与原始图像特征的匹配概率在正确阈值范围之内，说明目标对象跟踪正确，并重复上述识别跟踪流程，直至载体收到结束工作指令结束工作，如果目标对象特征与原始图像特征的匹配概率不在正确阈值范围之内，说明目标对象丢失，需要重新定位可疑目标对象；对于目标对象是静态的情况，载体运动到目标对象正确判决区域后已判断目标对象寻找正确，则载体保持不动，随时等待结束工作的指令，结束工作。
本发明与现有技术相比较具有如下显而易见的突出实质性特点和显著的技术进步：本发明不仅可以实现将整个系统搭载于一个固定的平台上，实现在有限空间中自主运动、自主识别目标对象和自主避开障碍物的功能，摆脱现行多数智能设备仍然需要人为干涉照顾的缺陷，还可以在识别过程中，解决在复杂环境中检测到可疑目标对象的图像的畸变问题，并且可以在正确找到目标对象以后，根据目标对象不同的运动状态，采取不同的措施，对于动态目标对象，角度校准模块和特征比对模块仍然需要继续工作；对于静态目标对象，载体则暂时进行“休眠”，这在一定程度上，避免了资源的浪费。
附图说明
图1是本发明的一个实施例的系统框图
图2是图1示例的定位可疑目标对象流程图
图3是图1示例的渐进判断目标对象流程图
图4是图1示例的转向避开障碍物流程图
图5是图1示例的检测跟踪目标对象流程图。
具体实施方式
本发明的优先实施例结合附图详述如下：
实施例一：
参见图1，本基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，包括信息采集单元(1)、信息处理单元(2)、伺服控制单元(3)和电机驱动单元(4)，其基本特征在于：所述信息采集单元(1)与信息处理单元(2)之间以有线方式连接；所述信息处理单元(2)与伺服控制单元(3)之间以有线方式连接；所述伺服控制单元(3)与电机驱动单元(4)之间以有线方式连接。
实施例二：本实例与实施例一基本相同，特别之处如下：
参见图1，信息采集单元(1)包含：雷达测距模块(1.1)、姿态传感模块(1.2)和图像采集模块(1.3)，所述雷达测距模块(1.1)连接雷达转向模块(4.1)、距离估测模块(2.1)、状态识别模块(2.2)和角度校准模块(2.3)；所述姿态传感模块(1.2)连接运动控制模块(4.2)和角度校准模块(2.2)；所述图像采集模块(1.3)连接摄像调整模块(4.3)和特征比对模块(2.4)；所述雷达测距模块(1.1)捕获多帧环境信息，包括载体与空间实体的距离信息等等；所述姿态传感模块(1.2)获取载体的位姿信息；所述图像采集模块(1.3)采集雷达范围内可疑目标对象特征信息。
参见图1，信息处理单元(2)包含：距离估测模块(2.1)、状态识别模块(2.2)、角度校准模块(2.3)和特征比对模块(2.4)，所述距离估测模块(2.1)连接雷达测距模块(1.1)和避障绕行模块(3.1)；所述状态识别模块(2.2)连接雷达测距模块(1.1)和检测跟踪模块(3.2)；所述角度校准模块(2.3)连接雷达测距模块(1.1)、姿态传感模块(1.2)和检测跟踪模块(3.2)；所述特征比对模块(2.4)连接图像采集模块(1.3)和检测跟踪模块(3.2)；所述距离估测模块(2.1)接收雷达测距模块(1.1)发送的载体与空间实体的距离d，并且后台将距离d和安全距离s进行比较，如果载体与空间实体的距离d小于安全距离s，则距离估测模块向避障绕行模块(3.1)发送避障指令；所述状态识别模块(2.2)在锁定可疑目标对象之后，比较雷达测距模块相邻两帧环境数据，判断可疑目标对象的动静态性；所述角度校准模块(2.3)接收雷达测距模块(1.1)多帧环境信息和姿态传感模块(1.2)的载体位姿信息，得出载体与可疑目标对象的角度信息θ；所述特征比对模块(2.4)接收图像采集模块(1.3)的可疑目标对象特征信息并且和原始对象特征信息进行比较，如果匹配概率在正确阈值范围内，则向检测跟踪模块(3.2)发送跟踪指令，如果匹配概率不在正确阈值范围内，则重新识别可疑目标对象。
参见图1，伺服控制单元(3)包含：避障绕行模块(3.1)和检测跟踪模块(3.2)。所述避障绕行模块(3.1)连接距离估测模块(2.1)、雷达转向模块(4.1)和运动控制模块(4.2)；所述检测跟踪模块(3.2)连接状态识别模块(2.2)、角度校准模块(2.3)、特征比对模块(2.4)、运动控制模块(4.2)和摄像调整模块(4.3)；所述避障绕行模块(3.1)接收到距离估测模块(2.1)发送的避障指令后，对指令进行译码分配发送给雷达转向模块(4.1)和运动控制模块(4.2)；所述检测跟踪模块(3.2)接收状态识别模块(2.2)发送的可疑目标对象的状态信息，接收角度校准模块(2.3)发送的载体与可疑目标对象的角度信息θ，接收特征比对模块(2.4)发送的匹配概率在正确阈值范围内的信息后，当可疑目标对象是静态时，检测跟踪模块(3.2)发送识别检测指令给运动控制模块(4.2)和摄像调整模块(4.3)，当可疑目标对象时动态时，检测跟踪模块(3.2)发送识别跟踪指令给运动控制模块(4.2)和摄像调整模块(4.3)。
参见图1，电机驱动单元(4)包含：雷达转向模块(4.1)、运动控制模块(4.2)和摄像调整模块(4.3)。所述雷达转向模块(4.1)连接避障绕行模块(3.1)和雷达测距模块(1.1)；所述运动控制模块(4.2)连接避障绕行模块(3.1)、检测跟踪模块(3.2)和姿态传感模块(1.2)；所述摄像调整模块(4.3)连接检测跟踪模块(3.2)和图像采集模块(1.3)；所述雷达转向模块(4.1)接收避障绕行模块(3.1)发送的指令后，控制雷达测距模块(1.1)全方位转动；所述运动控制模块(4.2)接收避障绕行模块(3.1)发送的避障指令和检测跟踪模块(3.2)发送的识别检测跟踪指令后，运动控制模块(4.2)控制载体在追踪可疑目标对象正面（最佳判决区域）运动的基础上，及时规避障碍物；所述摄像调整模块(4.3)在接收检测跟踪模块(3.2)的指令以后，调整摄像头至合适的角度，采集可疑目标对象更多的特征信息。
实施例三：
本基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，采用上述系统进行操作，其特征包括如下操作流程：1)定位可疑目标对象流程；2)渐进判断目标对象流程；3)转向避开障碍物流程；4)检测跟踪目标对象流程。
实施例四：
本实例与实施例三基本相同，特别之处在于如下：
参见图2，操作步骤定位可疑目标对象操作流程：首先输入多维度目标对象图像信息给特征比对模块(2.4)，作为原始图像，然后运动控制模块(4.2)控制载体在有限空间范围内运动，此时摄像调整模块(4.3)转动摄像头至合适的位置，图像采集模块(1.3)采集进入摄像头范围内的可疑目标对象的图像信息，之后提取图像内的特征信息传送给特征比对模块(2.4)，特征比对模块(2.4)比较采集到的可疑目标对象图像特征信息与原始图像特征信息，如果匹配概率不在正确阈值范围内时，则载体重新定位寻找可疑目标对象，如果匹配概率在正确阈值范围内时，则锁定了可疑目标对象。
参见图3，操作步骤渐进判断目标对象工作流程：在锁定可疑目标对象的基础上，姿态传感模块(1.2)获取载体的位姿信息发送给角度校准模块(3.2)，角度校准模块(2.3)校准载体与可疑目标对象的角度信息θ发送给检测跟踪模块(2.3)，检测跟踪模块(3.2)接收上述信息后，规划出载体运动路径，发送给运动控制模块(4.2)和摄像调整模块(4.3)，运动控制模块(4.2)负责驱动载体运动，摄像调整模块(4.3)负责调整摄像头的角度，同时图像采集模块(1.3)采集可疑目标对象图像信息并且提取特征信息发送给特征比对模块(2.4)，特征比对模块(2.4)将采集到的可疑目标对象的特征信息和原始图像的特征信息进行比对，如果匹配概率在正确阈值范围内，且没有运动最佳判决区域，则继续向可疑目标对象的最佳匹配区域渐进运动；若匹配概率在正确阈值范围内，并且已经运动到了最佳判决区域，则判断可疑目标对象寻找正确；若匹配概率不在正确阈值范围内，则直接判断可疑目标对象寻找错误，重新定位寻找可疑目标对象。
参见图4，操作步骤转向避开障碍物工作流程：运动控制模块(4.2)控制载体运动，雷达转向模块(4.1)控制雷达全方位转动，雷达测距模块(1.1)判断雷达范围内是否有障碍物存在，如果不存在障碍物，则载体按照规划的路径前进，如果存在障碍物，雷达测距模块(1.1)发送多帧环境信息给距离估测模块(2.1)，距离估测模块(2.1)根据接收到的距离d与安全距离s比较，如果接收到的距离d大于安全距离s，则载体朝着规划的路径继续运动，如果接收到的距离d小于安全距离s，则避障绕行模块(3.1)给运动控制模块(4.2)发送避障指令，运动控制模块(4.2)接收指令后控制载体绕行避障，同时雷达转向模块(4.1)继续控制雷达转动，判断载体的运动轨迹中是否有障碍物的存在，如果有障碍物，则重复上述避障运动，如果没有障碍物，则沿着规划的路径继续运动。
参见图5，操作步骤检测跟踪目标对象工作流程：在正确找到目标对象的基础上，状态识别模块(2.2)判断目标对象的状态，对于目标对象是动态的情况，角度校准模块(2.3)负责校准载体与目标对象之间的角度信息θ，，特征比对模块(2.4)负责将目标对象的特征信息与后台原始图像特征信息进行比对，如果目标对象特征与原始图像特征的匹配概率在正确阈值范围之内，说明目标对象跟踪正确，并重复上述识别跟踪流程，直至载体收到结束工作指令结束工作，如果目标对象特征与原始特征的匹配概率不在正确阈值范围之内，说明目标对象丢失，需要重新定位可疑目标对象；对于目标对象是静态的情况，载体运动到目标对象正确判决区域后已判断目标对象寻找正确，则载体保持不动，随时等待结束工作的指令，结束工作。
Claims (10)
1.基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，包括信息采集单元(1)、信息处理单元(2)、伺服控制单元(3)和电机驱动单元(4)，其特征在于：所述信息采集单元(1)与信息处理单元(2)之间以有线方式连接；所述信息处理单元(2)与伺服控制单元(3)之间以有线方式连接；所述伺服控制单元(3)与电机驱动单元(4)之间以有线方式连接。
2.根据权利要求书1所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，其特征在于：所述信息采集单元(1)包含雷达测距模块(1.1)、姿态传感模块(1.2)和图像采集模块(1.3)；所述雷达测距模块(1.1)连接电机驱动单元(4)中的一个雷达转向模块(4.1)、信息处理单元(2)中一个的距离估测模块(2.1)、一个状态识别模块(2.2)和一个角度校准模块(2.3)；所述姿态传感模块(1.2)连接电机驱动单元(4)中一个的运动控制模块(4.2)和信息处理单元(2)中的一个角度校准模块(2.2)；所述图像采集模块(1.3)连接电机驱动单元(4)中的一个摄像调整模块(4.3)和信息处理单元(2)的一个特征比对模块(2.4)；所述雷达测距模块(1.1)捕获多帧环境信息，包括载体与空间实体的距离信息；所述姿态传感模块(1.2)获取载体的位姿信息；所述图像采集模块(1.3)采集雷达范围内可疑目标对象特征信息。
3.根据权利要求书1所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，其特征在于：所述信息处理单元(2)包含距离估测模块(2.1)、状态识别模块(2.2)、角度校准模块(2.3)和特征比对模块(2.4)；所述距离估测模块(2.1)连接雷达测距模块(1.1)和伺服控制单元(3)中的一个避障绕行模块(3.1)；所述状态识别模块(2.2)连接雷达测距模块(1.1)和伺服控制单元(3)中的一个检测跟踪模块(3.2)；所述角度校准模块(2.3)连接雷达测距模块(1.1)、姿态传感模块(1.2)和伺服控制单元(3)中的一个检测跟踪模块(3.2)；所述特征比对模块(2.4)连接图像采集模块(1.3)和伺服控制单元(3)中的一个检测跟踪模块(3.2)；所述距离估测模块(2.1)接收雷达测距模块(1.1)发送的载体与空间实体的距离d，并且后台将距离d和安全距离s进行比较，如果载体与空间实体的距离d小于安全距离s，则距离估测模块向避障绕行模块(3.1)发送避障指令；所述状态识别模块(2.2)在锁定可疑目标对象之后，比较雷达测距模块相邻两帧环境数据，判断可疑目标对象的动静态性；所述角度校准模块(2.3)接收雷达测距模块(1.1)多帧环境信息和姿态传感模块(1.2)的载体位姿信息，得出载体与可疑目标对象的角度信息θ；所述特征比对模块(2.4)接收图像采集模块(1.3)的可疑目标对象特征信息并且和原始对象特征信息进行比较，如果匹配概率在正确阈值范围内，则向检测跟踪模块(3.2)发送跟踪指令，如果匹配概率不在正确阈值范围内，则重新识别可疑目标人物。
4.根据权利要求书1所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，其特征在于：所述伺服控制单元(3)包含避障绕行模块(3.1)和检测跟踪模块(3.2)；所述避障绕行模块(3.1)连接距离估测模块(2.1)、电机驱动单元(4)中的一个雷达转向模块(4.1)和一个运动控制模块(4.2)；所述检测跟踪模块(3.2)连接状态识别模块(2.2)、角度校准模块(2.3)、特征比对模块(2.4)、电机驱动单元(4)中的一个运动控制模块(4.2)和一个摄像调整模块(4.3)；所述避障绕行模块(3.1)接收到距离估测模块(2.1)发送的避障指令后，对指令进行译码分配发送给雷达转向模块(4.1)和运动控制模块(4.2)；所述检测跟踪模块(3.2)接收状态识别模块(2.2)发送的可疑目标对象的状态信息，接收角度校准模块(2.3)发送的载体与可疑目标对象的角度信息θ，接收特征比对模块(2.4)发送的匹配概率在正确阈值范围内的信息后，当可疑目标对象是静态时，检测跟踪模块(3.2)发送识别检测指令给运动控制模块(4.2)和摄像调整模块(4.3)，当可疑目标对象时动态时，检测跟踪模块(3.2)发送识别跟踪指令给运动控制模块(4.2)和摄像调整模块(4.3)。
5.根据权利要求书1所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统，其特征在于：所述电机驱动单元(4)包含雷达转向模块(4.1)、运动控制模块(4.2)和摄像调整模块(4.3)；所述雷达转向模块(4.1)连接避障绕行模块(3.1)和雷达测距模块(1.1)；所述运动控制模块(4.2)连接避障绕行模块(3.1)、检测跟踪模块(3.2)和姿态传感模块(1.2)；所述摄像调整模块(4.3)连接检测跟踪模块(3.2)和图像采集模块(1.3)；所述雷达转向模块(4.1)接收避障绕行模块(3.1)发送的指令后，控制雷达测距模块(1.1)全方位转动；所述运动控制模块(4.2)接收避障绕行模块(3.1)发送的避障指令和检测跟踪模块(3.2)发送的识别检测跟踪指令后，运动控制模块(4.2)控制载体在向可疑目标对象正面（最佳判决区域）运动的基础上，及时规避障碍物；所述摄像调整模块(4.3)在接收检测跟踪模块(3.2)的指令以后，调整摄像头至合适的角度，采集可疑目标对象更多的特征信息。
6.一种基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，采用权利要求书1所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统进行操作，其特征在于工作流程包括：1)定位可疑目标对象流程；2)渐进判断目标对象流程；3)转向避开障碍物流程；4)检测跟踪目标对象流程。
7.根据权利要求书6所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，其特征在于：所述定位可疑目标对象流程操作步骤包括首先输入多维度目标对象图像信息给特征比对模块(2.4)，作为原始图像，然后运动控制模块(4.2)控制载体在有限空间范围内运动，此时摄像调整模块(4.3)转动摄像头至合适的位置，图像采集模块(1.3)采集进入摄像头范围内的可疑目标对象的图像信息，之后提取图像内的特征信息传送给特征比对模块(2.4)，特征比对模块(2.4)比较采集到的可疑目标对象图像特征信息与原始图像特征信息，如果匹配概率不在正确阈值范围内，则载体重新定位寻找可疑目标对象，如果匹配概率在正确阈值范围内，则锁定了可疑目标对象。
8.根据权利要求书6所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，其特征在于：所述渐进判断目标对象流程操作步骤包括在锁定可疑目标对象的基础上，姿态传感模块(1.2)获取载体的位姿信息发送给角度校准模块(2.3)，角度校准模块(2.3)校准载体与可疑目标对象的角度信息θ发送给检测跟踪模块(3.2)，检测跟踪模块(3.2)接收上述信息后，规划出载体运动路径，发送给运动控制模块(4.2)和摄像调整模块(4.3)，运动控制模块(4.2)负责驱动载体运动，摄像调整模块(4.3)负责调整摄像头的角度，同时图像采集模块(1.3)采集目标对象图像信息并且提取特征信息发送给特征比对模块(2.4)，特征比对模块(2.4)将采集到的可疑目标对象的特征信息和原始图像的特征信息进行比对，如果匹配概率在正确阈值范围内，且没有运动最佳判决区域，则继续向可疑目标对象的最佳匹配区域渐进运动；若匹配概率在正确阈值范围内，并且已经运动到了最佳判决区域，则判断可疑目标对象寻找正确；若匹配概率不在正确阈值范围内，则直接判断可疑目标对象寻找错误，重新定位寻找可疑目标对象。
9.根据权利要求书6所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，其特征在于：所述转向避开障碍物流程操作步骤包括运动控制模块(4.2)控制载体运动，雷达转向模块(4.1)控制雷达全方位转动，雷达测距模块(1.1)判断雷达范围内是否有障碍物存在，如果不存在障碍物，则载体按照规划的路径前进，如果存在障碍物，雷达测距模块(1.1)发送多帧环境信息给距离估测模块(2.1)，距离估测模块(2.1)根据接收到的距离d与安全距离s比较，如果接收到的距离d大于安全距离s，则载体朝着规划的路径继续运动，如果接收到的距离d小于安全距离s，则避障绕行模块(3.1)给运动控制模块(4.2)发送避障指令，运动控制模块(4.2)接收指令后控制载体绕行避障同时雷达转向模块(4.1)继续控制雷达转动，判断载体的运动轨迹中是否有障碍物的存在，如果有障碍物，则重复上述避障运动，如果没有障碍物，则沿着规划的路径继续运动。
10.根据权利要求书6所述的基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测方法，其特征在于：所述检测跟踪目标对象流程，操作步骤包括在正确找到目标对象的基础上，状态识别模块(2.2)判断目标对象的状态，对于目标对象是动态的情况，角度校准模块(2.3)负责校准载体与目标对象之间的角度信息θ，特征比对模块(2.4)负责将目标对象的特征信息与后台原始图像特征信息进行比对，如果目标对象特征与原始图像特征的匹配概率在正确阈值范围之内，说明目标对象跟踪正确，并重复上述识别跟踪流程，直至载体收到结束工作指令结束工作，如果目标对象特征与原始图像特征的匹配概率不在正确阈值范围之内，说明目标对象丢失，需要重新定位可疑目标对象；对于目标对象是静态的情况，载体运动到目标对象正确判决区域后已判断目标对象寻找正确，则载体保持不动，随时等待结束工作的指令，结束工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154998.3A CN110045364A (zh) | 2019-03-01 | 2019-03-01 | 基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154998.3A CN110045364A (zh) | 2019-03-01 | 2019-03-01 | 基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110045364A true CN110045364A (zh) | 2019-07-23 |
Family
ID=67274357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910154998.3A Pending CN110045364A (zh) | 2019-03-01 | 2019-03-01 | 基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110045364A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111572790A (zh) * | 2020-05-07 | 2020-08-25 | 重庆交通大学 | 一种无人机可伸缩全面保护控制系统及方法 |
| CN112346077A (zh) * | 2019-08-08 | 2021-02-09 | 杭州海康威视系统技术有限公司 | 船舶超高检测方法、装置及电子设备和存储介质 |
| CN112465808A (zh) * | 2020-12-15 | 2021-03-09 | 深圳供电局有限公司 | 变电站设备状态识别方法、装置、巡检机器人和存储介质 |
| WO2021082964A1 (zh) * | 2019-10-31 | 2021-05-06 | 灵动科技（北京）有限公司 | 自主移动装置及仓储物流系统 |
| CN113345009A (zh) * | 2021-05-31 | 2021-09-03 | 湖南大学 | 一种基于激光里程计的无人机动态障碍物检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049634A (zh) * | 2014-07-02 | 2014-09-17 | 燕山大学 | 基于Camshift算法的智能体模糊动态避障方法 |
| CN106096573A (zh) * | 2016-06-23 | 2016-11-09 | 乐视控股（北京）有限公司 | 目标跟踪方法、装置、系统及远程监控系统 |
| CN109375210A (zh) * | 2018-12-10 | 2019-02-22 | 西安电子科技大学 | 基于雷达和全景联合的无人装置目标检测系统和方法 |
-
2019
- 2019-03-01 CN CN201910154998.3A patent/CN110045364A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049634A (zh) * | 2014-07-02 | 2014-09-17 | 燕山大学 | 基于Camshift算法的智能体模糊动态避障方法 |
| CN106096573A (zh) * | 2016-06-23 | 2016-11-09 | 乐视控股（北京）有限公司 | 目标跟踪方法、装置、系统及远程监控系统 |
| CN109375210A (zh) * | 2018-12-10 | 2019-02-22 | 西安电子科技大学 | 基于雷达和全景联合的无人装置目标检测系统和方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112346077A (zh) * | 2019-08-08 | 2021-02-09 | 杭州海康威视系统技术有限公司 | 船舶超高检测方法、装置及电子设备和存储介质 |
| WO2021082964A1 (zh) * | 2019-10-31 | 2021-05-06 | 灵动科技（北京）有限公司 | 自主移动装置及仓储物流系统 |
| CN111572790A (zh) * | 2020-05-07 | 2020-08-25 | 重庆交通大学 | 一种无人机可伸缩全面保护控制系统及方法 |
| CN112465808A (zh) * | 2020-12-15 | 2021-03-09 | 深圳供电局有限公司 | 变电站设备状态识别方法、装置、巡检机器人和存储介质 |
| CN112465808B (zh) * | 2020-12-15 | 2023-07-11 | 深圳供电局有限公司 | 变电站设备状态识别方法、装置、巡检机器人和存储介质 |
| CN113345009A (zh) * | 2021-05-31 | 2021-09-03 | 湖南大学 | 一种基于激光里程计的无人机动态障碍物检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110045364A (zh) | 基于渐进式畸变图像特征识别的动态目标跟踪和静态目标检测系统与方法 | |
| Liu et al. | A novel real-time moving target tracking and path planning system for a quadrotor UAV in unknown unstructured outdoor scenes | |
| Dewan et al. | Motion-based detection and tracking in 3d lidar scans | |
| CN102313536B (zh) | 基于机载双目视觉的障碍物感知方法 | |
| CN107748860A (zh) | 无人机的目标跟踪方法、装置、无人机及存储介质 | |
| CN108230254A (zh) | 一种自适应场景切换的高速交通全车道线自动检测方法 | |
| KR101769601B1 (ko) | 자동추적 기능을 갖는 무인항공기 | |
| Máthé et al. | Vision-based control of a quadrotor for an object inspection scenario | |
| CN104992453A (zh) | 基于极限学习机的复杂背景下目标跟踪方法 | |
| CN112101160B (zh) | 一种面向自动驾驶场景的双目语义slam方法 | |
| CN112232139B (zh) | 一种基于Yolo v4与Tof算法相结合的避障方法 | |
| Wen et al. | Hybrid semi-dense 3D semantic-topological mapping from stereo visual-inertial odometry SLAM with loop closure detection | |
| Farag et al. | An advanced vehicle detection and tracking scheme for self-driving cars | |
| Baykara et al. | Real-time detection, tracking and classification of multiple moving objects in UAV videos | |
| Zheng et al. | Detection, localization, and tracking of multiple MAVs with panoramic stereo camera networks | |
| Morita et al. | Panoramic view-based navigation in outdoor environments based on support vector learning | |
| Lu et al. | Research on target detection and tracking system of rescue robot | |
| Pinto et al. | An architecture for visual motion perception of a surveillance-based autonomous robot | |
| KR101656519B1 (ko) | 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기 | |
| Yang et al. | Moving target tracking and measurement with a binocular vision system | |
| Long et al. | RGB-D-Inertial SLAM in Indoor Dynamic Environments with Long-term Large Occlusion | |
| Lippiello et al. | Monocular eye-in-hand robotic ball catching with parabolic motion estimation | |
| Tamas et al. | Pattern recognition and tracking dynamic objects with LIDAR | |
| Yang et al. | Visual servo control of unmanned aerial vehicles: An object tracking-based approach | |
| Kayumbi et al. | Robust homography-based trajectory transformation for multi-camera scene analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190723 |