CN103903279A - 基于仿生双目视觉机载平台的并行跟踪系统与方法 - Google Patents
基于仿生双目视觉机载平台的并行跟踪系统与方法 Download PDFInfo
- Publication number
- CN103903279A CN103903279A CN201410107129.2A CN201410107129A CN103903279A CN 103903279 A CN103903279 A CN 103903279A CN 201410107129 A CN201410107129 A CN 201410107129A CN 103903279 A CN103903279 A CN 103903279A
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- image
- devkit
- carma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于仿生眼双目视觉并行跟踪系统和方法,该系统包括两个高清摄像机,分别连接到两个机载快速处理模块SECO CARMA DevKit,这两个机载快速处理模块再连到一台计算机上,计算机再连接到一个DSP控制器上,DSP控制仿生云台运动;高清摄像机获得高清图像后,通过USB传入到机载快速处理模块SECO CARMA DevKit,对实时采集的图像进行目标检测和跟踪。本发明的方法首先要通过减背景的方法将运动目标提取出来,然后再用模型动态切换法进行目标跟踪,并提取目标的SIFT描述子,再将SIFT描述子输入电脑进行匹配,并用匹配的结果传回CARMA DevKit优化这两个摄像机目标区域的检测和跟踪。本发明的实施例主要用于运动目标跟踪,特别是基于仿生双眼的目标跟踪。
Description
技术领域
本发明公开了一种基于仿生双目视觉机载平台并的行跟踪系统与方法,属计算机视觉领域,模式识别技术和并行计算领域。
背景技术
目前,单个摄像机的对象跟踪已经发展得很成熟,但单摄像头跟踪技术有很多固有的缺点,如视场较窄、无法获得深度信息等。在视频监控、对象跟踪等领域经常会部署使用多个摄像机,多个摄像机可以扩大监控范围,同时当跟踪目标在一个摄像机区域中被遮挡时利用多摄像机就可以解决这个问题,并且可以获得深度信息来对目标进行三维建模。
每个摄像机对运动目标进行识别和跟踪,还要提取图像的SIFT描述子,运算量巨大,目前,在机载平台上直接运算复杂的图像算法,此时机载平台需要搭载专属的FPGA硬件,并将算法固化在相关的硬件上,并进行相关的优化,降低经济性;或移动机器人机载平台的图像伺服系统中,则将图像信息通过网络传递到上位服务器机器进行处理,然后将处理后的结果传输到机载处理器上,时间性降低。
机载平台上作图像处理的分辨率大多数是640×480,对于高清图像无法进行实时处理。由于计算量大,数据多,在仿生双眼云台上搭载的工业控制计算机无法满足仿生双眼并行目标识别跟踪和SIFT描述子的提取工作。
发明内容
为了克服上述现有技术的不足,本发明提供了一种基于仿生双目视觉机载平台的并行跟踪系统与方法,解决了现有仿生双眼云台的不足。
为了达到上述目的,本发明的构思是:首先分别由两个图像输入系统采集高清的图像;然后将图像传送到SECO CARMA DevKit嵌入式CUDA软硬件平台对实时采集的高清图像进行运动目标跟踪,并提取SIFT描述子,最后将提取出来的SIFT描述子输入到电脑进行匹配,再将匹配的结构返回到SECO CARMA DevKit来优化跟踪。同时电脑还要根据跟踪目标的运动情况来控制仿生双目云台的运动。
本发明的仿生双目视觉机载平台的并行跟踪系统和方法包括:
(1)高清图像输入,两台ARTAM-1400MI-USB3高清摄像机通过USB接口分别传入到相应的处理器上;
(2)快速图像处理系统:通过SECO CARMA DevKit嵌入式CUDA软硬件平台并行计算技术,对实时采集的高清图像进行实时的运动目标检测和跟踪,并提取SIFT描述子,同时将跟踪结果和SIFT描述子输入计算机。
(3)计算机获得实时跟踪画面和SIFT描述子,并对两个SIFT描述子进行匹配,同时将匹配的结果返回到SECO CARMA DevKit来优化跟踪,另外电脑根据跟踪的结果还要控制仿生云台的运动。
根据上述发明构思,本发明采用下述技术方案:
一种基于双目视觉机载平台目标跟踪系统,包括两台高清摄像机,其特征在于:所述高清摄像机固定安装在一台仿生云台上,而其输出分别各连接到一个机载快速处理模块SECO CARMA DevKit;所述两个机载快速处理模块SECO CARMA DevKit的输出连接到一个计算机,计算机的输出连接到仿生云台。所述两台高清摄像机摄入高清图像后,通过USB借口分别将图像传入到机载快速处理模块SECO CARMA DevKit对实时采集的高清图像进行目标跟踪,并提取SIFT描述子;计算机获得跟踪结果和SIFT描述子,将匹配结果传入SECO CARMA DevKit优化跟踪,并根据跟踪结果控制仿生云台运动。
一种基于双目视觉机载平台的并行跟踪方法,采用权利要求1上述的基于双目视觉机载平台的并行跟踪系统进行操作,其特征在于:跟踪步骤如下:
步骤1:由两台高清摄像机摄取图像后分别传入机载快速处理模块SECO CARMA DevKit。
步骤2:分别在两个机载快速处理模块SECO CARMA DevKit中进行运动目标跟踪,在双摄像头联合跟踪前,先要进行单摄像头目标跟踪,具体步骤如下:
在运动目标提取后,单摄像头目标跟踪系统采用了基于模型动态切换的实时跟踪方法,通过有效判断运动目标的遮挡状态,对未遮挡的运动目标采用基于区域的跟踪模型,对于有相互重叠的运动目标采用基于SIFT特征的窄基线图像匹配模型。
步骤3:提取目标的SIFT描述子,具体步骤如下所述:
确定每个特征点领域内的像素的梯度幅值和方向:
建立梯度方向直方图,横轴是梯度方向角,纵轴是梯度方向角对应的的梯度幅值的叠加。将0~360度划分,以10度为间隔,共36份,直方图的峰值代表了该特征点领域内图像梯度的主方向,并以该方向为该特征点的主方向,这样每个特征点的坐标、尺度、方向都确定了。
生成局部特征描述子:生成描述子也是根据以特征点为中心的图像局部信息。1)以特征点梯度方向为基准,调整领域内梯度方向;2)统计每个4X4块的梯度直方图,每个4X4块为一个子区域,但将横坐标以45度划分,这样0~360度划分为8份,这样直方图的横坐标有8个槽;3)统计4X4=16个子区域,这样就产生了一个4X4X8=128维的SIFT特征向量。
步骤4:将跟踪结果和步骤3中产生的SIFT特征描述子传入计算机。计算机对特征描述子进行匹配,匹配的结果返回到机载快速处理模块SECO CARMA DevKit来优化跟踪,计算机同时根据处理跟踪效果实时控制仿生双眼云台的运动。
本发明与现有技术相比较,具有如下显而易见的突触实质性特点和显著技术进步:
本发明由两个图像输入系统采集高清图像,然后将图像传到SECO CARMA DevKit嵌入式CUDA软硬件平台对实时采集的高清图像进行运动目标跟踪,并提取SIFT描述子,输入到计算机进行匹配,返回到SECO CARMA DevKit优化跟踪,同时计算机控制仿生云台运动。与现有技术相比较,本发明运算量较小,数据量较少,处理快速,可获得视场宽的深度信息。
附图说明
图1为本发明的硬件结构图
图2为本发明的软件结构图
图3为检测局部极值点示意图
图4为产生128维SIFT特征向量示意图。
具体实施方式
下面结合附图对本发明中的优选实施例进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例。
实施例一:
参见图1和图2,本机载平台快速行人检测系统,包括高清摄像机(1)(2),其特征在于:所述高清摄像机(1)(2)分别连接到机载快速处理模块SECO CARMA DevKit(3)(4);所述高清摄像机(1)(2)摄入高清图像后,通过USB接口将图像传入到机载快速处理模块SECO CARMA DevKit(3)(4),所述的快速处理模块SECO CARMA DevKit(3)(4)对实时采集的高清图像进行实时运动目标跟踪,并计算SIFT描述子,传入计算机(5);计算机(5)进行SIFT描述子匹配,并根据对象跟踪效果控制仿生双眼云台(6)运动。
实施例二:
参见图2,图3和图4,本系统的目标跟踪和SIFT描述子提取方法如下步骤:
步骤1:由两台高清摄像机(1)(2)摄取图像后分别传入机载快速处理模块SECO CARMA DevKit(3)(4)。
步骤2:分别在两个机载快速处理模块SECO CARMA DevKit(3)(4)中进行运动目标跟踪,在双摄像头联合跟踪前,先要进行单摄像头目标跟踪,具体步骤如下所述:
在运动目标提取后,单摄像头目标跟踪系统采用了基于模型动态切换的实时跟踪方法,通过有效判断运动目标的遮挡状态,对未遮挡的运动目标采用基于区域的跟踪模型,对于有相互重叠的运动目标采用基于SIFT特征的窄基线图像匹配模型。
步骤3:提取目标的SIFT描述子,具体步骤如下所述:
在图像的二维平面空间和DOG尺度空间同时检测局部极值作为特征点:每一个采样点要和它所有相邻点进行比较,中间的检测点和它同尺度的8个相邻点和上下相邻尺度的9X2个点共26个点比较;
建立梯度方向直方图,横轴是梯度方向角,纵轴是梯度方向角对应的的梯度幅值的叠加。将0~360度划分,以10度为间隔,共36份,直方图的峰值代表了该特征点领域内图像梯度的主方向,并以该方向为该特征点的主方向,这样每个特征点的坐标、尺度、方向都确定了。
生成局部特征描述子:生成描述子也是根据以特征点为中心的图像局部信息。1)以特征点梯度方向为基准,调整领域内梯度方向;2)统计每个4X4块的梯度直方图,每个4X4块为一个子区域,但将横坐标以45度划分,这样0~360度划分为8份,这样直方图的横坐标有8个槽;3)统计4X4=16个子区域,这样就产生了一个4X4X8=128维的SIFT特征向量。
步骤4:将跟踪结果和步骤3中产生的SIFT特征描述子传入计算机(5)。计算机对特征描述子进行匹配,匹配的结果返回到机载快速处理模块SECO CARMA DevKit(3)(4)来优化跟踪,计算机同时根据处理跟踪效果实时控制仿生双眼云台(6)的运动。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围不仅局限于此,任何熟悉本领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化和替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应为所述以权利要求的保护范围为准。
Claims (3)
1.一种基于仿生双目视觉机载平台的并行跟踪系统,包括两台高清摄像机(1,2),其特征在于:所述高清摄像机(1,2)固定安装在一个仿生云台(6)上,而其输出分别各连接到一个机载快速处理模块SECO CARMA DevKit(3,4),所述连个机载快速处理模块SECO CARMA DevKit(2, 4)的输出连接到一个计算机(5),计算机(5)的输出连接到仿生云台(6),所述两台高清摄像机(1,2)摄入高清图像后,通过USB借口分别将图像传入到机载快速处理模块SECO CARMA DevKit(3,4)对实时采集的高清图像进行目标跟踪,并提取SIFT描述子;计算机(5)获得跟踪结果和SIFT描述子,将匹配结果传入SECO CARMA DevKit(3,4)优化跟踪,并根据跟踪结果控制仿生云台运动(6)。
2.一种基于仿生双目视觉机载平台的并行跟踪方法,采用根据权利要求1所述的基于仿生双目视觉机载平台的并行跟踪系统进行操作,其特征在于,跟踪步骤如下:
步骤1:由两台高清摄像机(1,2)摄取图像后分别传入机载快速处理模块SECO CARMA DevKit(3,4)。
3.步骤2:分别在两个机载快速处理模块SECO CARMA DevKit(3,4)中进行运动目标跟踪,在双摄像头联合跟踪前,先要进行单摄像头目标跟踪,具体步骤如下:
在运动目标提取后,单摄像头目标跟踪系统采用了基于模型动态切换的实时跟踪方法,通过有效判断运动目标的遮挡状态,对未遮挡的运动目标采用基于区域的跟踪模型,对于有相互重叠的运动目标采用基于SIFT特征的窄基线图像匹配模型;
步骤3:提取目标的SIFT描述子,具体步骤如下所述:
幅值:
建立梯度方向直方图,横轴是梯度方向角,纵轴是梯度方向角对应的的梯度幅值的叠加;将0~360度划分,以10度为间隔,共36份,直方图的峰值代表了该特征点领域内图像梯度的主方向,并以该方向为该特征点的主方向,这样每个特征点的坐标、尺度、方向都确定了;
生成局部特征描述子:生成描述子也是根据以特征点为中心的图像局部信息:1)以特征点梯度方向为基准,调整领域内梯度方向;2)统计每个4X4块的梯度直方图,每个4X4块为一个子区域,但将横坐标以45度划分,这样0~360度划分为8份,这样直方图的横坐标有8个槽;3)统计4X4=16个子区域,这样就产生了一个4X4X8=128维的SIFT特征向量;
步骤4:将跟踪结果和步骤3中产生的SIFT特征描述子传入计算机(5);计算机(5)对特征描述子进行匹配,匹配的结果返回到机载快速处理模块SECO CARMA DevKit(3,4)来优化跟踪,计算机(5)同时根据处理跟踪效果实时控制仿生双眼云台(6)的运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410107129.2A CN103903279B (zh) | 2014-03-21 | 2014-03-21 | 基于仿生双目视觉机载平台的并行跟踪系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410107129.2A CN103903279B (zh) | 2014-03-21 | 2014-03-21 | 基于仿生双目视觉机载平台的并行跟踪系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103903279A true CN103903279A (zh) | 2014-07-02 |
CN103903279B CN103903279B (zh) | 2017-07-25 |
Family
ID=50994586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410107129.2A Active CN103903279B (zh) | 2014-03-21 | 2014-03-21 | 基于仿生双目视觉机载平台的并行跟踪系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103903279B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550670A (zh) * | 2016-01-27 | 2016-05-04 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
CN105787962A (zh) * | 2016-02-25 | 2016-07-20 | 哈尔滨工程大学 | 一种基于uuv水下回收的单目视觉跟踪方法 |
CN107071286A (zh) * | 2017-05-17 | 2017-08-18 | 上海杨思信息科技有限公司 | 转动平台上图像高速并行采集传输方法 |
WO2017167033A1 (zh) * | 2016-03-30 | 2017-10-05 | 上海弼智仿生高科技有限公司 | 一种视觉系统的图像处理方法及系统 |
CN108734091A (zh) * | 2018-03-30 | 2018-11-02 | 暨南大学 | 车厢异常行为检测方法、计算机装置和计算机可读存储介质 |
CN109974853A (zh) * | 2018-12-28 | 2019-07-05 | 北京信息科技大学 | 基于多光谱复合的仿生视觉目标检测与跟踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1932841A (zh) * | 2005-10-28 | 2007-03-21 | 南京航空航天大学 | 基于仿生复眼的运动目标检测装置及其方法 |
CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
CN102813574A (zh) * | 2012-08-03 | 2012-12-12 | 上海交通大学 | 基于眼动跟踪的视觉假体图像采集装置 |
CN103077538A (zh) * | 2013-01-15 | 2013-05-01 | 西安电子科技大学 | 仿生模式识别目标自适应跟踪方法 |
CN103473532A (zh) * | 2013-09-06 | 2013-12-25 | 上海大学 | 机载平台快速行人检测系统和方法 |
-
2014
- 2014-03-21 CN CN201410107129.2A patent/CN103903279B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1932841A (zh) * | 2005-10-28 | 2007-03-21 | 南京航空航天大学 | 基于仿生复眼的运动目标检测装置及其方法 |
CN102355574A (zh) * | 2011-10-17 | 2012-02-15 | 上海大学 | 机载云台运动目标自主跟踪系统的图像稳定方法 |
CN102813574A (zh) * | 2012-08-03 | 2012-12-12 | 上海交通大学 | 基于眼动跟踪的视觉假体图像采集装置 |
CN103077538A (zh) * | 2013-01-15 | 2013-05-01 | 西安电子科技大学 | 仿生模式识别目标自适应跟踪方法 |
CN103473532A (zh) * | 2013-09-06 | 2013-12-25 | 上海大学 | 机载平台快速行人检测系统和方法 |
Non-Patent Citations (3)
Title |
---|
HUIYU ZHOU 等: "Object tracking using SIFT features and mean shift", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 * |
刘治湘 等: "基于仿生双目机械云台的图像跟踪技术研究", 《机械工程师》 * |
潘智昊 等: "仿生双目异向运动控制系统", 《制造业自动化》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550670A (zh) * | 2016-01-27 | 2016-05-04 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
CN105550670B (zh) * | 2016-01-27 | 2019-07-12 | 兰州理工大学 | 一种目标物体动态跟踪与测量定位方法 |
CN105787962A (zh) * | 2016-02-25 | 2016-07-20 | 哈尔滨工程大学 | 一种基于uuv水下回收的单目视觉跟踪方法 |
CN105787962B (zh) * | 2016-02-25 | 2018-10-30 | 哈尔滨工程大学 | 一种基于uuv水下回收的单目视觉跟踪方法 |
WO2017167033A1 (zh) * | 2016-03-30 | 2017-10-05 | 上海弼智仿生高科技有限公司 | 一种视觉系统的图像处理方法及系统 |
US10567657B2 (en) | 2016-03-30 | 2020-02-18 | Shanghai Bizhi Bionic Technology Co., Ltd | Image processing method and system for vision system |
CN107071286A (zh) * | 2017-05-17 | 2017-08-18 | 上海杨思信息科技有限公司 | 转动平台上图像高速并行采集传输方法 |
CN108734091A (zh) * | 2018-03-30 | 2018-11-02 | 暨南大学 | 车厢异常行为检测方法、计算机装置和计算机可读存储介质 |
CN109974853A (zh) * | 2018-12-28 | 2019-07-05 | 北京信息科技大学 | 基于多光谱复合的仿生视觉目标检测与跟踪方法 |
CN109974853B (zh) * | 2018-12-28 | 2020-12-04 | 北京信息科技大学 | 基于多光谱复合的仿生视觉目标检测与跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103903279B (zh) | 2017-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103903279A (zh) | 基于仿生双目视觉机载平台的并行跟踪系统与方法 | |
CN100487724C (zh) | 一种快速目标识别与定位系统及方法 | |
CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
Zhong et al. | Stairway detection using Gabor filter and FFPG | |
Mi et al. | A system for an anticipative front human following robot | |
CN102521580A (zh) | 实时目标匹配跟踪方法及系统 | |
Wei et al. | Overview of visual slam for mobile robots | |
Wang et al. | A novel traffic stream detection method based on inverse perspective mapping | |
Lai et al. | A survey of deep learning application in dynamic visual SLAM | |
KR101668649B1 (ko) | 주변 환경 모델링 방법 및 이를 수행하는 장치 | |
Lin et al. | One-shot learning gesture recognition based on improved 3D SMoSIFT feature descriptor from RGB-D videos | |
Jia et al. | Autonomous robot human detecting and tracking based on stereo vision | |
Qu et al. | Statistical classification based fast drivable region detection for indoor mobile robot | |
Cai et al. | Unfeatured weld positioning technology based on neural network and machine vision | |
Kuang et al. | Monocular SLAM Algorithm Based on Improved Depth Map Estimation and Keyframe Selection | |
Vidal et al. | Automatic video to point cloud registration in a structure-from-motion framework | |
Punna et al. | Recovering 3D from 2D image points (calibrated camera approach for surveillance) | |
Li et al. | Robust monocular visual odometry using optical flows for mobile robots | |
Zhang et al. | A real-time obstacle detection algorithm for the visually impaired using binocular camera | |
Jia et al. | Autonomous navigation of a miniature mobile robot using real-time trinocular stereo machine | |
Wei et al. | Two-stream binocular network: Accurate near field finger detection based on binocular images | |
Jun-Chai et al. | Moving target detection based on global motion estimation in dynamic environment | |
Ye et al. | Moving object detection and tracking algorithm based on Background subtraction | |
Tong et al. | Artificial Potential Field Based Cooperative Particle Filter for Multi-View Multi-Object Tracking | |
Chen | Fast Computing Scheme for AGV Obstacle Distance Measure and Road Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221130 Address after: 200444 Room 190, Building A, 5/F, Building 1, No. 1000 Zhenchen Road, Baoshan District, Shanghai Patentee after: Jinghai Intelligent Equipment Co.,Ltd. Address before: 200444 No. 99, upper road, Shanghai, Baoshan District Patentee before: Shanghai University |