CN105046637A

CN105046637A - 基于 OmapL138芯片的光流跟踪实现方法

Info

Publication number: CN105046637A
Application number: CN201510462205.6A
Authority: CN
Inventors: 曹泉; 郭强; 艾通
Original assignee: SHENZHEN HAGONGDA TRAFFIC ELECTRONIC TECHNOLOGY Co Ltd
Current assignee: SHENZHEN HAGONGDA TRAFFIC ELECTRONIC TECHNOLOGY Co Ltd
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2015-11-11
Anticipated expiration: 2035-07-31
Also published as: CN105046637B

Abstract

发明公开了一种基于？OmapL138芯片的光流跟踪实现方法，包括以下步骤：（1）读取待处理的图像YUV420数据，将其保存到DDR2中；（2）提取图像数据，并线性排布到DSP内核的L2内存中；（3）进行Fast角点检测运算，并将结果传回到L2内存中；（4）将Fast角点检测运算的结果进行非极大值抑制，筛选出最终的角点；（5）进行高斯滤波，将计算的结果放入L2中；然后进行降采样，并传送给DSP内核；（6）重复执行步骤（5），直到所有的图像数据通过ARM降采样后均达到了预定的图像最小值；（7）进行光流的差分方程的最小二乘矩阵计算，最终在DSP内核得到角点的运动矢量结果。本发明减少了运算之外的处理时间，全面提高了光流跟踪算法的实现速度，具有很高的实用价值。

Description

基于 OmapL138芯片的光流跟踪实现方法

技术领域

本发明涉及一种光流跟踪算法，具体地说，是涉及一种基于OmapL138芯片的光流跟踪实现方法。

背景技术

光流跟踪算法是为了利用图像序列中像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。

当物体运动时,在图像上对应物体的亮度模式也在运动。当人的眼睛观察运动物体时,物体的景象在人眼的视网膜上形成一系列连续变化的图像,这一系列连续变化的信息不断“流过”视网膜(即图像平面),好像一种光的“流”,故称之为光流。

更准确的说,光流是指空间运动物体在观测成像面上的像素运动的瞬时速度,是动态的外界在视网膜上的连续流动,是一个二维的速度场。当成像物体运动时,图像中的亮度图案也随之移动。光流是可看得到的亮度图案的运动,也可以说是表现运动希望光流能对应于运动场。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。

将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。光流场是指图像灰度模式的表观运动,它是一个二维矢量场，包含的信息即是各像素点的瞬时运动速度矢量信息。研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。光流表达了图像的变化,由于它包含了目标运动的信息,因此可被观察者用来确定目标的运动情况。

光流法实际是通过检测图像像素点的强度随时间的变化进而推断出物体移动速度及方向的方法。但是，现有的光流跟踪算法由于需要处理的数据量很大，处理速度很慢，无法满足当今社会的实际需求，急需对其进行改进。

发明内容

本发明的目的在于提供一种基于OmapL138芯片的光流跟踪实现方法，解决现有技术中光流跟踪算法实现速度慢、无法满足实际需求的问题。

为了实现上述目的，本发明采用的技术方案如下：

基于OmapL138芯片的光流跟踪实现方法，包括以下步骤：

（1）由OmapL138芯片的ARM内核读取待处理的图像YUV420数据，并将其保存到DDR2中；

（2）ARM内核从DDR2中提取图像数据，线性排布到DSP内核的L2内存中；

（3）DSP内核从L2内存中提取图像数据，进行Fast角点检测运算，并将结果传回到L2内存中；

（4）DSP内核将Fast角点检测运算的结果进行非极大值抑制，筛选出最终的角点；

（5）DSP内核将ARM内核传入的原始图像数据进行高斯滤波，将计算的结果放入L2中；ARM内核从L2内存中取出高斯滤波后的数据，并进行降采样，并传送给DSP内核；

（6）重复执行步骤（5），直到ARM降采样的结果达到了预定的图像最小值之后，ARM内核组织下一帧的原始图像数据传输给DSP，反复执行步骤（5），直到所有的图像数据通过ARM降采样后均达到了预定的图像最小值；

（7）DSP内核将当前帧图像数据与上一帧图像数据进行光流的差分方程的最小二乘矩阵计算，最终在DSP内核得到角点的运动矢量结果。

进一步地，所述步骤（2）中，ARM内核对从DDR2中提取出来的图像数据进行等量分组，并将所有分组数据排列成一条直线，存储于L2内存中。

再进一步地，所述步骤（3）中，DSP内核按照分组数据的先后顺序，从L2内存中依次提取图像数据，进行Fast角点检测运算。

在本发明中，OMAPL138芯片是TI公司推出的C6748浮点DSP内核和ARM9内核的双核高速处理器，该器件集图像、语音、网络、存储于一体，性价比高；频率最高达456MHz的C6748内核提供浮点工作能力以及更高性能的定点工作能力；ARM9内核具有高度的灵活性，开发人员可以在其上使用Linux等操作系统，方便地为其应用添加人机接口、网络功能、触摸屏等。由此可见，OMAP-L138芯片的内存和外设资源是十分丰富的，完全可以满足光流跟踪系统的设计要求，而且也方便将来进行系统的扩展和升级。

与现有技术相比，本发明具有以下有益效果：

本发明充分考虑了光流跟踪算法的实现过程和OMAPL138芯片的双内核特性，通过对OMAPL138芯片双内核的分工合作，分别利用其两个内核的特性来实现光流跟踪算法中的相应步骤，将供需进行了完美的搭配，从而使光流跟踪算法的实现速度得到了大幅度提升。本发明不仅仅是常规的OMAPL138芯片应用，与OMAPL138芯片的常规应用方式不同，其将OMAPL138芯片的特性发挥到了最大程度，节省了硬件资源，同时也提高了算法的实现速度，具有很高的创造性。

具体实施方式

下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

本发明公开的基于OmapL138芯片的光流跟踪实现方法，主要是针对现有的光流跟踪算法实现速度慢、无法满足实际需求的问题而改进的，其原理在于利用OmapL138芯片的双内核特性，将光流跟踪算法的整个过程分成几个部分，根据ARM内核和DSP内核的不同特性，进行分配不同的计算工作，使每一部分的工作得到最大程度的高效处理，最终达到提高光流跟踪算法实现速度的目的。

OmapL138芯片集成了ARM和DSP两个独立核心，ARM擅长实现逻辑运算，DSP适合乘加运算。充分发挥两个核心的各自特性，是实时光流跟踪算法高速实现的关键。

ARM作为控制器，提取出图像YUV420数据中的Y亮度分量，从DDR2中提取、组织Fast角点检测所需要的图像数据，分批把组织好的数据送到DSP的L2中。DSP内核从L2内存中分段提取数据，利用其中的8个计算核心，高速计算Fast角点检测的结果；然后将Fast角点检测的结果使用非极大值抑制最终确定图像中的角点并同时减少计算量。DSP内核对图像数据进行高斯滤波，将滤波后的计算结果交给ARM内核，ARM内核再进行降采样，并将降采样的结果传送给DSP内核，DSP内核再进行高斯滤波，如此反复，直到ARM内核降采样到图片的预设最小尺寸，即得到整个高斯金字塔。最后，将当前帧的数据与前一帧的图像数据中角点的位置进行光流跟踪算法，最终得到光流运动矢量的最终结果。

以上述思路为基础，本发明设计的具体步骤如下：

本发明主要是对光流跟踪算法过程中的逻辑运算工作和乘加运算工作进行划分，然后将相应的工作分配到相应的内核进行处理，同时通过设计尽量减少数据的反复传输与存取，以减少运算之外的处理时间，如此达到全面提高光流跟踪算法实现速度的目的。

本发明并没有对现有的光流跟踪算法进行改变，而是对其具体的执行方式和执行部件进行选择，利用高性能芯片来处理大数据量的处理，并最大程度发挥芯片的性能，实现提速，具有很高的实用价值。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims

1.基于OmapL138芯片的光流跟踪实现方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于OmapL138芯片的光流跟踪实现方法，其特征在于，所述步骤（2）中，ARM内核对从DDR2中提取出来的图像数据进行等量分组，并将所有分组数据排列成一条直线，存储于L2内存中。

3.根据权利要求2所述的基于OmapL138芯片的光流跟踪实现方法，其特征在于，所述步骤（3）中，DSP内核按照分组数据的先后顺序，从L2内存中依次提取图像数据，进行Fast角点检测运算。