CN112019808A - 一种基于MPSoC的车载实时视频信息智能识别装置 - Google Patents

Abstract

本发明公开了一种基于MPSoC的车载实时视频信息智能识别装置，包括图像输入模块、视频缓存模块、MPSoC核心处理模块、行车信息获取模块、信息显示模块、移动终端通信模块、云端控制模块及电源部分。本发明采用边缘计算技术，通过实时处理从图像输入模块采集的视频数据，实现实时路况的全自动检测与识别，通过行车信息获取模块，获得识别图像或视频的位置、时间信息和车辆的方向、速度等运动信息，作为行车记录信息。识别出的图像和行车记录信息可显示在识别显示模块并传递到云端或移动终端，以便控制中心实时调整控制车辆运动姿态。该装置可应用于交通道路环境中的驾驶员辅助系统与自动驾驶控制系统。

Description

一种基于MPSoC的车载实时视频信息智能识别装置

技术领域

本发明涉及MPSoC系统设计、高速片外存储设计、图像传感器数据采集、视频图像处理及边缘计算等领域，尤其涉及一种基于MPSoC的车载实时视频信息智能识别装置。

背景技术

随着社会的不断发展汽车数量迅速增长，汽车引发的交通事故也在成倍增多，因此能够减少和避免交通事故的驾驶员辅助系统及自动驾驶系统引起了广泛关注。视频视觉系统作为自动驾驶系统中一个重要组成部分，包括交通信号灯识别、道路交通标志识别、道路障碍识别及行人识别等。如何准确快速地实现检测识别路况信息，并及时作出反应指示，是自动驾驶视频视觉系统有效作用的关键。

同时，在大数据时代，每时每刻都有海量的数据在云端进行不同的计算处理再传输到各个应用场景。传统的行车视频视觉系统是将视频数据上传到云端进行一系列路况信息处理，再由云端发送控制信息给车辆控制技术系统，调整车辆行驶姿态。大量的视频数据传输及对各种路况信息进行的实时分析不仅占用大量网络资源，也给云计算中心带来了沉重负担。此外，传统的云服务延迟较高，对紧急事件的处理能力较差。对于监控视频的实时分析，当涉及隐私性要求时，云计算平台也无法作出任何保证。

发明内容

本发明的目的是在自动驾驶领域的视频视觉系统中提供一种基于MPSoC的车载实时视频信息智能识别装置，将视频图像采集、处理及识别与边缘计算相结合，通过MPSoC芯片MIPI D-PHY接口（1.5Gbps/lane），可实现超高清视频（3840×2160P）高速采集；所选用的MPSoC芯片内部集成了四核APU、双核RPU和双核GPU，实现本地软硬件协同处理工作，提升路况信息的检测识别速度及准确度；本发明在边缘侧发起图像采集操作，在数据源头提供近端目标识别实时分析应用程序服务，大量的非控制类图像视频数据在边缘被处理和存储，而不再依赖云端，大大减轻数据中心的压力，避免耗费上传图像的时间，缩短远端控制响应时间，同时保护数据隐私。

实现本发明目的的具体技术方案是：

一种基于MPSoC的车载实时视频信息智能识别装置，特点是：该装置包括图像输入模块、视频缓存模块、MPSoC核心处理模块、行车信息获取模块、信息显示模块、移动终端通信模块、云端控制模块及电源模块，MPSoC核心处理模块分别与图像输入模块、视频缓存模块、目标检测模块、信息显示模块、移动终端通信模块及云端控制模块相连；电源模块为图像输入模块、视频缓存模块、MPSoC核心处理模块、行车信息获取模块、信息显示模块、移动终端通信模块及云端控制模块供电；

其中：

所述图像输入模块包括图像传感器模组及图像传感器模组连接器，图像传感器模组与图像传感器模组连接器相连，图像传感器模组连接器与MPSoC核心处理模块相连；

所述视频缓存模块包括2GB 32bit DDR4存储器及2GB 64bit DDR4存储器，2GB 32bitDDR4存储器与MPSoC核心处理模块相连，2GB 64bit DDR4存储器与MPSoC核心处理模块相连；

所述MPSoC核心处理模块包括MIPI 显示物理层模块、数据解码模块、视频直接内存存取模块、数据处理模块、目标检测模块、目标识别模块、10G 以太网控制模块和处理系统PS，MIPI 显示物理层模块与图像传感器模组连接器连接，数据解码模块与MIPI 显示物理层模块、视频直接内存存取模块及2GB 32bit DDR4存储器连接，视频直接内存存取模块与2GB64bit DDR4存储器及数据处理模块连接，数据处理模块与目标检测模块连接，目标检测模块与目标识别模块连接，目标识别模块与10G 以太网控制模块、处理系统PS及信息显示模块相连，10G 以太网控制模块与云端控制模块相连，处理系统PS与行车信息获取模块、移动终端通信模块及云端控制模块连接，MIPI 显示物理层模块、视频直接内存存取模块和10G以太网控制模块是MPSoC核心处理模块内部集成的具有特定功能的IP模块，处理系统PS是MPSoC核心处理模块内部集成的软件系统，包括四核应用处理单元APU、双核实时处理单元RPU和双核图像处理单元GPU；

所述行车信息获取模块包括GPS/北斗定位模块接口及惯性传感器模块接口，GPS/北斗定位模块接口和惯性传感器模块接口均与MPSoC核心处理模块的处理系统PS相连；

所述信息显示模块包括LCD显示屏连接器及LCD触摸显示屏，LCD显示屏连接器与MPSoC核心处理模块的目标识别模块相连，LCD触摸显示屏与LCD显示屏连接器相连；

所述移动终端通信模块包括USB 2.0收发器芯片及USB 3.0接口，USB 3.0接口中的高速收发差分信号与MPSoC核心处理模块的处理系统PS相连，USB 3.0接口中的USB 2.0差分信号与USB 2.0收发器芯片相连，USB 2.0收发器芯片与MPSoC核心处理模块的处理系统PS相连；

所述云端控制模块包括千兆以太网收发器芯片、千兆以太网接口及1*QSFP+万兆以太网接口，千兆以太网接口与千兆以太网收发器芯片相连，千兆以太网收发器芯片与MPSoC核心处理模块的处理系统PS相连，1*QSFP+万兆以太网接口与MPSoC核心处理模块的10G 以太网控制模块相连。

所述数据解码模块主要作用是将从MIPI 显示物理层模块输出的协议接口数据中解码出视频行同步、场同步、数据使能及视频数据，数据解码模块通过包头检测状态机实现，状态机跳转过程如下：默认情况下RX=0为空闲状态，接收包头数据后RX=1进入包头检测状态；当数据包类型字段值DT为0x00时，表示接收到帧开始短包，进入帧头状态；在帧头状态下，输出帧同步信号；当数据包类型字段值DT为0x2b时，表示接收到长包，跳转至数据接收状态；在数据接收状态下循环接收LEN个字节（LEN为包头第二、三字段得到的字节长度），并将数据传递至后级，执行长包计数CNT加1操作；当数据包类型字段值DT为0x01时，表示接收到帧结束短包，跳转至帧尾状态，表示一帧图像接收完成。

所述数据处理模块主要作用为将接收到的RAW（Bayer）格式的视频数据转化成RGB格式视频数据，并按照HDMI 2.0视频时序标准输出。转换为RGB格式的过程如下：首先利用移位寄存器实现3个行视频数据行缓冲；然后，以3×3的数据窗口为模板，以模板中心为恢复像素点，按照双线性差值算法的四种情况进行计算，得到该像素点其余两个颜色分量的值；最后，图像边缘位置缺失的像素分量用0填充。

所述目标检测模块接收到符合HDMI 2.0时序标准输出的视频数据，进行目标检测。首先对视频图像进行色域转换；然后根据特定目标特征设置检测阈值，并把目标检测出来；接着对检测出来的图像进行滤波；之后再对目标定位，得到位置坐标。

所述目标识别模块从目标检测模块接收到定位坐标及原始RGB图像数据，进行目标识别。首先将图像数据灰度化处理；然后根据检测阶段生成的定位坐标将图像定位区域剪裁出来；将剪裁后的图像尺寸调整成和模板库一样的大小；接着针对特定目标特征进行特征提取；最后将提取出来的特征信息与模板库中的信息进行对比识别，获得识别分类结果。

与现有技术相比，本发明的有益效果是：

1）本发明的MIPI视频信号接收接口可实现对超高清视频（3840×2160P）的快速采集，最大支持速率为1.5Gbps/lane。高分辨率采集视频可实现对较远目标的准确识别检测，为路况预判留下更多的时间裕量。

2）本发明是集成了软件系统的硬件平台，处理系统PS和可编程逻辑PL结合，实现软硬件协同工作，提升路况信息检测识别速度。

3）本发明使得对采集进来的视频路况信息检测识别能直接在本地设备上完成，不再上传大量视频数据至云端，只将处理后的小数据上传，有利于减少云计算负荷和节省带宽资源，也保证了控制低延迟和数据隐私保护。

附图说明

图1 为本发明结构框图；

图2 为本发明图像输入模块电路框图；

图3 为本发明视频缓存模块电路框图；

图4 为本发明MPSoC核心处理模块电路框图；

图5 为本发明数据解码模块包头检测状态机流程图；

图6 为本发明行车信息获取模块电路框图；

图7 为本发明信息显示模块电路框图；

图8 为本发明移动终端通信模块电路框图；

图9 为本发明云端控制模块电路框图；

图10 为本发明实施例的工作流程图；

图11 为本发明MPSoC核心处理模块内交通标志检测流程图；

图12 为本发明MPSoC核心处理模块内交通标志识别流程图。

具体实施方式

参阅图1，本发明包括图像输入模块1、视频缓存模块2、MPSoC核心处理模块3、行车信息获取模块4、信息显示模块5、移动终端通信模块6、云端控制模块7及电源部分8，MPSoC核心处理模块3分别与图像输入模块1、视频缓存模块2、行车信息获取模块4、信息显示模块5、移动终端通信模块6及云端控制模块7相连；电源部分8为图像输入模块1、视频缓存模块2、MPSoC核心处理模块3、行车信息获取模块4、信息显示模块5、移动终端通信模块6及云端控制模块7供电；其中本发明MPSoC核心处理模块3采用Xilinx公司ZYNQ Ultrascale+MPSoC EV系列的XCZU7EV-2FFVC1156E芯片，器件包括处理系统PS和可编程逻辑PL。

参阅图2，所述图像输入模块1包括图像传感器模组11及图像传感器模组连接器12，图像传感器模组11与图像传感器模组连接器12相连，图像传感器模组连接器12与MPSoC核心处理模块3的MIPI 显示物理层模块31相连；其中本发明图像传感器模组11使用SYH337-AR1335-V1模组，最大支持4208*3120@30Hz的视频输入，使用时需参考模组信号分布，图像传感器模组连接器12使用OK-02F030-04母座连接器。

参阅图3，所述视频缓存模块2包括2GB 32bit DDR4存储器21及2GB 64bit DDR4存储器22，2GB 32bit DDR4存储器21与MPSoC核心处理模块3的数据解码模块32相连，2GB64bit DDR4存储器22与MPSoC核心处理模块3的视频直接内存存取模块33相连；其中本发明2GB 32bit DDR4存储器21由2片MICRON公司的MT40A512M16HA-083E:B芯片实现，2GB 64bitDDR4存储器22由4片MICRON公司的MT40A256M16GE-083E:B芯片实现。

参阅图4，所述MPSoC核心处理模块3包括MIPI 显示物理层模块31、数据解码模块32、视频直接内存存取模块33、数据处理模块34、目标检测模块35、目标识别模块36、10G 以太网控制模块37和处理系统PS38，MIPI 显示物理层模块31与图像传感器模组连接器12连接，数据解码模块32与MIPI 显示物理层模块31、视频直接内存存取模块33及2GB 32bitDDR4存储器21相连，视频直接内存存取模块33与2GB 64bit DDR4存储器22及数据处理模块34连接，数据处理模块34与目标检测模块35连接，目标检测模块35与目标识别模块36连接，目标识别模块36与10G 以太网控制模块37、处理系统PS38及信息显示模块5相连，10G 以太网控制模块37与云端控制模块7相连，处理系统PS38与行车信息获取模块4、移动终端通信模块6及云端控制模块7连接，MIPI 显示物理层模块31、视频直接内存存取模块33和10G 以太网控制模块37是MPSoC核心处理模块3内部集成的具有特定功能的IP模块，处理系统PS38是MPSoC核心处理模块3内部集成的处理系统，包括四核应用处理单元APU、双核实时处理单元RPU和双核图像处理单元GPU。

参阅图6，所述行车信息获取模块4包括GPS/北斗定位模块接口41及惯性传感器模块接口42，GPS/北斗定位模块接口41与MPSoC核心处理模块3的处理系统PS38相连，惯性传感器模块接口42与MPSoC核心处理模块3的处理系统PS38相连；其中GPS/北斗定位模块接口41使用2.54mm间距1*5单排母，所外接模块为正点原子ATK-S1216F8-BD GPS/北斗模块；惯性传感器模块接口42使用2.54mm间距1*6单排母，所外接模块为ATK-MPU6050六轴传感器模块。

参阅图7，所述信息显示模块5包括LCD显示屏连接器51及LCD触摸显示屏52，LCD显示屏连接器51与MPSoC核心处理模块3的目标识别模块36相连相连，LCD触摸显示屏52与LCD显示屏连接器51相连；其中LCD显示屏连接器51使用40pin翻盖FPC座子，LCD触摸显示屏52采用正点原子7寸RGB触摸液晶显示屏，最大分辨率为1024*600。

参阅图8，所述移动终端通信模块6包括USB 2.0收发器芯片61及USB 3.0接口62，USB 3.0接口62中的高速收发差分信号与MPSoC核心处理模块3的处理系统PS38相连，USB3.0接口62中的USB 2.0差分信号与USB 2.0收发器芯片61相连，USB 2.0收发器芯片61与MPSoC核心处理模块3的处理系统PS38相连；其中USB 3.0接口62使用USB 3.0母座；USB 3.0高速差分收发信号直接从处理系统PS38连接到USB 3.0母座；从处理系统PS38连接的USB2.0 ULPI信号通过USB 2.0收发器芯片61转化为USB 2.0差分信号，连接到USB 3.0母座；装置以此实现USB 2.0/3.0兼容。使用时需外接接口为USB 2.0/3.0的4G/5G模块。

参阅图9，所述云端控制模块7包括千兆以太网收发器芯片71、千兆以太网接口72及1*QSFP+万兆以太网接口73，千兆以太网接口72与千兆以太网收发器芯片71相连，千兆以太网收发器芯片71与MPSoC核心处理模块3的处理系统PS38相连，1*QSFP+万兆以太网接口73与MPSoC核心处理模块3的10G 以太网控制模块37相连；其中千兆以太网收发器芯片71使用RTL8211E-VL芯片，千兆以太网接口72使用带网络变压器的千兆RJ45座子HR911130C，1*QSFP+万兆以太网接口73使用NEXTRON的QSFP28（ZQSFP）连接器带屏蔽罩壳；RGMII信号从MPSoC核心处理模块3的处理系统PS38直接连接至RTL8211E-VL芯片，转化为MDI信号连接至千兆RJ45座子HR911130C；QSFP+高速差分信号从MPSoC核心处理模块3的10G 以太网控制模块37直连至NEXTRON的QSFP28（ZQSFP）连接器；千兆以太网接口72可支持10/100/1000Mbps速率信号传输至云端，1*QSFP+万兆以太网接口73可支持10Gbps速率信号传输至云端。

实施例

参阅图1，本实施例用做交通标志实时识别装置，图像输入模块1实现4路MIPI摄像头RAW格式图像数据输入，并将视频图像传输给视频处理模块3进行格式转换、交通标志的检测提取识别，检测出的交通标志图像及含义结果显示在LCD触摸显示屏52上，并通过移动终端通信模块6或云端控制模块7上传至移动终端或云端服务器。

具体工作过程：

参阅图10，工作流程如下:

视频数据采集：车道路况RAW（Bayer）格式的视频数据由图像输入模块1的图像传感器模组11产生，经过图像传感器模组连接器12以差分数据的形式传输到MPSoC核心处理模块3的MIPI D-PHY 接收接口，MPSoC核心处理模块3内置的MIPI 显示物理层模块31将差分数据转化成标准格式的物理协议接口数据。

数据解码：MPSoC核心处理模块3芯片内固化的数据解码模块32从MIPI 显示物理层模块31输出的协议接口数据中解码出视频行同步、场同步、数据使能、视频数据等。

视频数据缓存：解码好的三帧RAW格式视频数据转换成AXI-stream数据格式输入视频直接内存存取模块33，视频直接内存存取模块33通过AXI HP port访问视频缓存模块2中的2GB 64bit DDR4存储器22，进而实现DDR4的数据写入、读出。

视频数据处理：MPSoC核心处理模块3芯片内固化的数据处理模块34首先将接收到的RAW（Bayer）格式的视频数据转化成RGB格式视频数据，采用双线性差值算法实现，数据格式转换完成后按照HDMI 2.0时序标准输出。

交通标志检测：MPSoC核心处理模块3内固化的目标检测模块35接收到符合HDMI2.0时序标准输出的视频数据，进行交通标志检测。参考图11，交通标志检测流程如下：首先，将RGB格式图像转换为HSV色域格式以便于后续处理；其次，设置HSV阈值，将图像中可能代表交通标志的几种特定的颜色（如红、蓝、黄等）检测出来，并将其与图像其它像素分离出来；对分离出来的像素图像进行高斯滤波，滤除噪声使图像平滑；接着统计每行、每列的像素值，得到行列直方图，定位检测得到交通标志的图像区域坐标。

交通标志识别：MPSoC核心处理模块3内固化的目标识别模块36从目标检测模块35接收到定位坐标及原始RGB图像数据，进行交通标志识别。参考图12，交通标志识别流程如下：首先，对图像进行灰度化处理以减少存储空间、提高处理速度；其次，根据检测阶段生成的定位坐标将图像定位区域剪裁出来；然后将剪裁后的图像尺寸调整和模板库一样的大小（如100×100），以便和模板库对比识别；接着对尺寸调整后的图像进行快速角点检测，记录角点位置；最后，将角点位置信息与模板库中的信息进行对比筛选，选取最佳分类结果。

识别结果显示：目标识别模块36的识别结果（交通标志图像数据及对应的分类信息）从PS端以AXI-stream的形式发送到PL端，发送至LCD显示屏连接器51显示在LCD触摸显示屏52上，从行车信息获取模块4的GPS/北斗定位模块接口41及惯性传感器模块接口42获取的GPS定位、时间和车辆移动信息也同时从PS端以AXI-stream的形式发送到PL端显示在LCD触摸显示屏52上。

移动终端通信：目标识别模块36的识别结果和从行车信息获取模块4的GPS/北斗定位模块接口41及惯性传感器模块接口42获取的GPS定位、时间和车辆移动信息，经过处理系统PS38通过与移动终端通信模块6的USB 3.0接口62发送到移动终端如其他车辆或手机等。

上传云端：目标识别模块36的识别结果和从行车信息获取模块4的GPS/北斗定位模块接口41及惯性传感器模块接口42获取的GPS定位、时间和车辆移动信息，经过处理系统PS38通过千兆以太网收发器芯片71 发送到千兆以太网接口72或经过10G 以太网控制模块发送到1*QSFP+万兆以太网接口73上传至云端计算服务器。

Claims (5)

1.一种基于MPSoC的车载实时视频信息智能识别装置，其特征在于，该装置包括图像输入模块（1）、视频缓存模块（2）、MPSoC核心处理模块（3）、行车信息获取模块（4）、信息显示模块（5）、移动终端通信模块（6）、云端控制模块（7）及电源模块（8），MPSoC核心处理模块（3）分别与图像输入模块（1）、视频缓存模块（2）、行车信息获取模块（4）、信息显示模块（5）、移动终端通信模块（6）及云端控制模块（7）相连；电源模块（8）为图像输入模块（1）、视频缓存模块（2）、MPSoC核心处理模块（3）、行车信息获取模块（4）、信息显示模块（5）、移动终端通信模块（6）及云端控制模块（7）供电；

其中：

所述图像输入模块（1）包括图像传感器模组（11）及图像传感器模组连接器（12），图像传感器模组（11）与图像传感器模组连接器（12）相连，图像传感器模组连接器（12）与MPSoC核心处理模块（3）相连；

所述视频缓存模块（2）包括2GB 32bit DDR4存储器（21）及2GB 64bit DDR4存储器（22），2GB 32bit DDR4存储器（21）与MPSoC核心处理模块（3）相连，2GB 64bit DDR4存储器（22）与MPSoC核心处理模块（3）相连；

所述MPSoC核心处理模块（3）包括MIPI 显示物理层模块（31）、数据解码模块（32）、视频直接内存存取模块（33）、数据处理模块（34）、目标检测模块（35）、目标识别模块（36）、10G以太网控制模块（37）和处理系统PS（38），MIPI 显示物理层模块（31）与图像传感器模组连接器（12）连接，数据解码模块（32）与MIPI 显示物理层模块（31）、视频直接内存存取模块（33）及2GB 32bit DDR4存储器（21）连接，视频直接内存存取模块（33）与2GB 64bit DDR4存储器（22）及数据处理模块（34）连接，数据处理模块（34）与目标检测模块（35）连接，目标检测模块（35）与目标识别模块（36）连接，目标识别模块（36）与10G 以太网控制模块（37）、处理系统PS（38）及信息显示模块（5）相连，10G 以太网控制模块（37）与云端控制模块（7）相连，处理系统PS（38）与行车信息获取模块（4）、移动终端通信模块（6）及云端控制模块（7）连接，处理系统PS（38）是MPSoC核心处理模块（3）内部集成的处理系统，包括四核应用处理单元APU、双核实时处理单元RPU和双核图像处理单元GPU；

所述行车信息获取模块（4）包括GPS/北斗定位模块接口（41）及惯性传感器模块接口（42），GPS/北斗定位模块接口（41）和惯性传感器模块接口（42）均与MPSoC核心处理模块（3）的处理系统PS（38）相连；

所述信息显示模块（5）包括LCD显示屏连接器（51）及LCD触摸显示屏（52），LCD显示屏连接器（51）与MPSoC核心处理模块（3）的目标识别模块（36）相连，LCD触摸显示屏（52）与LCD显示屏连接器（51）相连；

所述移动终端通信模块（6）包括USB 2.0收发器芯片（61）及USB 3.0接口（62），USB 3.0接口（62）中的高速收发差分信号与MPSoC核心处理模块（3）的处理系统PS（38）相连，USB3.0接口（62）中的USB 2.0差分信号与USB 2.0收发器芯片（61）相连，USB 2.0收发器芯片（61）与MPSoC核心处理模块（3）的处理系统PS（38）相连；

所述云端控制模块（7）包括千兆以太网收发器芯片（71）、千兆以太网接口（72）及1*QSFP+万兆以太网接口（73），千兆以太网接口（72）与千兆以太网收发器芯片（71）相连，千兆以太网收发器芯片（71）与MPSoC核心处理模块（3）的处理系统PS（38）相连，1*QSFP+万兆以太网接口（73）与MPSoC核心处理模块（3）的10G 以太网控制模块（37）相连。

2.根据权利要求1所述的基于MPSoC的车载实时视频信息智能识别装置，其特征在于，所述数据解码模块（32）把从MIPI 显示物理层模块（31）输出的协议接口数据中解码出视频行同步、场同步、数据使能及视频数据，数据解码模块（32）通过包头检测状态机实现，状态机跳转过程如下：默认情况下RX=0为空闲状态，接收包头数据后RX=1进入包头检测状态；当数据包类型字段值DT为0x00时，表示接收到帧开始短包，进入帧头状态；在帧头状态下，输出帧同步信号；当数据包类型字段值DT为0x2b时，表示接收到长包，跳转至数据接收状态；在数据接收状态下循环接收LEN个字节即LEN为包头第二、三字段得到的字节长度，并将数据传递至后级，执行长包计数CNT加1操作；当数据包类型字段值DT为0x01时，表示接收到帧结束短包，跳转至帧尾状态，此时一帧图像接收完成。

3.根据权利要求1所述的基于MPSoC的车载实时视频信息智能识别装置，其特征在于，所述数据处理模块（34）将接收到的RAW（Bayer）格式的视频数据转化成RGB格式视频数据，并按照HDMI 2.0视频时序标准输出；转换为RGB格式的过程如下：首先利用移位寄存器实现3个行视频数据行缓冲；然后，以3×3的数据窗口为模板，以模板中心为恢复像素点，按照双线性差值算法的四种情况进行计算，得到该像素点其余两个颜色分量的值；最后，图像边缘位置缺失的像素分量用0填充。

4.根据权利要求1所述的基于MPSoC的车载实时视频信息智能识别装置，其特征在于，所述目标检测模块（35）接收到符合HDMI 2.0时序标准输出的视频数据，进行目标检测；首先对视频图像进行色域转换；然后根据指定目标特征设置检测阈值，并把目标检测出来；接着对检测出来的图像进行滤波；之后再对目标定位，得到位置坐标。

5.根据权利要求1所述的基于MPSoC的车载实时视频信息智能识别装置，其特征在于，所述目标识别模块（36）从目标检测模块（35）接收到定位坐标及原始RGB图像数据，进行目标识别；首先将图像数据灰度化处理；然后根据检测阶段生成的定位坐标将图像定位区域剪裁出来；将剪裁后的图像尺寸调整成和模板库一样的大小；接着针对指定目标特征进行特征提取；最后将提取出来的特征信息与模板库中的信息进行对比识别，获得识别分类结果。

Images