CN102724485B - 采用双核处理器对输入视频进行结构化描述的装置和方法 - Google Patents

Abstract

本发明公开了一种采用双核处理器对输入视频进行结构化描述的装置及方法，其核心为双核控制芯片，这种系统可通过单芯片的双核DSP处理器对视频进行处理分析，把图像分成若干个片断和子区域，并对视频图像片断和子区域进行特征提取和高级语义分析处理，最后对视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码，并通过有线和无线两种方式进行网络传输。这些编码数据既是视频图像特征和内容的结构化描述，方便用户进行查询、检索和浏览，使监控视频数据得到有效应用和管理。

Description

采用双核处理器对输入视频进行结构化描述的装置和方法

技术领域

本发明涉及一种实现视频结构化描述的装置和方法，特别涉及一种采用双核处理器对输入视频进行结构化描述的装置和方法。

背景技术

随着视频监控资料在公共安防领域中的重要性越来越突出，目前的视频监控主要以人工监控和人工查阅录像资料来查找证据和线索为主。随着监控网络规模的不断扩大、视频资料的急剧增长，人工监控和查阅越来越难以满足日益增长的城市安全监控需求。另外，现有的原始视频图像数据属于一种难以进行检索、查询的非结构化数据，若需要通过视频录像来查找某个线索或者细节，必须采用人工调阅该录像视频片断方法，对该视频录像进行完整的分析。比如：从一段监控录像中查找“一辆红色的轿车”，必须人工从头至尾观看该录像片断，才能找出所有相关的画面或场景。如果给出更多、更长的监控视频录像，人工就很难完成分析和查找工作，因此如何对这些数据进行信息化管理和深度应用是视频智能处理分析技术领域的一个前沿课题。

申请号为201010199898.1的专利申请文件公开了一种用DSP和FPGA实现视频结构化描述的装置及方法，用DSP和FPGA实现对输入视频进行结构化描述将视频结构化描述的智能图象处理技术和基于DSP和FPGA的嵌入式系统进行了有机的结合，对视频图像进行分析、理解，并产生结构化描述数据，对视频监控和视频数据进行管理，实现对视频图像数据的查询、浏览、检索等信息化的应用。但是该技术方案中的DSP和FPGA是两个相互独立的控制元件，在使用过程中需要额外的外围接口和控制程序来协调两者之间的通讯控制。

发明内容

本发明的目的在于提供一种采用双核处理器对输入视频进行结构化描述的装置，将图象处理技术和基于双核控制芯片的嵌入式系统进行了有机的结合，ARM核主要用来控制外围模块及设备通信，DSP核主要负责视频结构化描述的相关算法、对视频图像进行分析、理解，并产生结构化描述数据，克服了传统技术中的不足，从而实现本发明的目的。

本发明所解决的技术问题可以采用以下技术方案来实现：

采用双核处理器对输入视频进行结构化描述的装置，其核心为双核控制芯片，所述双核控制芯片通过接口连接有图像采集模块、视频结构化描述程序存储器、高速动态数据存储器、断电保存程序存储器、网络传输模块、串行数据模块和电源，双核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均与高速动态数据存储器连接；

所述ARM核控制图像采集模块中的图像A/D采样模块对输入的原始视频图像进行A/D采样和转换，得到图像数字信号后传输给高速动态数据存储器，并向DSP核发送控制信号；

DSP核收到控制信号后，DSP核获取高速动态数据存储器中的图像数字信号，并对其进行镜头分割、关键帧提取、运动目标区域检测和静态目标区域分割，得到若干视频图像片段、关键帧和子区域；然后对视频图像片段、关键帧和子区域进行特征提取和高级语义分析处理，获取图像特征和高级语义数据，最后对原始视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码，编码完毕后发送反馈信号给ARM核；

所述ARM核接收到反馈信号后，控制网络传输模块对视频图像的编码和视频图像结构化描述数据的编码进行网络传输。

在本发明的一个实施例中，所述图像采集模块包括图像A/D采样模块和图像采集设备，图像A/D采样模块获取图像采集设备提供的标准PAL、NTSC或SECAM制式的视频数据。

在本发明的一个实施例中，所述双核控制芯片除了使用其内部的RAM外，还在外部连接有高速动态数据存储器，所述高速动态数据存储器设置有公共数据交换区。

在本发明的一个实施例中，所述镜头分割是指把一段视频序列根据镜头边界分割成若干个镜头，每个镜头是一段时间序列的帧，连续记录一个单独的摄像机的动作，描述一个连续的动作而没有主要的内容变化，镜头分割主要通过镜头边界检测来实现。

在本发明的一个实施例中，所述关键帧提取就是在某个镜头或者某个视频片断中提取的一些具有代表性的视频帧，用来表现该镜头或视频片断的内容；关键帧提取的方法包括随机抽取、根据图像质量抽取、根据感兴趣区域的位置和大小抽取或事件触发抽取。

在本发明的一个实施例中，所述运动目标区域检测是指在视频序列中，检测场景中运动的目标，把画面中运动目标的区域和背景区域分开，并对运动目标区域进行标记或遮罩处理，检测的方法为背景差分方法，即根据当前图像和背景图像的差异来检测运动目标区域。

在本发明的一个实施例中，所述静态目标区域分割处理是指根据色彩、纹理、轮廓、边缘或者事物的完整性，对整个图像进行分割和划分，获得若干个子区域。

在本发明的一个实施例中，所述特征提取是指提取视频片断、图像子区域的视觉特征，主要包括：颜色、纹理、运动、形状、定位、轮廓、线条、人像特征。

在本发明的一个实施例中，所述高级语义分析处理为对视频图像片断、关键帧和子区域及图像特征进行分割、聚类、匹配、解义、分类、判别等运算和操作，产生图像描述高级语义数据，其中视频图像的编码和压缩方法包括MPEG-2、MPEG-4、H.264、SVAC、AVS压缩编码方式，视频结构化描述数据编码为可扩展标记语言或二进制的压缩编码。

本发明的有益效果在于：用双核控制芯片实现对输入视频进行结构化描述的装置和方法将视频结构化描述的智能图象处理技术和基于双核DSP的嵌入式系统进行了有机的结合，ARM核主要用来控制外围模块及设备通信，DSP核主要负责视频结构化描述的相关算法、对视频图像进行分析、理解，并产生结构化描述数据。该装置可以有效地对视频监控和视频数据进行管理，实现对视频图像数据的查询、浏览、检索等信息化的应用。本发明提供的视频图像结构化描述的装置工作性能稳定可靠，适用范围较为广泛，能够大幅度提高现有视频监控系统的智能化程度，降低人工监控的成本，实现视频监控的信息化管理。

附图说明

图1为本发明所述的视频结构化描述装置的硬件系统结构图。

图2为本发明所述的视频结构化描述装置的主程序流程图。

图3为本发明所述的视频结构化描述装置的处理流程图。

图4为本发明所述的图像A/D采样模块的示意图。

图5为本发明所述的高速动态数据存储器的示意图。

图6为本发明所述的网络传输模块的示意图。

图7为本发明的所述的视频图像结构化描述的方法及设备系统应用示意图。

图8为本发明实施例应用本方法和设备对视频关键帧结构化描述的示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1所示，本发明所述的采用双核处理器对输入视频进行结构化描述的装置，其核心为双核控制芯片100，双核控制芯片通过接口连接有图像采集模块160、视频结构化描述程序存储器120、高速动态数据存储器110、断电保存程序存储器、网络传输模块150、串行数据模块130和电源140，双核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均与高速动态数据存储器连接；

如图2和图3所示，所述ARM核控制图像采集模块中的图像A/D采样模块对输入的原始视频图像进行A/D采样和转换，得到图像数字信号后传输给高速动态数据存储器，并向DSP核发送控制信号；

DSP核收到控制信号后，DSP核获取高速动态数据存储器中的图像数字信号，并对其进行镜头分割、关键帧提取、运动目标区域检测和静态目标区域分割，得到若干视频图像片段、关键帧和子区域；然后对视频图像片段、关键帧和子区域进行特征提取和高级语义分析处理，获取图像特征和高级语义数据，最后对原始视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码，编码完毕后发送反馈信号给ARM核；

所述ARM核接收到反馈信号后，控制网络传输模块对视频图像的编码和视频图像结构化描述数据的编码进行网络传输。

其中：所述的镜头分割是指把一段视频序列根据镜头边界分割成若干个镜头，每个镜头是一段时间序列的帧，连续记录一个单独的摄像机的动作，一般描述一个连续的动作而没有主要的内容变化，镜头分割主要通过镜头边界检测来实现。

所述的关键帧提取就是在某个镜头或者某个视频片断中提取的一些具有代表性的视频帧，用来表现该镜头或视频片断的内容。关键帧提取的方法包括：①随机抽取；②根据图像质量抽取；③根据感兴趣区域的位置和大小抽取；④事件触发抽取。

所述的运动目标区域检测是指在视频序列中，检测场景中运动的目标，把画面中运动目标的区域和背景区域分开，并对运动目标区域进行标记或遮罩处理。检测的方法为背景差分方法，即根据当前图像和背景图像的差异来检测运动目标区域。

所述的静态目标区域分割处理是指根据色彩、纹理、轮廓、边缘或者事物的完整性，对整个图像进行分割和划分，获得若干个子区域。

所述的对视频图像片断和子区域进行特征提取是指提取视频片断、图像子区域的视觉特征，主要包括：颜色、纹理、运动、形状、定位、轮廓、线条、人像等特征。

所述的高级语义分析处理包括：对视频图像片断、关键帧和子区域及图像特征进行分割、聚类、匹配、解义、分类、判别等运算和操作，产生图像描述高级语义数据。

所述的对视频图像、图像特征和高级语义数据进行编码包括对视频图像的编码和压缩、对图像特征和高级语义数据的编码和压缩，获得视频图像的编码和视频图像结构化描述数据的编码。其中视频图像的编码和压缩方法包括MPEG-2、MPEG-4、H.264、SVAC、AVS等压缩编码方式，视频结构化描述数据编码可以是可扩展标记语言（XML）或者二进制的XML压缩编码。

如图4所示，图像A/D采样模块采TVP5146芯片，TVP5146属高质量视频解码芯片，能把所有常见的基带模拟视频格式转换成数字视频格式。它支持RGB和YPbPr信号的A／D转换，支持NTSC，PAL和SECAM复合视频的解码和A／D转换，支持将S端子信号转换为YCbCr信号。TVP5146的A／D转换采样速率在采样宽度为10bit时可以达到30MSPS。该芯片拥有10个视频输入引脚，所以支持多种图像格式的单独或组合输入。视频数据通过TVP5146视频编解码芯片转换成10bitYUV4：2：2格式，然后送至视频前端处理。视频前端处理包括预览引擎、直方图模块、图像缩放模块和自动聚焦／曝光，白平衡等模块处理。处理完的数据送到视频后端处理或者送到DSP做进一步处理，也可以存入硬盘。视频后端主要包括OSD模块和视频编码模块。视频数据经过视频编码模块处理后可以有模拟／数据等多种显示格式。

如图5所示，在处理过程中需开辟多帧图像的存储空间作为缓存，因此选用2片MT47H64M16BT芯片组成256M高速存储器。SDRAM存储器是整个DM6446系统的缓冲中心。系统代码运行、图像数据搬移等都要使用DDR2。本系统采用两片数据宽度为16位的DDR2存储器组成宽度为32位的数据总线。MT47H32M16BT数据宽度为16位，所以对于高字节和底字节分别由UDQS，UDQS#和LDQS，LDQS#控制。MT47H32M16的时钟信号CK和CK#也为一对差分信号。系统将CK信号上升沿与CK#信号的下降沿的交叉点作为系统时钟的正沿(上升沿)。在系统时钟的正沿锁存命令(包括数据和信号)。MT47H32M16的输入数据和DQS信号的两个边沿有关，而输出数据和DQS及CK时钟的两个边沿有关。

如图6所示，有线网络传输模块采用DM6446集成的以太网控制器，包括以太网介质访问控制器（EMAC）和物理层管理数据输入输出（MDIO）。EMAC控制双核DSP和物理层芯片（PHY）之间的数据流，而MDIO控制PHY的配置并且监视其状态。PHY采用Intel公司的LXT971A，支持100BASE-TX和100BASE-T两种模式，并提供MII接口。

图7给出了本发明的视频图像分析描述的方法及设备系统的一个典型的应用系统。该应用系统包括监控摄像机、视频分析描述设备、数据存储和应用管理服务器、用户组成。监控摄像机采集现场的视频图像，传送到视频分析描述设备。视频分析描述设备接收视频图像，并对其进行分析和描述处理，产生视频图像的编码和视频图像描述数据的编码，传送到数据存储和应用管理服务器。数据存储和应用管理服务器接收并存储视频编码和视频图像描述数据的编码，并对其进行管理，提供浏览、检索、查询等信息化应用服务。用户可以通过终端设备与数据存储和应用管理服务器进行交互，进行查询、浏览、检索等操作。

图8为一个典型视频监控场景中采用本发明的视频结构化描述方法及设备对关键帧的分析和结构化描述过程。这是一个道路监控的场景，其监控视频图像采用本发明的视频图像结构化描述的方法和设备进行处理。通过对视频图像进行镜头分割、关键帧提取、运动目标区域检测、静态目标区域分割处理，把图像分成若干个片断、关键帧和子区域。如图4所示，本例中关键帧处理后，得到4个子区域：子区域1为一个奔跑的人，子区域2为一辆红色的轿车，子区域3为一辆蓝色的卡车，子区域1为一棵树。通过对视频图像、关键帧和子区域进行特征提取和高级语义分析处理，能够获得视频图像、关键帧和子区域的视觉特征（如：主色调特征、轮廓特征、位置特征等）和高级语义描述数据（如：“一个在路边奔跑的人”、“一辆红色的轿车”、“卡车”、“蓝色”、“一棵树”、“反向行驶”等）。最后对视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像描述数据的编码。由于采用本发明的视频图像分析描述的方法和设备，通过对非结构化的视频图像数据进行分析和描述产生结构化的视频描述数据编码，从而实现对视频图像数据的结构化、信息化的管理。例如：用户可以通过检索关键词“轿车”、“红色”，就可以快速检索到相应的视频录像片断，并且快速定位到包含有红色轿车出现的视频帧。与传统的人工调阅录像相比，大大提高了查询、检索的效率。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.采用双核处理器对输入视频进行结构化描述的装置，其核心为双核控制芯片，所述双核控制芯片通过接口连接有图像采集模块、视频结构化描述程序存储器、高速动态数据存储器、断电保存程序存储器、网络传输模块、串行数据模块和电源，其特征在于，双核控制芯片包括ARM核和DSP核，所述ARM核和DSP核均与高速动态数据存储器连接；

所述ARM核控制图像采集模块中的图像A/D采样模块对输入的原始视频图像进行A/D采样和转换，得到图像数字信号后传输给高速动态数据存储器，并向DSP核发送控制信号；所述图像A/D采样模块采用TVP5146芯片，视频数据通过TVP5146视频编解码芯片转换成10bitYUV4：2：2格式，然后送至视频前端处理；视频前端处理包括预览引擎、直方图模块、图像缩放模块和自动聚焦／曝光，白平衡模块处理；处理完的数据送到视频后端处理或者送到DSP做进一步处理或存入硬盘；视频后端主要包括OSD模块和视频编码模块，视频数据经过视频编码模块处理后可以有模拟／数据多种显示格式；

DSP核收到控制信号后，DSP核获取高速动态数据存储器中的图像数字信号，并对其进行镜头分割、关键帧提取、运动目标区域检测和静态目标区域分割，得到若干视频图像片段、关键帧和子区域；然后对视频图像片段、关键帧和子区域进行特征提取和高级语义分析处理，获取图像特征和高级语义数据，最后对原始视频图像、图像特征和高级语义数据进行编码，得到视频图像的编码和视频图像结构化描述数据的编码，编码完毕后发送反馈信号给ARM核；

所述ARM核接收到反馈信号后，控制网络传输模块对视频图像的编码和视频图像结构化描述数据的编码进行网络传输；

所述高速动态数据存储器由2片MT47H64M16BT芯片组成，该MT47H32M16的时钟信号采用一对差分信号CK和CK#，同时将CK信号上升沿与CK#信号的下降沿的交叉点作为系统时钟的正沿，在系统时钟的正沿进行锁存命令，使得MT47H32M16的输入数据和DQS信号的两个边沿有关，而输出数据和DQS及CK时钟的两个边沿有关。

2.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述图像采集模块包括图像A/D采样模块和图像采集设备，图像A/D采样模块获取图像采集设备提供的标准PAL、NTSC或SECAM制式的视频数据。

3.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述双核控制芯片除了使用其内部的RAM外，还在外部连接有高速动态数据存储器，所述高速动态数据存储器设置有公共数据交换区。

4.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述镜头分割是指把一段视频序列根据镜头边界分割成若干个镜头，每个镜头是一段时间序列的帧，连续记录一个单独的摄像机的动作，描述一个连续的动作而没有主要的内容变化，镜头分割主要通过镜头边界检测来实现。

5.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述关键帧提取就是在某个镜头或者某个视频片断中提取的一些具有代表性的视频帧，用来表现该镜头或视频片断的内容；关键帧提取的方法包括随机抽取、根据图像质量抽取、根据感兴趣区域的位置和大小抽取或事件触发抽取。

6.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述运动目标区域检测是指在视频序列中，检测场景中运动的目标，把画面中运动目标的区域和背景区域分开，并对运动目标区域进行标记或遮罩处理，检测的方法为背景差分方法，即根据当前图像和背景图像的差异来检测运动目标区域。

7.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述静态目标区域分割处理是指根据色彩、纹理、轮廓、边缘或者事物的完整性，对整个图像进行分割和划分，获得若干个子区域。

8.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述特征提取是指提取视频片断、图像子区域的视觉特征，主要包括：颜色、纹理、运动、形状、定位、轮廓、线条、人像特征。

9.根据权利要求1所述的采用双核处理器对输入视频进行结构化描述的装置，其特征在于，所述高级语义分析处理为对视频图像片断、关键帧和子区域及图像特征进行分割、聚类、匹配、解义、分类、判别运算和操作，产生图像描述高级语义数据，其中视频图像的编码和压缩方法包括MPEG-2、MPEG-4、H.264、SVAC、AVS压缩编码方式，视频结构化描述数据编码为可扩展标记语言或二进制的压缩编码。