CN103294829B - 基于Android操作系统实现轻量化视频结构化描述的系统及方法 - Google Patents

Abstract

本发明涉及一种基于Android操作系统实现轻量化视频结构化描述功能的系统，其中包括轻量化视频智能分析功能模块、语义网结构化表达功能模块、轻量化数据库存储功能模块。本发明还涉及一种基于该系统实现轻量化视频结构化描述的方法。采用该种基于Android操作系统实现轻量化视频结构化描述的系统及方法，实现了视频情报数据的提取和主动推送，以轻量化计算的方式在移动计算架构内实现了移动视频智慧处置，针对视频门户网站、社交网站等民用视频应用市场以及治安视频监控、公安移动警务市场，实现了视频智慧处置从PC端向移动平台的拓展迁移、移动计算能力的充分利用，不仅结构简单实用，处理过程快捷方便，而且工作性能稳定可靠、适用范围较为广泛。

Description

基于Android操作系统实现轻量化视频结构化描述的系统及 方法

技术领域

本发明涉及移动终端领域，特别涉及移动终端操作系统数据处理技术领域，具体是指一种基于Android操作系统实现轻量化视频结构化描述的系统及方法。

背景技术

目前基层警员配备的警务终端大多采用Windows CE或者Windows mobile操作系统，限于Windows CE系统的封闭性，目前针对警务通所开发的警务处置软件功能相对单一，公安应用特色并不明显，在根据警务特色进行有机集成化方面还需要进一步的提升。

目前的手持终端主要功能依然限于现场拍照、现场录音等基础功能，很多厂家将基于现场照片、录音、手动或自动采集的身份信息等进行信息关联比对，以此为基础发展出移动警务处理系统和现场执法系统，将此作为产品的重大特色。此类系统的重要功能是现场视频、图片、声音信息的采集以及文本描述信息的手动关联，但缺乏信息的自主分析和关联比对功能，不具备对视频及图片等现场资源的情报化提取分析功能，在信息处理过程中，更多的是依靠人的分析判断能力。

从市场和技术发展趋势来说，基于Android平台的平板和智能终端已经成为业界研发的重点和市场的热点。从配置上来说，主流方案已经开始采用四核CPU和多核GPU，目前市场常用的主流四核移动芯片方案包括高通APQ8604、三星Exynos4412、华为海思K3V2、英伟达Tegra3等。以英伟达四核Tegra3为例，从性能上说，Tegra3采用台积电40nm工艺制造，四核心最高频率1.6GHz，单核最高1.7GHz，性能已达PC级双核处理器级别，赶超Core 2 DuoT7200，因而，完全能够满足现场数据采集处理的需要，能够为现场数据采集和情报处置提供足够的计算能力，见下表所示：

从GPU处理能力来看，以Adreno320为例，该GPU芯片三角形生成率和像素填充率接近PC平台的集成芯片Intel GMA X4500，完全能够满足视频轻量化处置的需求。

因而，从CPU的计算能力和GPU的图形处理能力来说，现有的主流四核嵌入式移动芯片性能完全能够满足现场多源物证信息的采集及分析需求，为四核智能手机、平板电脑、警务通等手持终端的综合物证采集分析及轻量化视频结构化描述提供了整体性能保证。

Android系统是开源系统，在应用程序方面，Android应用市场欣欣繁荣，和Android系统的推广相互促进。因而，结合现场事件处置和民用视频网站视频内容自动分析及规范表达的实际需求，在移动平台架构内自动实现视频资源的轻量化智慧分析，具有重要的实用意义和现实可行性。

同时，基于视频内容智慧理解和规范表达的深度应用促进了语义网技术在视频智能分析中的应用。语义网是能够根据语义进行判断的智能网络，实现人与电脑间的无障碍沟通。语义网的实现需要三大关键技术的支持：XML、RDF和Ontology。ResourceDescription Framework(RDF)是W3C组织于2004年2月10日发布的一个推荐标准。它的功能是利用当前存在着的多种元数据标准来描述各种网络资源，形成人机可读的、可以由计算机自动处理的文件。

RDF是采用XML语法格式处理元数据的应用，为描述图像、文档和它们之间的相互关系定义了一个简单数据模型。简而言之，RDF用于进行资源描述，但它并不直接用来描述资源，而是定义了描述资源的规则。

RDF定义了元素之间的关系,表现为三元组集。由资源、属性、属性值组成的三元结构。资源是可以用URI标识的所有事物，属性是资源的一个特定的方面或特征，值可以是另一个资源，也可以是字符串。

这种三元结构形似句子中的主语、谓语、宾语之间的关系。并且主语、谓语和宾语的三个组成元素都是通过URI所标识的，所以它具有语义表述的特性。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种能够改变手持终端缺乏视频资源自动分析功能的现状、在语义网架构上以结构化文本表达的方式实现Android平台上视频资源的自动情报化、结构简单实用、处理过程快捷方便、工作性能稳定可靠、适用范围较为广泛的基于Android操作系统实现轻量化视频结构化描述的系统及方法。

为了实现上述的目的，本发明的基于Android操作系统实现轻量化视频结构化描述的系统及方法如下：

该基于Android操作系统实现轻量化视频结构化描述功能的系统，其主要特点是，所述的系统包括：

轻量化视频智能分析功能模块，对Android系统所输入的图片及视频信息进行智能分析，包括对象分割、特征提取和模式识别，并得到关于图片和视频信息内容和模式数据信息，包括对象身份属性信息和动作行为描述；

语义网结构化表达功能模块，接收所述的轻量化视频智能分析功能模块的输出信息，并对图片及视频内容进行结构化描述；

轻量化数据库存储功能模块，接收所述的语义网结构化表达功能模块的输出信息，对所获取的事件描述信息和身份属性信息进行开放数据关联，形成关联数据集并存储在轻量化本地数据库中，同时和所述的轻量化本地数据库中的已有数据进行碰撞比对。

该基于Android操作系统实现轻量化视频结构化描述功能的系统中的身份属性信息包括身份证号、人脸特征、车牌号。

该基于上述的系统实现轻量化视频结构化描述的方法，其主要特点是，所述的方法包括以下步骤：

(1)系统进行现场图片及现场视频信息的采集处理；

(2)所述的轻量化视频智能分析功能模块对系统所采集到的图片及视频信息进行智能分析，得到关于图片和视频信息内容和模式数据信息；

(3)所述的语义网结构化表达功能模块接收所述的轻量化视频智能分析功能模块的输出信息，并对图片及视频内容进行结构化描述；

(4)所述的轻量化数据库存储功能模块，接收所述的语义网结构化表达功能模块的输出信息，对所获取的事件描述信息和身份属性信息进行开放数据关联，形成关联数据集并存储在轻量化本地数据库中，同时将结构化描述数据和所述的轻量化本地数据库中的已有数据进行碰撞比对处理。

该实现轻量化视频结构化描述的方法中的现场图片信息包括现场车辆的车牌图片、现场人员的身份证照片、现场人员脸部照片。

该实现轻量化视频结构化描述的方法中的图片信息的格式可以为jpg格式或者bmp格式。

该实现轻量化视频结构化描述的方法中的现场视频信息包括所关注的人、车、物相关事件的视频信息。

该实现轻量化视频结构化描述的方法中的视频信息的格式可以为MPEG1、MPEG2、MPEG4、H.264、AVS或者SVAC的视频编码格式。

该实现轻量化视频结构化描述的方法中的进行现场视频信息的采集处理中，还包括以下处理步骤：

(11)如果所述的现场视频信息为网络流媒体格式的视频，则下载到本地后；

(12)利用视频格式转换工具将所述的流媒体视频信息转换成系统支持的编码格式。

该实现轻量化视频结构化描述的方法中的对系统所采集到的图片及视频信息进行智能分析，包括以下步骤：

(21)对所述的图片及视频信息进行对象分割、特征提取和模式识别；

(22)将所述的图片、视频信息中包含的场景、物体、事件、敏感区域、视觉特征等进行分解、提取、分类、归纳和总结；

(23)产生关于视频图像内容和模式数据信息，包括对象身份属性信息和动作行为描述信息。

该实现轻量化视频结构化描述的方法中的对图片及视频内容进行结构化描述，具体为：

参考RDF三元组格式对所述的图片对象和视频数据对象的内容进行结构化描述，并以主语、谓语、宾组成的三元组来组织语义网中的节点。

该实现轻量化视频结构化描述的方法中的将结构化描述数据和所述的轻量化本地数据库中的已有数据进行碰撞比对处理，包括以下步骤：

(41)将所述的关联数据集与本地轻量化数据库中的特情信息库已有的数据进行碰撞比对；

(42)如果有碰撞比对结果，则发出告警信息；

(43)如果没有，则上传到服务器端进行进一步碰撞比对；

(44)如果服务器端有碰撞结果，则实时将结果下发至Android系统并报警；

(45)如果服务器端没有碰撞结果，则将所述的关联数据集信息存储至常规情报库中。

采用了该发明的基于Android操作系统实现轻量化视频结构化描述的系统及方法，由于其针对目前手持终端缺乏视频资源自动分析功能的现状，在移动计算框架内采用视频结构化描述技术实现Android平台上的视频资源的内容智能分析和结构化的文本描述，并与车牌图片、人脸面部特征、身份证信息等形成自动关联，支持信息的碰撞比对，在语义网架构上以结构化文本表达的方式实现Android平台上视频资源的自动情报化，使得实现了手持Android终端上的视频内容智能分析和结构化文本表达，实现了视频情报数据的提取和主动推送，以轻量化计算的方式在移动计算架构内实现了移动视频智慧处置，针对视频门户网站、社交网站等民用视频应用市场以及治安视频监控、公安移动警务市场，实现了视频智慧处置从PC端向移动平台的拓展迁移、移动计算能力的充分利用，不仅结构简单实用，处理过程快捷方便，而且工作性能稳定可靠、适用范围较为广泛。

附图说明

图1为本发明的基于Android操作系统实现轻量化视频结构化描述的系统的硬件框架示意图。

图2为本发明的基于Android操作系统实现轻量化视频结构化描述的系统功能模块架构示意图。

图3为本发明的基于Android操作系统实现轻量化视频结构化描述的方法视频结构化描述技术流程整体流程框图。

图4为本发明的基于Android操作系统实现轻量化视频结构化描述的方法中的视频结构化描述基本语义要素集示意图。

图5为本发明的基于Android操作系统实现轻量化视频结构化描述的方法中的轻量化视频结构化描述方法实现流程示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

请参阅图1和图2所示，该基于Android操作系统实现轻量化视频结构化描述功能的系统，其中包括：

(1)轻量化视频智能分析功能模块，对Android系统所输入的图片及视频信息进行智能分析，包括对象分割、特征提取和模式识别，并得到关于图片和视频信息内容和模式数据信息，包括对象身份属性信息和动作行为描述；

(2)语义网结构化表达功能模块，接收所述的轻量化视频智能分析功能模块的输出信息，并对图片及视频内容进行结构化描述；

(3)轻量化数据库存储功能模块，接收所述的语义网结构化表达功能模块的输出信息，对所获取的事件描述信息和身份属性信息进行开放数据关联，形成关联数据集并存储在轻量化本地数据库中，同时和所述的轻量化本地数据库中的已有数据进行碰撞比对；所述的身份属性信息包括身份证号、人脸特征、车牌号。

再请参阅图3至图5所示，该基于上述的系统实现轻量化视频结构化描述的方法，其中包括以下步骤：

(1)系统进行现场图片及现场视频信息的采集处理；该现场图片信息包括现场车辆的车牌图片、现场人员的身份证照片、现场人员脸部照片，该图片信息的格式可以为jpg格式或者bmp格式；该现场视频信息包括所关注的人、车、物相关事件的视频信息，该视频信息的格式可以为MPEG1、MPEG2、MPEG4、H.264、AVS或者SVAC的视频编码格式；该实现轻量化视频结构化描述的方法中的进行现场视频信息的采集处理中，还包括以下处理步骤：

(a)如果所述的现场视频信息为网络流媒体格式的视频，则下载到本地后；

(b)利用视频格式转换工具将所述的流媒体视频信息转换成系统支持的编码格式；

(2)所述的轻量化视频智能分析功能模块对系统所采集到的图片及视频信息进行智能分析，得到关于图片和视频信息内容和模式数据信息；该对系统所采集到的图片及视频信息进行智能分析，包括以下步骤：

(a)对所述的图片及视频信息进行对象分割、特征提取和模式识别；

(b)将所述的图片、视频信息中包含的场景、物体、事件、敏感区域、视觉特征等进行分解、提取、分类、归纳和总结；

(c)产生关于视频图像内容和模式数据信息，包括对象身份属性信息和动作行为描述信息；

(3)所述的语义网结构化表达功能模块接收所述的轻量化视频智能分析功能模块的输出信息，并对图片及视频内容进行结构化描述，具体为：

参考RDF三元组格式对所述的图片对象和视频数据对象的内容进行结构化描述，并以主语、谓语、宾组成的三元组来组织语义网中的节点；

(4)所述的轻量化数据库存储功能模块，接收所述的语义网结构化表达功能模块的输出信息，对所获取的事件描述信息和身份属性信息进行开放数据关联，形成关联数据集并存储在轻量化本地数据库中，同时将结构化描述数据和所述的轻量化本地数据库中的已有数据进行碰撞比对处理，包括以下步骤：

(a)将所述的关联数据集与本地轻量化数据库中的特情信息库已有的数据进行碰撞比对；

(b)如果有碰撞比对结果，则发出告警信息；

(c)如果没有，则上传到服务器端进行进一步碰撞比对；

(d)如果服务器端有碰撞结果，则实时将结果下发至Android系统并报警；

(e)如果服务器端没有碰撞结果，则将所述的关联数据集信息存储至常规情报库中。

在实际使用当中，本发明所涉及的轻量化视频结构化描述系统,该系统可运行在警用手持终端，也可以运行在服务器端,对现场事件图像及视频具备轻量化的智慧处置功能，能够实现预定义事件检测、预定义动作识别，并能够以结构化的语义模型对复杂事件的主体特征、主体行为、场景等进行规范性文本描述和开放数据关联，支持基于内容的视频和图像的自动标注和检索，实现了警用数字单兵终端从现场数据节点到现场情报节点的角色转变。

本发明针对目前手持终端缺乏视频资源自动分析功能的现状，在移动计算框架内采用视频结构化描述技术实现Android平台上的视频资源的内容智能分析和结构化的文本描述，并与车牌图片、人脸面部特征、身份证信息等形成自动关联，支持信息的碰撞比对，在语义网架构上以结构化文本表达的方式实现Android平台上视频资源的自动情报化。

本发明是一种基于Android平台下的视频结构化描述技术的轻量化实现方案，应用主流的四核嵌入式ARM芯片为计算硬件平台，通过轻量化的视频分析算法、轻量化的数据库以及云计算框架下的协同计算策略，针对公共安全监控视频和社交网站民间视频两种典型应用，以Android平台下ARM终端和ARM服务器为应用对象，通过轻量化的视频结构化描述技术实现以“人、车、物、事件”为核心关注目标的视频内容智能分析及文本结构化表达，从而实现Android平台下针对海量监控视频和视频门户网站的基于内容的视频自动标注和高效语义检索。

技术解决方案设计到以下几个层面内容：

(1)针对公共安全监控智能分析和视频网站视频资源自动标注需求，开拓性的视频结构化描述技术引入手持终端，通过轻量化视频结构化技术，使得针对现场情况和海量视频资源，手持终端具有初步的主动情报获取与分析能力，改变了以往手持终端仅仅承担数据传输的角色，有效的利用了手持终端的闲置计算能力。

(2)针对手持终端运算能力和图像处理能力相对薄弱的不足，针对特定目标(如机动车)和重点关注人员的检测识别，我们采用了基于PC端的训练，并将训练到的权值下载到手持终端，这样，手持终端进行识别时候只需要进行简单的运算，避免了复杂的学习和训练过程，使得特定目标和重点人的现场判别成为可能。

(3)系统方案采用了轻量化的数据库结构和高效的OpenCV开发包，通过NDK实现对C程序资源的便捷调用，避免了重复开发劳动。视频内容基于RDF架构进行表达，非常有利于web3.0架构下的信息资源高效互动共享。

(4)通过初步视频和图像智能分析功能，可以将现场信息(车牌信息、视频中重点人员相貌截图、身份证信息)形成关联数据结构，并以结构化的文本信息或者图片形式上传，一定程度上避免了现有条件下通常采用上传整张车牌图片或者视频片段等大数据量处置手段所遭遇的网络阻塞和时间延迟的情况，节约了带宽资源，为突发事件处置争取了时间。

本发明是一种以轻量化视频分析算法、轻量化数据库、轻量化嵌入式硬件架构相组合的方式实现Android系统下的轻量化视频结构化描述系统。该系统可以通过Android手持终端对典型智能交通事件视频内容进行智能分析和规范化文本表达输出，并具备对人脸、车牌信息以身份证号为关联进行信息绑定功能。

图1显示了基于ARM架构的移动计算硬件和基于Android系统的软件架构共同组成了移动计算平台，在该移动计算平台上通过轻量化数据库MySQL、NDK接口、OpenCV forAndroid、RDF等轻量化软件配置，结合算法的优化，实现视频结构化描述技术在手持终端和嵌入式ARM众核服务器上的轻量化实现。

OpenCV是开源的图像处理数据库，其图像的数据结构则为经典的Iplimage指针，因此本软件中采用了OpenCV for Android开放库。嵌入式系统由于受功耗、成本和体积等因素的制约，微处理器的处理能力与桌面系统处理器相比也存在较大差距，故对程序运行的空间和时间要求更为苛刻。因此项目组对嵌入式应用程序进行性能优化，以满足嵌入式应用的性能需求。

再请参阅图2所示，本专利公布的轻量化视频结构化描述系统由轻量化视频智能分析、语义网结构化表达、轻量化数据库三大模块组成，具备和数据库原有信息进行碰撞比对功能。

本发明所使用的结构化要素包括以下语义成员：时间、地点、人员特征主体、人员行为、机动车特征、机动车行为，见图4所示。

其中地点包括未标定开放环境下的典型场景和已标定室内场景。

未标定开放环境包括十字路口、双向道路、立交桥等交通典型场景；

已标定室内场景包括监所内封闭区域的功能区虚拟周界等。

主体主要通过主体特征描述，分别包括脸部特征、衣着特征、行为。

机动车特征包括机动车颜色、机动车车标、机动车车型(大型、中型、小型)等；机动车速度、机动车行驶方向等；

机动车行为包括：机动车行驶方向、静止、加减速；

结构化要素组成：时间、地点、人物、人物特征(脸部特征、衣着特征)、行为动作(步行、奔跑、尾随)等描述。

本发明所涉及的Android终端上的轻量化视频结构化描述的实现方法，它的实现包括以下几个步骤：

(1)现场图片及视频信息的采集。现场图片信息包括现场车辆的车牌图片、现场人员的身份证照片、现场人员脸部照片等；现场视频信息指的是我们所关注的人、车、物相关事件的视频信息，如人员奔跑、车辆逆行、故意遗留物品等；图片支持jpg和bmp格式，视频支持MPEG1、MPEG2、MPEG4、H.264、AVS、SVAC等视频编码格式。对于视频网站上的流媒体视频，需要下载到本地终端后，利用视频格式转换工具转换成支持的编码格式后再进行分析处理。

对于FLV和SWF等网络流媒体格式，需要下载视频后经过视频格式转换工具进行转换成支持的视频格式再进行轻量化视频分析。

(2)Android终端上的图片及视频对象的智能分析，主要包括对象分割、特征提取和模式识别，这些过程采用计算机图形处理学中通用图像处理算法对图像和视频进行分析，将视频图像中包含的场景、物体、事件、敏感区域、视觉特征等进行分解、提取、分类、归纳和总结，产生关于视频图像内容和模式数据信息，包括对象身份属性和动作行为描述。以上过程通过调用java的NDK接口实现和C语言的交叉编译，一些视频分析功能模块则通过调用OpenCV for Android应用开发包实现。其中，在涉及到人脸检测方面，采用LBP和PCA实现，其中LBP用于提取纹理特征，PCA用于降维数。针对车牌识别，则采用LBP提取特征，并采用SVM分类器进行识别；Android平台下的人脸识别则利用Haar特征，采用Adaboost算法实现。

(3)在语义网架构上对视频内容进行结构化描述，参考RDF三元组格式对图片对象和视频数据对象的内容进行描述，以主语、谓语、宾组成的三元组来组织语义网中的节点。以智能交通场景为例，我们给出“2012年10月20日13:45分湖东路近江东路路口一辆车牌为沪E12345的红色别克车以60公里的时速闯红灯”这一交通事件的所涉视频的轻量化视频结构化描述实例：

该事件采用语义网技术表达如下：

(4)采用开发数据关联的方式对现场获取的事件描述信息和身份属性信息(如身份证号、人脸特征、车牌号等)进行开放数据关联，并形成关联数据集，存储在轻量化的本地数据库里，并和本地数据库里的特情信息库已有数据进行碰撞比对。如果有碰撞比对结果，则发出告警信息。如果没有，则上传到服务器端。如果服务器端有碰撞结果，则实时将结果下发手持终端并报警，如果没有，则存储该信息进入常规情报库。

方法整体流程图请参阅图5所示。

本发明专利涉及的轻量化实现方法不仅可以在Android手持终端上运行，也可以在基于ARM架构的以Android为操作系统的服务器端运行。

同时，本发明具有以下技术特点：

(1)系统只采用800万BSI内置F2.4镜头或外接500万像素自动变焦视频采集设备，对现场视频或图像进行采集。

(2)在Android操作系统下实现视频片段人脸检测功能，并自动截取人脸高清图片帧，并具备与离线重点人员库识别比对功能；

(3)能够对视频中的车牌进行检测，并自动截取车牌小图片，车牌小图片水平倾斜角在正负15度之内；实现车牌识别功能，并能将识别结果通过3G网络或wifi网络上传服务器；；

(4)视频轻量化算法为采用背景减方式实现对象分割，采用离线方式对对象进行特征提取和训练。采用基于Hausdorff距离、支持向量机、神经网络三种分类器的融合决策，每种分类器决策权重取决于该分类器在训练集上的识别率。

(5)通过视频结构化描述方式，实现轻量化视频内容智能分析功能，针对预定义的车辆逆行、车辆闯红灯、车辆碰撞等典型事件进行判别；实现全体事件中人员倒地、人员快速聚集(人头统计)、人员越界等行为的判别。

(6)系统具备对身份证图片自动号码识别功能，并以身份证号为关键信息，对人脸信息、车牌信息进行数据关联。

(7)视频结构化描述系统具有在线自动人脸检测、截图和车牌检测、截图功能。具备对移动存储设备拷入的图片、视频进行车牌识别、人脸识别和离线的视频结构化描述功能。

(8)系统只具备对本地视频文件的语义搜索功能，支持以车牌号、三类典型事件(车辆闯红灯、逆行、人员倒地)为关键字的视频片段搜索。

本发明的轻量化视频结构化描述技术是一种将视频内容按照语义关系，在时空分割、特征提取和对象识别以及数据关联等环节，针对典型应用场景下(室内人员监控及室外交通监控)特定目标(关注目标涉及的人、车、物、事件)的视觉底层特征的特性和场景特异性，研究轻量化的视频智能分析算法和轻量化数据库调用，实现手持Android终端上的视频内容智能分析和结构化文本表达，实现视频情报数据的提取和主动推送。

本发明以轻量化计算的方式在移动计算架构内实现移动视频智慧处置，针对视频监控、视频网站、社交网站等民用视频应用市场以及公安移动警务市场，提出了基于Android移动平台下结合轻量化数据库和OpenCV开源算法库，在高性能多核嵌入式处理器、多核移动GPU和轻量化算法的支持下实现视频资源的文本形式的结构化描述，实现了视频智慧处置从PC端向移动平台的拓展迁移、移动计算能力的充分利用。

从社会公共安全监控角度来说，目前，北京、上海、深圳等大城市由公安以及社会力量安装的固定式视频监控摄像头数量多达数十万，每天产生数量宏大的原始视频数据，这些数据包含着社会治安、刑事案件的各类线索，但基本都是未经提取加工，按需被应用平台调用，由应用平台进行基于内容的视频分析。近两年来，以车辆为载体的移动视频感知终端的应用方兴未艾，在“车联网”的框架下表现为局域网通信、可视导航、路况采集等多种功能的有机集成。在公安领域，则表现为以车载视频监控终端的广泛应用，用于对道路路况、交通违法等行为的视频取证和智能分析，包括违章车辆行为录像取证、车辆车牌采集识别、驾乘人员违规行为自动侦测(未系安全带、故意放下遮阳板、开车打电话等)。此外，还有许多警务通之类的手持终端所采集的现场物证视频和图片，也是通过网络上传后在应用平台进行分析处理。这种视频资源处理模式，产生了巨大的网络传输压力和服务器运行压力。云环境下的移动计算发展趋势，要求手持终端或视频采集端也应该贡献出其运算资源，能够在轻量化运算架构内对原始视频资源进行一定的分析处理和情报生成，将服务器端视频资源的相对集中处置分解为节点化的集约处置。

从民用角度来说，目前，主流视频门户网站如优酷、土豆、酷六、Facebook等，每天有数十万人通过手持终端上传各类视频。用户在上传视频时，需要对视频内容进行一定的描述和说明。在网站服务器端，网站工作人员需要24小时连续工作来对各类视频进行标注分类或进行标注核对。以Facebook为例，目前Facebook每天视频上传量为近30万个，40％是用摄像头拍摄或手机拍摄的，很多这种视频名为“看我在宿舍跳舞”、“看我弹吉他”等等。因而，在视频人工标注以及核对方面，终端用户和网站工作人员所耗费的时间惊人。另外，基于车载视频终端的车辆主动安全技术也是应用的一大热点。该功能是通过车载视频终端对车辆与前后车直接的距离、车辆与路沿的距离以及路况进行视觉采集，并通过车载嵌入式平台进行智能分析，进行主动预警。目前，主流的车载设备的系统平台是Android系统。

综上所述，本发明的技术效果显著，在社会公共安全和民用市场上具有广阔的应用前景，经济效益可观。

采用了上述的基于Android操作系统实现轻量化视频结构化描述的系统及方法，由于其针对目前手持终端缺乏视频资源自动分析功能的现状，在移动计算框架内采用视频结构化描述技术实现Android平台上的视频资源的内容智能分析和结构化的文本描述，并与车牌图片、人脸面部特征、身份证信息等形成自动关联，支持信息的碰撞比对，在语义网架构上以结构化文本表达的方式实现Android平台上视频资源的自动情报化，使得实现了手持Android终端上的视频内容智能分析和结构化文本表达，实现了视频情报数据的提取和主动推送，以轻量化计算的方式在移动计算架构内实现了移动视频智慧处置，针对视频门户网站、社交网站等民用视频应用市场以及治安视频监控、公安移动警务市场，实现了视频智慧处置从PC端向移动平台的拓展迁移、移动计算能力的充分利用，不仅结构简单实用，处理过程快捷方便，而且工作性能稳定可靠、适用范围较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (11)

1.一种基于Android操作系统实现轻量化视频结构化描述功能的系统，其特征在于，所述的系统包括：

PC端训练记忆模块，存储PC端训练时得到的权值，在轻量化视频分析时调用权值数据；

轻量化视频智能分析功能模块，采用基于Hausdorff距离、支持向量机、神经网络三种分类器的融合决策，对Android系统所输入的图片及视频信息进行智能分析，包括对象分割、特征提取和模式识别，并得到关于图片和视频信息内容和模式数据信息，包括对象身份属性信息和动作行为描述；

语义网结构化表达功能模块，接收所述的轻量化视频智能分析功能模块的输出信息，并对图片及视频内容进行结构化描述；

轻量化数据库存储功能模块，接收所述的语义网结构化表达功能模块的输出信息，对所获取的事件描述信息和身份属性信息进行开放数据关联，形成关联数据集并存储在轻量化本地数据库中，同时和所述的轻量化本地数据库中的已有数据进行碰撞比对。

2.根据权利要求1所述的基于Android操作系统实现轻量化视频结构化描述功能的系统，其特征在于，所述的身份属性信息包括身份证号、人脸特征、车牌号。

3.一种基于权利要求1所述的系统实现轻量化视频结构化描述的方法，其特征在于，所述的方法包括以下步骤：

(1)进行PC端训练，将训练得到的权值下载到手持终端；

(2)系统进行现场图片及现场视频信息的采集处理；

(3)所述的轻量化视频智能分析功能模块采用基于Hausdorff距离、支持向量机、神经网络三种分类器的融合决策，对系统所采集到的图片及视频信息进行智能分析，得到关于图片和视频信息内容和模式数据信息；

(4)所述的语义网结构化表达功能模块接收所述的轻量化视频智能分析功能模块的输出信息，并对图片及视频内容进行结构化描述；

(5)所述的轻量化数据库存储功能模块，接收所述的语义网结构化表达功能模块的输出信息，对所获取的事件描述信息和身份属性信息进行开放数据关联，形成关联数据集并存储在轻量化本地数据库中，同时将结构化描述数据和所述的轻量化本地数据库中的已有数据进行碰撞比对处理。

4.根据权利要求3所述的实现轻量化视频结构化描述的方法，其特征在于，所述的现场图片信息包括现场车辆的车牌图片、现场人员的身份证照片、现场人员脸部照片。

5.根据权利要求4所述的实现轻量化视频结构化描述的方法，其特征在于，所述的图片信息的格式为jpg格式或者bmp格式。

6.根据权利要求3所述的实现轻量化视频结构化描述的方法，其特征在于，所述的现场视频信息包括所关注的人、车、物相关事件的视频信息。

7.根据权利要求6所述的实现轻量化视频结构化描述的方法，其特征在于，所述的视频信息的格式为MPEG1、MPEG2、MPEG4、H.264、AVS或者SVAC的视频编码格式。

8.根据权利要求3、6或7所述的实现轻量化视频结构化描述的方法，其特征在于，所述的进行现场视频信息的采集处理中，还包括以下处理步骤：

(21)如果所述的现场视频信息为网络流媒体格式的视频，则下载到本地后；

(22)利用视频格式转换工具将所述的流媒体视频信息转换成系统支持的编码格式。

9.根据权利要求3所述的实现轻量化视频结构化描述的方法，其特征在于，所述的对系统所采集到的图片及视频信息进行智能分析，包括以下步骤：

(31)对所述的图片及视频信息进行对象分割、特征提取和模式识别；

(32)将所述的图片、视频信息中包含的场景、物体、事件、敏感区域、视觉特征进行分解、提取、分类、归纳和总结；

(33)产生关于视频图像内容和模式数据信息，包括对象身份属性信息和动作行为描述信息。

10.根据权利要求3所述的实现轻量化视频结构化描述的方法，其特征在于，所述的对图片及视频内容进行结构化描述，具体为：

参考RDF三元组格式对所述的图片对象和视频数据对象的内容进行结构化描述，并以主语、谓语、宾语组成的三元组来组织语义网中的节点。

11.根据权利要求3所述的实现轻量化视频结构化描述的方法，其特征在于，所述的将结构化描述数据和轻量化本地数据库中的已有数据进行碰撞比对处理，包括以下步骤：

(51)将所述的关联数据集与本地轻量化数据库中的特情信息库已有的数据进行碰撞比对；

(52)如果有碰撞比对结果，则发出告警信息；

(53)如果没有，则上传到服务器端进行进一步碰撞比对；

(54)如果服务器端有碰撞结果，则实时将结果下发至Android系统并报警；

(55)如果服务器端没有碰撞结果，则将所述的关联数据集信息存储至常规情报库中。