CN104104913A - 一种基于安卓系统的智能分布式视频采集系统 - Google Patents

Abstract

本发明涉及基于安卓系统的智能分布式视频采集系统，通过采用套接字通信系统，多媒体服务，嵌入式驱动程序和设备，进程间通信和安卓系统提供的全球定位服务和地图服务，利用GPU对H.264数据的高效处理以及ffmpeg对H.264格式的处理完成了远程地，分布式地采集视频，较好的满足了实际需求，提供了足够的灵活性和可扩展性。本发明设计良好，操作简单，获得了较好的灵活性和方便性，大大降低了传统的视频采集系统的成本。同时，可以应用到许多复杂的环境中，相比传统的视频采集系统造价更低，功能更全，可扩展性更好。

Description

一种基于安卓系统的智能分布式视频采集系统

技术领域

本发明涉及视频采集领域，更具体地说，涉及一种基于安卓系统的智能分布式视频采集系统

背景技术

视频采集系统是日常生产和生活中常用的系统，用途广泛，需求量较大。传统的视频监视收集系统大多是基于机器人工程，技术复杂，涉及到一些专门的技术和器件，比如人体红外传感器，摄像头，电脑，超声波传感器，温度传感器，人工智能等。通常在传统的视频监控系统中，由一台机器完成所有的操作，它具有较高的技术复杂性的缺点，且价格昂贵。如果有人使用传统的视频采集系统在一个较大区域内进行远程控制的视频采集，效率会比较低，甚至难以开展视频采集，所以一个由多台设备分布式地，协同地进行视频采集的系统是必要的。传统的视频采集系统通过线缆或者光纤将视频传送到控制中心，造价昂贵，维护繁琐，应用范围受限，技术相对落后，缺乏灵活性。

针对上述问题，分布式的远程视频监控模式已经逐渐取代集中式本地监控模式，可以更加方便和全面地确保人民群众的生命和生命财产安全，尤其是在自然灾难，商业系统，银行，公安，军事和其他应用场景中。

但目前的监视器和视频系统通常是固定的，不能在运动过程中拍摄视频和图像信息；有部分视频监控系统虽然也可以在移动中进行视频采集，但是这类系统造价昂贵，维护麻烦，缺乏灵活性和可扩展性，这些局限性导致这些系统的应用范围受到较大限制。在许多当代的应用场景，比如，地质勘探和信息采集，地震现场搜索，高风险区域的搜索，地下空间探索和不规则区域的视频采集，等等复杂的领域，这些都需要在移动过程中进行视频采集和图像采集。传统的视频监控系统，通过电缆或光纤视频信号传输到监控指挥中心，但由于电缆具有局限性，不利于系统的构建和功能的扩张，更不用说对移动车载设备的网络连接支持。

发明内容

本发明的目的在于克服现有技术的不足，提供一种提高视频的采集范围和灵活性，缩短视频采集时间的基于安卓系统的智能分布式视频采集系统。

本发明的技术方案如下：

一种基于安卓系统的智能分布式视频采集系统，基于安卓系统与谷歌地图，包括一台主控设备、至少一台移动视频采集设备，主控设备通过安卓系统的全球定位服务绘制视频采集的区域范围，并将区域范围分割为与移动视频采集设备数量相等的若干视频采集分区，得到每个分区的3D坐标信息；移动视频采集设备将接收到的3D坐标信息转换为本地谷歌地图信息，确定各个移动视频采集设备所属的视频采集分区；主控设备控制移动视频采集设备进行视频采集；在主控设备上对移动视频采集设备进行集中控制；

作为优选，基于谷歌地图的路径生成策略，通过移动视频采集设备的起始坐标与目标坐标，得到移动视频采集设备的行进路线。

作为优选，将移动视频采集设备的控制装置的驱动程序添加到安卓系统内核层，移动视频采集设备接收主控设备的控制信号，移动视频采集设备的控制程序调用I/O通道进行管理的函数给控制装置发送控制命令，实现对移动视频采集设备的控制。

作为优选，视频采集格式为H.264，将ffmpeg软件库移植入安卓平台，实现H.264的软编码与软解码。

作为优选，主控设备监听指定的网络端口，等待移动视频采集设备发起网络连接并处理网络连接，接收、缓存网络数据，并处理接收的视频数据；移动视频采集设备发起网络连接，发送视频数据，并接收主控设备的控制信息。

作为优选，主控设备使用单个线程来监视的指定的网络端口，发送、接收网络消息和数据，并使用一个线程池来处理视频数据，接收网络消息和处理网络消息的处理过程分离。

作为优选，主控设备与移动视频采集设备都采用消息队列，所有在消息队列中的项目为动态创建的，项目的数据所占用的内存在需要时才被分配的；允许消息队列中的元素根据优先级进行排队，队列中的元素进入消息队列时，允许插入任何位置，允许从任何位置被取出；所有消息队列为并发的访问机制，允许多线程同时访问消息队列。

作为优选，主控设备通过图形界面进行操作。

本发明的有益效果如下：

本发明通过结合使用全球定位技术，网络通信技术，多线程多进程技术和视频技术进行视频采集，较之传统的不能进行全球定位，不能分布式地采集视频的系统具有更大的优势，本发明利用分布式的思想将待采集视频的区域进行分割，并将分割的各个子区域利用全球定位技术换算得到其精度和维度范围，对每个子范围使用一台基于安卓系统的移动视频采集设备进行视频采集，在视频采集过程中，每台移动视频采集设备和主控设备通过网络进行通信、传输视频信息和控制信息，以到达实时控制视频采集和动态调整采集范围和策略的目的。其次，在视频采集过程中，主控设备还可以根据实时视频对重点画面进行锁定和照相，提供更加丰富的功能。

本发明适用于火灾，爆破，地震等诸多领域具有潜在的危险，减少了灾害对人体的伤害，提高现场的搜索能力，具有非常广泛的应用场景，较好的科学研究价值和市场前景。

具体实施方式

以下结合实施例对本发明进行进一步的详细说明。

本发明所述的基于安卓系统的智能分布式视频采集系统主要涉及到以下几部分。

一、谷歌全球定位系统

谷歌地图提供了一个精准，高效的全球定位系统，全球定位和跟踪可在3G网络中实现，极大地方便了相关应用软件的开发，大大降低了设备的成本。相关关键接口和类如表一、表二所示：

表一 安卓的GPS接口

表二 安卓的GPS类

Android GPS Classes	Description
		Address	A class representing an Address,i.e,a set of Strings describing a location.
Criteria	A class indicating the application criteria for selecting a location provider.
		Geocoder	A class for handling geocoding and reverse geocoding.
GpsSatellite	This class represents the current state of a GPS satellite.
		GpsStatus	This class represents the current state of the GPS engine.
Location	A data class representing a geographic location.
		LocationManager	This class provides access to the system location services.
LocationProvider	An abstract superclass for location providers.

二、套接字通信系统

安卓系统基于Linux内核，而Linux本身支持多线程，socket通信和多进程通信技术，同时linux内核支持TCP和UDP协议，这使得安卓设备之间基于3G网络通信成为可能，这些是构建分布式系统的基础。下面的socket API在安卓系统中同样被支持，因此安卓系统中的应用程序可以通过套接字进行网络通信，从而达到视频数据和控制数据的传输。经常使用的套接字API如表三所示：

表三 套接字API

Socket API	Description
		Socket	Create a socket
Bind	Bind a socket
		Listen	Monitor a specific network port
Accept	Accept a connection request and establish connections
		Receive	Receive network messages
Send	Send network messages

Close	Close a socket
		set_socket_opt	Set socket options
Shutdown	Shutdown a socket

三、多进程和多线程通信机制

多进程和多线程通信是智能设备中最常使用的并发机制，使用这些技术可以提高系统的并发度和灵活性，这些技术也是构建分布式系统的基础。常见的多进程和多线程通信机制包括：消息队列，互斥锁，信号量，信号，管道，共享内存，等等。这些灵活的机制为基于安卓的智能分布式视频采集系统提供了多样的通信方式。

四、安卓设备和相关的设备驱动程序支持

安卓系统是基于Linux内核的，所以在基于安卓系统的设备中添加新的硬件比较方便，只需要实现新添加硬件的驱动程序就能通过安卓系统控制该硬件，这些硬件包括各种USB设备，蓝牙，WIFI等等(比如添加一个由USB设备控制的车载硬件或飞行设备，然后远程地通过WIFI无线网络控制安卓系统，由安卓系统控制USB设备，再通过USB设备控制车载硬件或者飞行设备，从而达到远程地控制车载硬件或者飞行设备的运动，使得基于安卓系统的智能分布式视频采集系统拥有各类交通能力)，此外，安卓系统还支持视频采集和拍照功能，这些功能也是本系统中需要的功能。

五、H.264视频格式

H.264，也称为MPEG-4第十部分(AVC，高级视频编码)，是由国际电信标准化部门ITU-T和国际标准化组织ISO/IEC联合推出的最新一代视频压缩标准。H.264的编码效率比H.263的更高。它可以使视频的编码解码效率提高50％以上。因此，H.264标准被广泛应用于有线和无线远程视频监控，网络互动媒体，数字电视和视频会议等领域。在本系统中，将使用H.264作为视频的压缩和传输格式，与以此提高系统的效率。

六、安卓系统中支持的多媒体格式

安卓系统的软件开发包支持以下的多媒体格式：

(1)图像JPEG，PNG，GIF和BMP。

(2)视频H.263，H.264和MPEG-4。

(3)音频Audio MP3,OGG Vorbis,MIDI,PCM/WAVE,AAC,AAC+和AMR。

安卓系统中提供的MediaPlayer类和MediaRecorder类用于播放和录制多媒视频和音频，可以很好的满足本系统的需求。

七、FFmpeg多媒体库

因为不是所有的安卓设备支持H.264硬编码和硬解码，所以需要移植ffmpeg软件库到安卓平台，提供一个可以替代的软件解决方案来支持这样的设备。

FFmpeg是一个完整的，跨平台的解决方案，用于对音频和视频进行编码解码，它是全球领先的多媒体框架，是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音视频编码库libavcodec。在ffmpeg的帮助下，能够用更便宜的硬件设备，这可以降低建立本系统的成本。

本实施例具体如下：

搜索区域分区：使用安卓的全球定位系统和谷歌地图服务，找到想要做视频采集的区域。将视频采集区域分成几个视频采集分区，每个视频采集分区使用谷歌地图的三维坐标标记，每一个视频采集设备将通过车载系统(即移动视频采集设备的一种实施例)进入一个视频采集分区做视频采集。视频采集设备是基于安卓的设备，并拥有蓝牙装置来控制具有交通能力的车载设备或飞行设备，这样可以使得视频采集设备从一个地方移动到另一个地方，达到在移动中采集视频的目的。视频采集设备之间彼此由套接字通过3G网络或者WiFi进行通信和数据传输。

整个智能分布式视频采集系统中有一个主控设备和若干个移动视频采集设备，主控设备通过网络来协调和控制所有的其它移动视频采集设备。

本系统的初始化步骤如下：

步骤1：操作员请求主控设备绘制区域范围。

步骤2：主控设备通过安卓系统的全球定位服务绘制要进行视频采集的区域范围。

步骤3：主控设备分割指定区域为成若干视频采集分区(有几台移动视频采集设备就划分为几个视频采集分区)，并得到每个视频采集分区的3D坐标信息。(3D坐标可以通过安卓系统的GPS服务来获取)。

步骤4：主控设备发送每个视频采集分区的3D坐标信息到各个移动视频采集设备。

步骤5：每个移动视频采集设备接收到主控设备发来的3D坐标信息以后把这些三维坐标信息转换为本地谷歌地图信息来确定其视频采集分区。

步骤6：每个移动视频采集设备发送确认信息到主控设备表示已经接收到对应的视频采集分区3D坐标信息。

步骤7：主控设备接收到各个移动视频采集设备的确认信息后通过图形用户界面展示给操作者。

步骤8：操作者通过图形界面获知每个移动视频采集设备已经收到分区3D坐标信息以后点击开始按钮。

步骤9：图形界面将启动多个窗口，每一个窗口从每个移动视频采集设备中接收视频数据并显示和存储视频。

步骤10：移动视频采集设备接收到开始命令以后在本视频采集分区内进行视频采集。

操作者通过图形界面来控制所有设备，并观看来自每个移动视频采集设备发送过来的视频。操作者通过图形界面能做到以下几点：

(1)指定移动视频采集设备在一些关键地点进行拍照。

(2)控制移动视频采集设备的车载系统进行移动。

(3)开始，暂停，继续或停止每个移动视频采集设备的视频采集。

(4)远程获取每个移动视频采集设备的当前的3D坐标和位置信息。

(5)调整每个移动视频采集设备的视频采集路线。

安卓系统的谷歌地图提供的API和服务，可以很方便的通过两个坐标计算出它们之间的路线从而达到控制车载设备的行进路线。

通过安卓系统控制车载设备：安卓是基于Linux内核的，它支持很多类型的硬件设备，包括蓝牙、USB等等，硬件设备的驱动程序可以添加到Linux内核层。车载运输设备可以通过USB或蓝牙来控制，本实施例选择蓝牙和蓝牙控制器接口来控制车载设备，上层应用程序通过调用ioctl或unlocked_ioctl(linux内核2.6.35及以后版本)函数来给蓝牙设备发送控制命令而达到控制车辆的目的。

体系结构和设计：H.264解码器和编码器可以通过软件来实现，但它会占用较多的CPU时间和系统资源，随着GPU技术的快速发展，GPU已经拥有能力来对H.264格式的数据进行硬编码和硬解码，这样可以使得CPU和GPU同时工作，提高系统效率。表四所示是市场上主流的GPU芯片可以支持的音频和视频格式。

表四 Tegra4/4i支持的视频和音频格式

GPU处理器可以高效的处理H.264格式的视频，提高了本系统的性能。如上所述，本系统的H.264编码/解码模块，可以选择GPU硬件或ffmpeg库来实现，这取决于设备的硬件能力。

主控设备和是移动视频采集设备的职责分别是：

主控设备：主控设备监听指定的网络端口，等待移动视频采集设备发起网络连接并处理网络连接，接收，缓存，网络数据并处理从移动视频采集设备发送过来的H.264格式的数据；

移动视频采集设备：移动视频采集设备发起网络连接，发送H.264格式的数据并接收主控设备的控制信息。设备将根据由图形用户界面中指定的配置或CPU和GPU的实际计算能力来选择使用GPU或ffmpeg对H.264格式的数据进行编码和解码。主控设备使用单个线程来监视的指定的网络端口，发送、接收网络消息和数据，并使用一个线程池来处理H.264格式的数据，这样设计可以使得发送，接收网络消息和处理网络消息的处理过程分离开，降低了这两部分的耦合程度，提高了系统的容错性和可扩展性。

同时，移动视频采集设备和主控设备都使用了消息队列，这样设计拥有以下优点：

(1)所有在消息队列中的项目是动态创建的，这意味着这些数据所占用的内存是在真正需要的时候被分配的，而不是预先分配好的。该内存使用机制可以提高内存的使用率。

(2)它允许队列中的元素根据消息的优先级进行排队，队列中的元素进队列的时候可以被插在队列的前面或尾部，也可以从队列的前面或尾部被取出。这样设计提供了灵活的，可扩展的数据缓冲能力。

(3)所有队列提供灵活的并发机制访问机制，允许多线程同时访问队列，提高了系统的性能。

基于安卓的智能分布式视频采集系统的运行过程，如下：

(1)主控设备通过套接字发送控制消息来控制移动视频采集设备。

(2)移动视频采集设备接收控制消息并分析控制消息。

(3)如果控制信息是开始采集视频，那么移动视频采集设备调用MediaRecorder(本实施例采用的视频采集软件)开始收集视频。

(4)MediaRecorder开始收集视频。

(5)MediaRecorder调用ffmpeg库或驱动GPU进行H.264编码。

(6)GPU对视频数据进行H.264格式的编码。

(7)MediaRecorder等待来自H.264编码格式的数据并把这些数据插入到它的队列中。

(8移动视频采集设备的线程池从自己的队列中取出H.264编码的数据。

(9)移动视频采集设备将H.264编码的数据通过网络发送给主控设备。

(10)主控设备接收到H.264编码数据并将这些数据插入到自己的队列中。

(11)主控设备上用于进行H.264解码的线程池从自己的队列中取出H.264的数据并将这些数据发送给GPU或者ffmpeg库进行解码。

(12)主控设备上用于进行H.264解码的线程池将解码后的数据插入到自己的输出队列中。

(13)主控设备从输出队列中取出已经解码的数据进行视频播放，或将其保存到永久存储设备中。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (8)

1.一种基于安卓系统的智能分布式视频采集系统，基于安卓系统与谷歌地图，其特征在于，包括一台主控设备、至少一台移动视频采集设备，主控设备通过安卓系统的全球定位服务绘制视频采集的区域范围，并将区域范围分割为与移动视频采集设备数量相等的若干视频采集分区，得到每个分区的3D坐标信息；移动视频采集设备将接收到的3D坐标信息转换为本地谷歌地图信息，确定各个移动视频采集设备所属的视频采集分区；主控设备控制移动视频采集设备进行视频采集；在主控设备上对移动视频采集设备进行集中控制。 

2.根据权利要求1所述的基于安卓系统的智能分布式视频采集系统，其特征在于，基于谷歌地图的路径生成策略，通过移动视频采集设备的起始坐标与目标坐标，得到移动视频采集设备的行进路线。 

3.根据权利要求1所述的基于安卓系统的智能分布式视频采集系统，其特征在于，将移动视频采集设备的控制装置的驱动程序添加到安卓系统内核层，移动视频采集设备接收主控设备的控制信号，移动视频采集设备的控制程序调用I/O通道进行管理的函数给控制装置发送控制命令，实现对移动视频采集设备的控制。 

4.根据权利要求1所述的基于安卓系统的智能分布式视频采集系统，其特征在于，视频采集格式为H.264，将ffmpeg软件库移植入安卓平台，实现H.264的软编码与软解码。 

5.根据权利要求1所述的基于安卓系统的智能分布式视频采集系统，其特征在于，主控设备监听指定的网络端口，等待移动视频采集设备发起网络连接并处理网络连接，接收、缓存网络数据，并处理接收的视频数据；移动视频采集设备发起网络连接，发送视频数据，并接收主控设备的控制信息。 

6.根据权利要求5所述的基于安卓系统的智能分布式视频采集系统，其特征在于，主控设备使用单个线程来监视的指定的网络端口，发送、接收网络消息和数据，并使用一个线程池来处理视频数据，接收网络消息和处理网络消息的处理过程分离。 

7.根据权利要求5所述的基于安卓系统的智能分布式视频采集系统，其特征在于，主控设备与移动视频采集设备都采用消息队列，所有在消息队列中的项目为动态创建的，项目的数据所占用的内存在需要时才被分配的；允许消息队列中的元素根据优先级进行排队，队列中的元素进入消息队列时，允许插入任何位置，允许从任何位置被取出；所有消息队列为并 发的访问机制，允许多线程同时访问消息队列。 

8.根据权利要求1所述的基于安卓系统的智能分布式视频采集系统，其特征在于，主控设备通过图形界面进行操作。