CN105426194A - 基于安卓otg接口驱动多个摄像头的方法和系统 - Google Patents

Abstract

本发明提供一种基于安卓OTG接口驱动多个摄像头的方法和系统。通过OTG扩展多个USB接口，分别连接支持UVC的摄像头，进行JNI编写完成图像、视频的采集。在应用层调用JNI函数，可以实现实时显示、图像拍摄、视频录制等功能，为基于安卓多摄像头应用提供了一种简单、有效的解决方案。

Description

基于安卓OTG接口驱动多个摄像头的方法和系统

技术领域

本发明涉及安卓(Android)嵌入式驱动开发技术领域。

背景技术

随着安卓平台的发展，软件功能和硬件扩展性都有了巨大的提高。在软件方面，安卓系统应用层提供了丰富的应用程序，已经能够满足用户入场使用的绝大部分需求；在系统底层，我们知道，安卓系统内核采用改进的Linux内核，随着安卓系统更新较新版本并且更稳定的内核，从系统底层为系统整体功能提升支持。从安卓4.0以上版本开始，系统提供对OTG接口的支持，利用OTG接口，使得安卓系统能够对周边、外设提供了更好的支持，例如OTG键盘、连接OTGU盘等。目前市场上，已经存在基于安卓系统，利用OTG摄像头进行录像的应用，此类应用的主要方法为利用安卓内核V4l2功能，以及对UVC摄像头的支持，能够实现利用该摄像头进行图像、视频采集工作。

利用单一OTG摄像头在安卓平台进行图像采集，虽然能够在一定程度上满足用户对图像录制、处理的便携性的需求，但在使用中无法满足用户对多角度、广角和多摄像头图像处理方面的应用。在中国专利CN201310111522.4(钟芹盛.基于安卓系统终端的外置摄像系统及方法:CN201310111522.4[P].2013-08-07)中，作者提出了一种利用OTG摄像头进行图像采集的方法，该方法驱动开发比较复杂，该发明中提出的方法的扩展性受到驱动开发、多设备OTG通信方面的限制，不能很好的对安卓平台多摄像头或多个摄像头提供支持。

本发明针对单一OTG摄像头图像采集存在的问题，提出一种基于安卓系统利用OTG接口实现多摄像头图像采集的框架和系统。本发明提出的方法，仅通过USBHUB扩展OTG接口的数目，不涉及其他接口的扩展和转换。该方法在能够支持多摄像头的基础上，同时兼容单个摄像头采集的需求，通过在安卓手机或者平板OTG接口连接一个HUB，用来扩展多个摄像头。摄像头视频采用H.264压缩方式，音频采用AAC压缩方式，封装为MP4格式。本系统为其他功能的扩展提供了平台基础，如利用多摄像头实现的一些功能：图像配准、广角摄影、双目测距、图像去模糊等。

发明内容

本发明的目的是提供一种基于安卓平台利用OTG接口扩展多个摄像头进行图像、视频拍摄的方法和系统，用户可以基于此系统的方法，开发基于安卓平台多摄像头的应用。

本发明的目的是提供一种基于安卓OTG接口驱动多个摄像头的方法，所述方法包括以下步骤：

a.搭建硬件平台，使用OTG线和USBHUB将安卓设备和多个摄像头连接起来；

b.移植图像库、视频库，对视频库进行编译获得安卓系统视频编码的静态库并且对图像库进行编译获得安卓系统图像压缩的静态库；

c.编写JNI，调用该视频编码的静态库和图像压缩的静态库，编译成能够被安卓系统调用的动态库，提供被应用层调用的接口函数；

d.采集及封装音视频，安卓系统利用所述接口函数进行摄像头的识别和初始化，打开摄像头获得图像和视频，利用麦克风进行音频录制，同时进行视频封装，形成可播放的视频文件。

优选地，在步骤a之后在步骤b之前还包括获得安卓系统ROOT权限的步骤，其中所述获得安卓系统ROOT权限的步骤包括：

a.下载所述平台设备对应的内核文件；

b.在Ubuntu系统下，通过命令makemenuconfig进行内核配置如下：

CONFIG_VIDEO_DEV＝y

CONFIG_VIDEO_V4L2_COMMON＝y

CONFIG_VIDEO_MEDIA＝y

CONFIG_USB_VIDEO_CLASS＝y

CONFIG_V4L_USB_DRIVERS＝y

CONFIG_USB_VIDEO_CLASS_INPUT_EVDEV＝y

并且将UCV配置成build-in形式，不需要在使用中进行驱动的插入；

c.将内核刷入手机中。

优选地，所述USBHUB还包括一个供电接口。

其中所述接口函数包括摄像头初始化、YUV转化RGB、JPEG图像压缩、视频录制接口函数。

其中所述摄像头初始化包括摄像头通信协议、分辨率、输出数据格式、编码器的初始化。

其中通信协议采用v4l2，分辨率采用640×480，输出格式采用YUV格式。

其中所述编码器采用H264编码方式，设置帧率为25帧每秒，编码等级为baseline。

本发明还提供一种基于安卓OTG接口驱动多个摄像头的系统，所述系统包括：多个支持UVC的摄像头、一台安卓4.0以上平台的安卓设备，一条OTG连接线、一个USBHUB，其特征在于：

OTG连接线的一端连接至安卓设备，OTG连接线的另一端连接至USBHUB，所述USBHUB连接至多个UVC摄像头；

所述安卓设备的内核对UVC支持，安卓系统可调用JNI提供的接口函数利用已经移植的图像库和视频库来采集图像和视频。

优选地，所述USBHUB还包括一个供电接口。

在本发明提出的一种基于安卓平台利用多摄像头进行图像采集的系统和方法中，通过OTG连接线，扩展一个HUB，将多个UVC摄像头连接至此HUB上，通过针对多个摄像头进行驱动及应用开发，实现能够通过多个摄像头同时进行图像、视频的采集，在图像采集阶段，采用jpeg图像格式，音视频采集阶段，采用H.264编码和AAC音频编码，封装为Mp4格式。本方法扩展了安卓系统应用，方便用户图像采集，同时，利用多摄像头进行图像采集，也是进行双目测距、图像拼接、防抖等方面算法开发的硬件基础。本发明利用安卓OTG接口扩展多个摄像头，提出一种能够不受OTG同时通信设备数目限制的方法，达到对两个或者多个摄像头的支持，结构简单，扩展性强，操作方便，适用于公安执法、视频监控及普通用户拍照、录像。同时，用户可以在本发明提出的多摄像头图像采集平台的基础上，对系统进行修改、开发，扩展更丰富的应用。

附图说明

图1是本发明的整体系统框架图。

图2是JNI完成C/C++层与JAVA层通信的框图。

图3是系统硬件连接示意图。

图4是正确连接手机后，打开ROOT工具的界面。

图5是点击获取ROOT权限后，软件对连接的手机进行权限破解的界面。

具体实施方式

基于安卓平台多摄像头图像采集方法共有四个步骤，如图1所示。下面是对这四个步骤的详细描述：

步骤一：系统开发软、硬件平台搭建

为了能够进行安卓平台多摄像头开发，需要准备相应的硬件设备，本发明需要多个支持UVC的摄像头102，一台安卓4.0以上平台的安卓设备105，一条OTG连接线104，一个USBHUB103。本系统通过OTG连接线104连接安卓设备105和USBHUB103，然后将多个UVC摄像头102连接至USBHUB103上，至此，硬件准备完毕。在软件开发环境方面，我们基于Ubuntu12.04系统通过利用eclipse进行开发,配置安卓开发所需要的Java环境和安卓SDK。同时，为了能够进行C/C++函数及模块的开发和调用，还需要配置NDK交叉编译环境。

为了保证安卓应用程序对外设正常通信，首先需要对安卓系统进行权限解锁，也称作ROOT，这里只要使用网络上提供的系统ROOT软件即可简单完成系统权限的解锁。目前安卓4.0以上平台大部分都已经提供了内核对UVC的支持，解锁完成后，插入摄像头通过查看系统terminal，如果有新设备产生，说明系统已经提供UVC支持，如果没有新设备的产生，说明内核没有开启摄像头UVC功能，此时，需要通过刷新内核开启内核对UVC的支持。例如在三星s4手机上，部分机器需要开启内核对UVC的支持，在三星官网下载S4手机对应的内核文件，在Ubuntu系统下，通过命令makemenuconfig进行内核配置如下：

CONFIG_VIDEO_DEV＝y

CONFIG_VIDEO_V4L2_COMMON＝y

CONFIG_VIDEO_MEDIA＝y

CONFIG_USB_VIDEO_CLASS＝y

CONFIG_V4L_USB_DRIVERS＝y

CONFIG_USB_VIDEO_CLASS_INPUT_EVDEV＝y

并且将UCV配置成build-in形式，不需要在使用中进行驱动的插入，然后将内核刷入手机中。这个方法相对比较复杂，在使用中，用户尽量选用内核已经提供UVC支持的安卓手机或者pad，目前主流的手机大部分已经提供该功能的支持。

步骤二：图像压缩库、视频压缩库移植

在进行音视频编码的过程，需要用到对应的编码库。在本发明中，视频编码采用了开源的x264编码库，图像编码采用libjpeg实现，音频利用手机自带的麦克风和编码接口，进行AAC音频编码。为了能够在安卓平台上使用x264和libjpeg开源库，需要进行部分代码的修改和移植。首先，从网络上获取x264的开源实现，在Ubuntu系统的终端中，进入x264代码的根目录，其中提供了文件编译需要的config文件，这里需要根据专利需要进行配置，首先将x264编译成后缀名为.a的静态库，然后在JNI编写阶段，调用该静态库，跟其他函数一齐编译成能够被安卓系统调用的动态库。针对libjped，进行与x264类似的交叉编译获取能够在安卓系统运行的静态库。获取了视频编码和jpeg图像压缩需要的静态库之后，在进行JNI编写时，通过包含这两个库的头文件，即可进行库函数的调用。

图像压缩库、视频压缩库移植过程为：

(1)x264编码器Android平台移植

本文使用的x264版本为x264-snapshot-20131228-2245，NDK的版本：android-ndk-r9，Ubuntu12.0432位系统。编写脚本文件x264config.sh，本文使用的脚本文件代码为：

exportNDK＝/home/syan/android/android-ndk-r9

exportPREBUILT＝$NDK/toolchains/arm-linux-androideabi-4.6/prebuilt

exportPLATFORM＝$NDK/platforms/android-8/arch-arm

exportPREFIX＝/home/syan/Desktop/2013-10-27

./configure--prefix＝$PREFIX\

--enable-pic\

--host＝arm-linux\

--cross-prefix＝$PREBUILT/linux-x86/bin/arm-linux-androideabi-\

--sysroot＝$PLATFORM\

--extra-ldflags＝"-ldl"

将x264config文件与x264的源代码放置在jni根目录中，然后运行该脚本文件。经过交叉编译后，系统会在jni根目录中生成x264.a文件，该文件为x264编码器的静态库，在编码时进行调用。

(2)libjpeg编码器移植

到官网上下载源码，本专利使用的是jpegsr9，然后加压，生成jpeg-9,进入并创建jni目录，将里面的内容都拷贝到jni里面，生成配置文件，在jni目录下面创建jpegconfig.sh文件，然后在里面添加：

exportNDK＝/home/syan/android/android-ndk-r9

exportPLATFORM＝$NDK/platforms/android-8/arch-arm/

exportPREBUILT＝$NDK/toolchains/arm-linux-androideabi-4.6/prebuilt

exportCC＝$PREBUILT/bin/arm-linux-androideabi-gcc

./configure--prefix＝/home/jpeg-9/jni/dist--host＝armCC＝"$CC--sysroot＝$PLATFORM"

接着生成Android.mk文件，内容如下：

最后，运行jpegconfig.sh脚本文件，在该jni目录下，得到jpeg编码的动态库，该动态库可以在jpeg压缩时进行调用。

步骤三：JNI编写

目前市面上支持OTG功能的主流安卓设备，一个OTG接口只能同时与一个设备进行通信，但是通过实验发现，当用户通过USBHUB外接多个摄像头的时候，安卓系统能够正确识别多个UVC摄像头，这为我们进行多摄像头的支持提供了可能。本发明利用系统能够正确识别多摄像头同时连接的技术，分别打开多个摄像头，单独进行通信、图像获取，只要在多个摄像头之间进行切换的间隙足够小，展现给用户的图像或视频，不会存在视觉上的延时、卡顿等现象。在进行摄像头数据采集的过程中，需要用到JNI通信方式，完成底层代码与应用层代码的通信，如图2所示，图中描述了JNI完成了C/C++代码层与JAVA层的函数、动态库的调用。在进行JNI编写的过程中，本发明所采用的的方法主要进行：

(1)视频设备号检测

当一个UVC摄像头303正确连接安卓系统后，在系统的/dev目录下，会相应产生videoX设备，其中X表示设备号，我们利用循环，检测设备号从0至10，在有效的设备号中，数值较大的设备即我们连接的外接UVC摄像头。如果有效的摄像头设备号只有一个，本发明的方法能够进行单一摄像头进行图像采集，如果有效设备为多个，可以开启我们多摄像头录像的功能。

(2)打开设备，初始化设置，输出格式YUV

按照我们上一步记录下的有效设备号，分别打开多个摄像头，然后进行摄像头初始化，包括摄像头通信协议、分辨率、输出数据格式等，本发明采用v4l2通信方式，分辨率根据用户需求及摄像头标准进行设置，这里默认采用640x480，输出格式采用YUV格式。

(3)编码器初始化

本发明采用H264编码方式，对采集到的摄像头数据进行压缩。其中，设置帧率为25帧每秒，为了节省编码时间，编码等级为baseline，其他参数采用编码器默认。

步骤四：音视频采集及封装方式设计

完成JNI编写后，可以通过安卓应用层代码调用底层的方法。绝大多数摄像头能够提供YUV的数据输出，本发明所采用的摄像头输出数据格式为YUV420。本发明应用端提供拍照和录像的接口，我们在JNI层实现具体的拍照和录像的功能，应用端可以调用底层的方法。在拍照阶段，获取YUV一帧数据，利用移植到安卓系统的libjpeg压缩库，对YUV数据进行jpeg压缩，从而获取jpeg图像。在录像阶段，本发明中选用H.264压缩方式，打开多个摄像头，获取输出的YUV数据，将数据利用x264压缩库进行视频编码，利用安卓手机或pad自带的麦克风进行音频录制，同时，选用MP4视频封装格式，录像完成，形成可播放的MP4视频文件。

本发明的优选的实施方案的整体流程如下：

1、软硬件平台搭建

安卓平台采用三星S5手机302，如图3所示进行摄像头303、304通过OTG接口310进行扩展连接。图3中可以看到，连接线OTG接口301一端连接Pad或者安卓手机302，另一端为两个USB接口312、313和一个供电接口311，供电接口为可选，在OTG供电不足的情况下可以外接电源305，两个USB接口312、313分别连接两个UVC摄像头304、303。

由于三星S5手机在出厂时，系统权限被锁定，本发明中使用“ROOT大师”PC版进行手机权限的解锁。软件安装完成后，打开软件，可以看到图4所示界面，按软件提示连接设备。

连接成功后，点击界面中间的“获取ROOT权限”按钮，之后需要大约1分钟的时间，ROOT成功后，会给出获取权限成功提示，如图5所示。

2、图像库、视频库移植

在进行音视频编码的过程，需要用到对应的编码库。在本发明中，视频编码采用了开源的x264编码库，图像编码采用libjpeg实现，音频利用手机自带的麦克风和编码接口，进行AAC音频编码。为了能够在安卓平台上使用x264和libjpeg开源库，需要进行部分代码的修改和移植。首先，从网络上获取x264的开源实现，在Ubuntu系统的终端中，进入x264代码的根目录，其中提供了文件编译需要的config文件，这里需要根据发明需要进行配置，首先将x264编译成后缀名为.a的静态库，然后在JNI编写阶段，调用该静态库，跟其他函数一起编译成能够被安卓系统调用的动态库。针对libjped，进行与x264类似的交叉编译获取能够在安卓系统运行的静态库。获取了视频编码和jpeg图像压缩需要的静态库之后，在进行JNI编写时，通过包含这两个库的头文件，即可进行库函数的调用。

3、JNI编写

这部分涉及到应用层程序编写，JNI与应用层通信(如图2所示)，在JNI层，程序提供了摄像头初始化、YUV转化RGB、JPEG图像压缩、视频录制等函数接口，这些接口可以在应用层被调用。

4、完成音视频采集

在完成以上几个工作之后，我们可以进行音视频采集工作。在应用层，首先利用接口函数进行摄像头的识别和初始化，在多个摄像头被正确打开后，即可获取视频流。为了能够在手机屏幕实时显示摄像头获取的图像，需要将摄像头的YUV数据转化为RGB数据显示在屏幕上，然后定时刷新屏幕UI线程。此时，用户可以一边进行图像采集，一边实时观察采集到的图像数据。

在搭建安卓OTG多摄像头硬件平台的基础上，针对多个摄像进行驱动开发，实现在安卓平台上利用OTG接口进行多个摄像头图像采集。为基于安卓平台的图像采集、监控、图像处理提供了一个方便、易于实现的方式。

结论：在基于安卓OTG摄像头图像采集方面，本发明提出了一种基于安卓OTG接口驱动多个摄像头的方法。我们通过OTG扩展多个USB接口，分别连接支持UVC的摄像头，进行JNI编写完成图像、视频的采集。在应用层调用JNI函数，可以实现实时显示，图像拍摄，视频录制等功能，为基于安卓多摄像头应用提供了一种简单、有效的解决方案。本发明在监控、图像处理方面有着良好的应用前景。

Claims (10)

1.一种基于安卓OTG接口驱动多个摄像头的方法，所述方法包括以下步骤：

a.搭建硬件平台，使用OTG线和USBHUB将安卓设备和多个摄像头连接起来；

b.移植图像库、视频库，对视频库进行编译获得安卓系统视频编码的静态库并且对图像库进行编译获得安卓系统图像压缩的静态库；

c.编写JNI，调用该视频编码的静态库和图像压缩的静态库，编译成能够被安卓系统调用的动态库，提供被应用层调用的接口函数；

d.采集及封装音视频，安卓系统利用所述接口函数进行摄像头的识别和初始化，打开摄像头获得图像和视频，利用麦克风进行音频录制，同时进行视频封装，形成可播放的视频文件。

2.根据权利要求1所述的基于安卓OTG接口驱动多个摄像头的方法，其中在步骤a之后在步骤b之前还包括获得安卓系统ROOT权限的步骤。

3.根据权利要求1所述的基于安卓OTG接口驱动多个摄像头的方法，其中所述USBHUB还包括一个供电接口。

4.根据权利要求1所述的基于安卓OTG接口驱动多个摄像头的方法，其中所述接口函数包括摄像头初始化、YUV转化RGB、JPEG图像压缩、视频录制接口函数。

5.根据权利要求4所述的基于安卓OTG接口驱动多个摄像头的方法，其中所述摄像头初始化包括摄像头通信协议、分辨率、输出数据格式、编码器的初始化。

6.根据权利要求5所述的基于安卓OTG接口驱动多个摄像头的方法，其中通信协议采用v4l2，分辨率采用640×480，输出格式采用YUV格式。

7.根据权利要求5所述的基于安卓OTG接口驱动多个摄像头的方法，其中所述编码器采用H264编码方式，设置帧率为25帧每秒，编码等级为baseline。

8.根据权利要求2所述的基于安卓OTG接口驱动多个摄像头的方法，其中所述获得安卓系统ROOT权限的步骤包括：

a.下载所述平台设备对应的内核文件；

b.在Ubuntu系统下，通过命令makemenuconfig进行内核配置如下：

CONFIG_VIDEO_DEV＝y

CONFIG_VIDEO_V4L2_COMMON＝y

CONFIG_VIDEO_MEDIA＝y

CONFIG_USB_VIDEO_CLASS＝y

CONFIG_V4L_USB_DRIVERS＝y

CONFIG_USB_VIDEO_CLASS_INPUT_EVDEV＝y

并且将UCV配置成build-in形式，不需要在使用中进行驱动的插入；

c.将内核刷入手机中。

9.一种基于安卓OTG接口驱动多个摄像头的系统，所述系统包括：多个支持UVC的摄像头、一台安卓4.0以上平台的安卓设备，一条OTG连接线、一个USBHUB，其特征在于：

OTG连接线的一端连接至安卓设备，OTG连接线的另一端连接至USBHUB，所述USBHUB连接至多个UVC摄像头；

所述安卓设备的内核对UVC支持，安卓系统可调用JNI提供的接口函数利用已经移植的图像库和视频库来采集图像和视频。

10.根据权利要求9所述的基于安卓OTG接口驱动多个摄像头的系统，其中所述USBHUB还包括一个供电接口。