CN101707734A - 移动时空定位影音数据的自适应获取与发送装置 - Google Patents

Abstract

本发明提出了一种移动时空定位影音数据的自适应获取与发送装置，其特征在于：自动判断选择卫星定位、无线广域网定位或无线局域网定位方式，获取定位信息，并将不同定位方式获取的定位信息自动转换成统一的数据格式；自动判断接入的影音数据源设备(数码相机、全景相机、数码摄像机或麦克风)，并从影音数据源设备中提取不同格式的影音数据，自动转换成统一数据格式；按照“空间位移变化量判断为主、位置和传输带宽判断为辅”的方式自动选择无线网络；选择无线网络，自动匹配工作模式；集成嵌入式软硬件；支持移动时空定位影音直播；支持移动时空定位影音数据实时记录；支持车、船载、便携式使用；开发成本低、周期短，易于使用。

Description

移动时空定位影音数据的自适应获取与发送装置

技术领域：

本发明提出了一种移动时空定位影音数据的自适应获取与发送装置，涉及嵌入式软硬件、移动时空定位、无线网络通讯等技术领域。

背景技术：

时间、空间定位数据与影音数据(照片、视频、音频)的融合，所产生的新型影音数据即时空定位影音数据(亦称为可定位流媒体)，可满足移动时空定位影音直播或历史观看的需要。

移动时空定位影音数据的自适应获取与传输，所述自适应是指：

1.自动判断选择定位方式，获取定位信息，并将不同定位方式获取的定位信息自动转换成统一的定位数据格式。

2.自动判断接入的影音数据源设备(数码相机、全景相机、数码摄像机或麦克风)，并从影音数据源设备中提取不同格式的影音数据，自动转换成统一格式的影音数据。

3.自动选择无线网络传输。

4.根据自动选择的无线网络，自动匹配移动时空定位影音数据传输的工作模式，将移动时空定位影音数据传输(发送和接收)。

随着无线通信技术的日益发展，嵌入式终端的实时信息处理能力飞速增强，移动时空多种定位技术广泛应用，各式各样的基于位置业务的应用不断推出，在任何时间、任何地点能够方便、快捷、灵活地通过不同无线网络获取影音数据已成为可能，移动时空定位影音直播和实景虚拟体验正越来越多地被大众所接受。

移动时空定位影音数据获取与传输系统，在公安应急指挥、数字城管、实景导航、交通管理、消防指挥、防汛指挥、水库安全、森林防火、移动现场办公、施工现场视频监控管理、110联动工程、移动侦查、实景旅游、电力线路巡查等领域，具有非常广阔的应用前景。

现有移动时空定位影音数据获取与传输方法现状：

1.定位方法。一般采用GPS卫星接收机获取时空定位数据，在GPS信号受遮挡的情况下，无法正常使用。

2.影音采集。影音数据源设备一般使用数码摄像机、数码相机或麦克风，所获取的音视频数据、照片数据，其数据格式不统一。

3.时空定位数据和影音数据的融合。一般使用基于ASF数据融合技术获得可定位流媒体的方式或自定义编解码文件的融合方式。

4.无线网络传输。如采用单一无线网络传输，在移动状态下，则会受到信号覆盖范围的限制，出现传输时断时续的现象；如采用多种无线网络传输，一般根据传输带宽优先级顺序判断选择可用的无线网络，在移动状态下，容易出现频繁切换无线网络的现象。

闾国年等在中国发明专利(200810024763.4)中提出“基于ASF数据融合技术获得可定位流媒体的方法”.其核心思想是：首先，通过GPS接收机、数码摄像头、麦克风采集空间位置信息和音视频信息；然后，利用WMEncoder接口以MPEG-4的方式进行音视频压缩编码，GPS信息以脚本方式记录；最后，生成可定位流媒体文件.

此专利在实际使用中存在的缺陷主要有两点：

1.定位手段单一。在室内或有严重遮挡情况下，GPS接收机往往不能正常接收GPS信号，导致无法定位。

2.影音数据获取设备单一。影音数据源获取设备局限使用数码摄像头，不能从数码相机或全景相机等影像设备中获取信息，而视频图像的分辨率往往远低于照片分辨率，对细节信息的采集多不能满足应用要求。

为了满足在不同环境、不同影音数据源设备情况下，均能正常获得移动时空定位影音数据的需要，针对以上缺陷需加以改进，解决两个问题：

1.弥补定位手段单一的缺陷，在不同情况下，需采用不同的定位方式。如采用其他定位方式，还需要统一时空定位数据格式；

2.弥补影音数据获取设备单一的缺陷，支持使用数码相机或全景相机，并需要将照片格式转换成统一的视频格式。

胡栋等在中国发明专利(200510094729.0)中提出“一种实时多模式无线视频监控装置及其控制方法”。其数据传输网络采用多模式优先级自动判断方法，核心思想采用无线局域网为主，CDMA和GPRS为辅的方法，不断按顺序搜索无线局域网、CDMA、GPRS信号，一旦搜索到更高优先级的无线网络，则立即切换。

此专利在实际使用中存在的缺陷为：在移动(快速或慢速)情况下，装置会频繁搜索、切换无线传输网络，而且实际使用中CDMA、GPRS网络传输带宽有限，无法保证移动状态下大分辨率影音数据的传输，结果易导致装置无法正常工作。所以，有必要提出一种多网络自动选择的优化方式，以满足连续、正常、优质影音数据传输的需要。

发明内容：

本发明在现有定位技术、移动影音直播技术、利用数据融合获得可定位流媒体技术和无线数据传输技术的基础之上，针对现有影音直播系统有视频无音频，有视音频无定位信息，定位方法和无线传输网络单一的不足，开发成本高等问题，提出一种移动时空定位影音数据自适应获取和传输技术，通过此技术构建了一种移动时空定位影音数据的自适应获取与传输装置，该装置可以实现自动判断选择卫星定位、无线广域网定位或无线局域网定位方式，获取定位信息，并将不同定位方式获取的定位信息自动转换成统一的定位数据格式；自动判断接入的影音数据源设备(数码相机、全景相机、数码摄像机或麦克风)，并从影音数据源设备中提取不同格式的影音数据，自动转换成统一格式的影音数据；按照“空间位移变化量判断为主、位置和传输带宽判断为辅”的方式自动选择无线网络；根据自动选择的无线网络，自动匹配移动时空定位影音数据传输的工作模式。

图1所示的是移动时空定位影音数据获取与传输系统示意图，包含：1)移动终端；2)传输网络；3)控制中心。其中，移动终端中的现场处理设备就是本发明移动时空定位影音数据的自适应获取与发送装置。

本发明的基本思路和基本实施步骤：

(1)移动终端中的现场处理设备自动判断选择卫星定位、无线广域网定位或无线局域网定位方式，获取定位信息，并将不同定位方式获取的定位信息自动转换成统一的定位数据格式；

(2)现场处理设备自动判断接入的影音数据源设备(数码相机、全景相机、数码摄像机或麦克风)，并从影音数据源设备中提取不同格式的影音数据，自动转换成统一格式的影音数据；

(3)现场处理设备按照“空间位移变化量判断为主、位置和传输带宽判断为辅”的方式自动选择无线网络，同时自动匹配工作模式；

(4)现场处理设备使用基于ASF数据融合技术获得可定位流媒体的方式或自定义编解码文件的融合方式，对移动时空定位数据和影音数据进行融合，生成移动时空定位影音数据；

(5)现场处理设备通过无线网络将移动时空定位影音数据发送，通过无线传输系统传输到控制中心；

(6)用户通过客户端软件可以实时观看移动时空定位影音数据或从服务器调阅历史数据。

本发明移动时空定位影音数据的自适应获取和发送装置，包括嵌入式处理模块(CPU)、无线局域网定位/传输模块、无线广域网定位/传输模块、显示模块和存储模块；其特征是：

嵌入式处理模块(CPU)上带有若干USB接口和一个音频输入接口，无线局域网定位/传输模块和无线广域网定位/传输模块通过一个USB接口分别与嵌入式处理模块相连，其余USB接口作为外接设备接口，用于连接数码摄像机、数码相机、全景相机，无线局域网定位/传输模块和无线广域网定位/传输模块各自带有发射接收天线，音频输入接口用于连接麦克风；

嵌入式处理模块(CPU)安装XPE操作系统；存储模块内存放有主程序模块(软件程序)和地图先验数据库、无线局域网发射器位置数据库、电子地图，供XPE操作系统调用；主程序模块包括时空定位数据自适应获取模块(软件程序)、影音数据自适应获取模块(软件程序)、格式转换模块(软件程序)、网络选择及工作模式选择模块(软件程序)、数据融合及编码模块(软件程序)、数据传输模块(软件程序)；其中

时空定位数据自适应获取模块，控制卫星定位模块(GPS)、无线局域网定位/传输模块和无线广域网定位/传输模块按照下述程序工作：在GPS信号正常接收情况下，采用卫星定位方式，时空定位数据自适应获取模块控制卫星定位模块从GPS报文中提取定位数据，送入格式转换模块；在卫星定位模块无法接收GPS信号情况下，采用无线局域网定位方式，时空定位数据自适应获取模块控制无线局域网定位/传输模块，从无线局域网发射设备中获取识别码(SSID)信息，然后匹配无线局域网发射器位置数据库，获取识别码(SSID)信息所对应的记录，从记录中提取相应的无线局域网发射器位置数据作为当前位置数据，送入格式转换模块；在GPS无法接收GPS信号、无线局域网定位方式无法使用的情况下，采用无线广域网定位/传输模块，时空定位数据自适应获取模块控制无线广域网定位/传输模块从移动蜂窝小区获取该小区ID号，然后匹配地图先验数据库，得到当前位置数据，送入格式转换模块。

影音数据自适应获取模块，当USB接口通过视频模/数转换设备外接数码摄像机时，负责获取数字视频数据，并将其送入格式转换模块；当USB接口外接数码相机或全景相机时，影音数据自适应获取模块自动控制触发数码相机或全景相机按现场处理设备位移变化量或等时间间隔进行拍照，获取照片格式的文件并存储在存储模块中，然后，将照片格式的文件按顺序送入格式转换模块；当音频输入接口外接麦克风时，则进行音频采集，获取音频数字信息，并将其送入格式转换模块；

格式转换模块，负责将时空定位数据自适应获取模块获取的不同定位模块接收的不同位置信息转换成统一的GPS坐标格式的位置数据并传给数据融合及编码模块，将影音数据自适应获取模块获取的不同影音数据源设备获取的音频、视频或照片数据转换成统一的流媒体文件格式并传给数据融合及编码模块；

网络选择及工作模式选择模块配合格式转换模块，负责选择数据传输网络，并确定一种与所选择的数据传输网络相匹配的工作模式，并让数据融合及编码模块在此工作模式下，完成数据融合及编码；此模块处理的目的，是为了在移动时空定位影音数据的自适应获取和传输过程中，减少无线传输网络频繁切换的次数，最大程度的满足连续、正常、优质的移动时空定位影音数据获取和传输的需要。

数据融合及编码模块，将得到的GPS坐标格式的位置数据和流媒体文件格式的影音数据，按照网络选择及工作模式选择模块所确定的工作模式进行数据融合，编码生成统一格式的移动时空定位影音数据，同时完成此数据的本地实时存储；融合方式采用基于ASF数据融合技术获得可定位流媒体的方式或自定义编解码文件的方式；

数据传输模块，将融合生成的移动时空定位影音数据，通过无线局域网定位/传输模块和无线广域网定位/传输模块实时发送。

所述XPE操作系统和主程序的概要工作过程：现场处理设备开机后，首先，嵌入式处理模块运行XPE操作系统，对现场处理设备内所有硬件模块进行自检，确认每个模块的当前状况；然后，操作系统模块自动运行存放于存储模块内主程序模块，依次调用时空定位数据自适应获取模块、影音数据自适应获取模块、格式转换模块、网络选择及工作模式选择模块、数据融合及编码模块、数据传输模块，完成移动时空定位影音数据的自适应获取和传输的全过程。

各软件模块间信息传递：

移动终端装置软件模块组成示意图如图3所示，软件模块间信息传递过程为：首先，移动终端开机，硬件模块初始化，自动加载操作系统模块和主程序模块；其次，主程序自动运行，分别从时空定位数据自适应获取模块和影音数据自适应获取模块中自动获取定位数据和影音数据，同时在网络选择及工作模式选择模块中选择工作模式，然后，将定位数据和影音数据送至格式转换模块和数据融合及编码模块中进行处理，即在网络选择及工作模式选择模块选定的工作模式下(不同工作模式对应不同的编码设置参数)，将定位数据和影音数据融合，编码生成统一格式的移动时空定位影音数据，并完成本地实时存储；最后，通过数据传输模块，将移动时空定位影音数据，经传输网络，实时发送至控制中心。

移动时空定位影音数据的自适应获取：

针对专利(200810024763.4)中提出“基于ASF数据融合技术获得可定位流媒体的方法”的缺陷，为了满足在不同环境、不同影音数据源设备情况下，均能正常获得移动时空定位影音数据的需要，有必要对其加以改进，具体解决如下两个问题：

1、弥补定位手段单一的缺陷，在不同情况下，需采用不同的定位方式.如采用其他定位方式，还需要统一时空定位数据格式；

2、弥补影音数据获取设备单一的缺陷，支持使用数码相机或全景相机，并需要将照片格式转换成统一的视频格式。

本发明涉及的移动时空定位影音数据的自适应获取，具体分为移动时空定位数据的自适应获取、影音数据的自适应获取和移动时空定位影音数据融合三部分。

移动时空定位数据的自适应获取

移动时空定位数据的自适应获取过程，依据定位方式优先级顺序执行，结合图4，自适应获取的具体步骤为：

1、通过现场处理设备内置的卫星定位模块(GPS)进行定位，自动判断有无GPS信号。在卫星信号接收正常时，直接通过接收GPS信号提取当前GPS定位数据，在卫星信号无法正常接收时，转步骤2进入无线局域网定位模式。

2、通过现场处理设备内置的无线局域网定位/传输模块进行定位，自动判断有无无线局域网信号。在无线局域网信号接收正常时，接收信号的同时，从网络数据包的包头中获取无线局域网发射设备的识别码(SSID)信息，时空定位数据自适应获取模块自动利用获取到的识别码(SSID)信息对安装于现场处理设备中的无线局域网发射器位置数据库进行查询，获取识别码(SSID)信息所对应的记录，从记录中提取相应的无线局域网发射器位置数据作为当前位置定位数据，并由数据传输模块转换为GPS位置数据。在无线局域网信号无法正常接收时，则转步骤3进入无线广域网定位模式。

3、通过现场处理设备内置的无线广域网定位/传输模块进行定位，自动判断有无无线广域网信号。在无线广域网信号接收正常时，自动进入无线广域网定位模式，通过时空定位数据自适应获取模块控制无线广域网定位/传输模块获取注册蜂窝小区ID号，然后匹配地图先验数据库，从记录中提取相应的蜂窝小区中心位置信息作为当前位置数据，并由格式转换模块转换为GPS位置数据。在无线广域网信号无法正常接收时，则返回步骤1循环搜索。

影音数据的自适应获取：

现场处理设备通过USB接口，可外接多种影音采集设备。本发明涉及的影音源采集设备，负责采集照片(静态图像、全景照片)、动态视、音频，具体包括：数码相机、全景相机、数码摄像机(配有视频模/数转换设备，如模数转换卡或数字信号采集卡)、麦克风。

1、通过现场处理设备上所提供的USB接口和音频输入接口，对外部影音源采集设备(包括摄像机、全景相机、普通数码相机、麦克风)进行连接。

2、通过现场处理设备上安装的XPE操作系统模块，自动判断USB接口所连接设备的类型。如果是全景相机，则转步骤3执行。如果是普通数码相机，则转步骤4执行。如果是摄像机则转步骤5执行。

3、通过影音数据自适应获取模块，结合厂商提供的SDK(SoftwareDevelopment Kit的缩写，中文意思为软件开发工具包)驱动全景相机，按位移变化量或等时间间隔进行图像实时获取，并将全景相机一次获取的多张图片进行合成，生成一张JPG格式图片.获取的照片格式文件存储在存储模块中，然后，由格式转换模块控制自动将存储好的照片格式文件按顺序送入数据融合及编码模块，再结合现场处理设备上音频输入接口采集到的音频数据，以及上述提取的GPS位置数据，根据工作模式设置的编码参数，进行实时数据融合，生成流媒体文件格式的移动时空定位影音数据.

4、通过影音数据自适应获取模块，结合厂商提供的SDK驱动普通数码相机，按位移变化量或等时间间隔进行图像实时获取，生成JPG格式图片。获取的照片格式文件存储在存储模块中，然后，由格式转换模块控制自动将存储好的照片格式文件按顺序送入数据融合及编码模块，再结合现场处理设备上音频输入接口采集到的音频数据，以及上述提取的GPS位置数据，根据工作模式设置的编码参数，进行实时数据融合，生成流媒体文件格式的移动时空定位影音数据。

5、通过影音数据自适应获取模块和视频模/数转换设备，将摄像机实时采集的模拟视频信息转换为数字视频信息，再结合现场处理设备上音频输入接口采集到的音频信息，以及上述提取的GPS位置数据，根据工作模式设置的编码参数，进行实时数据融合，生成流媒体文件格式的移动时空定位影音数据。

移动时空定位影音数据融合：

将移动时空定位数据和影音数据进行融合，本发明的数据融合及编码软件模块支持两种融合方式。

1.基于ASF数据融合技术获得可定位流媒体的方式

2.自定义编解码文件的融合方式。

移动时空定位影音数据的自适应传输：

本发明涉及的移动时空定位影音数据的自适应传输，如图1和图6所示，其工作流程为：首先，移动终端中的现场处理设备按照“空间位移的变化量判断为主、位置判断和传输带宽判断为辅”的方式自动选择优势无线网络并自动匹配之传输带宽相适应的工作模式；其次，现场处理设备的无线局域网定位/传输模块和无线广域网定位/传输模块通过选定的无线传输网络，将移动时空定位影音数据传输到控制中心；最后，用户通过客户端软件可以实时观看移动时空定位影音数据或从服务器调阅历史数据。其具体实施步骤如下：

按照“空间位移变化量判断为主、位置和传输带宽判断为辅”的方式自动选择无线网络，具体如下：

由于受到多种条件限制，没有哪一种无线网络，可以完全胜任在任何时间、任何地点能够快速、方便、快捷、灵活地获取移动时空定位影音数据的需求，本发明的现场处理设备，负责将移动时空定位影音数据，根据不同场合下不同的需求，通过不同的传输网络(如图1所示)传输到互联网。本发明内置无线局域网定位/传输模块和无线广域网定位/传输模块，支持以无线广域网、无线局域网方式的Internet接入。

本发明具体支持的无线网络包括：CDMA\GPRS网络(中国电信、中国移动)、EDGE网路(中国移动)、3G(中国电信、中国联通、中国移动)、无线局域网(中国电信)。

针对专利(200510094729.0)中提出“一种实时多模式无线视频监控装置及其控制方法”的缺陷，即在移动情况下，其装置会频繁搜索、切换传输网络，而且实际使用中CDMA、GPRS网络传输带宽有限，无法保证移动状态下大分辨率影音数据的传输，易导致装置无法正常工作。

本发明提出了一种优化方案，即按照“空间位移的变化量判断为主、位置判断和传输带宽判断为辅”的方式自动选择无线网络.其流程为：首先，现场处理设备的网络选择及工作模式选择软件模块开始工作，结合当前移动终端空间位移的变化量，判断移动终端处于相对静止状态还是移动状态(所述相对静止状态和移动状态可以由用户根据应用的要求和工作要求自行设定，例如可以设定移动终端空间位移的变化量(每5秒间隔有效坐标的差值)大于50m，则为移动状态，否则为相对静止状态).如处于相对静止状态，则以位置判断(当前处于城区还是郊区)和传输带宽由大到小顺序作为辅助判断，顺序选择无线局域网、3G、EDGE、CDMA/GPRS网络中的一种；如处于移动状态，则以位置判断(通过预先在现场处理设备上安装的电子地图判断当前处于城区还是郊区)和传输带宽由大到小顺序作为辅助判断，选择当前最佳的无线广域网络(3G、EDGE、CDMA/GPRS网络)，放弃选择无线局域网，从而降低网络切换的频率.以上描述工作流程，按固定时间循环执行.

工作模式自适应匹配：

1、工作模式

工作模式分为六种：定点高清模式、现场采访模式、高速车载模式、慢速巡检模式、视频为主模式、音频为主模式。具体工作模式匹配对照表如表1所示。

1)定点高清模式：适合用于相对静止状态下城区内的无线局域网数据传输；

2)现场采访模式：适合用于相对静止状态下城区内的3G网络数据传输；

3)高速车载模式：适合用于高速移动状态下城区内的3G网络数据传输；

4)慢速巡检模式：适合用于相对静止状态下的EDGE网络数据传输；

5)视频为主模式：适合用于高速移动状态下的EDGE网络数据传输；

6)音频为主模式：适合用于CDMA\GPRS网络数据传输。

表1

2、工作模式自适应匹配软件流程

根据“空间位移的变化量判断为主、位置判断和传输带宽判断为辅”的方式选择无线网络后，程序自动匹配对应的工作模式，其判断匹配的软件流程如图6所示，具体步骤如下：

1)程序模块根据定位模块接收的位置坐标，计算每5秒间隔有效坐标的差值。

2)将计算的差值与先前设定的阈值(位移50米)进行比较，如果差值小于或等于阈值，则判定移动终端处于相对静止状态，则转步骤3)继续执行；如果差值大于阈值，则判定移动终端处于移动状态，则转步骤4)继续执行。

3)在相对静止状态下，根据当前现场处理设备的位置信息，结合预先在现场处理设备上安装的电子地图上指定的城区/郊区分界区域，判断当前所处位置。

●如果处于城区，无线信号覆盖齐全，包括无线局域网、3G、EDGE以及CDMA/GPRS..根据无线网络的带宽优先级进行判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖无线广域网信号，如果无，则转步骤②；如果有，则采用定点高清模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

②.判断当前位置是否覆盖3G信号，如果无，则转步骤③；如果有，则采用现场采访模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

③.判断当前位置是否覆盖EDGE信号，如果无，则转步骤④；如果有，则采用慢速巡检模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

④.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

●如果处于郊区，则放弃选择3G网络和无线局域网，在EDGE、CDMA/GPRS网络中按带宽优先级顺序判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖EDGE信号，如果无，则转步骤②；如果有，则采用慢速巡检模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

②.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。4)在移动状态下，根据当前现场处理设备的位置信息，结合预先在现场处理设备上安装的电子地图上指定的城区/郊区分界区域，判断当前位置所处位置。

●如果处于城区，虽然具有无线局域网无线信号，但是无线局域网覆盖范围有限，无法适应移动状态下的数据传输，因此不选用无线局域网。根据无线网络的带宽优先级进行判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖3G信号，如果无，则转步骤②；如果有，则采用车载高速模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。.

②.判断当前位置是否覆盖EDGE信号，如果无，则转步骤③；如果有，则采用视频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

③.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

●如果处于郊区，则放弃选择3G网络和无线局域网，在EDGE、CDMA/GPRS网络中按带宽优先级顺序判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖EDGE信号，如果无，则转步骤②；如果有，则采用视频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断.

②.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时，则返回步骤2)，重新判断。

加密远程传输和控制中心服务器管理：

移动终端以VPN方式(加密传输方式)由移动网络接入互联网，再由互联网接入内网，移动时空定位影音数据可安全的传至控制中心的服务器集群之中。控制中心中的服务器管理程序，负责协调、统一管理桥接服务器、网关服务器、视频服务器、数据库服务器、地图服务器，并完成对数据的存储和调用。

客户端显示：

客户端显示应用程序，负责远程实时观看移动时空定位影音数据或从服务器调阅历史数据。从移动时空定位影音数据中获取定位数据后，在观看影音数据的同时，可在屏幕上实现地图监控功能。现场处理设备和客户端之间，支持双向及时通讯，具体功能包括：双向文字、语音及时通讯；接收文字自动语音播报。

本发明所涉及的移动时空定位影音数据的自适应获取与传输，其优点为：

1、自动判断选择卫星定位、无线广域网定位或无线局域网定位方式，获取定位信息，并将不同定位方式获取的定位信息自动转换成统一的定位数据格式。弥补了定位手段单一的缺陷。

2、自动判断接入的影音数据源设备(数码相机、全景相机、数码摄像机或麦克风)，并从影音数据源设备中提取不同格式的影音数据，自动转换成统一格式的影音数据。弥补了影音数据获取设备单一的缺陷。

3、按照“空间位移变化量判断为主、位置和传输带宽判断为辅”的方式自动选择无线网络。弥补了无线网络频繁切换的缺陷，满足了连续、正常、优质移动时空定位影音数据传输的需要。

4、根据自动选择的无线网络，自动匹配移动时空定位影音数据传输的工作模式。弥补了效无线网络传输带宽与工作模式匹配不协调的缺陷，最大程度的合理利用了有效无线网络传输带宽。

附图说明：

附图1：移动时空定位影音数据获取与传输系统示意图

附图2：移动时空定位影音数据的自适应获取与发送装置(现场处理设备)硬件模块组成示意图

附图3：移动时空定位影音数据的自适应获取与发送装置(现场处理设备)软件模块组成示意图

附图4：时空定位数据自适应获取模块程序框图(包含格式转换模块的定位数据格式转换)

附图5：影音数据自适应获取模块程序框图

附图6：自动网络选择及工作模式选择模块程序框图

附图7：现场处理设备屏幕显示截图

附图8：客户端显示软件屏幕截图

附图9：全景相机多张照片合成屏幕截图

附图10：移动时空定位全景照片客户端显示软件屏幕截图

附图11：现场处理设备屏幕显示移动时空定位影音数据获取屏幕截图

附图12：移动时空定位影音数据客户端显示软件屏幕截图

具体实施方式

结合附图和实施例，对本发明作进一步详细说明。

实施例：

一、相关硬件设备准备

1.现场处理设备

本发明的现场处理设备装置，包含：嵌入式处理模块、无线局域网定位/传输模块、无线广域网定位/传输模块、存储模块、显示模块、电源控制模块。其具体配置为：

1)6路USB2.0接口、音频接口、RS-232接口；

2)嵌入式低功耗移动工控主板，内置嵌入式芯片组；

3)内置ZTE AC560CDMA20001X/EVDO无线模块，支持3G网络或CDMA网络数据传输和定位；

4)内置HUAWEI EG162EDGE/GPRS无线模块，支持EDGE网络或GPRS网络数据传输和定位；

5)内置Intel PRO/Wireless 3945ABG(Tri-mode 802.11a/b/g)无线局域网模块，支持无线局域网数据传输和定位；

6)1G内存、16G固态硬盘和4GB可插式SD存储卡；

7)5寸640*480分辨率触摸式液晶屏，以LVDS方式和嵌入式主板连接；

8)DC-DC电源模块、10.4Ah16芯锂电池，可支持现场处理设备连续工作6-8小时。

9)卫星定位采用HOLUX GPSlim236型蓝牙GPS卫星接收机；

2.影音数据采集设备

1)视频采集，采用SONY DSR-PDX10P数字摄录一体机；

2)视频模/数转换，采用天敏UV200型视频采集卡；

3)音频采集，采用Jabra BT2010型蓝牙麦克风(含耳机)；

4)照片采集，采用NIKON D80数码单镜反光相机；

5)全景照片采集，采用Point Grey Research公司Ladybug2(1394b)全景相机。

二、移动时空定位影音数据的自适应获取

本发明涉及的移动时空定位影音数据的自适应获取，具体分为移动时空定位数据的自适应获取、影音数据的自适应获取和移动时空定位影音数据融合三部分。

(1)移动时空定位数据的自适应获取

移动时空定位数据的自适应获取过程，依据定位方式优先级顺序执行，结合图4，自适应获取的具体步骤为：

1.通过现场处理设备内置的卫星定位模块(GPS)进行定位，自动判断有无GPS信号.在卫星信号接收正常时，直接通过接收GPS信号提取当前GPS位置数据，在卫星信号无法正常接收时，转步骤2进入无线局域网定位模式.

2.通过现场处理设备内置的无线局域网定位/传输模块进行定位，自动判断有无无线局域网信号。在无线局域网信号接收正常时，接收信号的同时，从网络数据包的包头中获取无线局域网发射设备的识别码(SSID)信息，程序模块自动利用获取到的识别码(SSID)信息对安装于现场处理设备中的无线局域网发射器位置数据库进行查询，获取识别码(SSID)信息所对应的记录，从记录中提取相应的无线局域网发射器位置信息作为当前位置信息，并转换为GPS位置数据。在无线局域网信号无法正常接收时，则转步骤3进入无线广域网定位模式。

3.通过现场处理设备内置的无线广域网网定位/传输模块进行定位，自动判断有无无线广域网信号。在无线广域网信号接收正常时，自动进入无线广域网定位模式，通过程序模块控制无线广域网模块获取注册蜂窝小区ID号，然后匹配地图先验数据库，从记录中提取相应的蜂窝小区中心位置信息作为当前位置信息，并转换为GPS位置数据。在无线广域网信号无法正常接收时，则返回步骤1循环搜索。

(2)影音数据的自适应获取

现场处理设备通过USB接口、音频输入接口，可外接多种影音采集设备。本发明涉及的影音源采集设备，负责采集照片(静态图像、全景照片)、动态视、音频，具体包括：

数码相机、全景相机、数码摄像机、麦克风。

影音数据的自适应获取，如图5所示，其软件具体流程如下：

1.通过现场处理设备上所提供的USB接口，对外部影音源采集设备(包括摄像机、全景相机、普通数码相机)进行连接。

2.通过现场处理设备上安装的XPE操作系统模块，自动判断USB接口所连接设备的类型。如果是全景相机，则转步骤3执行。如果是普通数码相机，则转步骤4执行。如果是摄像机则转步骤5执行。

3.通过影音数据自适应获取模块，结合厂商提供的SDK驱动全景相机，按位移变化量或等时间间隔进行图像实时获取，并将全景相机一次获取的多张图片进行合成，生成一张JPG格式图片(如图9所示)。获取的照片格式文件存储在存储模块中，然后，由格式转换模块控制自动将存储好的照片格式文件按顺序送入数据融合及编码模块，再结合现场处理设备上音频输入接口采集到的音频数据，以及上述提取的GPS位置数据，根据工作模式设置的编码参数，进行实时数据融合，生成流媒体文件格式的移动时空定位影(全景影像)音数据。

4.通过影音数据自适应获取模块，结合厂商提供的SDK驱动普通数码相机，按位移变化量或等时间间隔进行图像实时获取，生成JPG格式图片。获取的照片格式文件存储在存储模块中，然后，由格式转换模块控制自动将存储好的照片格式文件按顺序送入数据融合及编码模块，再结合现场处理设备上音频输入接口采集到的音频数据，以及上述提取的GPS位置数据，根据工作模式设置的编码参数，进行实时数据融合，生成流媒体文件格式的移动时空定位影(局部影像)音数据。

5.通过影音数据自适应获取模块和视频模/数转换设备，将数码摄像机实时采集的模拟视频信息转换为数字视频信息，再结合现场处理设备内数据输入接口模块采集到的音频信息，以及上述提取的GPS位置数据，根据工作模式设置的编码参数，进行实时数据融合，生成流媒体文件格式的移动时空定位影(局部视频)音数据.

(3)移动时空定位影音数据融合

将移动时空定位数据和影音数据进行融合，本发明的数据融合及编码软件模块支持两种融合方式。

1.基于ASF数据融合技术获得可定位流媒体的方式

2.自定义编解码文件的融合方式。

三、移动时空定位影音数据的自适应传输

本发明涉及的移动时空定位影音数据的自适应传输，如图1所示，其工作流程为：首先，移动终端中的现场处理设备按照“空间位移的变化量判断为主、位置判断和传输带宽判断为辅”的方式自动选择优势无线网络并自动匹配之传输带宽相适应的工作模式；其次，现场处理设备的嵌入式软硬件通过选定的无线传输网络，将移动时空定位影音数据传输到控制中心的服务器集群；最后，用户通过客户端软件可以实时观看移动时空定位影音数据或从服务器调阅历史数据。其具体实施步骤如下：

(1)按照“空间位移变化量判断为主、位置和传输带宽判断为辅”的方式自动选择无线网络按照“空间位移的变化量判断为主、位置判断和传输带宽判断为辅”的方式自动选择无线网络。其流程为：首先，现场处理设备的网络选择及工作模式选择软件模块开始工作，结合当前空间位移的变化量，判断移动终端处于相对静止状态还是移动状态。如处于相对静止状态，则以位置判断(通过预先在现场处理设备上安装的电子地图判断当前处于城区还是郊区)和传输带宽由大到小顺序作为辅助判断，顺序选择无线局域网、3G、EDGE、CDMA/GPRS网络中的一种；如处于高速移动状态，则以位置判断(当前处于城区还是郊区)和传输带宽由大到小顺序作为辅助判断，选择当前最佳的无线广域网络(3G、EDGE、CDMA/GPRS网络)，放弃选择无线局域网，从而降低网络切换的频率。以上描述工作流程，按固定时间(15分钟)循环执行。

(2)工作模式自适应匹配

1.工作模式编码参数配置

面如图7所示，具体编码参数配置为：

1)定点高清模式：768*576(视频分辨率)、250千字节/秒(视频传输率)、25帧/秒(视频帧数)、10千字节/秒8赫兹(音频传输率)；

2)现场采访模式：640*480(视频分辨率)、200千字节/秒(视频传输率)、30帧/秒(视频帧数)、10千字节/秒8赫兹(音频传输率)；

3)高速车载模式：352*288(视频分辨率)、100千字节/秒(视频传输率)、25帧/秒(视频帧数)、10千字节/秒8赫兹(音频传输率)；

4)慢速巡检模式：352*288(视频分辨率)、60千字节/秒(视频传输率)、25帧/秒(视频帧数)、10千字节/秒8赫兹(音频传输率)；

5)视频为主模式：240*180(视频分辨率)、40千字节/秒(视频传输率)、15帧/秒(视频帧数)、5千字节/秒8赫兹(音频传输率)；

6)音频为主模式：160*120(视频分辨率)、10千字节/秒(视频传输率)、15帧/秒(视频帧数)、32千字节/秒44赫兹(音频传输率)。

2.工作模式自适应匹配软件流程

根据“空间位移的变化量判断为主、位置判断和传输带宽判断为辅”的方式选择无线网络后，程序自动匹配对应的工作模式。具体工作模式选择如表1所示，其判断匹配的软件流程如图6所示，具体步骤如下：

1)程序模块根据定位模块接收的位置坐标，计算每5秒间隔有效坐标的差值。

2)将计算的差值与先前设定的阈值(位移50米)进行比较，如果差值小于或等于阈值，则判定现场处理设备处于相对静止状态，则转步骤3)继续执行；如果差值大于阈值，则判定现场处理设备处于移动状态，则转步骤4)继续执行。

3)在相对静止状态下，根据当前现场处理设备的位置信息，结合预先在现场处理设备上安装的电子地图上指定的城区/郊区分界区域，判断当前所处位置。

●如果处于城区，无线信号覆盖齐全，包括无线局域网、3G、EDGE以及CDMA/GPRS。根据无线网络的带宽优先级进行判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖无线广域网信号，如果无，则转步骤②；如果有，则采用定点高清模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

②.判断当前位置是否覆盖3G信号，如果无，则转步骤③；如果有，则采用现场采访模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

③.判断当前位置是否覆盖EDGE信号，如果无，则转步骤④；如果有，则采用慢速巡检模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

④.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

●如果处于郊区，则放弃选择3G网络和无线局域网，在EDGE、CDMA/GPRS网络中按带宽优先级顺序判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖EDGE信号，如果无，则转步骤②；如果有，则采用慢速巡检模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

②.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。4)在移动状态下，根据当前现场处理设备的位置信息，结合预先在现场处理设备上安装的电子地图上指定的城区/郊区分界区域，判断当前位置所处位置。

●如果处于城区，虽然具有无线局域网无线信号，但是无线局域网覆盖范围有限，无法适应高速移动状态下的数据传输，因此不选用无线局域网。根据无线网络的带宽优先级进行判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖3G信号，如果无，则转步骤②；如果有，则采用车载高速模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断..

②.判断当前位置是否覆盖EDGE信号，如果无，则转步骤③；如果有，则采用视频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

③.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

●如果处于郊区，则放弃选择3G网络和无线局域网，在EDGE、CDMA/GPRS网络中按带宽优先级顺序判断，即选用何种工作模式获取移动时空定位影音数据，其具体过程为：

①.判断当前位置是否覆盖EDGE信号，如果无，则转步骤②；如果有，则采用视频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

②.判断当前位置是否覆盖CDMA/GPRS信号，如果无，则说明此处无任何可用信号，则无法进行传输，返回步骤①，继续搜索；如果有，则采用音频为主模式获取移动时空定位影音数据，在此模式下工作，如出现传输中断超时(300秒)，则返回步骤2)，重新判断。

(3)加密远程传输和控制中心服务器管理

移动终端以VPN方式(加密传输方式)由移动网络接入互联网，再由互联网接入内网，移动时空定位影音数据可安全的传至控制中心的服务器集群之中。控制中心中的服务器管理程序，负责协调、统一管理桥接服务器、网关服务器、视频服务器、数据库服务器、地图服务器，并完成对数据的存储和调用，本发明所有服务器创建和管理均采用了VMware公司的虚拟化技术和相关虚拟化软件，所以具有很好的稳定性和易用性。

数据通过传输网络，远程送达到控制中心，在其过程中，为了有效克服移动网络和有线网络之间存在的“瓶颈”问题，本发明构建了VPN专线桥接服务器、网关服务器，最大程度的保证了不同网络之间数据高速交互。控制中心的视频服务器、数据库服务器、地图服务器负责协调、统一完成对大量可定位影音数据进行的存储、传输、播放、自动处理和数据库管理等工作。

(4)客户端显示

客户端显示应用程序，负责远程实时观看移动时空定位影音数据或从服务器调阅历史数据。其客户端显示软件屏幕截图如图8所示。从移动时空定位影音数据中获取定位数据后，在观看影音数据的同时，可在屏幕上实现地图监控功能。方式为：1)结合API电子地图接口，从相关地图网站上获取地图数据，匹配坐标，实现移动位置显示；2)结合虚拟串口和PC版导航电子地图软件，从移动时空定位影音数据中获取坐标数据，通过虚拟串口控制软件，将坐标连续的输入至PC版导航电子地图软件，实现移动位置显示。

现场处理设备和客户端之间，支持双向及时通讯，具体功能包括：双向文字、语音及时通讯；接收文字自动语音播报(如图7、8、10、11、12所示)。

Claims (1)

1.一种移动时空定位影音数据的自适应获取和发送装置，包括嵌入式处理模块(CPU)、无线局域网定位/传输模块、无线广域网定位/传输模块、显示模块和存储模块；其特征是：

嵌入式处理模块上带有若干USB接口和一个音频输入接口，无线局域网定位/传输模块和无线广域网定位/传输模块分别通过USB接口与嵌入式处理模块相连，其余USB接口作为外接设备接口；无线局域网定位/传输模块和无线广域网定位/传输模块各自带有发射接收天线，音频输入接口用于连接麦克风；

嵌入式处理模块安装XPE操作系统；存储模块内存放有主程序模块和地图先验数据库、无线局域网发射器位置数据库、电子地图，供XPE操作系统调用；主程序模块包括时空定位数据自适应获取模块、影音数据自适应获取模块、格式转换模块、网络选择及工作模式选择模块、数据融合及编码模块、数据传输模块；其中

时空定位数据自适应获取模块，控制卫星定位模块、无线局域网定位/传输模块和无线广域网定位/传输模块按照下述程序工作：在GPS信号正常接收情况下，采用卫星定位方式，时空定位数据自适应获取模块控制卫星定位模块从GPS报文中提取定位数据，送入格式转换模块；在卫星定位模块无法接收GPS信号情况下，采用无线局域网定位方式，时空定位数据自适应获取模块控制无线局域网定位/传输模块，从无线局域网发射设备中获取识别码信息，然后匹配无线局域网发射器位置数据库，获取识别码信息所对应的记录，从记录中提取相应的无线局域网发射器位置数据作为当前位置数据，送入格式转换模块；在GPS无法接收GPS信号、无线局域网定位方式无法使用的情况下，采用无线广域网定位/传输模块，时空定位数据自适应获取模块控制无线广域网定位/传输模块从移动蜂窝小区获取该小区ID号，然后匹配地图先验数据库，得到当前位置数据，送入格式转换模块；

影音数据自适应获取模块，当USB接口通过视频模/数转换设备外接数码摄像机时，负责获取数字视频数据，并将其送入格式转换模块；当USB接口外接数码相机或全景相机时，影音数据自适应获取模块自动控制触发数码相机或全景相机按现场处理设备位移变化量或等时间间隔进行拍照，获取照片格式的文件并存储在存储模块中，然后，将照片格式的文件按顺序送入格式转换模块；当音频输入接口外接麦克风时，则进行音频采集，获取音频数字信息，并将其送入格式转换模块；

格式转换模块，负责将时空定位数据自适应获取模块获取的位置信息转换成统一的GPS坐标格式的位置数据并传给数据融合及编码模块，将影音数据自适应获取模块获取的音频、视频或照片数据转换成统一的流媒体文件格式并传给数据融合及编码模块；

网络选择及工作模式选择模块配合格式转换模块，负责选择数据传输网络，并确定一种与所选择的数据传输网络相匹配的工作模式，并让数据融合及编码模块在此工作模式下，完成数据融合及编码；

数据融合及编码模块，将得到的GPS坐标格式的位置数据和流媒体文件格式的影音数据，按照网络选择及工作模式选择模块所确定的工作模式进行数据融合，编码生成统一格式的移动时空定位影音数据，同时完成此数据的本地实时存储；融合方式采用基于ASF数据融合技术获得可定位流媒体的方式或自定义编解码文件的方式；

数据传输模块，将融合生成的移动时空定位影音数据，通过无线局域网定位/传输模块和无线广域网定位/传输模块实时发送。

Images