CN108347427B - 一种视频数据传输、处理方法、装置及终端、服务器 - Google Patents

Abstract

一种视频数据传输、处理方法、装置及终端、服务器，终端根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式；按照选择的封装格式将视频数据封装为视频帧数据包并发送。视频处理服务器根据所述视频帧数据包采用的封装格式进行目标对象识别，将识别出的目标对象的标签信息返回给所述监控终端。本申请可以根据网络状态使用相适应的封装格式，满足实时性的要求。

Description

一种视频数据传输、处理方法、装置及终端、服务器

技术领域

本申请涉及数据传输，更具体地，涉及一种视频数据传输、处理方法、装置及终端、服务器。

背景技术

目前主流的无线通讯方式主要有3G、4G、Wifi。3G是指第三代移动通信技术。是指支持高速数据传输的蜂窝移动通讯技术。3G服务能够同时传送声音及数据信息，速率一般在几百kbps以上。4G系统能够以100Mbps的速度下载，比拨号上网快2000倍，上传的速度也能达到20Mbps，并能够满足几乎所有用户对于无线服务的要求。Wi-Fi是一种可以将个人电脑、手持设备(如iPad、手机)等终端以无线方式互相连接的技术，目的是改善基于IEEE802.11标准的无线网路产品之间的互通性。Wi-Fi无线传输技术有着极大的优势，能够十分快速地实现各种信息数据的传输与接收。

无线数据传输信号衰弱是无线数据传输工作中面临的一种最常见的挑战，无线数据传输并没有固定的数据传输线路或是传输渠道，这就从客观上决定了无线数据传输时信号的脆弱性。加之一些数据在进行传输时相隔的距离比较远，导致了无线数据在传送时受到的影响要大得多。因为受到地表各类事物的影响程度不同，无线数据在传输过程中受到的干扰情况也不同。

数字视频是由一系列图像帧及像素构成的非结构化数据，在目前的无线数据传输中，图像数据对带宽的占用率非常高，在以香农-奈奎斯特采样定理为基本框架的信号处理领域中，高带宽的图像与视频所要求的奈奎斯特采样速率往往较大，这提高了图像与视频的采集和压缩成本，对在采集时间、能耗、计算能力等受限场合中的图像与视频应用提出了挑战。例如，在移动监控无线数据传输中，很多基于静态监控的图像数据压缩算法难以实现。

以使用增强现实(Augmented Reality，简称AR)技术的移动监控应用为例。AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，把原本在现实世界很难体验到的视觉信息、声音、味道等，通过模拟仿真后再叠加，将虚拟的信息应用到真实世界。在使用AR技术的移动监控应用中，AR终端需要将采集的视频数据发送到视频处理服务器，接收视频处理服务器处理后返回的对象属性标签等信息，并且对实时性要求很高，而在很多实际环境中网络带宽有限，视频数据的传输速率难以达到实时性的要求。

发明内容

本发明实施例提供了一种视频数据传输方法，包括：

根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式；

按照选择的封装格式将视频数据封装为视频帧数据包并发送。

本发明还提供了一种视频数据传输装置，包括：

格式选择模块，用于根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式；

数据包发送模块，用于按照选择的封装格式将视频数据封装为视频帧数据包并发送。

本发明实施例还提供了一种终端，包括视频采集装置、数据处理装置和无线接口装置，其中：

所述视频采集装置，用于采集视频数据；

所述数据处理装置，用于根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式，按照选择的封装格式将视频数据封装为视频帧数据包，并通过所述无线接口装置发送；

所述无线接口装置，用于将所述视频帧数据包发送给视频处理服务器。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所述的视频数据传输方法的处理。

本发明实施例预设有多种视频帧数据包的封装格式，根据网络状态使用一种相适应的封装格式，以满足实时性的要求。

本发明实施例还提供了一种视频数据处理方法，包括：

视频处理服务器接收监控终端发送的视频帧数据包，从预设的多种封装格式中确定所述视频帧数据包采用的封装格式；

所述视频处理服务器根据所述视频帧数据包采用的封装格式进行目标对象识别，将识别出的目标对象的标签信息返回给所述监控终端。

本发明实施例还提供了一种视频处理服务器，包括：

格式判断模块，用于接收监控终端发送的视频帧数据包，从预设的多种封装格式中确定所述视频帧数据包采用的封装格式；

目标识别模块，用于根据所述格式判断模块确定的视频帧数据包采用的封装格式进行目标对象识别；

信息发送模块，用于将所述目标识别模块识别出的目标对象的标签信息返回给所述监控终端。

本发明实施例还提供了一种视频处理服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本发明实施例所述的视频数据处理方法的处理。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所述的视频数据处理方法的处理。

上述实施例方案中，视频处理服务器判断终端发送的视频帧数据包的封装格式，根据不同的封装格式进行识别，可以适应终端在不同网络状态下使用不同封装格式的传输方式，实现目标识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一视频数据传输方法的流程图；

图2为本发明实施例一视频数据传输装置的模块图；

图3为本发明实施例一终端的结构图；

图4为本发明实施例二视频数据处理方法的流程图；

图5为本发明实施例二视频处理服务方法

图6为本发明实施例三视频监控系统的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例一

数字视频是由一系列图像帧及像素构成的非结构化数据。而结构化数据指任何可利用关系型数据库进行存储、管理、分类及检索或以任何可标识语言(Markable Language)所表示的数据。通过对非结构化数据如图像视进行特征提取，可以得到相应的结构化数据，这些结构化数据相对于原来的非结构化数据而言，其数据量大大减少，即使在网络状态不好时也可以满足实时传输的要求。为了满足各种环境下的数据传输和处理的实时性要求，本实施例设置了多种视频帧的封装格式，有的使用结构化数据，有的使用非结构化数据，而有的将结构化数据和非结构化数据相结合。

本实施例的视频数据传输方法如图1所示，包括：

步骤110，根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式；

本实施例中，所述多种封装格式的包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式，这里的视频流数据指原始视频流数据；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

目标对象，是视频中需要关注的对象，根据场景的不同，可以是人、动物，某一物品如车、玩具、车牌等等。目标对象的图片可以采用图像处理技术从视频画面中自动提取。目标对象的结构化数据中可以包括目标对象所在的帧序列、类型标记、坐标标记等信息。而对视频流中的目标对象进行检测和特征提取得到特征信息除上述结构化数据的内容外，还可以包括目标对象的大小、形状、位置、运动形式等等信息。

本实施例中，根据无线网络的状态从所述多种封装格式中选择一种封装格式，可以有多种方式，例如：

方式一，检测当前无线网络的类型，根据预设的所述多种封装格式与多种无线网络的类型之间的对应关系，将当前无线网络的类型对应的一种封装格式作为所述选择的封装格式。

在一些无线信号稳定的环境中，例如办公室、酒店、城市中心等，无线网络的类型与其带宽有着较为固定的关系。例如，可以建立Wifi、4G与非结构化封装格式、3G与混合结构封装格式、2G与完全结构化封装格式的对应关系。当然这仅仅是一个示例，网络类型与封装格式的对应关系完全可以由用户根据业务的需要自行设定。

方式二、检测当前无线网络的信号质量，根据预设的所述多种封装格式与多种信号质量范围之间的对应关系，将当前无线网络的信号质量对应的一种封装格式作为所述选择的封装格式。

在一些无线信号不稳定的环境中，例如野外、郊区等，即使是同一类型的网络其信号质量也会发生大幅的波动。此时可以对信号质量进行检测，将检测结果作为选择封装格式的依据。例如，可以设置为在信号强度大于等于-67dBm时采用非结构化封装格式，在信号强度大于等于-90dBm且小于-67dBm时采用混合结构封装格式，在信号强度小于-90dBm时采用完全结构化封装格式。这也仅仅是一个示例，信号质量所采用的参数、具体的阈值等都可以有不同的设置。

需要说明的是，在上述根据信号质量来选择封装格式的方式二中，并不排除在选择封装格式时考虑其它因素，例如，也可以结合无线网络的类型，对于不同的无线网络，与封装格式对应的信号质量范围可以不同，但这仍然属于方式二的范畴。

除了根据检测结果自动选择封装格式外，也可以手动设置，特别是在信号比较稳定的环境下，用户可以根据环境中的网络类型或信号质量的情况，手动设置一种相适应的封装格式，或者改变原来的封装格式。

步骤120，按照选择的封装格式将视频数据封装为视频帧数据包并发送。

本实施例中，所述按照选择的封装格式将视频数据封装为视频帧数据包，包括：在视频帧数据包的包头添加所述选择的封装格式的指示信息。该指示信息可以是一个标志字段，例如，用00表示非结构化封装格式，01表示混合结构封装格式，10表示完全结构化封装格式。但本申请不局限于此。

本实施例中，上述视频数据传输方法可用于监控终端向视频处理服务器发送视频数据。上述步骤110和步骤120由监控终端执行。所述监控终端按照选择的封装格式将视频数据封装为视频帧数据包并发送给视频处理服务器之后，所述方法还可以包括：所述监控终端接收所述视频处理服务器返回的目标对象的标签信息，并通过投影装置将所述标签信息投射到显示屏上。在一个示例中，所述监控终端为增强现实AR终端，所述显示屏可以是镜片。但在本申请中，监控终端也可以是普通的移动终端或固定的终端等其他类型的终端。

本实施例还提供了一种视频数据传输装置，如图2所示，包括：

格式选择模块10，用于根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式；

数据包发送模块20，用于按照选择的封装格式将视频数据封装为视频帧数据包并发送。

本实施例中，

所述多种封装格式的包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

本实施例中，

所述格式选择模块根据无线网络的状态从所述多种封装格式中选择一种封装格式，包括：检测当前无线网络的类型，根据预设的所述多种封装格式与多种无线网络的类型之间的对应关系，将当前无线网络的类型对应的一种封装格式作为所述选择的封装格式。

本实施例中，

所述格式选择模块根据无线网络的状态从所述多种封装格式中选择一种封装格式，包括：检测当前无线网络的信号质量，根据预设的所述多种封装格式与多种信号质量范围之间的对应关系，将当前无线网络的信号质量对应的一种封装格式作为所述选择的封装格式。

本实施例中，

所述数据包发送模块按照选择的封装格式将视频数据封装为视频帧数据包，包括：在视频帧数据包的包头添加所述选择的封装格式的指示信息。

本实施例还提供了一种终端，如图3所示，包括：

视频采集装置30，用于采集视频数据，如可以是摄像头。

数据处理装置40，用于根据无线网络的状态或封装格式的设置信息，从预设的视频帧数据包的多种封装格式中选择一种封装格式，按照选择的封装格式将视频数据封装为视频帧数据包，并通过所述无线接口装置发送；数据处理装置可以用处理器或逻辑电路或其组合实现。

无线接口装置50，用于将所述视频帧数据包发送给视频处理服务器。无线接口装置可以包括多个无线网络的接口，如Wifi，3G、4G等。

本实施例中，

所述多种封装格式包括非结构化封装格式、混合结构封装格式和完全结构化封装格式中的至少二种；

在选择的封装格式为非结构化封装格式时，所述数据处理装置将视频流数据直接封装为视频帧数据包并发送；

在选择的封装格式为混合结构封装格式时，所述数据处理装置从视频流中提取目标对象的图片和结构化数据，封装为视频帧数据包并发送；

在选择的封装格式为完全结构化封装格式时，所述数据处理装置对视频流中的目标对象进行检测和特征提取，对得到的特征信息做结构化数据封装为视频帧数据包并发送。

本实施例中，

所述数据处理装置根据无线网络的状态从所述多种封装格式中选择一种封装格式，包括：

检测当前无线网络的类型，根据预设的所述多种封装格式与多种无线网络的类型之间的对应关系，将当前无线网络的类型对应的一种封装格式作为所述选择的封装格式；或者

检测当前无线网络的信号质量，根据预设的所述多种封装格式与多种信号质量范围之间的对应关系，将当前无线网络的信号质量对应的一种封装格式作为所述选择的封装格式。

本实施例中，

所述数据处理装置按照选择的封装格式将视频数据封装为视频帧数据包，包括：在视频帧数据包的包头添加所述选择的封装格式的指示信息。

本实施例中，

所述终端为监控终端，所述监控终端还包括投影装置；

所述数据处理装置还用于通过所述无线接口装置接收所述视频处理服务器返回的目标对象的标签信息，并通过投影装置将所述标签信息投射到显示屏上。

本实施例预设有多种视频帧数据包的封装格式，根据网络状态使用一种相适应的封装格式进行视频数据传输，可以满足实时性的要求。

实施例二

本实施例涉及一种视频数据处理方法，视频处理服务器在接收的视频帧数据包可能存在多种封装格式时，将进行封装格式的判定，并根据判定结果进行目标对象的识别。

如图4所示，本实施例的视频数据处理方法包括：步骤210，视频处理服务器接收监控终端发送的视频帧数据包，从预设的多种封装格式中确定所述视频帧数据包采用的封装格式；步骤220，所述视频处理服务器根据所述视频帧数据包采用的封装格式进行目标对象识别，将识别出的目标对象的标签信息返回给所述监控终端。在步骤210中，确定视频帧数据包封装格式的方式有很多，例如，通过读取视频帧数据包的包头用于指示视频帧数据包采用的封装格式的指示信息来确定，该指示信息可以是一个标志字段。

本实施例中，

所述多种封装格式包括将视频流数据直接封装为视频帧数据包的非结构化封装格式；

所述视频帧数据包采用非结构化封装格式时，所述视频处理服务器进行目标对象识别，包括；基于所述视频帧数据包中的视频流数据进行目标对象的检测和特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

本实施例中，

所述多种封装格式包括从视频流中提取目标对象的图片和结构化数据，并封装为视频帧数据包的混合结构封装格式；

所述视频帧数据包采用混合结构封装格式时，所述视频处理服务器进行目标对象识别，包括；基于所述视频帧数据包中目标对象的图片和结构化数据进行特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

本实施例中，

所述多种封装格式的包括将目标对象的特征信息做结构化数据封装为视频帧数据包的完全结构化封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到；

所述视频帧数据包采用完全结构化封装格式时，所述视频处理服务器进行目标对象识别，包括；将所述视频帧数据包中目标对象的特征息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

虽然本实施例包括上述三种封装格式，但在其他实施例中，也可以只包括其中二种，或者包括其中一种以及其他的一种或多种封装格式。

本实施例还提供了一种视频处理服务器，如图5所示，包括：

格式判断模块60，用于接收监控终端发送的视频帧数据包，从预设的多种封装格式中确定所述视频帧数据包采用的封装格式；

目标识别模块70，用于根据所述格式判断模块确定的视频帧数据包采用的封装格式进行目标对象识别；

信息发送模块80，用于将所述目标识别模块识别出的目标对象的标签信息返回给所述监控终端。

本实施例中，

所述多种封装格式包括将视频流数据直接封装为视频帧数据包的非结构化封装格式；

所述视频帧数据包采用非结构化封装格式时，所述目标识别模块进行目标对象识别，包括；基于所述视频帧数据包中的视频流数据进行目标对象的检测和特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

本实施例中，

所述多种封装格式包括从视频流中提取目标对象的图片和结构化数据，并封装为视频帧数据包的混合结构封装格式；

所述视频帧数据包采用混合结构封装格式时，所述目标识别模块进行目标对象识别，包括；基于所述视频帧数据包中目标对象的图片和结构化数据进行特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

本实施例中，

所述多种封装格式的包括将目标对象的特征信息做结构化数据封装为视频帧数据包的完全结构化封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到；

所述视频帧数据包采用完全结构化封装格式时，所述目标识别模块进行目标对象识别，包括；将所述视频帧数据包中目标对象的特征息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

本实施例还提供了一种视频处理服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本实施例所述的方法的处理。

本实施例方案中，视频处理服务器判断终端发送的视频帧数据包的封装格式，根据不同的封装格式进行识别，可以适应终端在不同网络状态下使用不同封装格式的传输方式，实现目标识别。

实施例三

本实施例涉及一种基于增强现实的自适应实时移动监控研判辅助系统，将描述实施例一和实施例二方法在该系统中的应用。

本实施例可以根据不同的网络状态使用不同的视频帧数据包格式，允许监控终端根据实际需要选择，从而保证视频监控的实时性。同时利用增强现实技术，并结合视频分析平台，解决了传统移动监控中设备实时性问题，从而可以便捷的锁定监控对象。

在视频监控中，目标对象的标签信息越来越受到重视。目标对象的标签信息包括对象属性的具体数据表现，比如监控车辆的车牌号是对象属性，而具体车牌号码是对象的标签信息。监控视频数据用结构化数据取代，可以减少传输数据量，节约带宽，提高实时性，还可以利于计算机根据标签信息进行目标对象的特征匹配等自动化识别研判工作。

本实施例基于增强现实技术的视频监控系统的架构如图6所示，增强现实头戴式装备(也称为AR终端)用于采集视频流以及最终增强视频流显示，可视为客户端。服务器侧有视频研判服务器、数据库服务器及结构化信息系统服务集群、非结构化信息系统服务集群。其中视频研判服务器是负责进行视频处理的服务器。

在工作时，视频研判服务器根据需求从数据库中获取待监控对象的图像并进行特征提取，得到待监控对象的特征信息。在网络状态良好时，AR终端的视频流采用非结构化封装格式，传输的是视频流数据，视频研判服务器基于视频流数据进行目标对象检测和特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如果匹配成功，则添加所述目标对象的标签信息，返回给AR终端，在此过程中，也同时对视频流进行数据存储。网络状态一般时，AR终端的视频流采用混合结构封装格式，AR终端需要从视频流原始图像中提取目标对象的图片，并对目标对象所在的帧序列、类型标记、坐标标记等信息做结构化封装为结构化数据，通过视频帧数据包传输到视频研判服务器。视频研判服务器基于目标对象的图片进行特征提取、特征匹配，如果匹配成功，将所述目标对象的标签信息返回给AR终端。如果网络状态很差，AR终端采用完全结构化封装格式，则由AR终端对视频流中的目标对象进行检测和特征提取，得到的特征信息做结构化数据封装为视频帧数据包并发送给视频研判服务器，视频研判服务器将接收到的目标对象的特征信息和待监控对象的特征信息进行匹配，匹配成功则将所述目标对象的标签信息返回给AR终端。

如果待监控对象是特定的人的话，则上述目标对象是视频帧中的人，如果特征匹配成功，说明视频帧中的该人被识别为某一待监控对象，此时，该人也可以称为可疑对象。

本实施例的AR终端由用户佩戴，包括处理单元、无线接口、摄像头、投影模块、GPS模块、麦克风、扬声器、存储模块等。摄像头获取监控场景的图像，经处理单元封装为视频帧数据包，由无线接口传输至视频研判服务器，从无线接口接收到视频研判服务器返回的标签信息后，处理单元通过投影模块投射到镜片或其它显示屏中，例如，上述标签信息可以是监控嫌疑人照片，也可以是其他监控人员传送过来的场景资讯。投射到的镜片包括但不限于眼镜片、人的眼睛、隐形眼镜等。AR终端还可以通过麦克风与扬声器与其它终端用户通讯。

AR终端可以通过Web服务请求向视频研判服务器发起视频分析请求，请求信息包含但不限于待分析视频、视频序列号、分析任务类型等。视频研判服务器分析视频过程中不断吐出图片和相应目标信息(如目标颜色、速度、运动方向、目标类型等)，将其插入结构化信息系统服务集群和非结构化信息系统服务集群，随后可根据AR终端的具体任务需求返回增强现实场景标签。

本实施例可以根据不同的网络状态使用多种视频帧数据包的封装格式，从而保证系统监控模块的实时性。这些封装格式包括：

非结构化封装格式，AR终端不做任何视频帧处理，把视频流数据直接封装为视频帧数据包，通过无线网络发送至视频研判服务器。此种方式适用于网络通畅状态下发送视频流。

混合结构封装格式，AR终端将包含目标对象的图片以及目标对象的帧序列、类型标记、坐标标记等结构化数据一起封装成视频帧数据包，发送到视频研判服务器，此种方式下，数据包的容量相对非结构化封装格式的数据包减小，可以降低数据包传输过程中的带宽压力。

完全结构化封装格式，AR终端进行目标对象检测和特征提取，得到的特征信息进行结构化数据封装后，上传至视频研判服务器进行目标识别等进一步信息处理。此种方式可以最小化数据包的容量，从而进一步降低数据包传输过程中的带宽压力。

上述封装格式的选择，可以根据无线网络的类型、信号质量的检测结果等来自适应选择，也可以手动设置，具体可参见实施例一中的描述。

本实施例使用结构化数据传输视频要素，使得移动实时监控研判成为可能，比如警力的巡逻监控部署是一种典型的户外单用户AR应用场景，在此场景中主要考虑复杂环境中的数据实时性。本实施例解决了传统个人移动监控设备视频信息传输实时性不可靠、以及用户疲劳而错过监控要素等缺点。

实施例四

本实施例以一个示例来说明在良好网络状态中的视频监控方法。

在酒店接待场景中，监控场所基本在大厅或客房等室内环境，本实施例展示了在典型良好网络状态中，使用本系统可以让酒店前台人员快速识别顾客信息。一方面，为酒店前台人员佩戴本系统的AR终端，可以从酒店数据库中调取老客户的特征标签，与进入酒店的顾客信息进行匹配，以便于前台接待人员快速获取老顾客资料信息；另一方面AR终端也可以与警方嫌犯数据库互联，可以让酒店前台以第一视角快速识别被通缉的嫌犯，及时与警方联系。

本实施例的视频监控方法包括：

步骤一，初始化系统，视频研判服务器连接酒店顾客登记数据库以及嫌疑人数据库；

步骤二，AR终端检测到目前处于Wifi状态，网络状态良好，直接向视频研判服务器发送原始视频流；

此种方式能够降低用户终端计算负荷，避免图像计算单元耗能，目标对象检测、目标特征提取、特征匹配等功能完全由视频研判服务器进行计算，使AR终端数据处理最小化，高强度计算集中于视频研判服务器中，增加电池续航能力。

步骤三，一个或多个AR终端向视频研判服务器上传视频流数据包，同时视频研判服务器对场景人群进行特征匹配；

步骤四，视频研判服务器判断当前视频流中是否检测出嫌犯对象，如果是，执行步骤五，否则执行步骤六；

步骤五，视频研判服务器把匹配到的嫌疑人信息通知警方，并在视频对象相应位置添加信息标签，返回给原AR终端，转入步骤九；

步骤六，视频研判服务器判断当前视频流中是否检测出已登记客户对象，如果是，执行步骤八，否则执行步骤七；

步骤七，视频研判服务器在酒店客户数据库中建立新的顾客数据对象，便于记录新顾客偏好；

步骤八，视频研判服务器在视频流中人物对象相应位置添加标签信息，返回给AR终端；

步骤九，AR终端接收来自视频研判服务器的人物对象的标签信息，并通过投影模块映射到酒店前台人员可视范围内。

实施例五

本实施例以一个示例来说明在一般网络状态中的视频监控方法。

在小区范围内警方对犯罪嫌疑人进行区域布控场景中，网络信号状态一般，且不如室内稳定。本实施例描述的是一般网络状态下警力小区布控，对嫌犯进行定点监控的场景，其流程包括：

步骤一，视频研判服务器加载待监控对象的图片数据，并进行特征提取；

步骤二，AR终端检测到目前处于4G状态，则使用头戴装置内置计算单元对监视频频进行目标提取，如可以从当前摄像头中检测出目标对象类别，如人脸、车辆等，然后把待选目标对象的图像分割提取出来，与帧序列、类型标记、坐标标记等结构化数据一起封装成视频帧数据包，发送到视频研判服务器进行特征提取、特征匹配、目标识别等工作；

步骤三，视频研判服务器接收来自一个或多个AR终端上传的混合结构的视频帧数据包，进行目标特征提取与目标识别；

步骤四，视频研判服务器判断当前视频流中是否检测到待监控对象，如果是，执行步骤五，否则返回步骤三；

如前述实施例所描述的，检测到待监控对象，即视频流中的目标对象与待监控对象的特征信息匹配成功。

步骤五，视频研判服务器在视频流中在可疑对象相应位置添加标签信息，返回给AR终端；

步骤六，AR终端接收来自视频研判服务器的标签信息，并通过投影模块映射到监控人员可视范围内。

实施例六

本实施例以一个示例来说明在较差网络状态中的视频数据传输。

在郊区环境中警方对犯罪嫌疑人进行布控抓捕时，经常处于网络信号差、不稳定等状态，同时考虑到在警方实施抓捕状态过程中，客户端处于快速移动状态，考虑以上因素，本实施例描述在典型的较差网络状态中的业务流程，其具体流程包括：

步骤一，视频研判服务器加载待监控对象的图片数据，并进行特征提取；

步骤二，AR终端向视频研判服务器发送监控场景中处理后的完全结构化数据；

由于目前处于郊区不稳定网络状态，同时考虑到嫌犯抓捕处于快速移动情况，用户将AR终端的封装格式设置为完全结构化封装格式。此种情况下，AR终端进行初步监控对象检测、提取并对得到的特征信息做结构化数据封装为视频帧数据包，然后上传至视频研判服务器进行特征匹配、目标识别等进一步信息处理。此种方式可以最小化数据包的容量，从而进一步降低数据包传输过程中的带宽压力，降低带宽阻塞对数据发送的影响，便于及时的得到视频研判服务器返回的监控对象标签信息。

步骤三，视频研判服务器接收一个或多个AR终端上传的完全结构化封装的视频帧数据包，同时对场景人群进行目标识别；

步骤四，视频研判服务器判断当前视频流中是否检测出待监控对象，如果是，执行步骤五，否则返回步骤三；

步骤五，视频研判服务器获取提供当前视频流的AR终端地理位置信息，并对人形运动轨迹进行判断，寻找临近AR终端GPS信息；

步骤六，视频研判服务器在视频流中对可疑对象相应位置添加信息标签，返回给多个临近AR终端；

步骤七，AR终端接收来自视频研判服务器的监控对象标签信息，并通过投影模块映射到监控人员可视范围内。

实施例七

本实施例以一个示例来说明在变化的网络状态中的视频数据传输。

在大型会议安保环境中，警务人员往往要在不同的网络环境状态区域中长时间巡逻。本实施例演示在重大会议等活动中，警务人员在巡逻时使用本系统的业务流程。在此状态下，巡逻场景可能出现多种情况，比如室内场馆有稳定的Wifi信号来源，而在偏僻的待监视区域则可能遇到信号不稳定等情况，可根据dbm或asu等信号量化标准，进行数据流传输格式自适应转换。本实施例阐述发明针对此类情况的解决方案，流程包括：

步骤一，视频研判服务器连接嫌疑人数据库；

步骤二，AR终端检测是否处于良好的网络环境中(如信号强度是否大于等于-67dBm)。如果是，执行步骤四，此种情况在室内场馆进行例行巡逻时，网络状态为良好状态比较常见；如果否，则执行步骤三；

步骤三，AR终端检测是否处于一般的网络环境中(如信号强度是否大于-90dBm)。如果是，执行步骤五，此种情况在场馆外道路中进行例行巡逻时，网络状态为一般状态较为常见；如果否，则执行步骤四；

步骤四，AR终端向视频研判服务器发送原始视频流，由视频研判服务器进行目标对象的检测、特征提取和特征匹配等功能，如果匹配成功，返回标签信息；

步骤五，AR终端向视频研判服务器发送包含监控对象图片和结构化数据的混合结构封装格式的视频流，由视频研判服务器进行后续的特征提取和特征匹配等处理，匹配成功返回监控对象的标签信息；

步骤六，AR端向视频研判服务器发送场景中监控对象处理后的结构化信息数据包，由视频研判服务器进行目标识别等数据处理，并返回数据标签。

实施例八

本实施例演示在某些特殊场合，需要多名监视人员在保持静止状态下联合定位监控对象的行踪，而不同场合下，网络状态均不相同，因此，需要在不同环境中对监控视频流上传信息格式自适应处理。

步骤一，AR终端根据所处的区域网络状态情况，进行不同的视频数据包格式封装，并发往视频研判端；

步骤二，视频研判服务器根据接收不同监控端的各种数据类型，进行对应的目标检测、特征提取、目标识别等后续工作，在接受某位监视人员的终端数据后，确认数据中包含嫌疑人员的信息；

步骤三，视频研判服务器进一步分析终端数据，根据终端数据中监控对象的GPS位置信息以及行动方向，计算出下一个可能监控对象出现的位置；

步骤四，视频研判服务器向邻近所有嫌犯可能经过位置的监视人员终端发送信息提示，将嫌疑人照片、方位、速度等信息映射到监控人员可视范围内。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (18)

1.一种视频数据传输方法，包括：

根据无线网络的状态，从预设的视频帧数据包的多种封装格式中选择一种封装格式；

按照选择的封装格式将视频数据封装为视频帧数据包并发送；

其中，所述多种封装格式包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

2.如权利要求1所述的方法，其特征在于：

根据无线网络的状态从所述多种封装格式中选择一种封装格式，包括：

检测当前无线网络的类型，根据预设的所述多种封装格式与多种无线网络的类型之间的对应关系，将当前无线网络的类型对应的一种封装格式作为所述选择的封装格式；或者

检测当前无线网络的信号质量，根据预设的所述多种封装格式与多种信号质量范围之间的对应关系，将当前无线网络的信号质量对应的一种封装格式作为所述选择的封装格式。

3.如权利要求1所述的方法，其特征在于：

所述按照选择的封装格式将视频数据封装为视频帧数据包，包括：在视频帧数据包的包头添加所述选择的封装格式的指示信息。

4.如权利要求1-3中任一所述的方法，其特征在于：

所述方法用于监控终端向视频处理服务器发送视频数据；

所述监控终端按照选择的封装格式将视频数据封装为视频帧数据包并发送给视频处理服务器之后，所述方法还包括：所述监控终端接收所述视频处理服务器返回的目标对象的标签信息，并通过投影装置将所述标签信息投射到显示屏上。

5.一种视频数据处理方法，包括：

视频处理服务器接收监控终端发送的视频帧数据包，从预设的多种封装格式中确定所述视频帧数据包采用的封装格式；其中，所述视频帧数据包由所述监控终端根据无线网络的状态从预设的视频帧数据包的所述多种封装格式中选择一种封装格式，并按照选择的封装格式将视频数据封装得到；

所述视频处理服务器根据所述视频帧数据包采用的封装格式进行目标对象识别，将识别出的目标对象的标签信息返回给所述监控终端；

其中，所述多种封装格式包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

6.如权利要求5所述的方法，其特征在于：

所述多种封装格式包括将视频流数据直接封装为视频帧数据包的非结构化封装格式；

所述视频帧数据包采用非结构化封装格式时，所述视频处理服务器进行目标对象识别，包括；基于所述视频帧数据包中的视频流数据进行目标对象的检测和特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

7.如权利要求5所述的方法，其特征在于：

所述多种封装格式包括从视频流中提取目标对象的图片和结构化数据，并封装为视频帧数据包的混合结构封装格式；

所述视频帧数据包采用混合结构封装格式时，所述视频处理服务器进行目标对象识别，包括；基于所述视频帧数据包中目标对象的图片和结构化数据进行特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

8.如权利要求5所述的方法，其特征在于：

所述多种封装格式的包括将目标对象的特征信息做结构化数据封装为视频帧数据包的完全结构化封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到；

所述视频帧数据包采用完全结构化封装格式时，所述视频处理服务器进行目标对象识别，包括；将所述视频帧数据包中目标对象的特征息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

9.一种视频数据传输装置，包括：

格式选择模块，用于根据无线网络的状态，从预设的视频帧数据包的多种封装格式中选择一种封装格式；

数据包发送模块，用于按照选择的封装格式将视频数据封装为视频帧数据包并发送；

其中，所述多种封装格式包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

10.一种终端，其特征在于，包括视频采集装置、数据处理装置和无线接口装置，其中：

所述视频采集装置，用于采集视频数据；

所述数据处理装置，用于根据无线网络的状态，从预设的视频帧数据包的多种封装格式中选择一种封装格式，按照选择的封装格式将视频数据封装为视频帧数据包，并通过所述无线接口装置发送；

所述无线接口装置，用于将所述视频帧数据包发送给视频处理服务器；

其中，所述多种封装格式包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

11.如权利要求10所述的终端，其特征在于：

所述数据处理装置根据无线网络的状态从所述多种封装格式中选择一种封装格式，包括：

检测当前无线网络的类型，根据预设的所述多种封装格式与多种无线网络的类型之间的对应关系，将当前无线网络的类型对应的一种封装格式作为所述选择的封装格式；或者

检测当前无线网络的信号质量，根据预设的所述多种封装格式与多种信号质量范围之间的对应关系，将当前无线网络的信号质量对应的一种封装格式作为所述选择的封装格式。

12.如权利要求10所述的终端，其特征在于：

所述数据处理装置按照选择的封装格式将视频数据封装为视频帧数据包，包括：在视频帧数据包的包头添加所述选择的封装格式的指示信息。

13.如权利要求10-12中任一所述的终端，其特征在于：

所述终端为监控终端，所述监控终端还包括投影装置；

所述数据处理装置还用于通过所述无线接口装置接收所述视频处理服务器返回的目标对象的标签信息，并通过投影装置将所述标签信息投射到显示屏上。

14.一种视频处理服务器，其特征在于，包括：

格式判断模块，用于接收监控终端发送的视频帧数据包，从预设的多种封装格式中确定所述视频帧数据包采用的封装格式；其中，所述视频帧数据包由所述监控终端根据无线网络的状态从预设的视频帧数据包的所述多种封装格式中选择一种封装格式，并按照选择的封装格式将视频数据封装得到；

目标识别模块，用于根据所述格式判断模块确定的视频帧数据包采用的封装格式进行目标对象识别；

信息发送模块，用于将所述目标识别模块识别出的目标对象的标签信息返回给所述监控终端；

其中，所述多种封装格式包括以下封装格式中的至少2种：

非结构化封装格式，即将视频流数据直接封装为视频帧数据包的封装格式；

混合结构封装格式，即将从视频流中提取的目标对象的图片和所述目标对象的结构化数据封装为视频帧数据包的封装格式；

完全结构化封装格式，即将目标对象的特征信息做结构化数据封装为视频帧数据包的封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到。

15.如权利要求14所述的视频处理服务器，其特征在于：

所述多种封装格式包括将视频流数据直接封装为视频帧数据包的非结构化封装格式；

所述视频帧数据包采用非结构化封装格式时，所述目标识别模块进行目标对象识别，包括；基于所述视频帧数据包中的视频流数据进行目标对象的检测和特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

16.如权利要求14所述的视频处理服务器，其特征在于：

所述多种封装格式包括从视频流中提取目标对象的图片和结构化数据，并封装为视频帧数据包的混合结构封装格式；

所述视频帧数据包采用混合结构封装格式时，所述目标识别模块进行目标对象识别，包括；基于所述视频帧数据包中目标对象的图片和结构化数据进行特征提取，得到的特征信息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

17.如权利要求14所述的视频处理服务器，其特征在于：

所述多种封装格式的包括将目标对象的特征信息做结构化数据封装为视频帧数据包的完全结构化封装格式，所述特征信息通过对视频流中的目标对象进行检测和特征提取得到；

所述视频帧数据包采用完全结构化封装格式时，所述目标识别模块进行目标对象识别，包括；将所述视频帧数据包中目标对象的特征息与待监控对象的特征信息进行匹配，如匹配成功，则确定所述目标对象为识别出的目标对象。

18.一种视频处理服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求5-8中任一所述的方法的处理。

Images