CN112235600A - 视频数据及视频业务请求的处理方法、装置及系统 - Google Patents

Abstract

本申请提供了一种视频数据及视频业务请求的处理方法、装置及系统，涉及视频技术领域，视频数据的处理方法包括：获取与目标视频的视频帧一一对应的packet数据；获取各视频帧分别对应的解码时间戳；基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息；根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；存储目标视频的各视频帧对应的图像数据和组合数据；将带有解码时间戳的目标视频发送至业务端。本申请能够在保证后续视频业务服务的基础上，减少CPU系统资源的浪费。

Description

视频数据及视频业务请求的处理方法、装置及系统

技术领域

本申请涉及视频技术领域，尤其是涉及一种视频数据及视频业务请求的处理方法、装置及系统。

背景技术

在便携系统中，涉及到离线视频播放、下载和存储等问题。当业务设备不支持高分辨率的视频业务时，现有的便携系统，在拉取到1080P视频流后，会经过解码后将图片压缩处理成720P的视频进行存储，然后提供视频业务服务；由于用户使用离线视频的概率比较低，而存储的720P视频需要实时的占用CPU系统资源进行解码重编码，导致实时资源的浪费。

发明内容

有鉴于此，本申请的目的在于提供一种视频数据及视频业务请求的处理方法、装置及系统，能够在保证后续视频业务服务的基础上，减少CPU系统资源的浪费。

第一方面，本申请实施例提供了一种视频数据的处理方法，该方法包括：获取与目标视频的视频帧一一对应的packet数据；packet数据包括：图像数据和packet信息；获取各视频帧分别对应的解码时间戳；基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息；根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；将目标视频的各视频帧对应的图像数据和组合数据发送给存储设备，以使存储设备存储目标视频的各视频帧对应的图像数据和组合数据，或者，存储目标视频的各视频帧对应的图像数据和组合数据；将带有解码时间戳的目标视频发送至业务端。

进一步的，上述存储组合数据包括：以解码时间戳为索引，存储组合数据。

进一步的，上述解码时间戳为校正解码时间戳，获取各视频帧分别对应的解码时间戳，包括：提取当前帧的packet信息中包含的原始解码时间戳作为当前帧的原始解码时间戳；根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳。

进一步的，上述当前帧的上一帧的原始解码时间戳为当前帧的上一帧的修正后的原始解码时间戳；获取各视频帧分别对应的解码时间戳，还包括：若当前时间与当前帧的上一帧的原始解码时间戳之差大于第一预设阈值，则对当前帧的上一帧的原始解码时间戳进行修正，得到当前帧的上一帧的修正后的原始解码时间戳。

进一步的，上述根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳，包括：根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间，得到当前帧的初始校正解码时间戳；若当前时间与当前帧的初始校正解码时间戳之差大于第二预设阈值，则对当前帧的初始校正解码时间戳进行校正，得到当前帧的校正解码时间戳。

第二方面，本申请实施例还提供一种视频业务请求的处理方法，方法包括：接收业务端发送的针对目标视频的业务请求；其中，目标视频是经过第一方面所述的方法处理的，业务请求携带有业务类型和目标解码时间戳，目标解码时间戳用于表征业务请求所针对的目标视频帧；根据目标解码时间戳和目标视频的图像数据和组合数据，查找解码目标视频帧所需的视频帧；根据解码目标视频帧所需的视频帧对应的图像数据，和目标视频的组合数据，对目标视频的图像数据进行预设处理；预设处理包括解码处理、叠加组合数据中的识别信息和/或编码处理；基于预设处理后的数据响应业务请求。

进一步的，上述根据目标解码时间戳和目标视频的图像数据和组合数据，查找解码业务类型对应的目标视频帧所需的视频帧的步骤，包括：根据目标解码时间戳，从目标视频的组合数据中查找目标解码时间戳对应的目标packet信息；根据目标packet信息在图像数据中查找解码目标视频帧所需的视频帧。

进一步的，上述业务请求携带的业务类型为视频点播业务或视频下载业务；根据解码目标视频帧所需的视频帧对应的图像数据，和目标视频的组合数据，对目标视频的图像数据进行预设处理的步骤，包括：对解码目标视频帧所需的视频帧及目标视频帧之后的视频帧进行解码，得到多个解码后的图片；对多个解码后的图片叠加组合数据中的识别信息；将叠加有识别信息的图片进行视频压缩编码，生成视频数据。

进一步的，如果业务请求携带的业务类型为全景图展示业务；根据解码目标视频帧所需的视频帧对应的图像数据，和目标视频的组合数据，对目标视频的图像数据进行预设处理的步骤，包括：对解码目标视频帧所需的视频帧进行解码，得到目标视频帧解码后的图片；将组合数据中的识别信息绘制到解码后的图片中；并对绘制识别信息的解码图片进行图片格式压缩编码，得到图片数据。

第三方面，本申请实施例还提供一种视频数据的处理装置，该装置包括：数据获取模块，用于获取与目标视频的视频帧一一对应的packet数据；packet数据包括：图像数据和packet信息；时间戳获取模块，用于获取各视频帧分别对应的解码时间戳；对象识别模块，用于基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息；数据组合模块，用于根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；数据存储模块，用于将目标视频的各视频帧对应的图像数据和组合数据发送给存储设备，以使存储设备存储目标视频的各视频帧对应的图像数据和组合数据，或者，存储目标视频的各视频帧对应的图像数据和组合数据；数据发送模块，用于将带有解码时间戳的目标视频发送至业务端。

第四方面，本申请实施例还提供一种视频业务请求的处理装置，装置包括：请求接收模块，用于接收业务端发送的针对目标视频的业务请求；其中，目标视频是经过第一方面所述的方法处理的，业务请求携带有业务类型和目标解码时间戳，目标解码时间戳用于表征业务请求所针对的目标视频帧；视频帧查找模块，用于根据目标解码时间戳和目标视频的图像数据和组合数据，查找解码目标视频帧所需的视频帧；数据处理模块，用于根据解码目标视频帧所需的视频帧对应的图像数据，和目标视频的组合数据，对目标视频的图像数据进行预设处理；预设处理包括解码处理、叠加组合数据中的识别信息和/或编码处理；请求响应模块，用于基于预设处理后的数据响应业务请求。

第五方面，本申请实施例还提供一种视频业务请求的处理系统，该系统包括：服务器和业务端；服务器上安装有第三方面所述的视频数据的处理装置及第四方面所述的视频业务请求的处理装置；服务器与业务端通信连接。

第六方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面和第二方面任一项所述的方法的步骤。

本申请实施例提供的视频数据及视频业务请求的处理方法、装置及系统中，首先获取与目标视频的视频帧一一对应的packet数据，及各视频帧分别对应的解码时间戳；其中，packet数据包括：图像数据和packet信息；然后基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息；然后根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；最后将目标视频的各视频帧对应的图像数据和组合数据进行存储，并将带有解码时间戳的目标视频发送至业务端，由此后续在接收到来自业务端的视频业务请求后，能够基于存储的图像数据和组合数据实时针对接收到视频业务请求对图像数据和组合数据进行处理，一方面能够快速响应业务请求，另一方面能够避免事前对图像数据和组合数据进行全量处理而造成的CPU系统资源的浪费。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例所提供的一种电子设备的结构示意图；

图2示出了本申请实施例所提供的一种视频数据的处理方法的流程图；

图3示出了本申请实施例所提供的一种视频业务请求的处理方法的流程图；

图4示出了本申请实施例所提供的一种视频数据的处理装置的结构框图；

图5示出了本申请实施例所提供的另一种视频业务请求的处理装置的结构框图；

图6示出了本申请实施例所提供的一种视频业务请求的处理系统的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到目前当业务设备不支持高分辨率的视频业务时，现有的便携系统，在拉取到1080P视频流后，会经过解码后将图片压缩处理成720P的视频进行存储，导致实时资源的浪费。为改善此问题，本申请实施例提供了一种视频数据及视频业务请求的处理方法、装置及系统，能够在保证后续视频业务服务的基础上，减少CPU系统资源的浪费，为便于理解，以下对本申请实施例进行详细介绍。

首先，参照图1来描述用于实现本申请实施例的视频数据及视频业务请求的处理方法、装置的示例电子设备。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104。这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。可选地，该电子设备还可以包括输入装置106、输出装置108以及图像采集装置110。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图1示出的部分组件，也可以具有图1未示出的其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本申请实施例的一种标签的处理方法及装置的示例电子设备可以被实现为诸如服务器、监控设备、智能手机、平板电脑、计算机等智能终端上。

现有技术中，视频解码后再压缩成视频进行存储的方式，容易导致CPU实时资源的浪费，为了缓解此问题，本申请实施例提供一种视频数据的处理方法，可以基于目标视频的视频帧对应的解码时间戳以及packet数据，进行目标对象识别和数据组合处理，对组合后的数据和图像数据进行存储，可以缓解现有的CPU资源耗费严重的问题，同时也不影响后续视频业务请求的处理。

参见图2所示的一种视频数据的处理方法的流程图，具体包括以下步骤：

步骤S202，获取与目标视频的视频帧一一对应的packet数据；packet数据包括：图像数据和packet信息。

具体获取方式可以包括以下过程：

(1)接收目标视频的数据流。可以使用FFMPEG(FFMPEG是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)进行目标视频的数据流的拉取，比如拉取到目标视频的RTSP(Real Time Streaming Protocol，实时流协议)数据流，该数据流中包括目标视频的视频帧。

(2)对数据流进行解封装，得到与目标视频的视频帧一一对应的packet数据。该packet数据包括：图像数据和packet信息。具体实施时，可以对数据流进行DEMUX解封装，得到每个视频帧的packet数据，packet数据中的packet信息包括：基于系统时钟编码时产生的DTS(Decode Time Stamp，解码时间戳)、PTS(Presentation Time Stamp，显示时间戳)等，其中，DTS主要是标识读入内存中的bit流在什么时候开始送入解码器中进行解码；PTS主要用于度量解码后的视频帧什么时候被显示出来。

步骤S204，获取各视频帧分别对应的解码时间戳。

上述解码时间戳可以是直接从上述packet信息中提取出来的DTS，也可以是对该DTS进行校正，得到的校正后的DTS。具体的校正方式可以结合系统时间，上一帧的DTS进行，在此不做具体限定。

步骤S206，基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息。

具体实现的时候，首先对视频帧对应的packet数据包含的图像数据进行解码，得到解码数据；然后对解码数据进行目标对象识别，得到解码时间戳对应的识别信息，即视频帧包含的目标对象的识别信息。

每个视频帧的packet数据中都包含有对应的解码时间戳及图像数据，因此，对图像数据进行解码得到的解码数据也对应上述解码时间戳，对解码数据进行目标对象识别后得到的识别信息也对应有上述解码时间戳。在得到上述目标对象的识别信息后，还会将对应有解码时间戳的识别信息发送给业务端，以使业务端发起各种视频业务请求，比如：视频点播请求或全景图展示请求等。

这里的目标对象识别，可以是人脸识别，也可以是物体识别，比如：车辆识别等。对于人脸识别来说，得到的识别信息可以包括人脸标识框、人像图、身份信息，如姓名、年龄等。需要说明的是，这里的目标对象识别可以是服务器进行识别，或者也可以把数据交给其它的目标对象识别模块进行识别。

步骤S208，根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据。

上述组合数据涉及到两份数据，一份是对目标视频的数据流解封装后得到的packet数据中的packet信息，另一份是对视频帧对应的packet数据中的图像数据进行目标对象识别得到的识别信息。虽然上述两份数据得到的时机不一致，但由于上述两份数据都对应有解码时间戳，因此，可以通过视频帧对应的解码时间戳，将对应同一个解码时间戳的两份数据关联起来，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据。

步骤S210，将目标视频的各视频帧对应的图像数据和组合数据发送给存储设备，以使存储设备存储目标视频的各视频帧对应的图像数据和组合数据，或者，存储目标视频的各视频帧对应的图像数据和组合数据。

该步骤中，提供了两种数据存储方式，一种是发送给其它的存储设备如NVR(Network Video Recorder，网络硬盘录像机)进行存储，减少CPU资源的消耗，另一种是本地存储，相比于现有的将视频完全解码、再压缩成视频进行存储的方式，可以减少CPU资源的占用。

上述存储的两份数据，一份是步骤S208中生成的组合数据，将组合数据存储于sql数据库中。该组合数据包括有对应于同一个解码时间戳的识别结果及packet信息，其中packet信息记录有裸视频数据，即每个视频帧的原始pts，dts，offset，sps，pps等信息，且，组合数据在sql数据库中是按照解码时间戳的顺序排列的。另一份数据是各视频帧对应的图像数据，存储于预设的裸视频文件中。这样存储以后，裸视频文件是安全的，因为没有sps，pps等信息，所以具有一定的加密功能。

步骤S212，将带有解码时间戳的目标视频发送至业务端。

最后将带有解码时间戳的目标视频发送至业务端，以使业务端在后续进行视频业务请求时，可以使请求携带上对应的目标解码时间戳。

本申请实施例提供的种视频数据的处理方法，首先获取与目标视频的视频帧一一对应的packet数据，及各视频帧分别对应的解码时间戳；然后基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息；然后根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；最后将目标视频的各视频帧对应的图像数据和组合数据进行存储，并将带有解码时间戳的目标视频发送至业务端。本申请实施例基于目标视频的视频帧对应的解码时间戳以及packet数据，进行目标对象识别和数据组合处理，对组合后的数据和图像数据进行存储，后续在接收到视频业务请求后，能够基于存储的图像数据和组合数据实时针对接收到视频业务请求对图像数据和组合数据进行处理，一方面能够快速响应业务请求，另一方面能够避免事前对图像数据和组合数据进行全量处理而造成的CPU系统资源的浪费。

此外，为了提高视频视频帧的查找速率，保证后续视频业务高效精准地实施，上述存储组合数据采用如下方式：以解码时间戳为索引，存储组合数据，并且，上述解码时间戳为校正解码时间戳，本申请实施例还提供了将上述解码时间戳进行校正的方法，具体过程如下：

提取当前帧的packet信息中包含的原始解码时间戳作为当前帧的原始解码时间戳；根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳。

在另一种实施方式中，上述当前帧的上一帧的原始解码时间戳为当前帧的上一帧的修正后的原始解码时间戳；获取各视频帧分别对应的解码时间戳的步骤，还包括：若当前时间与当前帧的上一帧的原始解码时间戳之差大于第一预设阈值，则对当前帧的上一帧的原始解码时间戳进行修正，得到当前帧的上一帧的修正后的原始解码时间戳。

进一步的，上述根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳，包括：根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间，得到当前帧的初始校正解码时间戳；若当前时间与当前帧的初始校正解码时间戳之差大于第二预设阈值，则对当前帧的初始校正解码时间戳进行校正，得到当前帧的校正解码时间戳。

具体的解码时间戳的校正逻辑如下：

lastDTS：上一个视频帧(对应于当前帧的上一帧)的DTS，初始值为0，lastFixDTS：上一个视频帧校正后的DTS，初始值为0；

curDTS：本帧(对应于当前帧)的DTS值；

ts：系统时间；

校正流程：

1.如果lastDTS等于0，则令lastDTS＝ts，lastFixDTS＝ts；

2.如果ABS(curDTS-lastDTS)>0xFF，则lastDTS＝max(curDTS–40,ts)，防止DTS跃变，保证递增性；

3.如果ABS(lastFixDTS-ts)>1000，则lastFixDTS＝lastFixDTS-(curDTS-lastDTS-1)，保证实时性及递增性；

4.CurFixDTS＝lastFixDTS+(curDTS-lastDTS)；

5.lastDTS＝curDTS,lastFixDTS＝curFixDTS。

通过上述校正后的解码时间戳来实现上述视频数据的存储方法，可以保证后续视频业务的实时性、递增性，提高业务处理效率。

下面举个简单的例子，DTS是不唯一的循环数字，不具有实时性，比如第1帧13：15：00编码，第2帧13：15：01编码，第3帧13：15：02编码，第1-3帧DTS可能分别为1 2 4。校正后的DTS可能是13：15：10，13：15：11，13：15：12。因为获取目标视频的数据流的时间和数据流真正拍摄的时间间隔很短一般在几十毫秒，不会有很大差别，校正后的DTS更像真实的时间，而且避免了跳变。

如果业务端的视频业务仅支持第一分辨率，比如，支持720P视频的点播、下载等，而上述目标视频的数据流具有较高的第二分辨率，为1080P，那么也可以通过本申请实施例的方法进行视频数据的处理，同样可以缓解CPU资源浪费问题。

本申请实施例提供的视频数据的处理方法，当业务设备不支持高分辨率的视频业务时，服务器在拉取到1080P视频流后，不需要经过解码后将图片压缩处理成720P的视频进行存储，而是对其高分辨率的视频帧对应的图像数据和上述组合数据分别进行存储，由于组合数据中包括有上述目标对象的识别信息以及各个视频帧对应的packet信息，因此，可以在保证后续视频业务服务的基础上，减少CPU系统资源的浪费。

在便携系统中，涉及到离线视频播放和全景图的展示等问题。目前现有的人脸识别系统，将拉取的1080P视频流经过解码后将图片转变成720P大小进行存储，然后提供点播服务；而系统捕获到视频中的人脸时会同时给后台系统编码一份1080P的jpeg图片，后台服务将对应的jpeg图片存储在数据库中，当用户点击人脸图的时候，展示对应的1080P的全景图。

由于用户使用离线视频和全景图的概率比较低，而存储的720P视频需要实时的占用系统资源进行解码重编码，导致实时资源的浪费，降低识别路数；且实时的对1080P全景图的进行编码、传输对机器性能和网络资源都比较浪费资源，影响系统的整体效率，进而增加成本。

因此，基于上述方法实施例，本申请实施例还提供一种视频业务请求的处理方法，该方法可以应用于服务器，也可以应用于前端设备，参见图3所示，该视频业务请求的处理方法具体包括以下步骤：

步骤S302，接收业务端发送的针对目标视频的业务请求；其中，目标视频是经过上述视频数据的处理方法处理得到的，业务请求携带有业务类型和目标解码时间戳，目标解码时间戳用于表征业务请求所针对的目标视频帧。

上述业务请求携带的业务类型可以包括：视频点播业务、视频下载业务或全景图展示业务。用户的业务请求是在业务端发起的，由于业务端已经拿到了对应有解码时间戳的识别信息，因此，可以通过点播协议将携带有目标解码时间戳的视频点播业务请求发送给服务器，或者当用户在业务端点击人脸图时，也可以触发一个包含目标解码时间戳的http全景图展示请求。

上述目标解码时间戳也可以是上述视频数据的处理方法中所提到的校正后的解码时间戳，通过对解码时间戳DTS的校正，可以保证系统支持带B帧的视频源；因为校正后时间的有序性，可以加快检索速度；因为校正后时间的有效性，可以为业务还原人脸捕获的真实时间点。

步骤S304，根据目标解码时间戳和目标视频的图像数据和组合数据，查找解码目标视频帧所需的视频帧。

具体实施时，根据目标解码时间戳，从目标视频的组合数据中查找目标解码时间戳对应的目标packet信息；根据目标packet信息在图像数据中查找解码目标视频帧所需的视频帧。

比如，上述目标解码时间戳表征业务请求所针对的目标视频帧为第30帧P帧，那到需要以第30帧为起始帧，从后往前查找距离P帧最近的I帧，假设第25帧为I帧，那么解码第30帧P帧所需要的视频帧为第25帧到第30帧之间的6个帧；如果上述目标帧为B帧，需要以前面的I帧或P帧及后面的P帧为参考帧，假设第27帧和第33帧均为P帧，那么解码B帧需要的视频帧为第25帧-第33帧，或第27帧-第33帧之间的视频帧。

步骤S306，根据解码目标视频帧所需的视频帧对应的图像数据，和目标视频的组合数据，对目标视频的图像数据进行预设处理；

上述预设处理包括解码处理、叠加组合数据中的识别信息和/或编码处理。

如果上述业务请求携带的业务类型为视频点播业务或视频下载业务；那么进行以下处理过程：

(1)对解码目标视频帧所需的视频帧及目标视频帧之后的视频帧进行解码，得到多个解码后的图片；还以上述例子为例进行说明，I帧为25帧，那就将I帧之后的视频帧发送给解码器进行解码。

(2)对多个解码后的图片叠加组合数据中的识别信息。比如，对上述解码后的多个图片叠加前面得到的人脸识别信息。

(3)将叠加有识别信息的图片进行视频压缩编码，生成视频数据。比如，将叠加有目标对象的识别信息的多个图片编码成h264格式的720P视频数据。需要说明的是，由于用户是从第30帧开始请求的，所以最后服务器从第30帧开始发送视频数据。

如果上述业务请求携带的业务类型为全景图展示业务，那么进行以下处理过程：

(1)对解码目标视频帧所需的视频帧进行解码，得到目标视频帧解码后的图片；比如，上述目标视频帧为第30帧，而该帧可能为P帧，也可能是B帧，对解码第30帧所需的视频帧进行解码后，得到第30帧解码后的图片。

(2)将组合数据中的识别信息绘制到解码后的图片中；比如，将前面的人脸识别信息绘制到解码后的图片中。

(3)对绘制识别信息的解码图片进行图片格式压缩编码，得到图片数据。比如，将绘制目标对象的识别信息的解码数据编码成jpg图片格式，得到最终的全景图。

步骤S308，基于预设处理后的数据响应业务请求。

对于上述视频点播业务或视频下载业务，将步骤S306得到的视频数据发送给业务端；对于全景图展示业务，将步骤S306得到的图片数据发送给业务端。

本申请实施例提供的视频业务请求的处理方法，通过将离线视频压缩后置，直接存储1080P的视频文件，在需要提供点播服务的时候，再进行解码和编码，进而达到在不影响离线观看的情况下，减少CPU利用，使系统CPU使用率下降10％。对于全景图的展示服务来说，在需要提供服务时，再进行解码和编码，无需在捕获人脸的时候实时编码。相当于把全景图的压缩编码也后置来实现系统整体效率的提升。另外，通过降低业务端对JPEG图片的解码和存储工作，特别是在高密场景，使CPU的使用率下降5％～8％。

基于上述视频数据的处理方法的方法实施例，本申请实施例还提供一种视频数据的处理装置，参见图4所示，该装置包括：

数据获取模块402，用于获取与目标视频的视频帧一一对应的packet数据；packet数据包括：图像数据和packet信息；

时间戳获取模块404，用于获取各视频帧分别对应的解码时间戳；

对象识别模块406，用于基于视频帧对应的packet数据包含的图像数据进行目标对象识别，得到解码时间戳对应的识别信息；

数据组合模块408，用于根据视频帧对应的packet信息和视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；

数据存储模块410，用于将目标视频的各视频帧对应的图像数据和组合数据发送给存储设备，以使存储设备存储目标视频的各视频帧对应的图像数据和组合数据，或者，存储目标视频的各视频帧对应的图像数据和组合数据；

数据发送模块412，用于将带有解码时间戳的目标视频发送至业务端。

在一种实施方式中，上述数据存储模块410还用于：以解码时间戳为索引，存储组合数据。

在另一种实施方式中，上述解码时间戳为校正解码时间戳，上述时间戳获取模块404还用于：提取当前帧的packet信息中包含的原始解码时间戳作为当前帧的原始解码时间戳；根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳。

在另一种实施方式中，上述当前帧的上一帧的原始解码时间戳为当前帧的上一帧的修正后的原始解码时间戳；上述时间戳获取模块404还用于：若当前时间与当前帧的上一帧的原始解码时间戳之差大于第一预设阈值，则对当前帧的上一帧的原始解码时间戳进行修正，得到当前帧的上一帧的修正后的原始解码时间戳。

在另一种实施方式中，上述时间戳获取模块404还用于：根据当前帧的原始解码时间戳、当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间，得到当前帧的初始校正解码时间戳；若当前时间与当前帧的初始校正解码时间戳之差大于第二预设阈值，则对当前帧的初始校正解码时间戳进行校正，得到当前帧的校正解码时间戳。

基于上述视频业务请求的处理方法的方法实施例，本申请实施例还提供一种视频业务请求的处理装置，参见图5所示，该装置包括：

请求接收模块502，用于接收业务端发送的针对目标视频的业务请求；其中，目标视频是经过第一方面所述的方法处理的，业务请求携带有业务类型和目标解码时间戳，目标解码时间戳用于表征业务请求所针对的目标视频帧；

视频帧查找模块504，用于根据目标解码时间戳和目标视频的图像数据和组合数据，查找解码目标视频帧所需的视频帧；

数据处理模块506，用于根据解码目标视频帧所需的视频帧对应的图像数据，和目标视频的组合数据，对目标视频的图像数据进行预设处理；预设处理包括解码处理、叠加组合数据中的识别信息和/或编码处理；

请求响应模块508，用于基于预设处理后的数据响应业务请求。

在一种可能的实施方式中，上述视频帧查找模块504还用于：根据目标解码时间戳，从目标视频的组合数据中查找目标解码时间戳对应的目标packet信息；根据目标packet信息在图像数据中查找解码目标视频帧所需的视频帧。

在一种可能的实施方式中，上述业务请求携带的业务类型为视频点播业务或视频下载业务；上述数据处理模块506还用于：对解码目标视频帧所需的视频帧及目标视频帧之后的视频帧进行解码，得到多个解码后的图片；对多个解码后的图片叠加组合数据中的识别信息；将叠加有识别信息的图片进行视频压缩编码，生成视频数据。

在一种可能的实施方式中，如果业务请求携带的业务类型为全景图展示业务；上述数据处理模块506还用于：对解码目标视频帧所需的视频帧进行解码，得到目标视频帧解码后的图片；将组合数据中的识别信息绘制到解码后的图片中；并对绘制识别信息的解码图片进行图片格式压缩编码，得到图片数据。

基于上述装置实施例，本申请实施例还提供一种视频业务请求的处理系统，参见图6所示，该系统包括：服务器62和业务端64；服务器62上安装有上述视频数据的处理装置622及上述视频业务请求的处理装置624；服务器62与业务端64通信连接。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述装置实施例中的对应过程，在此不再赘述。

本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述方法实施例提供的方法的步骤。

本申请实施例所提供的一种视频数据及视频业务请求的处理方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种视频数据的处理方法，其特征在于，所述方法包括：

获取与目标视频的视频帧一一对应的packet数据；所述packet数据包括：图像数据和packet信息；

获取各所述视频帧分别对应的解码时间戳；

基于所述视频帧对应的packet数据包含的图像数据进行目标对象识别，得到所述解码时间戳对应的识别信息；

根据所述视频帧对应的packet信息和所述视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；

将所述目标视频的各视频帧对应的所述图像数据和所述组合数据发送给存储设备，以使所述存储设备存储所述目标视频的各视频帧对应的所述图像数据和所述组合数据，或者，存储所述目标视频的各视频帧对应的所述图像数据和所述组合数据；

将带有解码时间戳的目标视频发送至业务端。

2.根据权利要求1的方法，其特征在于，存储所述组合数据包括：

以所述解码时间戳为索引，存储所述组合数据。

3.根据权利要求1或2所述的方法，其特征在于，所述解码时间戳为校正解码时间戳，所述获取各所述视频帧分别对应的解码时间戳，包括：

提取当前帧的packet信息中包含的原始解码时间戳作为当前帧的原始解码时间戳；

根据所述当前帧的原始解码时间戳、所述当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳。

4.根据权利要求3所述的方法，其特征在于，所述当前帧的上一帧的原始解码时间戳为所述当前帧的上一帧的修正后的原始解码时间戳；

所述获取各所述视频帧分别对应的解码时间戳，还包括：

若当前时间与当前帧的上一帧的原始解码时间戳之差大于第一预设阈值，则对当前帧的上一帧的原始解码时间戳进行修正，得到当前帧的上一帧的修正后的原始解码时间戳。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述当前帧的原始解码时间戳、所述当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的校正解码时间戳，包括：

根据所述当前帧的原始解码时间戳、所述当前帧的上一帧的原始解码时间戳、当前帧的上一帧的校正解码时间戳，得到当前帧的初始校正解码时间戳；

若当前时间与所述当前帧的初始校正解码时间戳之差大于第二预设阈值，则对当前帧的初始校正解码时间戳进行校正，得到当前帧的校正解码时间戳。

6.一种视频业务请求的处理方法，其特征在于，所述方法包括：

接收业务端发送的针对目标视频的业务请求；其中，所述目标视频是经过权利要求1-5任一项的方法处理的，所述业务请求携带有业务类型和目标解码时间戳，所述目标解码时间戳用于表征所述业务请求所针对的目标视频帧；

根据目标解码时间戳和所述目标视频的图像数据和组合数据，查找解码所述目标视频帧所需的视频帧；

根据解码目标视频帧所需的视频帧对应的图像数据，和所述目标视频的组合数据，对目标视频的图像数据进行预设处理；所述预设处理包括解码处理、叠加所述组合数据中的识别信息和/或编码处理；

基于所述预设处理后的数据响应所述业务请求。

7.根据权利要求6所述的方法，其特征在于，根据目标解码时间戳和所述目标视频的图像数据和组合数据，查找解码所述目标视频帧所需的视频帧的步骤，包括：

根据目标解码时间戳，从所述目标视频的组合数据中查找所述目标解码时间戳对应的目标packet信息；

根据所述目标packet信息在所述图像数据中查找解码所述目标视频帧所需的视频帧。

8.根据权利要求6所述的方法，其特征在于，所述业务请求携带的业务类型为视频点播业务或视频下载业务；

根据解码目标视频帧所需的视频帧对应的图像数据，和所述目标视频的组合数据，对目标视频的图像数据进行预设处理的步骤，包括：

对解码目标视频帧所需的视频帧及所述目标视频帧之后的视频帧进行解码，得到多个解码后的图片；

对多个所述解码后的图片叠加所述组合数据中的识别信息；

将叠加有所述识别信息的图片进行视频压缩编码，生成视频数据。

9.根据权利要求6所述的方法，其特征在于，如果所述业务请求携带的业务类型为全景图展示业务；

根据解码目标视频帧所需的视频帧对应的图像数据，和所述目标视频的组合数据，对目标视频的图像数据进行预设处理的步骤，包括：

对解码目标视频帧所需的视频帧进行解码，得到所述目标视频帧解码后的图片；

将所述组合数据中的识别信息绘制到所述解码后的图片中；

并对绘制所述识别信息的解码图片进行图片格式压缩编码，得到图片数据。

10.一种视频数据的处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取与目标视频的视频帧一一对应的packet数据；所述packet数据包括：图像数据和packet信息；

时间戳获取模块，用于获取各所述视频帧分别对应的解码时间戳；

对象识别模块，用于基于所述视频帧对应的packet数据包含的图像数据进行目标对象识别，得到所述解码时间戳对应的识别信息；

数据组合模块，用于根据所述视频帧对应的packet信息和所述视频帧对应的识别信息，生成包含有对应同一解码时间戳的识别信息和packet信息的组合数据；

数据存储模块，用于将所述目标视频的各视频帧对应的所述图像数据和所述组合数据发送给存储设备，以使所述存储设备存储所述目标视频的各视频帧对应的所述图像数据和所述组合数据，或者，存储所述目标视频的各视频帧对应的所述图像数据和所述组合数据；

数据发送模块，用于将带有解码时间戳的目标视频发送至业务端。

11.一种视频业务请求的处理装置，其特征在于，所述装置包括：

请求接收模块，用于接收业务端发送的针对目标视频的业务请求；其中，所述目标视频是经过权利要求1-5任一项的方法处理的，所述业务请求携带有业务类型和目标解码时间戳，所述目标解码时间戳用于表征所述业务请求所针对的目标视频帧；

视频帧查找模块，用于根据目标解码时间戳和所述目标视频的图像数据和组合数据，查找解码所述目标视频帧所需的视频帧；

数据处理模块，用于根据解码目标视频帧所需的视频帧对应的图像数据，和所述目标视频的组合数据，对目标视频的图像数据进行预设处理；所述预设处理包括解码处理、叠加所述组合数据中的识别信息和/或编码处理；

请求响应模块，用于基于所述预设处理后的数据响应所述业务请求。

12.一种视频业务请求的处理系统，其特征在于，所述系统包括：服务器和业务端；

所述服务器上安装有如权利要求10所述的视频数据的处理装置及如权利要求11所述的视频业务请求的处理装置；

所述服务器与所述业务端通信连接。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至5任一项或6至9任一项所述的方法的步骤。

Images