CN116155885A - 一种基于视频服务的业务分离平台以及业务分离装置 - Google Patents

Abstract

本申请提供一种基于视频服务的业务分离平台以及业务分离装置。包括：应用层，用于向智能业务层发送任务指令；智能业务层，用于根据任务指令向视频服务层发送数据请求；视频服务层，用于基于数据请求向智能业务层发送待处理数据；智能业务层，用于根据任务指令指定的智能算法对待处理数据进行处理，生成算法结果，发送给视频服务层；视频服务层，用于根据应用层的抓图指令对算法结果完成抓图操作，向应用层返回算法结果的抓图结果。通过上述方式，业务分离平台通过将视频数据管理和抓图等公共功能与业务进行解耦，层次更分明，代码维护量少，更容易进行功能扩展，新平台搭建更快捷高效，各平台之间的代码复用率更高，有利于整合成品线的业务资源。

Description

一种基于视频服务的业务分离平台以及业务分离装置

技术领域

本申请涉及视频处理技术领域，特别是涉及一种基于视频服务的业务分离平台以及业务分离装置。

背景技术

随着深度学习技术的不断发展，越来越多的人工智能算法部署到移动端、嵌入式端等设备中，为各行各业实现数字化、智能化产业升级做出重要贡献。随着智能网络摄像机的普及，视频数据分析与处理的任务不断前移，对网络摄像机的前端处理能力要求越来越高。在很多场景下，视频数据信息非常复杂，这对视频数据的实时分析与处理能力是一个极大的挑战，因此在智能业务中如何实现一个更加高效、安全的视频服务模块成为行业共同面对的问题。

完整的业务解决方案通常需要多种智能算法的支撑，各种算法之间的输入输出相互依赖，最终得到的智能算法结果为上层应用开发提供数据基础。在当前的业务解决方案中，视频数据和智能算法的调度耦合在一起，各智能算法对视频数据进行各自管理，容易出现一个算法还在使用，另外一个算法将数据释放，从而造成算法数据访问错误的问题。其次，如果让各智能算法在使用视频数据时进行拷贝，则会占用大量的设备内存，造成内存浪费，降低内存使用效率。

发明内容

本申请提供了一种基于视频服务的业务分离平台以及业务分离装置。

本申请提供了一种基于视频服务的业务分离平台，所述业务分离平台包括：

应用层，用于向智能业务层发送任务指令；

所述智能业务层，用于根据任务指令向视频服务层发送数据请求；

所述视频服务层，用于基于所述数据请求向所述智能业务层发送待处理数据；

所述智能业务层，用于根据所述任务指令指定的智能算法对所述待处理数据进行处理，生成算法结果，并发送给所述视频服务层；

所述视频服务层，用于根据所述应用层的抓图指令对所述算法结果完成抓图操作，并向所述应用层返回算法结果的抓图结果。

其中，所述应用层，用于根据所述智能业务层返回的算法结果，根据所述算法结果判断是否满足抓图条件，若是，则向所述视频服务层发送抓图指令。

其中，所述视频服务层，用于根据所述抓图指令中的抓图帧序号编码对应的图像，将所述算法结果叠加到所述图像上，向所述应用层返回叠加算法结果的图像。

其中，所述视频服务层包括服务及交互层，以及数据及抓图管理层；

所述服务及交互层，用于从所述应用层获取所述抓图指令，将所述抓图指令发送给所述数据及抓图管理层；

所述数据及抓图管理层，用于根据所述抓图指令中的抓图帧序号从视频流编码出第一图像，利用所述算法结果对所述视频流进行抠图，获取抠图视频流，并编码出第二图像；将所述第二图像叠加到所述第一图像，并通过所述服务及交互层调用所述应用层的回调函数向所述应用层返回叠加图像。

其中，所述视频服务层还包括平台封装层；

所述平台封装层，用于给所述智能业务层提供统一的传输接口。

其中，所述视频服务层还包括配置管理层；

所述配置管理层，用于给所述平台封装层、所述服务及交互层，以及所述数据及抓图管理层提供配置信息；

所述配置信息包括所述平台封装层的采集分辨率、编码格式、编码分辨率和/或动检分辨率的配置信息；所述服务及交互层的接口使能配置、能力集配置的配置信息；所述数据及抓图管理层的编码方案、视频流数据在队列中的流转数量、图像的缓存数量和/或视频流数据在队列中的缓存数量的配置信息。

其中，所述服务及交互层，用于提供视频服务层的公共视频功能，所述公共视频功能包括遮挡检测、虚焦侦测、编码、码流打包、模拟输出中的一种或多种视频功能。

其中，所述业务分离平台还包括展示层；

所述展示层，用于接收所述应用层的算法结果的抓图结果，其中，所述应用层对所述算法结果的抓图结果进行图像参数和/或图像格式调整。

其中，所述展示层，用于向所述应用层发送工作模式的设置信息；

所述应用层，用于根据所述工作模式的设置信息向所述智能业务层发送任务指令，所述任务指令包括抓图功能的工作模式，所述工作模式包括实时抓图或非实时抓图。

本申请还提供了一种业务分离装置，所述业务分离装置搭载上述的业务分离平台，通过所述业务分离平台对视频/图像进行业务处理。

本申请的有益效果是：业务分离平台包括：应用层，用于向智能业务层发送任务指令；所述智能业务层，用于根据任务指令向视频服务层发送数据请求；所述视频服务层，用于基于所述数据请求向所述智能业务层发送待处理数据；所述智能业务层，用于根据所述任务指令指定的智能算法对所述待处理数据进行处理，生成算法结果，并发送给所述视频服务层；所述视频服务层，用于根据所述应用层的抓图指令对所述算法结果完成抓图操作，并向所述应用层返回算法结果的抓图结果。通过上述方式，业务分离平台通过将视频数据管理和抓图等公共功能与业务进行解耦，层次更分明，代码维护量少，更容易进行功能扩展，新平台搭建更快捷高效，各平台之间的代码复用率更高，有利于整合成品线的业务资源。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的基于视频服务的业务分离平台一实施例的框架示意图；

图2是本申请提供的视频服务层的模块关系示意图；

图3是本申请提供的业务分离装置一实施例的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请要解决的问题是针对目前智能解决方案中存在的视频数据管理和抓图等公共功能与智能业务过度耦合，造成代码兼容性差、扩展性差、跨平台支持能力弱等缺点，提出一种基于业务分离的视频服务平台。将视频公共功能与智能业务进行解耦，分解成平台封装层、服务及交互层、数据及抓图管理层、配置管理层等模块，层次更分明，代码维护量少，更容易进行功能扩展。

视频服务是一个为智能业务层和应用层提供视频数据发送、视频传输、视频编码、视频解码、视频数据销毁等服务的综合性模块，具有高内聚、低耦合、内存利用率高、数据传输高效、利于功能扩展和维护等优点。

本申请的业务分离平台通过将视频数据管理和抓图等公共功能与业务进行解耦，分解成平台封装层、服务及交互层、数据及抓图管理层、配置管理层等模块，层次更分明，代码维护量少，更容易进行功能扩展，新平台搭建更快捷高效，各平台之间的代码复用率更高，有利于整合成品线的业务资源。

具体请参阅图1和图2，图1是本申请提供的基于视频服务的业务分离平台一实施例的框架示意图，图2是本申请提供的视频服务层的模块关系示意图。

如图1所示，本申请的业务分离平台100包括应用层11、视频服务层12、智能业务层13以及Web展示层14。

具体地，应用层11，用于向智能业务层13发送任务指令；所述智能业务层13，用于根据任务指令向视频服务层12发送数据请求；所述视频服务层12，用于基于所述数据请求向所述智能业务层13发送待处理数据；所述智能业务层13，用于根据所述任务指令指定的智能算法对所述待处理数据进行处理，生成算法结果，并发送给所述视频服务层12；所述视频服务层12，用于根据所述应用层11的抓图指令对所述算法结果完成抓图操作，并向所述应用层11返回算法结果的抓图结果。

如图2所示，视频服务层12包括服务及交互层121、数据及抓图管理层122、平台封装层123以及配置管理层124。

下面分别介绍视频服务层12的各个模块的工作原理：

平台封装层123的主要功能是封装不同平台差异，对智能业务层13提供统一的接口，最终调用平台SDK。平台封装层123是整个程序的最底层，负责上层应用与硬件平台之间的通信。包括输入、输出、编码、设置OSD叠加、设置ROI区域、获取YUV数据、获取码流、系统公共能力等功能。

服务及交互层121的主要功能是提供视频服务层12公共功能以及与应用层11进行数据交互，包括跨平台公共视频业务逻辑、通信及共享内存管理模块、平台通信节点配置、提供对应用层交互接口、内外部服务节点等模块。跨平台公共业务逻辑是对平台底层差异进行封装，抽象出公共的视频功能，包括遮挡检测、虚焦侦测、编码、码流打包、模拟输出等功能。通信及共享内存管理模块包括进程内通信配置、进程间通信配置等。平台通信节点配置包括内核数量、进程数量、线程数量等。提供对应用层接口主要包括创建与应用之间交互接口，例如创建视频编码设备接口，即创建与应用之间的编码通信节点、共享内存、注册给应用回调函数、创建系统；创建视频检测接口，即创建与应用之间的检测通信节点，注册给应用回调函数，创建应用获取结果托管线程等。内外部服务层包括内部服务层和外部服务层，其中内部服务层包括编码和检测，外部服务层包括自动对焦等。

数据和抓图管理层122的主要功能是数据管理和抓图操作，数据管理包括YUV数据的申请和释放，接收应用层11发送的抓图数据和释放已经完成抓图的数据，抓图功能包括图片编码、解码，叠加OSD信息等操作。获取和释放YUV数据都是通过调用平台封装层经过封装后暴露出的统一接口来实现的，抓图操作完成后将编码完成的图片数据发送给服务及交互层，服务及交互层121通过调用应用层11的回调函数将图片数据推送给应用层11，在应用层11经过一定的处理后发送给web端进行展示。

配置管理层124的主要功能是服务及交互层121、数据及抓图管理层122、以及平台封装层123提供配置管理。对于平台封装层123，包括采集分辨率、编码格式、编码分辨率、动检分辨率等；对于服务及交互层121，包括接口使能配置、能力集配置等；对于数据管理及抓图管理层122，包括编码方案、大图YUV数据在队列中的流转数量、jpeg的缓存数量、扣小图YUV数据在队列中的缓存数量等配置。

下面以视频数据在整个业务分离平台100中的处理流程来进一步说明业务分离平台100中各个模块工作原理：

首先使用人员或者客户在web展示层14设置抓图功能的工作模式和开启智能业务，工作模式主要有实时抓图和非实时抓图两种。实时抓图功能表示智能算法在工作过程中对满足抓图条件的目标进行实时抓图操作，不区分是否为最优数据；非实时抓图功能表示智能算法在工作过程中对符合抓图条件的目标进行进一步分析、处理，选择最优数据进行抓图操作。智能业务是利用智能算法实现的具有某种功能的实际业务场景，例如机动车检测智能、人流量检测智能、车速检测智能、水流量检测智能等。

应用层11设置智能业务层13的工作规则，根据开启的智能不同，设置的规则也不同，例如在机动车检测智能中，可以设置规则线，超出规则线则认为是违规驾驶；在人流量检测智能中，可以设置检测区域，用于检测特定区域内的人流量；在周界检测智能中，可以设置警戒线和警戒区域，作为周界的边界线。

智能业务层13在开始工作以后，向视频服务层12中的数据及抓图管理层122发送消息请求发送数据。数据及抓图管理层122收到请求后调用平台封装层123的取数据接口，将YUV数据放给智能业务层13，智能业务层13对收到的数据后，调用对应算法库，开始对数据进行智能处理，得到对应的智能分析结果，将智能分析结果发送给视频服务层12，同时将事件上报给应用层11。

应用层11对智能业务层13上报的事件进行判断，满足抓图条件后，向视频服务层12的服务及交互层121下发抓图命令及需要在图上叠加的信息，例如时间戳、黑边信息等。

视频服务层12接收到智能业务层13发送的算法结果，将结果临时缓存在结果队列Que1中。

视频服务层12的服务及交互层121在接收到抓图指令后，将要抓图帧序号通知数据及抓图管理层122，由数据及抓图管理层122对相应帧序号的帧数据完成编码操作。首先在YUV数据上叠加相应的数据信息，然后将YUV数据编码成jpeg数据，将大图jpeg数据保存在队列Que2中，同时利用智能业务层13发送的目标检测框信息Que1，对YUV数据进行扣图操作，并将小图YUV数据编码成jpeg数据，保存到对应的数据队列Que3中。

数据及抓图管理层122完成抓图操作后，通知服务及交互层121。服务及交互层121调用应用层11注册在视频服务层12的回调函数将编码结果通知给应用层11。

应用层11收到视频服务层12发送的编码图片后，对图片进行一定的处理，包括图片分辨率大小、图片压缩格式等进行调整，然后通过网络协议发送给web展示层14。

web展示层14负责将数据进行展示，包括实时的目标轨迹框展示和抓图数据展示。实时目标轨迹框来自智能业务层13在检测到目标后得到的实时结果，通过发送给应用层11，然后发送到web展示层14。抓图数据展示来自视频服务层12的抓图数据，通过应用层11进行处理后发送给web展示层14得到。

在本申请实施例中，业务分离平台100包括：应用层11，用于向智能业务层13发送任务指令；所述智能业务层13，用于根据任务指令向视频服务层12发送数据请求；所述视频服务层12，用于基于所述数据请求向所述智能业务层13发送待处理数据；所述智能业务层13，用于根据所述任务指令指定的智能算法对所述待处理数据进行处理，生成算法结果，并发送给所述视频服务层12；所述视频服务层12，用于根据所述应用层11的抓图指令对所述算法结果完成抓图操作，并向所述应用层11返回算法结果的抓图结果。通过上述方式，业务分离平台100通过将视频数据管理和抓图等公共功能与业务进行解耦，层次更分明，代码维护量少，更容易进行功能扩展，新平台搭建更快捷高效，各平台之间的代码复用率更高，有利于整合成品线的业务资源。

本申请提出一种基于业务分离的视频服务方法，将视频数据管理和抓图等公共功能与智能算法解耦，分解成平台封装层、服务及交互层、数据及抓图管理层、配置管理层等模块进行单独管理，实现了视频公共功能和智能业务的解耦，各平台之间的代码复用率更高，新平台框架的搭建更快捷，提高了视频服务方法的扩展性和可维护性；提出一种与模块解耦的配置文件管理方法，不同的功能模块可以共用同一套配置文件进行管理，简化了配置管理流程。

基于上述实施例中的基于视频服务的业务分离平台，本申请还提出了一种业务分离装置，具体请参阅图3，图3是本申请提供的业务分离装置一实施例的框架示意图。

如图3所示，本申请实施例的业务分离装置300搭载上述实施例所示的业务分离平台31，其具体框架在此不再赘述。具体地，业务分离装置300通过业务分离平台31对视频/图像进行业务处理。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于视频服务的业务分离平台，其特征在于，所述业务分离平台包括：

应用层，用于向智能业务层发送任务指令；

所述智能业务层，用于根据任务指令向视频服务层发送数据请求；

所述视频服务层，用于基于所述数据请求向所述智能业务层发送待处理数据；

所述智能业务层，用于根据所述任务指令指定的智能算法对所述待处理数据进行处理，生成算法结果，并发送给所述视频服务层；

所述视频服务层，用于根据所述应用层的抓图指令对所述算法结果完成抓图操作，并向所述应用层返回算法结果的抓图结果。

2.根据权利要求1所述的业务分离平台，其特征在于，

所述应用层，用于根据所述智能业务层返回的算法结果，根据所述算法结果判断是否满足抓图条件，若是，则向所述视频服务层发送抓图指令。

3.根据权利要求2所述的业务分离平台，其特征在于，

所述视频服务层，用于根据所述抓图指令中的抓图帧序号编码对应的图像，将所述算法结果叠加到所述图像上，向所述应用层返回叠加算法结果的图像。

4.根据权利要求3所述的业务分离平台，其特征在于，

所述视频服务层包括服务及交互层，以及数据及抓图管理层；

所述服务及交互层，用于从所述应用层获取所述抓图指令，将所述抓图指令发送给所述数据及抓图管理层；

所述数据及抓图管理层，用于根据所述抓图指令中的抓图帧序号从视频流编码出第一图像，利用所述算法结果对所述视频流进行抠图，获取抠图视频流，并编码出第二图像；将所述第二图像叠加到所述第一图像，并通过所述服务及交互层调用所述应用层的回调函数向所述应用层返回叠加图像。

5.根据权利要求4所述的业务分离平台，其特征在于，

所述视频服务层还包括平台封装层；

所述平台封装层，用于给所述智能业务层提供统一的传输接口。

6.根据权利要求5所述的业务分离平台，其特征在于，

所述视频服务层还包括配置管理层；

所述配置管理层，用于给所述平台封装层、所述服务及交互层，以及所述数据及抓图管理层提供配置信息；

所述配置信息包括所述平台封装层的采集分辨率、编码格式、编码分辨率和/或动检分辨率的配置信息；所述服务及交互层的接口使能配置、能力集配置的配置信息；所述数据及抓图管理层的编码方案、视频流数据在队列中的流转数量、图像的缓存数量和/或视频流数据在队列中的缓存数量的配置信息。

7.根据权利要求3所述的业务分离平台，其特征在于，

所述服务及交互层，用于提供视频服务层的公共视频功能，所述公共视频功能包括遮挡检测、虚焦侦测、编码、码流打包、模拟输出中的一种或多种视频功能。

8.根据权利要求1所述的业务分离平台，其特征在于，

所述业务分离平台还包括展示层；

所述展示层，用于接收所述应用层的算法结果的抓图结果，其中，所述应用层对所述算法结果的抓图结果进行图像参数和/或图像格式调整。

9.根据权利要求1所述的业务分离平台，其特征在于，

所述展示层，用于向所述应用层发送工作模式的设置信息；

所述应用层，用于根据所述工作模式的设置信息向所述智能业务层发送任务指令，所述任务指令包括抓图功能的工作模式，所述工作模式包括实时抓图或非实时抓图。

10.一种业务分离装置，其特征在于，所述业务分离装置搭载权利要求1至9任一项所述的业务分离平台，通过所述业务分离平台对视频/图像进行业务处理。

Images