CN112801044A - 视频图像处理方法、装置、视频客户端及解析平台 - Google Patents

Abstract

本申请提供一种视频图像处理方法、装置、视频客户端及解析平台，涉及视频图像处理技术领域。该方法包括：响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到区域结构化任务对应的目标区域坐标；向解析平台发送目标区域坐标和预设视频流，以使得解析平台根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果；接收解析平台返回的区域结构化结果，区域结构化结果包括：各帧图像中目标区域内目标对象的识别结果；显示各帧图像中目标区域内目标对象的识别结果。通过本申请，可提高视频解析速度，减少解析资源的消耗。

Description

视频图像处理方法、装置、视频客户端及解析平台

技术领域

本发明涉及视频图像处理技术领域，具体而言，涉及一种视频图像处理方法、装置、视频客户端及解析平台。

背景技术

在开展视频侦查工作中，需要对监控视频进行反复查看，以从监控视频中发现可疑的目标对象，但通过肉眼查看监控的效率十分低下，容易发生漏看、错看情况。

随着视频图像处理技术的发展，通过视频图像处理技术对监控视频中的目标对象进行解析识别。

但现有的视频图像处理技术往往是对监控视频的画面区域中的目标对象进行解析识别，导致该解析识别过程过程较慢，增加解析资源的消耗。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种视频图像处理方法、装置、视频客户端及解析平台，以便提高视频解析速度，减少解析资源的消耗。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种视频图像处理方法，包括：

响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标；

向解析平台发送所述目标区域坐标和所述预设视频流，以使得所述解析平台根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果；

接收所述解析平台返回的区域结构化结果，所述区域结构化结果包括：所述各帧图像中所述目标区域内所述目标对象的识别结果；

显示所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，所述响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标，包括：

确定所述区域选择操作的框选区域坐标；

根据所述预设视频流对应的相机参数，计算所述目标对象在所述预设视频流中的区域大小；

根据所述区域大小，采用预设的半倍扩边法，对所述框选区域坐标进行扩边处理，得到所述目标区域坐标。

可选的，所述根据所述预设视频流对应的相机参数，计算所述目标对象在所述预设视频流中的区域大小，包括：

根据所述相机参数，和所述目标对象的预设尺寸，计算所述区域大小。

可选的，所述响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标，还包括：

响应所述区域选择操作，确定分析倍速以及分析时段；

所述向解析平台发送所述目标区域坐标和所述预设视频流，包括：

向所述解析平台发送所述目标区域坐标、所述分析倍速，以及所述分析时段内的视频流，以使得所述解析平台根据所述目标区域坐标和所述分析倍速，对所述分析时段内的视频流中各帧图像中所述目标区域进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，所述响应所述区域选择操作，确定分析倍速以及分析时段，包括：

响应所述区域选择操作，显示所述区域结构化任务的构建界面；

根据作用于所述构建界面的参数配置操作，确定用户配置的所述分析倍速和所述分析时段。

可选的，所述目标对象的识别结果为：所述解析平台根据所述目标区域坐标，对所述各帧图像中所述目标区域内的图像进行剪裁操作，得到所述各帧图像的区域结构化图，并对所述区域结构化图进行所述目标对象的识别所得到的识别结果；

所述区域结构化结果还包括：所述各帧图像的区域结构化图；

所述显示所述各帧图像中所述目标区域内所述目标对象的识别结果，包括：

显示所述各帧图像中所述目标区域内所述目标对象的识别结果、以及所述各帧图像的区域结构化图。

第二方面，本申请实施例还提供一种视频图像处理方法，包括：

接收视频客户端发送的目标区域坐标和预设视频流；

根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果；

向所述视频客户端返回区域结构化结果，所述区域结构化结果包括：所述各帧图像中所述目标区域内所述目标对象的识别结果，所述区域结构化结果用于使得所述视频客户端显示所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，所述根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果，包括：

根据所述目标区域坐标，对所述各帧图像中所述目标区域内的图像进行剪裁操作，得到所述各帧图像的区域结构化图；

对所述区域结构化图进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，若所述目标对象包括人物，所述在所述区域结构化图进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果，包括：

在所述区域结构化图分别进行人脸识别和人体识别，得到所述各帧图像中所述目标区域内的人脸图和人体图；所述目标对象的识别结果包括：所述人脸图和所述人体图。

可选的，所述区域结构化结果还包括：所述各帧图像的区域结构化图，用于使得所述视频客户端显示所述各帧图像中所述目标区域内所述目标对象的识别结果、以及所述各帧图像的区域结构化图。

第三方面，本申请实施例还提供一种视频图像处理装置，该装置包括：

目标区域坐标计算模块，用于响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标；

第一发送模块，用于向解析平台发送所述目标区域坐标和所述预设视频流，以使得所述解析平台根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果；

第一接收模块，用于接收所述解析平台返回的区域结构化结果，所述区域结构化结果包括：所述各帧图像中所述目标区域内所述目标对象的识别结果；

显示模块，用于显示所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，所述目标区域坐标计算模块包括：

框选区域坐标确定单元，用于确定所述区域选择操作的框选区域坐标；

区域大小计算单元，用于根据所述预设视频流对应的相机参数，计算所述目标对象在所述预设视频流中的区域大小；

目标坐标计算单元，用于根据所述区域大小，采用预设的半倍扩边法，对所述框选区域坐标进行扩边处理，得到所述目标区域坐标。

可选的，所述区域大小计算单元，用于根据所述相机参数，和所述目标对象的预设尺寸，计算所述区域大小。

可选的，所述目标区域坐标计算模块还用于响应所述区域选择操作，确定分析倍速以及分析时段；

所述第一发送模块用于向所述解析平台发送所述目标区域坐标、所述分析倍速，以及所述分析时段内的视频流，以使得所述解析平台根据所述目标区域坐标和所述分析倍速，对所述分析时段内的视频流中各帧图像中所述目标区域进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，所述目标区域坐标计算模块用于：

界面构建单元，用于响应所述区域选择操作，显示所述区域结构化任务的构建界面；

配置单元，用于根据作用于所述构建界面的参数配置操作，确定用户配置的所述分析倍速和所述分析时段。

可选的，所述目标对象的识别结果为：所述解析平台根据所述目标区域坐标，对所述各帧图像中所述目标区域内的图像进行剪裁操作，得到所述各帧图像的区域结构化图，并对所述区域结构化图进行所述目标对象的识别所得到的识别结果；

所述区域结构化结果还包括：所述各帧图像的区域结构化图；

所述显示所述各帧图像中所述目标区域内所述目标对象的识别结果，包括：

显示所述各帧图像中所述目标区域内所述目标对象的识别结果、以及所述各帧图像的区域结构化图。

第四方面，本申请实施例还提供一种视频图像处理装置，所述装置包括：

第二接收模块，用于接收视频客户端发送的目标区域坐标和预设视频流；

识别模块，用于根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果；

第二发送模块，用于向所述视频客户端返回区域结构化结果，所述区域结构化结果包括：所述各帧图像中所述目标区域内所述目标对象的识别结果，所述区域结构化结果用于使得所述视频客户端显示所述各帧图像中所述目标区域内显示所述目标对象的识别结果。

可选的，所述识别模块包括：

裁剪单元，用于根据所述目标区域坐标，对所述各帧图像中所述目标区域内的图像进行剪裁操作，得到所述各帧图像的区域结构化图；

识别单元，用于对所述区域结构化图进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果。

可选的，若所述目标对象包括人物，所述识别单元，具体用于在所述区域结构化图分别进行人脸识别和人体识别，得到所述各帧图像中所述目标区域内的人脸图和人体图；所述目标对象的识别结果包括：所述人脸图和所述人体图。

可选的，所述区域结构化结果还包括：所述各帧图像的区域结构化图，用于使得所述视频客户端显示所述各帧图像中所述目标区域内所述目标对象的识别结果、以及所述各帧图像的区域结构化图。

第五方面，本申请实施例还提供一种视频客户端，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述视频客户端运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如上述第一方面任一所述的视频图像处理方法的步骤。

第六方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述的视频图像处理方法的步骤。

第七方面，本申请实施例还提供一种解析平台，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述解析平台运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如上述第二方面任一所述的视频图像处理方法的步骤。

第八方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第二方面任一所述的视频图像识别方法的步骤。

本申请的有益效果是：

本申请实施例提供的视频图像处理方法、装置、视频客户端及解析平台，通过响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到区域结构化任务对应的目标区域坐标，向解析平台发送目标区域坐标和预设视频流，以使得解析平台根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果；接收解析平台返回的区域结构化结构，显示各帧图像中目标区域内目标对象的识别结果。通过本申请提供的方案，通过在预设视频流的当前显示帧图像中进行区域选择构建区域结构化任务，并根据区域结构化任务对应的目标区域坐标对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象识别，并将目标对象的识别结果进行显示，通过只对需要关注的目标区域的目标对象进行识别，以减小需要识别的区域和对象，提高视频流的解析速度，减少解析资源的消耗。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的第一种视频图像处理方法的流程示意图；

图2为本申请实施例提供的一种显示界面的示意图；

图3为本申请实施例提供的第二种视频图像处理方法的流程示意图；

图4为本申请实施例提供的第三种视频图像处理方法的流程示意图；

图5为本申请实施例提供的第四种视频图像处理方法的流程示意图；

图6为本申请实施例提供的区域结构化任务的构建界面的示意图；

图7为本申请实施例提供的第五种视频图像处理方法的流程示意图；

图8为本申请实施例提供的第六种视频图像处理方法的流程示意图；

图9为本申请实施例提供的第一种视频图像处理装置的结构示意图；

图10为本申请实施例提供的第二种视频图像处理装置的结构示意图；

图11为本申请实施例提供的视频客户端的示意图；

图12为本申请实施例提供的解析平台的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

本申请实施例提供的视频图像处理方法，其执行主体可以为具有视频图像处理功能的视频客户端，该视频客户端可以为计算机设备或其他具备视频图像处理功能的电子设备，该视频客户端上安装有视频图像处理平台或视频图像处理软件，以接收用于针对预设视频流的操作，实现本申请实施例提供的视频图像处理方法。

图1为本申请实施例提供的第一种视频图像处理方法的流程示意图；如图1所示，该方法可包括：

S101：响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到区域结构化任务对应的目标区域坐标。

具体的，预设视频流是预先拍摄的视频流，或者实时采集的视频流。视频客户端可加载预设视频流，并在显示界面上显示该预设视频流。操作者在显示的预设视频流的当前显示帧图像上对需要关注的区域进行区域选择操作，并根据区域选择操作确定目标区域，目标区域为矩形区域，视频客户端根据该区域选择操作构建区域结构化任务，计算矩形区域的四个顶点相对于当前显示帧图像的坐标，以得到目标区域坐标。示例的，区域选择操作可以为针对当前显示帧图像的某一区域的画框操作，或者针对当前显示帧图像的某一区域的点击操作，点击操作可触发预设尺寸的矩形框，以点击处为中心，对点击处周围的区域进行框选。

S102：向解析平台发送目标区域坐标和预设视频流，以使得解析平台根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。

具体的，视频客户端在获取到目标区域坐标后，将目标区域坐标和预设视频流发送给解析平台，解析平台对预设视频流进行图像化处理，得到预设视频流中的每一帧图像，根据目标区域坐标在每一帧图像上进行定位，以得到每一帧图像的目标区域。目标对象为预设视频流的多个对象中需要关注的对象，采用预设的目标对象识别算法，对预设视频流的每一帧图像的目标区域进行目标对象识别，以得到每一帧图像的目标区域内目标对象的识别结果。示例的，目标对象可以包括：人和/或车辆，若目标对象包括人，则识别结果包括识别出每一帧图像的目标区域内的人物信息，若目标对象包括车辆，则识别结果包括识别出每一帧图像的目标区域内的车辆信息。

S103：接收解析平台返回的区域结构化结果。

具体的，区域结构化结果包括：各帧图像中目标区域内目标对象的识别结果。解析平台根据目标区域坐标和预设视频流得到每一帧图像中目标区域内目标对象的识别结果后，可将该区域结构化结果发送至视频客户端。

S104：显示各帧图像中目标区域内目标对象的识别结果。

具体的，视频客户端在接收到解析平台返回的包括目标对象的识别结果的区域结构化结果后，可将显示界面上的各帧图像中显示目标区域内目标对象的识别结果。

在一种可选的实施方式中，目标对象的识别结果为：解析平台根据目标区域坐标，对各帧图像中目标区域内的图像进行剪裁操作，得到各帧图像的区域结构化图，并对区域结构化图进行目标对象的识别所得到的识别结果；区域结构化结果还包括：各帧图像的区域结构化图。

具体的，解析平台在每一帧图像中确定目标区域坐标，并根据目标区域坐标在每一帧图像中构成的目标区域，对每一帧图像中目标区域内的图像进行剪裁操作，以得到每一帧图像的区域结构化图，采用预设的目标对象识别算法，对每一帧图像的区域结构化图中的目标对象进行识别，得到目标对象的识别结果。解析平台除了将每一帧图像中目标区域内目标对象的识别结果返回给视频客户端外，还可将根据目标区域坐标进行剪裁得到的每一帧图像的区域结构化图也返回给视频客户端。

上述S104可包括：

显示各帧图像中目标区域内目标对象的识别结果、以及各帧图像的区域结构化图。

具体的，视频客户端在接收到解析平台返回的每一帧图像的目标区域内目标对象的识别结果和每一帧图像的区域结构化图后，将在视频图像处理平台或视频图像处理软件的第一显示区域显示各帧图像的目标区域内目标对象的识别结果，可在第一显示区域内点击一帧图像的目标区域内目标对象的识别结果，以在第二显示区域内显示该帧图像及该帧图像的区域结构化图。示例的，图2为本申请实施例提供的一种显示界面的示意图，如图2所示，在显示界面10中的第一显示区域11显示有各帧图像的目标区域内目标对象的识别结果，第二显示区域12显示有选择点击的一帧图像的目标区域内的目标对象的识别结果对应的该帧图像，该帧图像上显示有区域框选操作对应的目标区域的框12a及该帧图像对应的区域结构化图12b。

综上所述，本申请实施例提供的视频图像处理方法，通过响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到区域结构化任务对应的目标区域坐标，向解析平台发送目标区域坐标和预设视频流，以使得解析平台根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果；接收解析平台返回的区域结构化结构，在各帧图像中目标区域内目标对象的识别结果。通过本申请实施例提供的方法，通过在预设视频流的当前显示帧图像中进行区域选择构建区域结构化任务，并根据区域结构化任务对应的目标区域坐标对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象识别，并将目标区域内的目标对象的识别结果进行显示，通过只对需要关注的目标区域的目标对象进行识别，以减小需要识别的区域和对象，提高视频流的解析速度，减少解析资源的消耗。

在上述实施例的基础上，本申请实施例还提供一种视频图像处理方法，图3为本申请实施例提供的第二种视频图像处理方法的流程示意图，如图3 所示，上述S101可包括：

S101a：确定区域选择操作的框选区域坐标。

具体的，通过操作者在显示的预设视频流的当前显示帧图像上进行画框操作，以确定操作者的区域选择操作得到的框选区域为矩形框，根据该矩形框在预设视频流的当前显示帧图像上的位置，确定该矩形框的四个顶点坐标，即为框选区域坐标，框选区域坐标包括：框选区域的多个顶点坐标，如矩形区域的四个顶点坐标分别为(x1,y1)、(x2,y2)、(x3,y3)和 (x4,y4)，坐标顺序分别为左上、右上、右下和左下。

S101b：根据预设视频流对应的相机参数，计算目标对象在预设视频流中的区域大小。

具体的，预设视频流对应的相机为安装在预设位置的进行视频监控的监控设备，由于相机安装在预设位置进行监控时会对目标对象进行压缩，通过预设视频流对应的相机参数，计算目标对象在预设视频流的框选区域中的区域大小，该区域大小包括：目标对象在该预设视频流的框选区域中的长度L1和宽度W1。

在一种可选实施方式中，根据相机参数，和目标对象的预设尺寸，计算区域大小。

具体的，相机参数可以包括：相机的安装高度h、相机俯视角度α和相机可视角度β，目标对象的预设尺寸为目标对象平均的长度L和宽度W，长度L和宽度W均为常量，则根据相机参数，计算目标对象在预设视频流的框选区域中的区域大小为长度L1和宽度W1。

示例的，计算区域大小的公式为：

S101c：根据区域大小，采用预设的半倍扩边法，对框选区域坐标进行扩边处理，得到目标区域坐标。

具体的，为避免目标对象未完整的出现在框选区域内，需要对框选区域进行扩边处理，以扩大框选区域得到目标区域，使得更多有效的目标对象进入目标区域内。根据框选区域坐标和区域大小，采用预设的半倍扩边法，对框选区域坐标进行扩边处理，得到目标区域坐标，目标区域坐标包括：目标区域的多个顶点坐标，如矩形区域的四个顶点坐标(x1’,y1’)、 (x2’,y2’)、(x3’,y3’)和(x4’,y4’)。示例的，采用半倍扩边法对框选区域坐标进行扩边，得到目标区域坐标的公式为：

x1’＝x1-L1/2，y1’＝y1-W1/2，x2’＝x2+L1/2，y2’＝y2-W1/2，x3’＝x3- L1/2，y3’＝y3+W1/2，x4’＝x4+L1/2，y4’＝y4+L1/2。

本申请实施例提供的视频图像处理方法，通过确定区域选择操作的框选区域坐标，根据预设视频流对应的相机参数，计算目标对象在预设视频流中的区域大小，根据区域大小，采用预设的半倍扩边法对框选区域坐标进行扩边处理，得到目标区域坐标。通过本申请实施例提供的方法，可对手动框选区域进行扩边，以确保更多有效的目标对象包围在目标区域内，通过对目标区域内的目标对象进行识别，以得到目标区域内目标对象的识别结果，通过只对需要关注的目标区域的目标对象进行识别，以减小需要识别的区域和对象，提高视频流的解析速度，减少解析资源的消耗。

在上述任一实施例的基础上，本申请实施例还提供一种视频图像处理方法，图4为本申请实施例提供的第三种视频图像处理方法的流程示意图，如图4所示，上述S101还可包括：

S101d：响应区域选择操作，确定分析倍速以及分析时段；

具体的，操作者在显示的预设视频流的当前显示帧图像上进行区域选择操作后，确定分析倍速和分析时段，分析倍速和分析时段可以为预先设置的默认分析倍速和默认分析时段，也可以为根据分析需求输入的分析倍速和分析时段。分析倍速为每秒钟的图像帧数，分析时段为预设视频流中需要分析的视频流的起始时间和终止时间。

在一种可选实施方式中还提供一种视频图像处理方法，图5为本申请实施例提供的第四种视频图像处理方法的流程示意图，如图5所示，上述 S101d包括：

S105：响应区域选择操作，显示区域结构化任务的构建界面。

具体的，操作者在显示的预设视频流的当前显示帧图像上进行区域选择操作后，视频客户端根据区域选择操作，在视频图像处理平台或视频图像处理软件的显示界面上显示区域结构化任务的构建界面，该界面上可包括：区域结构化任务名称输入栏、分析时段输入栏和分析倍速输入栏。示例的，图6为本申请实施例提供的区域结构化任务的构建界面的示意图，如图6所示，区域结构化任务的构建界面20中包括：区域结构化任务名称输入栏21、分析时段输入栏22和分析倍速输入栏23。

S106：根据作用于构建界面的参数配置操作，确定用户配置的分析倍速和分析时段。

具体的，操作者可在区域结构化任务的构建界面中进行参数配置操作，参数配置操作可以是输入操作或选择操作，以在分析时段输入栏22输入分析时段或选择分析时段，在分析倍速输入栏23输入分析倍速或选择分析倍速，任务名称可以是在创建区域机构化任务时自动生成的默认名称，也可以是自定义任务名称，本申请对此不做限制。

上述S102可包括：

S102a：向解析平台发送目标区域坐标、分析倍速，以及分析时段内的视频流，以使得解析平台根据目标区域坐标和分析倍速，对分析时段内的视频流中各帧图像中目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。

具体的，解析平台在接收到分析时段内的视频流和分析倍速后，根据分析倍速对分析时段内的视频流进行图像化处理，得到分析时段内的视频流的每一帧图像，根据目标区域坐标对分析时段内的视频流的每一帧图像进行剪裁操作，得到各帧图像的区域结构化图，并采用预设的目标对象识别方法对区域结构化图内的目标对象进行识别，得到各帧图像中目标区域内目标对象的识别结果。

示例的，若分析倍速为1倍速，分析时段内的视频流每秒有24帧画面，若分析倍速为2倍速，则分析时段内的视频流每秒有48帧画面。

本申请实施例提供的视频图像处理方法，通过响应区域选择操作，显示区域结构化任务的构建界面，根据作用于构建界面的参数配置操作，确定用户配置的分析倍速和分析时段，并通过向解析平台发送目标区域坐标、分析倍速，以及分析时段内的视频流，以使得解析平台根据目标区域坐标和分析倍速，对分析时段内的视频流中各帧图像中目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。通过本申请实施例提供的方法，可通过设置分析时段选择预设视频流中需要详细分析的视频流，通过设置分析倍速可对分析时段内的视频流进行更为详细的分析，将每秒视频拆分为更多帧图像，以从各帧图像的目标区域中提取更多更详细的目标对象的识别结果，使得针对目标区域的目标对象的识别更为详细，避免遗漏目标对象，提高基于目标对象的识别结果进行案件侦查的效率。

本申请实施例还提供一种视频图像处理方法，其执行主体可以为具备视频图像处理功能的解析平台，该解析平台可以为服务器，还可以为其他类型具备视频图像处理功能的设备，本申请对此不进行具体限制。该解析平台与视频客户端通信连接，以接收视频客户端发送的目标区域坐标和预设视频流，并向视频客户端返回目标对象的识别结果。

图7为本申请实施例提供的第五种视频图像处理方法的流程示意图，如图7所示，该方法可包括：

S201：接收视频客户端发送的目标区域坐标和预设视频流。

具体的，解析平台与视频客户端通信连接，在视频客户端响应于操作者的区域选择操作，得到目标区域坐标后，将目标区域坐标和预设视频流发送给解析平台，解析平台接收视频客户端发送的目标区域坐标和预设视频流。

S202：根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。

具体的，解析平台对预设视频流进行图像化处理，得到预设视频流中每一帧图像，解析平台对预设视频流进行图像化处理，得到预设视频流中的每一帧图像，根据目标区域坐标在每一帧图像上进行定位，以得到每一帧图像的目标区域。目标对象为预设视频流的多个对象中需要关注的对象，采用预设的目标对象识别算法，对预设视频流的每一帧图像的目标区域进行目标对象识别，以得到每一帧图像的目标区域内目标对象的识别结果。

S203：向视频客户端返回区域结构化结果。

具体的，区域结构化结果包括：各帧图像中目标区域内目标对象的识别结果，区域结构化结果用于使得视频客户端显示各帧图像中目标区域内目标对象的识别结果。解析平台在针对预设视频流的各帧图像进行识别，以得到各帧图像的目标区域内目标对象的识别结果后，将该识别结果发送给视频客户端，以供视频客户端显示该识别结果。

本申请实施例提供的视频图像处理方法，通过接收视频客户端发送的目标区域坐标和预设视频流，根据目标区域坐标对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果，向视频客户端返回包括各帧图像中目标区域内目标对象的识别结果的区域结构化结果。通过本申请实施例提供的方法，对预设视频流红各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，通过只对需要关注的目标区域的目标对象进行识别，以减小需要识别的区域和对象，提高视频流的解析速度，减少解析资源的消耗。

在上述实施例的基础上，本申请实施例还提供一种视频图像处理方法，图8为本申请实施例提供的第六种视频图像处理方法的流程示意图，如图8 所示，上述S202可包括：

S202a：根据目标区域坐标，对各帧图像中目标区域内的图像进行剪裁操作，得到各帧图像的区域结构化图。

具体的，解析平台在每一帧图像中确定目标区域坐标，并根据目标区域坐标在每一帧图像中构成的目标区域，对每一帧图像中目标区域内的图像进行剪裁操作，以得到每一帧图像的区域结构化图。

S202b：对区域结构化图进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。

具体的，采用预设的目标对象识别算法，对每一帧图像的区域结构化图中的目标对象进行识别，得到目标对象的识别结果。

在一种可选实施方式中，区域结构化结果还包括：各帧图像的区域结构化图，用于使得视频客户端显示各帧图像中目标区域内目标对象的识别结果、以及各帧图像的区域结构化图。

具体的，解析平台除了将每一帧图像中目标区域内目标对象的识别结果返回给视频客户端外，还将根据目标区域坐标进行剪裁得到的每一帧图像的区域结构化图也返回给视频客户端。

在一种可选实施方式中，若目标对象为人物，在区域结构化图进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果，包括：

在区域结构化图分别进行人脸识别和人体识别，得到各帧图像中目标区域内的人脸图和人体图。

具体的，目标对象的识别结果包括：人脸图和人体图，采用预设的人脸识别算法，对区域结构化图中的人脸进行识别，得到各帧图像中目标区域内的人脸图，采用预设的人体识别算法，对区域结构化图中的人体进行识别，得到各帧图像中目标区域内的人体图。

在上述实施例的基础上，本申请实施例还提供一种视频图像处理装置，应用于视频客户端，图9为本申请实施例提供的第一种视频图像处理装置的结构示意图，如图9所示，该装置可包括：

目标区域坐标计算模块101，用于响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到区域结构化任务对应的目标区域坐标；

第一发送模块102，用于向解析平台发送目标区域坐标和预设视频流，以使得解析平台根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果；

第一接收模块103，用于接收解析平台返回的区域结构化结果，区域结构化结果包括：各帧图像中目标区域内目标对象的识别结果；

显示模块104，用于显示各帧图像中目标区域内目标对象的识别结果。

可选的，目标区域坐标计算模块101包括：

框选区域坐标确定单元，用于确定区域选择操作的框选区域坐标；

区域大小计算单元，用于根据预设视频流对应的相机参数，计算目标对象在预设视频流中的区域大小；

目标坐标计算单元，用于根据区域大小，采用预设的半倍扩边法，对框选区域坐标进行扩边处理，得到目标区域坐标。

可选的，区域大小计算单元，用于根据相机参数，和目标对象的预设尺寸，计算区域大小。

可选的，目标区域坐标计算模块101还用于响应区域选择操作，确定分析倍速以及分析时段；

第一发送模块102用于向解析平台发送目标区域坐标、分析倍速，以及分析时段内的视频流，以使得解析平台根据目标区域坐标和分析倍速，对分析时段内的视频流中各帧图像中目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。

可选的，目标区域坐标计算模块101用于：

界面构建单元，用于响应区域选择操作，显示区域结构化任务的构建界面；

配置单元，用于根据作用于构建界面的参数配置操作，确定用户配置的分析倍速和分析时段。

可选的，目标对象的识别结果为：解析平台根据目标区域坐标，对各帧图像中目标区域内的图像进行剪裁操作，得到各帧图像的区域结构化图，并对区域结构化图进行目标对象的识别所得到的识别结果；

区域结构化结果还包括：各帧图像的区域结构化图；

显示各帧图像中目标区域内目标对象的识别结果，包括：

显示各帧图像中目标区域内目标对象的识别结果、以及各帧图像的区域结构化图。

在上述实施例的基础上，本申请实施例还提供一种视频图像处理装置，应用于解析平台，图10为本申请实施例提供的第二种视频图像处理装置的结构示意图，如图10所示，该装置可包括：

第二接收模块201，用于接收视频客户端发送的目标区域坐标和预设视频流；

识别模块202，用于根据目标区域坐标，对预设视频流中各帧图像中目标区域坐标所框选的目标区域进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果；

第二发送模块203，用于向视频客户端返回区域结构化结果，区域结构化结果包括：各帧图像中目标区域内目标对象的识别结果，区域结构化结果用于使得视频客户端显示各帧图像中目标区域内目标对象的识别结果。

可选的，识别模块202可包括：

裁剪单元，用于根据目标区域坐标，对各帧图像中目标区域内的图像进行剪裁操作，得到各帧图像的区域结构化图；

识别单元，用于对区域结构化图进行目标对象的识别，得到各帧图像中目标区域内目标对象的识别结果。

可选的，若目标对象为人物，第二识别单元用于在区域结构化图分别进行人脸识别和人体识别，得到各帧图像中目标区域内的人脸图和人体图；目标对象的识别结果包括：人脸图和人体图。

可选的，区域结构化结果还可包括：各帧图像的区域结构化图，用于使得视频客户端显示各帧图像中目标区域内目标对象的识别结果、以及各帧图像的区域结构化图。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称 FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图11为本申请实施例提供的视频客户端的示意图，该视频客户端300 包括：处理器301、存储介质302和总线，存储介质302存储有处理器301 可执行的程序指令，当视频客户端300运行时，处理器301与存储介质302 之间通过总线通信，处理器301执行程序指令，以执行上述应用于视频客户端的方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选的，本申请实施例还提供一种存储介质302，该存储介质302上存储有计算机程序，计算机程序被处理器301运行时执行如上述应用于视频客户端的方法实施例。具体实现方式和技术效果类似，这里不再赘述。

图12为本申请实施例提供的解析平台的示意图，该解析平台400包括：处理器401、存储介质402和总线，存储介质402存储有处理器401可执行的程序指令，当解析平台400运行时，处理器401与存储介质402之间通过总线通信，处理器401执行程序指令，以执行上述应用于解析平台的方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选的，本申请实施例还提供一种存储介质402，该存储介质402上存储有计算机程序，计算机程序被处理器401运行时执行如上述应用于解析平台的方法实施例。具体实现方式和技术效果类似，这里不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文： Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频图像处理方法，其特征在于，包括：

响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标；

向解析平台发送所述目标区域坐标和所述预设视频流，以使得所述解析平台根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果；

接收所述解析平台返回的区域结构化结果，所述区域结构化结果包括：所述各帧图像中所述目标区域内所述目标对象的识别结果；

显示所述各帧图像中所述目标区域内所述目标对象的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标，包括：

确定所述区域选择操作的框选区域坐标；

根据所述预设视频流对应的相机参数，计算所述目标对象在所述预设视频流中的区域大小；

根据所述区域大小，采用预设的半倍扩边法，对所述框选区域坐标进行扩边处理，得到所述目标区域坐标。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预设视频流对应的相机参数，计算所述目标对象在所述预设视频流中的区域大小，包括：

根据所述相机参数，和所述目标对象的预设尺寸，计算所述区域大小。

4.根据权利要求1所述的方法，其特征在于，所述响应针对预设视频流中当前显示帧图像输入的区域选择操作，构建区域结构化任务，得到所述区域结构化任务对应的目标区域坐标，还包括：

响应所述区域选择操作，确定分析倍速以及分析时段；

所述向解析平台发送所述目标区域坐标和所述预设视频流，包括：

向所述解析平台发送所述目标区域坐标、所述分析倍速，以及所述分析时段内的视频流，以使得所述解析平台根据所述目标区域坐标和所述分析倍速，对所述分析时段内的视频流中各帧图像中所述目标区域进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果。

5.根据权利要求4所述的方法，其特征在于，所述响应所述区域选择操作，确定分析倍速以及分析时段，包括：

响应所述区域选择操作，显示所述区域结构化任务的构建界面；

根据作用于所述构建界面的参数配置操作，确定用户配置的所述分析倍速和所述分析时段。

6.一种视频图像处理方法，其特征在于，包括：

接收视频客户端发送的目标区域坐标和预设视频流；

根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果；

向所述视频客户端返回区域结构化结果，所述区域结构化结果包括：所述各帧图像中所述目标区域内所述目标对象的识别结果，所述区域结构化结果用于使得所述视频客户端显示所述各帧图像中所述目标区域内所述目标对象的识别结果。

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标区域坐标，对所述预设视频流中各帧图像中所述目标区域坐标所框选的目标区域进行目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果，包括：

根据所述目标区域坐标，对所述各帧图像中所述目标区域内的图像进行剪裁操作，得到所述各帧图像的区域结构化图；

对所述区域结构化图进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果。

8.根据权利要求7所述的方法，其特征在于，若所述目标对象包括人物，所述在所述区域结构化图进行所述目标对象的识别，得到所述各帧图像中所述目标区域内所述目标对象的识别结果，包括：

在所述区域结构化图分别进行人脸识别和人体识别，得到所述各帧图像中所述目标区域内的人脸图和人体图；所述目标对象的识别结果包括：所述人脸图和所述人体图。

9.一种视频客户端，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述视频客户端运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求1至5任一所述的视频图像处理方法的步骤。

10.一种解析平台，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当所述解析平台运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行如权利要求6至8任一所述的视频图像处理方法的步骤。

Images