CN110009624A - 视频处理方法、视频处理装置和电子设备 - Google Patents

Abstract

本申请提供的视频处理方法、视频处理装置和电子设备，涉及虚拟现实技术领域。其中，视频处理方法包括：将监控视频导入至预先构建的三维虚拟场景中，其中，所述监控视频通过对监控对象进行拍摄得到；在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像；对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。通过上述方法，可以改善现有技术中由于不能在三维虚拟场景中对监控对象进行分析而导致虚拟现实技术的应用范围较窄的问题。

Description

视频处理方法、视频处理装置和电子设备

技术领域

本申请涉及虚拟现实技术领域，具体而言，涉及一种视频处理方法、视频处理装置和电子设备。

背景技术

虚拟现实技术是用于认识世界，或者说是模拟世界的一种方法手段。现有技术中，一般是通过将现实世界的监控视频投射到虚拟世界中，从一定角度上实现了虚拟世界连接到现实世界。但是，该技术仅实现了将监控视频反馈给虚拟世界，并未对视频内容做进一步处理，因而，难以有效地为现实世界提供相应的数据支持或服务。

发明内容

有鉴于此，本申请的目的在于提供一种视频处理方法、视频处理装置和电子设备，以改善现有技术中由于不能在三维虚拟场景中对监控对象进行分析而导致虚拟现实技术的应用范围较窄的问题。

为实现上述目的，本申请实施例采用如下技术方案：

一种视频处理方法，包括：

将监控视频导入至预先构建的三维虚拟场景中，其中，所述监控视频通过对监控对象进行拍摄得到；

在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像；

对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。

在本申请实施例较佳的选择中，在上述视频处理方法中，所述在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像的步骤，包括：

在所述三维虚拟场景中按照运动目标提取算法对所述监控视频进行处理，得到对应的第一前景图像；

去除所述第一前景图像中的空洞区域，得到对应的第二前景图像。

在本申请实施例较佳的选择中，在上述视频处理方法中，所述在所述三维虚拟场景中按照运动目标提取算法对所述监控视频进行处理的步骤，具体为：

在所述三维虚拟场景中按照帧间差分法对所述监控视频进行差值计算处理，得到至少一张差分图像。

在本申请实施例较佳的选择中，在上述视频处理方法中，所述去除所述第一前景图像中的空洞区域的步骤，具体为：

通过对所述第一前景图像进行形态学开闭操作去除该第一前景图像中的空洞区域。

在本申请实施例较佳的选择中，在上述视频处理方法中，在执行所述去除所述第一前景图像中的空洞区域的步骤之前，所述在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像的步骤，还包括：

基于预先确定的阈值对所述第一前景图像进行二值化处理。

在本申请实施例较佳的选择中，在上述视频处理方法中，还包括预先确定所述阈值的步骤，该步骤具体为：

基于拍摄所述监控视频时的光照亮度和所述监控视频中背景图像的颜色确定所述阈值。

在本申请实施例较佳的选择中，在上述视频处理方法中，还包括：

基于获取的确定指令在所述监控对象中确定至少一个目标对象；

根据目标跟踪算法对确定的每一个目标对象分别进行跟踪处理。

在本申请实施例较佳的选择中，在上述视频处理方法中，所述根据目标跟踪算法对确定的每一个目标对象分别进行跟踪处理的步骤，具体为：

通过TLD算法中的MedianFlow追踪器、LK光流跟踪法或卡尔曼滤波算法对确定的每一个目标对象分别进行跟踪处理。

本申请实施例还提供了一种视频处理装置，包括：

监控视频导入模块，用于将监控视频导入至预先构建的三维虚拟场景中，其中，所述监控视频通过对监控对象进行拍摄得到；

前景图像获取模块，用于在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像；

前景图像分析模块，用于对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。

在上述基础上，本申请实施例还提供了一种电子设备，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现上述的视频处理方法。

本申请提供的视频处理方法、视频处理装置和电子设备，通过在三维虚拟场景中按照预设的图像处理算法对监控视频进行图像处理，以得到对应的前景图像，从而使得能够基于该前景图像对监控对象进行分析(如数量统计等)，以改善现有技术中由于不能在三维虚拟场景中对监控对象进行分析而难以通过虚拟现实技术有效地为现实世界提供数据支持或服务的问题，进而有效地拓宽虚拟现实技术的应用范围，具有极高的实用价值。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本申请实施例提供的电子设备的结构方框示意图。

图2为本申请实施例提供的视频处理方法的流程示意图。

图3为图2中步骤S130包括的子步骤的流程示意图。

图4为本申请实施例提供的视频处理方法包括的其它步骤的流程示意图。

图5为本申请实施例提供的视频处理装置包括的功能模块的方框示意图。

图标：10-电子设备；12-存储器；14-处理器；100-视频处理装置；110-监控视频导入模块；130-前景图像获取模块；150-前景图像分析模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。

如图1所示，本申请实施例提供了一种电子设备10，可以包括存储器12、处理器14和视频处理装置100。

详细地，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述视频处理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述视频处理装置100所包括的软件功能模块及计算机程序等，以实现视频处理方法，进而完成对监控对象的分析处理。

其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

所述处理器14可能是一种集成电路芯片，具有信号的处理能力。上述的处理器14可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip,SoC)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它设备进行信息交互的通信单元。

并且，所述电子设备10的具体类型不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，所述电子设备10可以为应用程序服务器、WEB服务器等，以及其它具有数据处理能力的终端设备(如个人计算机)。

结合图2，本申请实施例还提供一种可应用于上述电子设备10的视频处理方法。其中，所述视频处理方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程进行详细阐述。

步骤S110，将监控视频导入至预先构建的三维虚拟场景中。

在本实施例中，可以通过图像获取设备(如摄像头)拍摄监控对象所在的场景，以得到具有监控对象信息的监控视频。例如，可以是一段交通路口的摄像头拍摄的车辆来往视频，也可以是一段商场进口的摄像头拍摄的顾客来往视频。

在通过图像获取设备获取到监控视频之后，可以基于国际标准OPC协议和三维引擎绑定组件将该监控视频导入至预先构建的三维虚拟场景中。例如，可以采用现有的虚拟现实技术进行监控视频的导入处理。

其中，所述三维引擎绑定组件可以是Unity3D中的Rawimage组件。

步骤S130，在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像。

在本实施例中，在通过步骤S110将监控视频导入至三维虚拟场景中之后，可以在该三维虚拟场景中按照预设的图像处理算法对该监控视频进行处理，以得到具有监控对象信息的前景图像。

其中，所述前景图像是指，针对监控视频中的每一帧图像进行信息提取之后得到的图像。例如，可以是提取的监控对象(车辆、行人等)的图像，或者说，将监控对象以外的其它对象(背景等)去除后的图像。

在一种可以替代的示例，在监控视频为交通路口的车辆流动视频时，可以针对该视频中的每一帧图像，仅提取具有车辆信息的部分图像，或者说，去除背景部分的图像(如路面等)，从而得到具有监控对象信息的前景图像。

步骤S150，对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。

在本实施例中，通过步骤S130得到具有监控对象信息的前景图像之后，由于该前景图像具有监控对象的信息，因此，可以基于该前景图像对监控对象进行分析，如进行车流量分析或人流量分析等。

通过上述方法，可以利用虚拟现实技术将监控视频导入至三维虚拟场景中，以基于该三维虚拟场景进行图像分析，从而得到对监控对象的分析结果，使得在现实世界中可以基于该分析结果进行相应的控制，例如，可以基于得到的车流量对交通的拥堵进行计算，从而完成相应的交通引流等操作。

可选地，执行步骤S130进行图像处理的方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，结合图3，步骤S130可以包括步骤S131和步骤S133，具体内容如下所述。

步骤S131，在所述三维虚拟场景中按照运动目标提取算法对所述监控视频进行处理，得到对应的第一前景图像。

在本实施例中，可以基于预设的运动目标提取算法对监控视频进行信息提取处理，以得到具有监控对象信息的第一前景图像。也就是说，可以通过对监控视频进行信息提取处理，以提取具有变化的部分图像，从而得到具有所述监控对象信息的第一前景图像。

其中，所述运动目标提取算法可以包括，但不限于帧间差分法、背景差分法、Vibe算法或其它的运动目标提取算法。并且，在采用帧间差分法时，既可以是二帧差分法，也可以是三帧差分法等，根据具体的应用精度需求和电子设备10的性能进行确定即可，在此不做具体限定。

需要说明的是，在采用二帧差分法时，可以将第t帧图像与第t-1帧图像进行差值计算处理，从而得到至少一张差分图像，并将该至少一张差分图像作为所述第一前景图像。其中，t为整数且属于闭合区间[2，n]，n为监控视频具有的图像的帧数，可以得到n-1张差分图像。

也就是说，可以将n帧图像中在时间上相邻的每两帧图像进行差值计算处理，以得到n-1张差分图像。

步骤S133，去除所述第一前景图像中的空洞区域，得到对应的第二前景图像。

在本实施例中，通过步骤S131得到第一前景图像之后，考虑到基于运动目标提取算法进行信息提取时，特别是基于帧间差分法进行信息提取时，容易导致监控对象的信息丢失(如只有行人头部的信息或只有行人腿部的信息)，因此，在得到所述第一前景图像之后，还可以去除该第一前景图像中的空洞区域，以得到具有监控对象全部信息的第二前景图像，以在执行步骤S150时可以基于该第二前景图像进行分析处理。

其中，去除所述第一前景图像中的空洞区域的具体方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，可以通过对所述第一前景图像进行形态学开闭操作，以消除该第一前景图像中的空洞区域，从而得到所述第二前景图像。

可以理解的是，所述形态学开闭操作包括形态学开操作和形态学闭操作。详细地，通过所述形态学开操作可以平滑物体轮廓，断开狭窄的间断和消除细小的突出物；通过所述形态学闭操作可以消弭狭窄的间断，消除小的空洞。也就是说，在本实施例中，可以通过形态学闭操作对所述第一前景图像先进行膨胀处理，然后，再进行腐蚀处理，以消除该第一前景图像中的空洞区域，从而得到所述第二前景图像。

通过上述方法，可以得到具有监控对象全部信息的第二前景图像，以使在基于该第二前景图像进行监控对象分析时，得到的分析结果具有较高的可靠性，有效地避免了由于图像存在空洞区域而导致分析结果不准确的问题。

进一步地，为了提高执行步骤S133的效率，即提高去除第一前景图像中的空洞区域的效率，在执行步骤S131之后且在步骤S133之前，步骤S130还可以包括以下步骤：基于预先确定的阈值对所述第一前景图像进行二值化处理。

也就是说，所述第一前景图像为灰度图，具有256个亮度等级。因此，为了提高图像分析的准确性，可以将该第一前景图像进行二值化处理以得到呈现明显黑白效果的图像。

详细地，在进行二值化处理时，针对所述第一前景图像中的每一个像素点，可以将该像素点的灰度值与预先确定的阈值进行比较。然后，将当前灰度值大于阈值的像素点的像素值设置为255，并将当前灰度值小于阈值的像素点的像素值设置为0。

其中，预先确定所述阈值的方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，可以基于拍摄所述监控视频时的光照亮度和所述监控视频中背景图像的颜色确定所述阈值，如该阈值可以属于(20，50)。

需要说明的是，若执行步骤S133时处理的第一前景图像为灰度图，也就是说，该第一前景图像未经过二值化处理，那么，在进行形态学开闭操作时，可以是进行最大值和最小值计算处理；若执行步骤S133时处理的第一前景图像会二值图像，也就是说，该第一前景图像经过二值化处理，那么，在进行形态学开闭操作时，可以是进行与运算。

进一步地，在通过上述方法得到监控对象的分析结果之后，可以基于该分析结果对监控对象进行跟踪处理，使得监管人员可以直观、便利地对可疑人员进行监控。因此，在本实施例中，结合图4，所述视频处理方法还可以包括步骤S170和步骤S190。

步骤S170，基于获取的确定指令在所述监控对象中确定至少一个目标对象。

在本实施例中，可以基于分析结果在多个监控对象中确定至少一个目标对象。例如，在一种可以替代的示例中，可以是所述电子设备10直接基于得到的分析结果生成对应的确定指令，以确定目标对象，如可以将出现频率最高的监控对象确定为目标对象，或将出现频率最低的监控对象确定为目标对象。

又例如，在另一种可以替代的示例中，可以是基于监管人员的选择在多个监控对象中确定至少一个目标对象。具体地，监管人员可以将行为较为猥琐的监控对象确定为目标对象，或者将具有其它特定行为的监控对象确定为目标对象，然后，所述电子设备10可以基于监控人员的操作生成对应的确定指令。

步骤S190，根据目标跟踪算法对确定的每一个目标对象分别进行跟踪处理。

在本实施例中，通过步骤S170确定目标对象之后，可以基于预设的目标跟踪算法对确定的每一个目标对象分别进行跟踪，并可以通过相应的显示设备进行显示，使得监管人员可以较为直观、方便地对该目标对象进行持续的跟踪。

其中，所述目标跟踪算法不受限制，可以根据实际应用需求进行选择。例如，可以包括，但不限于TLD算法中的MedianFlow追踪器、LK光流跟踪法或卡尔曼滤波算法。

也就是说，步骤S190具体可以为：通过TLD算法中的MedianFlow追踪器、LK光流跟踪法或卡尔曼滤波算法对确定的每一个目标对象分别进行跟踪处理。

结合图5，本申请实施例还提供一种可应用于上述电子设备10的视频处理装置100。其中，该视频处理装置100可以包括监控视频导入模块110、前景图像获取模块130和前景图像分析模块150。

所述监控视频导入模块110，用于将监控视频导入至预先构建的三维虚拟场景中，其中，所述监控视频通过对监控对象进行拍摄得到。在本实施例中，所述监控视频导入模块110可用于执行图2所示的步骤S110，关于所述监控视频导入模块110的相关内容可以参照前文对步骤S110的描述。

所述前景图像获取模块130，用于在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像。在本实施例中，所述前景图像获取模块130可用于执行图2所示的步骤S130，关于所述前景图像获取模块130的相关内容可以参照前文对步骤S130的描述。

所述前景图像分析模块150，用于对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。在本实施例中，所述前景图像分析模块150可用于执行图2所示的步骤S150，关于所述前景图像分析模块150的相关内容可以参照前文对步骤S150的描述。

其中，所述前景图像具体可以用于：在所述三维虚拟场景中按照运动目标提取算法对所述监控视频进行处理，得到对应的第一前景图像；去除所述第一前景图像中的空洞区域，得到对应的第二前景图像。

综上所述，本申请提供的视频处理方法、视频处理装置100和电子设备10，通过在三维虚拟场景中按照预设的图像处理算法对监控视频进行图像处理，以对应的前景图像，从而使得能够基于该前景图像对监控对象进行分析(如数量统计等)，以改善现有技术中由于不能在三维虚拟场景中对监控对象进行分析而难以通过虚拟现实技术有效地为现实世界提供数据支持或服务的问题，进而有效地拓宽虚拟现实技术的应用范围，具有极高的实用价值。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种视频处理方法，其特征在于，包括：

将监控视频导入至预先构建的三维虚拟场景中，其中，所述监控视频通过对监控对象进行拍摄得到；

在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像；

对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。

2.根据权利要求1所述的视频处理方法，其特征在于，所述在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像的步骤，包括：

在所述三维虚拟场景中按照运动目标提取算法对所述监控视频进行处理，得到对应的第一前景图像；

去除所述第一前景图像中的空洞区域，得到对应的第二前景图像。

3.根据权利要求2所述的视频处理方法，其特征在于，所述在所述三维虚拟场景中按照运动目标提取算法对所述监控视频进行处理的步骤，具体为：

在所述三维虚拟场景中按照帧间差分法对所述监控视频进行差值计算处理，得到至少一张差分图像。

4.根据权利要求2所述的视频处理方法，其特征在于，所述去除所述第一前景图像中的空洞区域的步骤，具体为：

通过对所述第一前景图像进行形态学开闭操作去除该第一前景图像中的空洞区域。

5.根据权利要求2所述的视频处理方法，其特征在于，在执行所述去除所述第一前景图像中的空洞区域的步骤之前，所述在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像的步骤，还包括：

基于预先确定的阈值对所述第一前景图像进行二值化处理。

6.根据权利要求5所述的视频处理方法，其特征在于，还包括预先确定所述阈值的步骤，该步骤具体为：

基于拍摄所述监控视频时的光照亮度和所述监控视频中背景图像的颜色确定所述阈值。

7.根据权利要求1-6任意一项所述的视频处理方法，其特征在于，还包括：

基于获取的确定指令在所述监控对象中确定至少一个目标对象；

根据目标跟踪算法对确定的每一个目标对象分别进行跟踪处理。

8.根据权利要求7所述的视频处理方法，其特征在于，所述根据目标跟踪算法对确定的每一个目标对象分别进行跟踪处理的步骤，具体为：

通过TLD算法中的MedianFlow追踪器、LK光流跟踪法或卡尔曼滤波算法对确定的每一个目标对象分别进行跟踪处理。

9.一种视频处理装置，其特征在于，包括：

监控视频导入模块，用于将监控视频导入至预先构建的三维虚拟场景中，其中，所述监控视频通过对监控对象进行拍摄得到；

前景图像获取模块，用于在所述三维虚拟场景中对所述监控视频进行图像处理，得到对应的前景图像；

前景图像分析模块，用于对所述前景图像中包含的监控对象进行分析处理，得到所述监控对象的分析结果。

10.一种电子设备，其特征在于，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现权利要求1-8任意一项所述的视频处理方法。