CN110958489A - 视频处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
视频处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110958489A CN110958489A CN201911269069.3A CN201911269069A CN110958489A CN 110958489 A CN110958489 A CN 110958489A CN 201911269069 A CN201911269069 A CN 201911269069A CN 110958489 A CN110958489 A CN 110958489A
- Authority
- CN
- China
- Prior art keywords
- video
- target
- image
- image type
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000012634 fragment Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像处理技术领域，公开了一种视频处理方法、装置和电子设备，视频处理方法包括：获取目标视频，目标视频包括多个视频帧图像；分别确定目标视频的各个视频帧图像的图像类型；基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱；其中，图像类型图谱的排布顺序与目标视频中各个视频帧图像的顺序一一对应；若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频中的正样本片段，以用于对预设模型进行训练。本申请提供的视频处理方法可以提高训练的精度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种视频处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的快速发展和互联网视频的蓬勃兴起，视频处理在多种领域得到了广泛应用，如视频推荐、目标跟踪、视频监控等多种领域得到了广泛应用。然而在多种应用场景下，都需要用到样本视频对预设的各种模型进行训练或测试。
获取样本视频时，通常是直接采用与待处理的目标视频具有相同属性的视频作为样本视频，获取到的样本视频中可能包括与目标视频无关的视频帧图像，或者获取到了和目标视频相关性不高的样本视频，例如，样本视频中的人在快速旋转，若把整段样本视频作为正样本，则会引入人较多的侧面、背面、身体等并没有包含人脸的视频帧图像。
目前的样本视频的获取方法获取到的样本视频不纯净，在应用于模型训练时或测试时可能造成误导，因此，有必要提供一种可以辨认出样本视频是否纯净、并提取纯净的样本视频的方法，从而在应用于训练或测试时提高训练或测试的精度。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
第一方面，提供了一种视频处理方法，包括：
获取目标视频，目标视频包括多个视频帧图像；
分别确定目标视频的各个视频帧图像的图像类型；
基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱；其中，图像类型图谱的排布顺序与目标视频中各个视频帧图像的顺序一一对应；
若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频中的正样本片段，以用于对预设模型进行训练。
在第一方面的可选实施例中，分别确定目标视频的各个视频帧图像的图像类型，包括：
针对每一视频帧图像，基于预设的检测算法对该视频帧图像进行检测，根据得到的检测结果确定该视频帧图像的图像类型。
在第一方面的可选实施例中，基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱，包括：
针对每一视频帧图像，查询与该视频帧图像的图像类型对应的标签数；
基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱。
在第一方面的可选实施例中，图像类型包括目标图像和非目标图像；
若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频之前，还包括：
基于图像类型图谱获取目标视频中的至少一个连续目标片段；连续目标片段中的每一视频帧图像均属于目标图像，且与连续目标片段相邻的视频帧图像属于非目标图像；
若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，包括：
若存在至少一个连续片段的帧数不小于预设阈值，将目标视频确定为正样本视频。
在第一方面的可选实施例中，获取目标视频中的一个连续目标片段，包括：
确定目标视频的各个视频帧图像中的起始帧目标图像；起始帧目标图像的上一帧视频帧图像为非目标图像；
确定目标视频的各个视频帧图像中的终止帧目标图像；终止帧目标图像的下一帧视频帧图像为非目标图像；
根据起始帧目标图像和终止帧目标图像获取一个连续目标片段；所述连续目标片段的每一帧视频帧图像均为目标图像。
在第一方面的可选实施例中，提取正样本视频中的正样本片段，包括：
将帧数不小于预设阈值的连续目标片段设为正样本片段。
在第一方面的可选实施例中，还包括：
若未获取到连续目标片段，将目标视频确定为负样本视频；
若获取到的每一连续目标片段的帧数均小于预设阈值，将目标视频确定为非纯净样本视频。
第二方面，提供了一种视频处理装置，包括：
视频获取模块，用于获取目标视频，目标视频包括多个视频帧图像；
第一确定模块，用于分别确定目标视频的各个视频帧图像的图像类型；
图谱获取模块，用于基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱；其中，图像类型图谱的排布顺序与目标视频中各个视频帧图像的顺序一一对应；
提取模块，用于若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频中的正样本片段，以用于对预设模型进行训练。
在第二方面的可选实施例中，第一确定模块在分别确定目标视频的各个视频帧图像的图像类型时，具体用于：
针对每一视频帧图像，基于预设的检测算法对该视频帧图像进行检测，根据得到的检测结果确定该视频帧图像的图像类型。
在第二方面的可选实施例中，图谱获取模块在基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱时，具体用于：
针对每一视频帧图像，查询与该视频帧图像的图像类型对应的标签数；
基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱。
在第二方面的可选实施例中，图像类型包括目标图像和非目标图像；
视频处理装置还包括片段获取模块，片段获取模块用于：
基于图像类型图谱获取目标视频中的至少一个连续目标片段；连续目标片段中的每一视频帧图像均属于目标图像，且与连续目标片段相邻的视频帧图像属于非目标图像；
提取模块在若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频时，具体用于：
若存在至少一个连续片段的帧数不小于预设阈值，将目标视频确定为正样本视频。
在第二方面的可选实施例中，片段获取模块在获取目标视频中的一个连续目标片段时，具体用于：
确定目标视频的各个视频帧图像中的起始帧目标图像；起始帧目标图像的上一帧视频帧图像为非目标图像；
确定目标视频的各个视频帧图像中的终止帧目标图像；终止帧目标图像的下一帧视频帧图像为非目标图像；
根据起始帧目标图像和终止帧目标图像获取一个连续目标片段；连续目标片段的每一帧视频帧图像均为目标图像。
在第二方面的可选实施例中，提取模块在提取正样本视频中的正样本片段时，具体用于：
将帧数不小于预设阈值的连续目标片段设为正样本片段。
在第二方面的可选实施例中，视频处理装置还包括第二确定模块，第二确定模块用于：
若未获取到连续目标片段，将目标视频确定为负样本视频；
若获取到的每一连续目标片段的帧数均小于预设阈值，将目标视频确定为非纯净样本视频。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的视频处理方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的视频处理方法。
本申请提供的技术方案带来的有益效果是：
通过分别确定目标视频的各个视频帧图像的图像类型，然后获取与目标视频对应的图像类型图谱，根据图像类型图谱将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频的正样本片段，以用于对预设模型进行训练，可以辨认出目标视频的类型，并从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
进一步的，辨认出目标视频的类型，可以确定出负样本视频，基于负样本视频和正样本片段，可以在应用于训练时进一步提高训练的精度。
进一步的，查询与每一视频帧图像的图像类型对应的标签数，基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱，以标签数组的形式表示图像类型图谱，更便于统计并提取目标视频中的正样本片段。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种视频处理方法的应用环境图；
图2为本申请实施例提供的一种视频处理方法的流程示意图；
图3为本申请实施例提供的一个示例中图像类型图谱的示意图；
图4为本申请实施例提供的另一个示例中图像类型图谱的示意图；
图5为本申请实施例提供的一个示例中标签数组的示意图；
图6为本申请实施例提供的一个示例中不同类型的目标视频的标签数组的示意图；
图7为本申请实施例提供的示例中的视频处理方法的流程示意图；
图8为本申请实施例提供的一种视频处理装置的结构示意图；
图9为本申请实施例提供的一种视频处理的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的视频处理方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请提供的视频处理方法，可以应用于如图1所示的应用环境中。具体的，获取目标视频10，从目标视频10中提取视频帧图像101、视频帧图像102、视频帧图像103、视频帧图像104和视频帧图像105，确定各个视频帧图像的图像类型，根据各个视频帧图像的图像类型得到图像类型图谱11，基于图像类型图谱11确定目标视频10为正样本视频，并基于图像类型图谱11从正样本视频中提取正样本片段12。
本申请实施例中提供了一种可能的实现方式，如图2所示，提供了一种视频处理方法，可以包括以下步骤：
步骤S201，获取目标视频，目标视频包括多个视频帧图像。
具体的，目标视频可以是待检测类型的视频，目标视频的类型可以包括正样本视频、负样本视频和非纯净样本视频。
其中，正样本视频的所有视频帧图像中，与预设的目标相关的视频帧图像的帧数较多，或者含有预设的目标的视频帧图像的帧数较多；负样本视频的所有的视频帧图像均与预设的目标不相关或相关性较小，或是所有的视频帧图像中均不包括预设的目标；非纯净样本视频的所有视频帧图像中，与预设的目标相关的视频帧图像的帧数较少，或者是含有预设的目标的视频帧图像的帧数较少，具体对正样本视频、负样本视频和非纯净样本视频的定义将在下文详细阐述。
步骤S202，分别确定目标视频的各个视频帧图像的图像类型。
具体的，视频帧图像的图像类型可以包括目标图像和非目标图像。
其中，目标图像可以是与预设的目标相关的视频帧图像，或是包括预设的目标的视频帧图像；非目标图像可以是与预设的目标不相关或相关性较小，或是不包括预设的目标的视频帧图像。
在具体实施过程中，可以根据针对预设的目标的检测算法，对各个视频帧进行检测，得到各个视频帧图像的图像类型。
步骤S203，基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱；其中，图像类型图谱的排布顺序与目标视频中各个视频帧图像的顺序一一对应。
具体的，图像类型图谱可以包括多种形式，如采用不同的颜色、形状、符号、数字或字母表示每一个视频帧图像的图像类型。
需要注意的是，无论图像类型图谱采用何种形式，图像类型图谱的排布顺序与目标视频中各个视频帧图像的顺序一一对应。
步骤S204，若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频中的正样本片段，以用于对预设模型进行训练。
其中，正样本片段包括的所有视频帧图像均为目标图像；预设条件可以是目标视频中包括至少一个正样本片段，且正样本片段所包括的连续的目标图像的帧数不小于预设帧数。
上述实施例中，通过分别确定目标视频的各个视频帧图像的图像类型，然后获取与目标视频对应的图像类型图谱，根据图像类型图谱将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频的正样本片段，以用于对预设模型进行训练，可以辨认出目标视频的类型，并从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
本申请实施例中提供了一种可能的实现方式，步骤S202的分别确定目标视频的各个视频帧图像的图像类型，可以包括：
针对每一视频帧图像，基于预设的检测算法对该视频帧图像进行检测，根据得到的检测结果确定该视频帧图像的图像类型。
在一种实施过程中，可以获取与检测的目标对应的检测算法，根据检测算法对每一帧视频帧图像进行检测，判断每一帧视频帧图像为目标图像或非目标图像，具体的检测方式可以有多种，在此不作限制。
本申请实施例中提供了一种可能的实现方式，步骤S203的基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱，可以包括：
(1)针对每一视频帧图像，查询与该视频帧图像的图像类型对应的标签数；
(2)基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱。
在一种实施过程中，每一个视频帧图像的图像类型对应一个标签数，可以采用“0”对应非目标图像，用“1”对应目标图像，如图3所示，得到目标视频的标签数组，标签数组中的各个标签数的排列顺序和目标视频中各个视频帧图像的顺序一一对应。
在另一种实施过程中，还可以采用不同的颜色或不同标记形式对每一个视频帧图像的图像类型进行标记，如图4所示，每一帧视频帧图像用小方块表示，斜条纹填充的标识目标图像，空白小方块表示非目标图像。
图像类型图谱可以包括多种形式，具体表现形式在此不作限定。
本申请实施例中提供了一种可能的实现方式，图像类型包括目标图像和非目标图像；步骤S204的若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频之前，还可以包括：
基于图像类型图谱获取目标视频中的至少一个连续目标片段；连续目标片段中的每一视频帧图像均属于目标图像，且与连续目标片段相邻的视频帧图像属于非目标图像。
本申请实施例中提供了一种可能的实现方式，获取目标视频中的一个连续目标片段，可以包括：
(1)确定目标视频的各个视频帧图像中的起始帧目标图像；起始帧目标图像的上一帧视频帧图像为非目标图像；
(2)确定目标视频的各个视频帧图像中的终止帧目标图像；终止帧目标图像的下一帧视频帧图像为非目标图像；
(3)根据起始帧目标图像和终止帧目标图像获取一个连续目标片段；连续目标片段的每一帧视频帧图像均为目标图像。
具体的，基于图像类型图谱确定目标视频的各个视频帧图像中的起始帧目标图像和终止帧目标图像，以起始帧目标图像为起始，以终止帧目标图像为终止，即可得到连续目标片段。
可以理解的是，目标视频中可以有多个连续目标片段，上述实施例描述的是针对一个连续目标片段的获取过程。
以标签数组的形式表示图像类型图谱为例，如图5所示，可以从标签数组中获取一个起始目标标签数，即一个标签数“1”的上一个标签数为“0”，然后获取一个终止目标标签数，即一个标签数“1”的下一个标签数为“0”，根据获取的起始目标标签数和终止目标标签数获取连续目标片段。
本申请实施例中提供了一种可能的实现方式，步骤S204的若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，可以包括：
若存在至少一个连续片段的帧数不小于预设阈值，将目标视频确定为正样本视频。
具体的，正样本视频中可以有一个或多个连续目标片段，计算每一个连续目标片段所包含的目标图像的帧数，只要有一个连续目标片段所包含的目标图像的帧数不小于预设阈值，则将目标视频确定为正样本视频，其他连续目标片段所包含的目标图像的帧数可以不作限制。
本申请实施例中提供了一种可能的实现方式，步骤S204的提取正样本视频中的正样本片段，包括：
将帧数不小于预设阈值的连续目标片段设为正样本片段。
可以理解的是，正样本视频中可以包括一个或多个连续目标片段，多个连续目标片段中可以包括多个正样本片段，计算每一个连续目标片段所包含的目标图像的帧数，若连续目标片段所包含的目标图像的帧数不小于预设阈值，则将该连续目标片段设为正样本片段。
本申请实施例中提供了一种可能的实现方式，还包括：
(1)若未获取到连续目标片段，将目标视频确定为负样本视频。
具体的，若目标视频中不存在连续目标片段，即目标视频中不存在目标图像，则将目标视频确定为负样本视频。
(2)若获取到的每一连续目标片段的帧数均小于预设阈值，将目标视频确定为非纯净样本视频。
具体的，若目标视频中的每一个连续目标片段所包括的目标视频的帧数均小于预设阈值，即目标视频包括连续目标片段，但不包括正样本片段，则将目标视频确定为非纯净样本视频。
以标签数组的形式表示图像类型图谱为例，如图6所示，将预设阈值设为3，用标签数“1”表示目标图像，用标签数“0”表示非目标图像，若出现连续“1”的个数大于或等于3，则对应的目标视频为正样本视频；若出现连续“1”的个数均小于3，且出现有“1”，则对应的目标视频为非纯净样本视频；若没有出现“1”，则对应的目标视频为负样本视频。
上述的视频处理方法，通过分别确定目标视频的各个视频帧图像的图像类型，然后获取与目标视频对应的图像类型图谱，根据图像类型图谱将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频的正样本片段，以用于对预设模型进行训练，可以辨认出目标视频的类型，并从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
进一步的，辨认出目标视频的类型，可以确定出负样本视频，基于负样本视频和正样本片段，可以在应用于训练时进一步提高训练的精度。
进一步的，查询与每一视频帧图像的图像类型对应的标签数，基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱，以标签数组的形式表示图像类型图谱，更便于统计并提取正样本视频中的正样本片段。
上述实施例是针对每一个目标视频而言，确定每一个目标视频的类型，如正样本视频、负样本视频或是非纯净样本视频，以下将从多个视频的角度，详细阐述一个本发明的视频处理方法的示例：
在一个示例中，如图7所示，本申请提供的视频处理方法，包括如下步骤：
1)得到X个输入视频；
2)针对每一个序号为i的视频，获取第i个视频的第j帧视频帧图像；
3)采用目标检测算法对第i个视频的第j帧视频帧图像进行检测，判断是否包括目标帧；
4)若第j帧视频帧图像包括目标帧，则将第i个视频的第j帧视频帧图像的标签数标记为“1”；
5)若j不是第i个视频的最后一帧，即帧数序号j＜F_i，其中F_i表示最大帧数序号，则对下一帧j+1视频帧图像进行检测，直至检测完第i个视频的每一帧视频帧图像；
6)得到第i个视频的所有帧的标签数组Label[i]，并获取标签数组中Label[i]最大连续目标帧数count；
7)判断最大连续目标帧数count是否不小于预设阈值thr；
8)若是，将该片段标记为正样本片段，将第i个视频标记为正样本视频；
9)若否，判断最大连续目标帧数是否为0；若最大连续目标帧数是0，将第i个视频标记为负样本片段；若最大连续目标帧数不为0，则将第i个视频标记为非纯净样本片段；
10)若第i视频不是X个视频中的最后一个视频，则返回步骤2)继续对第i+1个视频进行检测，直至对X个输入视频都进行检测，最后将X个视频进行分类，得到Mv个正样本视频，Nv个负样本视频和Dv个非纯净样本视频，并从Mv个正样本视频中提取各个正样本片段。
上述示例中，通过分别确定目标视频的各个视频帧图像的图像类型，然后获取与目标视频对应的图像类型图谱，根据图像类型图谱将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频的正样本片段，以用于对预设模型进行训练，可以辨认出目标视频的类型，并从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
进一步的，查询与每一视频帧图像的图像类型对应的标签数，基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱，以标签数组的形式表示图像类型图谱，更便于统计并提取正样本视频中的正样本片段。
本申请实施例中提供了一种可能的实现方式，如图8所示，提供了一种视频处理装置80，包括视频获取模块801、第一确定模块802、图谱获取模块803和提取模块804，其中，
视频获取模块801，用于获取目标视频，目标视频包括多个视频帧图像；
第一确定模块802，用于分别确定目标视频的各个视频帧图像的图像类型；
图谱获取模块803，用于基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱；其中，图像类型图谱的排布顺序与目标视频中各个视频帧图像的顺序一一对应；
提取模块804，用于若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频中的正样本片段，以用于对预设模型进行训练。
本申请实施例中提供了一种可能的实现方式，第一确定模块802在分别确定目标视频的各个视频帧图像的图像类型时，具体用于：
针对每一视频帧图像，基于预设的检测算法对该视频帧图像进行检测，根据得到的检测结果确定该视频帧图像的图像类型。
本申请实施例中提供了一种可能的实现方式，图谱获取模块803在基于各个视频帧图像的图像类型，获取与目标视频对应的图像类型图谱时，具体用于：
针对每一视频帧图像，查询与该视频帧图像的图像类型对应的标签数；
基于得到的各个视频帧图像对应的各个标签数，获取目标视频的标签数组，将标签数组设为图像类型图谱。
本申请实施例中提供了一种可能的实现方式，图像类型包括目标图像和非目标图像；
视频处理装置80还包括片段获取模块，片段获取模块用于：
基于图像类型图谱获取目标视频中的至少一个连续目标片段；连续目标片段中的每一视频帧图像均属于目标图像，且与连续目标片段相邻的视频帧图像属于非目标图像；
提取模块在若基于图像类型图谱确定目标视频符合预设条件，将目标视频确定为正样本视频时，具体用于：
若存在至少一个连续片段的帧数不小于预设阈值，将目标视频确定为正样本视频。
本申请实施例中提供了一种可能的实现方式，片段获取模块在获取目标视频中的一个连续目标片段时，具体用于：
确定目标视频的各个视频帧图像中的起始帧目标图像；起始帧目标图像的上一帧视频帧图像为非目标图像；
确定目标视频的各个视频帧图像中的终止帧目标图像；终止帧目标图像的下一帧视频帧图像为非目标图像；
根据起始帧目标图像和终止帧目标图像获取一个连续目标片段。
本申请实施例中提供了一种可能的实现方式，提取模块804在提取正样本视频中的正样本片段时，具体用于：
将帧数不小于预设阈值的连续目标片段设为正样本片段。
本申请实施例中提供了一种可能的实现方式，视频处理装置80还包括第二确定模块，第二确定模块用于：
若未获取到连续目标片段，将目标视频确定为负样本视频；
若获取到的每一连续目标片段的帧数均小于预设阈值，将目标视频确定为非纯净样本视频。
上述的视频处理装置，通过分别确定目标视频的各个视频帧图像的图像类型，然后获取与目标视频对应的图像类型图谱，根据图像类型图谱将目标视频确定为正样本视频，并根据图像类型图谱提取正样本视频的正样本片段，以用于对预设模型进行训练，可以辨认出目标视频的类型，并从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
本公开实施例的图片的视频处理装置可执行本公开的实施例所提供的一种图片的视频处理方法，其实现原理相类似，本公开各实施例中的图片的视频处理装置中的各模块所执行的动作是与本公开各实施例中的图片的视频处理方法中的步骤相对应的，对于图片的视频处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的视频处理方法中的描述，此处不再赘述。
基于与本公开的实施例中所示的方法相同的原理，本公开的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令执行实施例所示的视频处理方法。与现有技术相比，本申请中的视频处理方法可以确定目标视频的类型，若目标视频为正样本视频，从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请中的视频处理方法可以确定目标视频的类型，若目标视频为正样本视频，从正样本视频中提取纯净的正样本片段，从而在应用于训练时提高训练的精度。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，图谱获取模块还可以被描述为“用于获取图像类型图谱的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
获取目标视频，所述目标视频包括多个视频帧图像；
分别确定所述目标视频的各个视频帧图像的图像类型；
基于各个视频帧图像的图像类型，获取与所述目标视频对应的图像类型图谱；其中，所述图像类型图谱的排布顺序与所述目标视频中各个视频帧图像的顺序一一对应；
若基于所述图像类型图谱确定所述目标视频符合预设条件，将所述目标视频确定为正样本视频，并根据所述图像类型图谱提取所述正样本视频中的正样本片段，以用于对预设模型进行训练。
2.根据权利要求1所述的视频处理方法，其特征在于，所述分别确定所述目标视频的各个视频帧图像的图像类型，包括：
针对每一视频帧图像，基于预设的检测算法对该视频帧图像进行检测，根据得到的检测结果确定该视频帧图像的图像类型。
3.根据权利要求1所述的视频处理方法，其特征在于，所述基于各个视频帧图像的图像类型，获取与所述目标视频对应的图像类型图谱，包括：
针对每一视频帧图像，查询与该视频帧图像的图像类型对应的标签数；
基于得到的各个视频帧图像对应的各个标签数，获取所述目标视频的标签数组，将所述标签数组设为所述图像类型图谱。
4.根据权利要求1所述的视频处理方法，其特征在于，所述图像类型包括目标图像和非目标图像；
所述若基于所述图像类型图谱确定所述目标视频符合预设条件，将所述目标视频确定为正样本视频之前，还包括：
基于所述图像类型图谱获取所述目标视频中的至少一个连续目标片段；所述连续目标片段中的每一视频帧图像均属于目标图像，且与所述连续目标片段相邻的视频帧图像属于非目标图像；
所述若基于所述图像类型图谱确定所述目标视频符合预设条件，将所述目标视频确定为正样本视频，包括：
若存在至少一个连续片段的帧数不小于预设阈值，将所述目标视频确定为正样本视频。
5.根据权利要求4所述的视频处理方法，其特征在于，获取所述目标视频中的一个连续目标片段，包括：
确定所述目标视频的各个视频帧图像中的起始帧目标图像；所述起始帧目标图像的上一帧视频帧图像为非目标图像；
确定所述目标视频的各个视频帧图像中的终止帧目标图像；所述终止帧目标图像的下一帧视频帧图像为非目标图像；
根据所述起始帧目标图像和所述终止帧目标图像获取一个连续目标片段；所述连续目标片段的每一帧视频帧图像均为目标图像。
6.根据权利要求4所述的视频处理方法，其特征在于，所述提取所述正样本视频中的正样本片段，包括：
将帧数不小于预设阈值的连续目标片段设为所述正样本片段。
7.根据权利要求4所述的视频处理方法，其特征在于，还包括：
若未获取到所述连续目标片段，将所述目标视频确定为负样本视频；
若获取到的每一连续目标片段的帧数均小于所述预设阈值，将所述目标视频确定为非纯净样本视频。
8.一种视频处理装置，其特征在于，包括：
视频获取模块，用于获取目标视频，所述目标视频包括多个视频帧图像；
确定模块，用于分别确定所述目标视频的各个视频帧图像的图像类型；
图谱获取模块，用于基于各个视频帧图像的图像类型，获取与所述目标视频对应的图像类型图谱；其中，所述图像类型图谱的排布顺序与所述目标视频中各个视频帧图像的顺序一一对应；
提取模块，用于若基于所述图像类型图谱确定所述目标视频符合预设条件，将所述目标视频确定为正样本视频，并根据所述图像类型图谱提取所述正样本视频中的正样本片段，以用于对预设模型进行训练。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述的视频处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-7任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911269069.3A CN110958489A (zh) | 2019-12-11 | 2019-12-11 | 视频处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911269069.3A CN110958489A (zh) | 2019-12-11 | 2019-12-11 | 视频处理方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110958489A true CN110958489A (zh) | 2020-04-03 |
Family
ID=69980983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911269069.3A Pending CN110958489A (zh) | 2019-12-11 | 2019-12-11 | 视频处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110958489A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160335499A1 (en) * | 2015-05-14 | 2016-11-17 | Google Inc. | Entity based temporal segmentation of video streams |
| CN108229527A (zh) * | 2017-06-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 训练及视频分析方法和装置、电子设备、存储介质、程序 |
| CN108769731A (zh) * | 2018-05-25 | 2018-11-06 | 北京奇艺世纪科技有限公司 | 一种检测视频中目标视频片段的方法、装置及电子设备 |
| CN110288097A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法以及相关装置 |
-
2019
- 2019-12-11 CN CN201911269069.3A patent/CN110958489A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160335499A1 (en) * | 2015-05-14 | 2016-11-17 | Google Inc. | Entity based temporal segmentation of video streams |
| CN108229527A (zh) * | 2017-06-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 训练及视频分析方法和装置、电子设备、存储介质、程序 |
| CN108769731A (zh) * | 2018-05-25 | 2018-11-06 | 北京奇艺世纪科技有限公司 | 一种检测视频中目标视频片段的方法、装置及电子设备 |
| CN110288097A (zh) * | 2019-07-01 | 2019-09-27 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法以及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321958B (zh) | 神经网络模型的训练方法、视频相似度确定方法 | |
| CN113313064B (zh) | 字符识别方法、装置、可读介质及电子设备 | |
| CN110147722A (zh) | 一种视频处理方法、视频处理装置及终端设备 | |
| CN110910422A (zh) | 目标跟踪方法、装置、电子设备和可读存储介质 | |
| CN112016475B (zh) | 一种人体检测识别方法和装置 | |
| US20210065350A1 (en) | Computing device and non-transitory storage medium implementing target object identification method | |
| CN113496208B (zh) | 视频的场景分类方法及装置、存储介质、终端 | |
| CN111753729B (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
| CN112712005A (zh) | 识别模型的训练方法、目标识别方法及终端设备 | |
| CN110910375A (zh) | 基于半监督学习的检测模型训练方法、装置、设备及介质 | |
| CN110689014B (zh) | 感兴趣区域的检测方法、装置、电子设备及可读存储介质 | |
| CN110287817B (zh) | 目标识别及目标识别模型的训练方法、装置和电子设备 | |
| CN114419070A (zh) | 一种图像场景分割方法、装置、设备及存储介质 | |
| CN113052019B (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
| CN110969640A (zh) | 视频图像的分割方法、终端设备以及计算机可读存储介质 | |
| CN107071553B (zh) | 一种修改视频语音的方法、装置和计算机可读存储介质 | |
| CN111950517A (zh) | 一种目标检测方法、模型训练方法，电子设备及存储介质 | |
| CN110852261A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN116383381A (zh) | 一种虚假新闻检测方法、装置和电子设备 | |
| CN111339367B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN116129319A (zh) | 弱监督时序边界定位方法、装置、电子设备及存储介质 | |
| US20240221426A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
| CN110958489A (zh) | 视频处理方法、装置、电子设备和计算机可读存储介质 | |
| CN114565759A (zh) | 图像语义分割模型优化方法、装置、电子设备及存储介质 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021125 Country of ref document: HK |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |