CN113329139A - 视频流处理方法、装置及计算机可读存储介质 - Google Patents
视频流处理方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113329139A CN113329139A CN202010126815.XA CN202010126815A CN113329139A CN 113329139 A CN113329139 A CN 113329139A CN 202010126815 A CN202010126815 A CN 202010126815A CN 113329139 A CN113329139 A CN 113329139A
- Authority
- CN
- China
- Prior art keywords
- video stream
- frame
- processing module
- stream segment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 43
- 239000012634 fragment Substances 0.000 claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000005538 encapsulation Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000903 blocking effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种视频流处理方法、装置及计算机可读存储介质，涉及视频处理技术领域，所述方法包括：对多个视频流中的每一个进行截取，以得到多个视频流片段，每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳；确定每个视频流片段对应的处理模块；将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块；每个处理模块根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像，每帧图像携带该帧图像所属视频流的标识、该帧图像的开始时间戳和结束时间戳；根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序。
Description
技术领域
本公开涉及视频处理技术领域，尤其是一种视频流处理方法、装置及计算机可读存储介质。
背景技术
随着信息技术的发展，人工智能技术在多个领域具有形式新颖、内容丰富的应用。
视频作为一种重要的数据传输媒介，被广泛应用在短视频、直播、点播、安防监控等领域。视频具有时序性，无法直接应用到人工智能技术的算法模型中，即，需要预处理后才能应用到人工智能技术的算法模型中。
相关技术中，利用一个处理模块对需要预处理的全部视频流并行进行处理。
发明内容
发明人注意到，相关技术中的方式容易出现由于负载过高而导致处理模块的处理效率低的问题，无法满足短视频、直播、点播、安防监控等领域对视频流的及时性要求较高的场景需求。
为了解决上述问题，本公开实施例提出了如下解决方案。
根据本公开实施例的一方面，提供一种视频流处理方法，包括：对多个视频流中的每一个进行截取，以得到多个视频流片段，每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳；确定每个视频流片段对应的处理模块；将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块；每个处理模块根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像，每帧图像携带该帧图像所属视频流的标识、该帧图像的开始时间戳和结束时间戳；根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序。
在一些实施例中，确定每个视频流片段对应的处理模块包括：获取多个处理模块的当前负载；将当前负载最小的处理模块确定为该视频流片段对应的处理模块。
在一些实施例中，确定每个视频流片段对应的处理模块包括：将预先排序后的多个模块中前一个确定的处理模块的下一个处理模块确定为该视频流片段对应的处理模块。
在一些实施例中，每个视频流片段的元数据信息还包括该视频流片段的码率和格式。根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理包括：根据每个视频流片段的码率和格式，对该视频流片段进行解码；对解码后的每个视频流片段进行截帧，以得到多帧初始图像；对所述多帧初始图像进行预处理，以得到所述多帧图像；根据每帧视频流片段的开始时间戳和结束时间戳，确定每帧图像的开始时间戳和结束时间戳。
在一些实施例中，所述预处理包括格式转换、尺寸转换、灰度转换、边缘处理中的至少一种。
在一些实施例中，根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序包括：将所述多帧图像中视频流的标识相同的图像划分为同一组图像；按照同一组图像中每帧图像的开始时间戳和结束时间戳，对同一组图像中的图像进行排序。
在一些实施例中，每个视频流片段的结束时间戳和开始时间戳之间的时间间隔相同。
根据本公开实施例的另一方面，提供一种视频流处理装置，包括：截取模块，被配置为对多个视频流中的每一个进行截取，以得到多个视频流片段，每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳；确定模块，被配置为确定每个视频流片段对应的处理模块；分发模块，被配置为将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块；多个处理模块，每个处理模块被配置为根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像，每帧图像携带该帧图像所属视频流的标识、该帧图像的开始时间戳和结束时间戳；排序模块，被配置为根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序。
根据本公开实施例的再一方面，提供一种视频流处理装置，包括：存储器；耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行上述任意一个实施例所述的方法。
根据本公开实施例的还一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，该指令被处理器执行时实现上述任意一个实施例所述的方法。
本公开实施例中，将多个视频流截取成多个视频流片段，并将每个视频流片段及其元数据信息发送至对应的处理模块进行分布式处理以得到多帧图像，之后再对多帧图像进行排序。这样的方式提高了视频流处理效率，减少了视频流处理过程出现卡顿、延迟的现象，能够及时甚至是实时获取视频流的处理结果，可用于安防、直播、人脸识别等对实时性要求较高的场景。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开一些实施例的视频流处理方法的流程示意图；
图2是根据本公开一些实施例的视频流处理装置的结构示意图；
图3是根据本公开另一些实施例的视频流处理装置的结构示意图；
图4是根据本公开又一些实施例的视频流处理装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是根据本公开一些实施例的视频流处理方法的流程示意图。
在步骤102，对多个视频流中的每一个进行截取，以得到多个视频流片段。
每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳。例如，视频流片段1的元数据信息包括视频流片段1所属视频流的标识、视频流片段1的开始时间戳和结束时间戳，视频流片段2的元数据信息包括视频流片段2所属视频流的标识、视频流片段2的开始时间戳和结束时间戳，以此类推。
每个视频流片段的元数据信息还可以包括其他信息，例如，在一些实施例中，每个视频流片段的元数据信息还可以包括该视频流片段的码率和格式。例如，视频流片段1的元数据信息还包括视频流片段1的码率和格式，视频流片段2的元数据信息还包括视频流片段2的码率和格式，以此类推。
应理解，对每个视频流进行截取后均可以得到不止一个视频流片段。这里的多个视频流片段是通过对全部视频流进行截取后得到的。
在一些实施例中，每个视频流片段的结束时间戳和开始时间戳之间的时间间隔相同。如此，一方面便于截取视频流片段，另一方面也便于实现后续对视频流片段进行处理的均衡性。
在步骤104，确定每个视频流片段对应的处理模块。
下面结合不同实现方式介绍如何确定每个视频流片段对应的处理模块。
在一些实现方式中，可以通过以下步骤来确定每个视频流片段对应的处理模块：首先获取多个处理模块的当前负载；然后将当前负载最小的处理模块确定为该视频流片段对应的处理模块。多个处理模块的当前负载可以通过不同方式来获取，例如，多个处理模块可以定时反馈各自的当前负载，也可以响应于向多个处理模块发送的负载获取请求而反馈各自的当前负载。这样的方式下，减少了一些处理模块负载过高而另外一些处理模块负载过低的情况，多个处理模块的负载更加均衡，提高了视频流的处理效率，同时避免了资源浪费。
在另一些实现方式中，可以通过以下步骤来确定每个视频流片段对应的处理模块：将预先排序后的多个模块中前一个确定的处理模块的下一个处理模块确定为该视频流片段对应的处理模块。例如，多个处理模块排序后为处理模块1、处理模块2、处理模块3…处理模块N。假设前一个确定的处理模块为处理模块2，则当前需要确定的视频流片段对应的处理模块为处理模块3，以此类推。这样的方式可以使得多个处理模块的负载更加均衡，同时处理效率较高。
在一些实施例中，在确定每个视频流片段对应的处理模块和该视频流片段的元数据信息后，可以将每个视频流片段、该视频流片段对应的处理模块的地址和该视频流片段的元数据信息封装为该视频流片段对应的数据缓存封装格式模块，也可以理解为，将每个视频流片段、该视频流片段对应的处理模块的地址和该视频流片段的元数据信息聚合成对应的格式化的聚合体。例如，该聚合体可以保存为支持键值对和列表形式的二进制格式或纯文本格式。
在步骤106，将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块。
在一些实施例中，可以将每个视频流片段、该视频流片段的元数据信息和该视频流片段对应的处理模块的地址发送到分发模块，例如分发器。分发模块根据接收到的每个视频流片段对应的处理模块的地址，可以将该视频流片段和该视频流片段的元数据信息发送到对应的处理模块，或者，也可以同时将该视频流片段对应的处理模块的地址发送到对应的处理模块。
在另一些实施例中，可以将每个视频流片段对应的数据缓存封装格式模块发送到分发模块。分发模块可以从接收到的数据缓存封装格式模块中提取每个视频流片段对应的处理模块的地址，进而将每个视频流片段对应的数据缓存封装格式模块发送至对应的处理模块。例如，可以通过HTTP(超文本传输协议)的POST(传送)方法，或者使用MQ(消息队列)来完成上述数据缓存封装格式模块的分发。例如，视频流片段采用二进制格式，视频流片段可以利用Base64转换为纯文本格式，然后通过HTTP的POST方法传输。又例如，可直接使用支持二进制格式的MQ软件来传输数据缓存封装格式模块。
在步骤108，每个处理模块根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像。这里，每帧图像携带该帧图像所属视频流的标识、开始时间戳和结束时间戳。应理解，该帧图像所属视频流的标识即为该帧图像所属视频流片段所属视频流的标识。
例如，某个处理模块根据接收到的视频流片段1的元数据信息对视频流片段1进行处理，根据接收到的视频流片段3的元数据信息对视频流片段3进行处理。不同的处理模块对各自接收到的视频流片段进行处理后，最终可以得到多帧图像。
应理解，每个处理模块在接收到数据缓存封装格式模块的情况下，可以从数据缓存封装格式模块中提取每个视频流片段的元数据信息，进而对视频流片段进行处理。
另外，在某些实施例中，每个处理模块还可以判断接收到视频流片段对应的处理模块的地址与自身地址是否一致；在一致的情况下对该视频流片段进行处理；在不一致的情况下可以反馈给分发模块，由分发模块重新分发该视频流片段。这样的方式可以确保处理模块的负载均衡。
下面介绍一种根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理的实现方式。
首先，根据每个视频流片段的码率和格式，对该视频流片段进行解码。应理解，针对不同码率和格式的视频流片段，可以采用不同的解码方式进行解码。
然后，对解码后的每个视频流片段进行截帧，以得到多帧初始图像。
之后，对多帧初始图像进行预处理，以得到多帧图像。在一些实施例中，预处理可以包括格式转换、尺寸转换、灰度转换、边缘处理中的一种或多种。另外，还可以对多帧图像进行压缩，例如压缩为JPEG格式。
另外，根据每帧视频流片段的开始时间戳和结束时间戳，确定每帧图像的开始时间戳和结束时间戳。例如，对于某一帧图像来说，可以根据该帧图像所属的视频流片段的开始时间戳和结束时间戳，确定该帧图像的开始时间戳和结束时间戳。如此，可以得到每帧图像的开始时间戳和结束时间戳。
在步骤110，根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对多帧图像进行排序。
在一些实现方式中，可以根据如下方式对多帧图像进行排序：首先，将多帧图像中视频流的标识相同的图像划分为同一组图像；然后，按照同一组图像中每帧图像的开始时间戳和结束时间戳，对同一组图像中的图像进行排序，例如，按照时间先后顺序进行排序。
在得到排序后的多帧图像后，可以将排序后的多帧图像输入至人工智能技术的算法模型中进行后续处理。这里人工智能技术的算法模型例如可以包括：人脸识别算法模型、车牌识别算法模型、异常行为检测算法模型、危险告警检测算法模型、弹幕内容审核算法模型和直播鉴黄内容审核算法模型等。例如，可以将排序后的多帧图像按顺序放入某个操作队列中，进而按顺序将操作队列中的多帧图像发送至算法模型进行后续处理。
采用上述视频流处理方法，将多个视频流截取成多个视频流片段，并将每个视频流片段及其元数据信息发送至对应的处理模块进行分布式处理以得到多帧图像，之后再对多帧图像进行排序。这样的方式提高了视频流处理效率，减少了视频流处理过程出现卡顿、延迟的现象，能够及时甚至是实时获取视频流的处理结果，可用于安防、直播、人脸识别等对实时性要求较高的场景。
图2是根据本公开一些实施例的视频流处理装置的结构示意图。
如图2所示，该实施例的视频流处理装置包括截取模块201、确定模块202、分发模块203、多个处理模块204和排序模块205。
截取模块201被配置为对多个视频流(例如视频流1、视频流2…视频流N)中的每一个进行截取，以得到多个视频流片段。每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳。
例如，截取模块201在设置会话属性和传输模式后，向视频流端请求建立会话；在建立会话后，向视频流端发起获取视频流的请求，从而获取到多个视频流。截取模块201在获取到多个视频流后，可以赋予每个视频流一个标识，进而将获取到的多个视频流放入任务队列中。之后，截取模块201对任务队列中的每个视频流进行截取，从而得到多个视频流片段，并且可以得到每个视频流片段的元数据信息。
确定模块202被配置为确定每个视频流片段对应的处理模块204。
作为一些实现方式，截取模块201和确定模块202可以用调度器来实现。例如，调度器还可以将每个视频流片段、该视频流片段对应的处理模块的地址和该视频流片段的元数据信息封装为该视频流片段对应的数据缓存封装格式模块，并发送给分发模块203。
分发模块203被配置为将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块204。作为一些实现方式，分发模块203可以用分发器来实现。分发模块203可以将接收到的视频流片段和元数据信息放入分发队列中，之后，分发模块203可以按照上文介绍的方式对分发队列中的视频流片段等信息进行分发，在此不再赘述。
多个处理模块204中的每个处理模块204被配置为根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像。每帧图像携带该帧图像所属视频流的标识、开始时间戳和结束时间戳。
作为一些实现方式，处理模块204可以用服务器来实现。处理模块204可以按照上文介绍的方式对视频流片段进行处理，在此不再赘述。
这里，可以通过拓展多个处理模块204的数量，来实现视频流处理的横向拓展。例如，每增加一个处理模块204，将该处理模块204在调度器进行注册，以得到包括处理模块204的地址等信息的注册信息；每减少一个处理模块204，可以相应将该处理模块204在调度器进行注册的注册信息删除。例如，调度器中可以存储一个列表，列表中的每一项存储有一个处理模块204的注册信息。
排序模块205被配置为根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对多帧图像进行排序。
作为一些实现方式，排序模块205可以用重排器来实现。例如，重排器可以包括接收器，用于接收处理模块204发送的多帧图像。重排器可以按照上文介绍的方式对接收到的多帧图像进行排序。重排器还可以包括输出排序后的多帧图像的连接器。
采用上述视频流处理装置，将多个视频流截取成多个视频流片段，并将每个视频流片段及其元数据信息发送至对应的处理模块进行分布式处理以得到多帧图像，之后再对多帧图像进行排序。这样的方式提高了视频流处理效率，减少了视频流处理过程出现卡顿、延迟的现象，能够及时甚至是实时获取视频流的处理结果，可用于安防、直播、人脸识别等对实时性要求较高的场景。
图3是根据本公开另一些实施例的视频流处理装置的结构示意图。如图3所示，该实施例的视频流处理装置300包括存储器301以及耦接至该存储器301的处理器302，处理器302被配置为基于存储在存储器301中的指令，执行前述任意一个实施例的方法。
存储器301例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如可以存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图4是根据本公开又一些实施例的视频流处理装置的结构示意图。
如图4所示，该实施例的视频流处理装置400包括存储器401以及耦接至该存储器401的处理器402，处理器402被配置为基于存储在存储器401中的指令，执行前述任意一个实施例的方法。
存储器401例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如可以存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
视频流处理装置400还可以包括输入输出接口403、网络接口404、存储接口405等。这些接口403、404、405之间、以及存储器401与处理器402之间例如可以通过总线406连接。输入输出接口403为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口404为各种联网设备提供连接接口。存储接口405为SD卡、U盘等外置存储设备提供连接接口。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任意一个实施例的方法。
至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解，可由计算机程序指令实现流程图中一个流程或多个流程和/或方框图中一个方框或多个方框中指定的功能。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。
Claims (10)
1.一种视频流处理方法，包括：
对多个视频流中的每一个进行截取，以得到多个视频流片段，每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳；
确定每个视频流片段对应的处理模块；
将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块；
每个处理模块根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像，每帧图像携带该帧图像所属视频流的标识、该帧图像的开始时间戳和结束时间戳；
根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序。
2.根据权利要求1所述的方法，其中，确定每个视频流片段对应的处理模块包括：
获取多个处理模块的当前负载；
将当前负载最小的处理模块确定为该视频流片段对应的处理模块。
3.根据权利要求1所述的方法，其中，确定每个视频流片段对应的处理模块包括：
将预先排序后的多个模块中前一个确定的处理模块的下一个处理模块确定为该视频流片段对应的处理模块。
4.根据权利要求1所述的方法，其中，每个视频流片段的元数据信息还包括该视频流片段的码率和格式；
根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理包括：
根据每个视频流片段的码率和格式，对该视频流片段进行解码；
对解码后的每个视频流片段进行截帧，以得到多帧初始图像；
对所述多帧初始图像进行预处理，以得到所述多帧图像；
根据每帧视频流片段的开始时间戳和结束时间戳，确定每帧图像的开始时间戳和结束时间戳。
5.根据权利要求4所述的方法，其中，所述预处理包括格式转换、尺寸转换、灰度转换、边缘处理中的至少一种。
6.根据权利要求1所述的方法，其中，根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序包括：
将所述多帧图像中视频流的标识相同的图像划分为同一组图像；
按照同一组图像中每帧图像的开始时间戳和结束时间戳，对同一组图像中的图像进行排序。
7.根据权利要求1所述的方法，其中，每个视频流片段的结束时间戳和开始时间戳之间的时间间隔相同。
8.一种视频流处理装置，包括：
截取模块，被配置为对多个视频流中的每一个进行截取，以得到多个视频流片段，每个视频流片段的元数据信息包括该视频流片段所属视频流的标识、该视频流片段的开始时间戳和结束时间戳；
确定模块，被配置为确定每个视频流片段对应的处理模块；
分发模块，被配置为将每个视频流片段和该视频流片段的元数据信息发送至对应的处理模块；
多个处理模块，每个处理模块被配置为根据接收到的每个视频流片段的元数据信息，对该视频流片段进行处理，从而得到多帧图像，每帧图像携带该帧图像所属视频流的标识、该帧图像的开始时间戳和结束时间戳；
排序模块，被配置为根据每帧图像所属视频流的标识、每帧图像的开始时间戳和结束时间戳，对所述多帧图像进行排序。
9.一种视频流处理装置，包括：
存储器；
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其中，该指令被处理器执行时实现权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126815.XA CN113329139B (zh) | 2020-02-28 | 2020-02-28 | 视频流处理方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010126815.XA CN113329139B (zh) | 2020-02-28 | 2020-02-28 | 视频流处理方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113329139A true CN113329139A (zh) | 2021-08-31 |
| CN113329139B CN113329139B (zh) | 2023-11-03 |
Family
ID=77412529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010126815.XA Active CN113329139B (zh) | 2020-02-28 | 2020-02-28 | 视频流处理方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113329139B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114007100A (zh) * | 2021-10-28 | 2022-02-01 | 深圳市商汤科技有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
| CN114095753A (zh) * | 2021-11-17 | 2022-02-25 | 中国建设银行股份有限公司 | 视频流处理方法、装置、设备、介质和程序产品 |
| CN114866838A (zh) * | 2022-05-31 | 2022-08-05 | 厦门蝉羽网络科技有限公司 | 一种基于信息处理的直播带货方法及系统 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004054647A (ja) * | 2002-07-19 | 2004-02-19 | Sony Corp | 画像処理装置およびその方法 |
| US20100277760A1 (en) * | 2009-04-30 | 2010-11-04 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8520147B1 (en) * | 2011-06-16 | 2013-08-27 | Marseille Networks, Inc. | System for segmented video data processing |
| CN103280087A (zh) * | 2013-05-21 | 2013-09-04 | 李佰战 | 一种无线抄表方法 |
| US20130232503A1 (en) * | 2011-12-12 | 2013-09-05 | Cleversafe, Inc. | Authorizing distributed task processing in a distributed storage network |
| CN103729319A (zh) * | 2013-12-04 | 2014-04-16 | 上海斐讯数据通信技术有限公司 | 基于串行总线的设备系统及数据传输方法 |
| CN104581423A (zh) * | 2013-10-12 | 2015-04-29 | 北京航天长峰科技工业集团有限公司 | 一种海量视频智能分析系统的综合调度和负载均衡方法 |
| CN104850576A (zh) * | 2015-03-02 | 2015-08-19 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频的快速特征提取系统 |
| CN105978960A (zh) * | 2016-05-06 | 2016-09-28 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
| CN106713964A (zh) * | 2016-12-05 | 2017-05-24 | 乐视控股（北京）有限公司 | 一种生成视频摘要视点图的方法及装置 |
| CN107770487A (zh) * | 2017-09-12 | 2018-03-06 | 深圳英飞拓科技股份有限公司 | 一种特征提取并优选的方法、系统及终端设备 |
| CN108304503A (zh) * | 2018-01-18 | 2018-07-20 | 阿里巴巴集团控股有限公司 | 一种数据的处理方法、装置及设备 |
| CN108762907A (zh) * | 2018-05-31 | 2018-11-06 | 口口相传(北京)网络技术有限公司 | 基于多个客户端的任务处理方法及系统 |
| CN109561346A (zh) * | 2018-12-25 | 2019-04-02 | 上海极链网络科技有限公司 | 一种视频的分布式解析方法及系统 |
| CN110119711A (zh) * | 2019-05-14 | 2019-08-13 | 北京奇艺世纪科技有限公司 | 一种获取视频数据人物片段的方法、装置及电子设备 |
| CN110619460A (zh) * | 2019-09-05 | 2019-12-27 | 北京邮电大学 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
-
2020
- 2020-02-28 CN CN202010126815.XA patent/CN113329139B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004054647A (ja) * | 2002-07-19 | 2004-02-19 | Sony Corp | 画像処理装置およびその方法 |
| US20100277760A1 (en) * | 2009-04-30 | 2010-11-04 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8520147B1 (en) * | 2011-06-16 | 2013-08-27 | Marseille Networks, Inc. | System for segmented video data processing |
| US20130232503A1 (en) * | 2011-12-12 | 2013-09-05 | Cleversafe, Inc. | Authorizing distributed task processing in a distributed storage network |
| CN103280087A (zh) * | 2013-05-21 | 2013-09-04 | 李佰战 | 一种无线抄表方法 |
| CN104581423A (zh) * | 2013-10-12 | 2015-04-29 | 北京航天长峰科技工业集团有限公司 | 一种海量视频智能分析系统的综合调度和负载均衡方法 |
| CN103729319A (zh) * | 2013-12-04 | 2014-04-16 | 上海斐讯数据通信技术有限公司 | 基于串行总线的设备系统及数据传输方法 |
| CN104850576A (zh) * | 2015-03-02 | 2015-08-19 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频的快速特征提取系统 |
| CN105978960A (zh) * | 2016-05-06 | 2016-09-28 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
| CN106713964A (zh) * | 2016-12-05 | 2017-05-24 | 乐视控股（北京）有限公司 | 一种生成视频摘要视点图的方法及装置 |
| CN107770487A (zh) * | 2017-09-12 | 2018-03-06 | 深圳英飞拓科技股份有限公司 | 一种特征提取并优选的方法、系统及终端设备 |
| CN108304503A (zh) * | 2018-01-18 | 2018-07-20 | 阿里巴巴集团控股有限公司 | 一种数据的处理方法、装置及设备 |
| CN108762907A (zh) * | 2018-05-31 | 2018-11-06 | 口口相传(北京)网络技术有限公司 | 基于多个客户端的任务处理方法及系统 |
| CN109561346A (zh) * | 2018-12-25 | 2019-04-02 | 上海极链网络科技有限公司 | 一种视频的分布式解析方法及系统 |
| CN110119711A (zh) * | 2019-05-14 | 2019-08-13 | 北京奇艺世纪科技有限公司 | 一种获取视频数据人物片段的方法、装置及电子设备 |
| CN110619460A (zh) * | 2019-09-05 | 2019-12-27 | 北京邮电大学 | 基于深度学习目标检测的教室课堂质量评估系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张楠;柴小丽;谢彬;唐鹏;: "Storm流处理平台中负载均衡机制的实现", 计算机与现代化, no. 12 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114007100A (zh) * | 2021-10-28 | 2022-02-01 | 深圳市商汤科技有限公司 | 视频处理方法、装置、计算机设备以及存储介质 |
| CN114095753A (zh) * | 2021-11-17 | 2022-02-25 | 中国建设银行股份有限公司 | 视频流处理方法、装置、设备、介质和程序产品 |
| CN114866838A (zh) * | 2022-05-31 | 2022-08-05 | 厦门蝉羽网络科技有限公司 | 一种基于信息处理的直播带货方法及系统 |
| CN114866838B (zh) * | 2022-05-31 | 2024-02-23 | 厦门蝉羽网络科技有限公司 | 一种基于信息处理的直播带货方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113329139B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113329139B (zh) | 视频流处理方法、装置及计算机可读存储介质 | |
| US10924783B2 (en) | Video coding method, system and server | |
| CN112035258B (zh) | 数据处理方法、装置、电子设备及介质 | |
| CN103401934A (zh) | 获取日志数据的方法和系统 | |
| CN111831748B (zh) | 数据同步方法、装置及存储介质 | |
| CN113220715B (zh) | 一种数据处理方法、系统、计算机及可读存储介质 | |
| CN112000454A (zh) | 一种多媒体数据的处理方法及设备 | |
| CN111225280A (zh) | 基于嵌入式平台的轻量级视频分析系统 | |
| CN108134746B (zh) | 轨道交通数据的处理方法及装置 | |
| CN109788251B (zh) | 视频处理方法、装置及存储介质 | |
| CN111416992A (zh) | 文件转码方法及装置 | |
| CN112883011A (zh) | 实时数据处理方法和装置 | |
| CN109327710B (zh) | 一种直播系统的视频流的冷热情况确定的方法及装置 | |
| CN107454080A (zh) | 一种基于互联网数据保全方法及系统 | |
| CN111741328B (zh) | 视频分析方法、电子设备、存储介质及系统 | |
| CN103974087B (zh) | 视频图像文件压缩系统、客户端及方法 | |
| CN113179261B (zh) | 视频流处理方法及装置、存储介质和平台服务器 | |
| CN111090818A (zh) | 资源管理方法、资源管理系统、服务器及计算机存储介质 | |
| CN115048353A (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 | |
| US11973994B2 (en) | Media processing method | |
| CN111401819B (zh) | 系统间数据推送方法及系统 | |
| CN113434577A (zh) | 业务数据处理方法、存储介质及设备 | |
| CN113259621A (zh) | 一种云会议分步录制方法及系统 | |
| CN107948316B (zh) | 一种文件同步方法、装置及设备 | |
| CN112434241A (zh) | 业务处理方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220207 Address after: 100007 room 205-32, floor 2, building 2, No. 1 and No. 3, qinglonghutong a, Dongcheng District, Beijing Applicant after: Tianyiyun Technology Co.,Ltd. Address before: No.31, Financial Street, Xicheng District, Beijing, 100033 Applicant before: CHINA TELECOM Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |