CN117176990A - 一种视频流处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种视频流处理方法、装置、电子设备及存储介质。包括：读取多路视频流，得到多路视频流的图像帧数据流队列；基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。通过本方案提出的对多路视频流进行并行解码处理，得到目标图片数据队列，采用限速策略对目标图片数据队列进行限速发送，提高了并行解码的速度，避免了解码速度差导致的花屏问题，也避免了对视频处理服务造成的压力。

Description

一种视频流处理方法、装置、电子设备及存储介质

技术领域

本发明涉及视频流处理技术领域，尤其涉及一种视频流处理方法、装置、电子设备及存储介质。

背景技术

目前，在通过摄像头进行识别、跟踪和测量的过程中，算法服务自行对某个摄像头设备进行拉流、处理、识别，算法服务与摄像头之间进行了深度捆绑，算法服务与摄像头直接进行交互，使得每个算法服务都要维护一套与硬件对接的功能，耦合度较差。

通过现有的实时拉流方法，尤其针对成百上千路摄像头的拉流，拉流复用性差、缺乏统一拉流管理，各个算法服务侧自行拉流时造成的各种数据源不稳定导致各种拉流异常，使得难以统一维护，并且还会有解码速度慢导致花屏的问题。

发明内容

本发明提供了一种视频流处理方法、装置、电子设备及存储介质，以解决视频流解码速度慢导致的花屏问题、算法服务侧自行拉流导致的拉流异常问题。

根据本发明的一方面，提供了一种视频流处理方法，包括：

读取多路视频流，得到多路视频流的图像帧数据流队列；

基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；

基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；

基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。

可选的，读取多路视频流，确定多路视频流的图像帧数据流队列，包括：

创建线程池，线程池中包括多个线程；

通过多个线程并行地读取多路视频流；

对多路视频流进行预处理，确定多路视频流的图像帧数据流队列。

可选的，基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列，包括：

在从图像帧数据流队列中读取图像帧数据的过程中，按照图像帧数据的读取顺序对每一图像帧数据添加顺序标识；

基于顺序标识对图片数据进行排序，确定目标图片数据队列。

可选的，方法还包括：

获取全局信息队列，全局信息队列中包括多路视频流读取过程中的异常信息；根据全局信息队列中的异常信息进行异常处理。

可选的，根据全局信息队列中的异常信息进行异常处理，包括：

若异常信息为硬件设备的打开异常，则获取预设时间间隔，基于预设时间间隔执行重新打开硬件设备的操作；

若异常信息为视频流地址的读取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址的操作；

若异常信息为图像帧数据流队列的获取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址、从视频流中获取图像帧数据流的操作。

可选的，方法还包括：

获取视频处理服务反馈的服务异常信息，将服务异常信息更新至全局信息队列。

可选的，基于限速策略对目标图片数据队列进行限速发送，包括：

获取抽帧配置，基于抽帧配置和预设比例系数确定发送时间间隔，基于发送时间间隔执行目标图片数据队列的发送操作。

根据本发明的另一方面，提供了一种视频流处理装置，包括：

图像帧数据流队列确定模块，用于读取多路视频流，得到多路视频流的图像帧数据流队列；

图片数据确定模块，用于基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；

目标图片数据队列确定模块，用于基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；

限速发送处理模块，用于基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。

根据本发明的另一方面，提供了一种电子设备，电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的视频流处理方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的视频流处理方法。

本发明实施例的技术方案，通过读取多路视频流，得到多路视频流的图像帧数据流队列；可以同时获取多路视频流，有助于提高视频流处理的速度。基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；可以提高对视频流解码的速度，有助于避免解码速度慢导致的花屏问题。基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务，通过采用限速发送目标图片数据，避免对下游算法服务造成压力。提高了并行解码的速度，避免了解码速度差导致的花屏问题，在提高视频流解码的速度的情况下采用限速发送避免了对下游服务造成的压力，而且，本方案将视频流解码后发送给下游视频处理服务，有助于对视频流的处理进行统一管理。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是适用本发明实施例的一种视频拉流解码系统的示意图；

图2是本发明实施例一提供的一种视频流处理方法的流程图；

图3是适用本发明实施例的视频流处理方法的执行过程数据流走向的示意图；

图4是本发明实施例二提供的一种视频流处理方法的流程图；

图5是本发明实施例三提供的一种视频流处理方法的流程图；

图6是本发明实施例四提供的一种视频流处理方法装置的结构示意图；

图7是实现本发明实施例的视频流处理方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在有摄像头、流媒体服务器、拉流服务器等视频硬件设备的环境中，如网点、处理中心等各种场景，是通过摄像头来进行图片存储、智能分析的前置环节。算法服务自行对某个摄像头设备进行拉流、处理、识别，算法服务与摄像头进行直接连接，直接读取摄像头的数据流，通过算法服务直接拉流，使得拉流复用率差、缺乏统一管理，针对现有实时拉流方法存在的问题，将实时拉流方法独立出来，即将视频流处理方法独立出来，如图1所示的视频拉流解码系统的示意图，将视频流处理独立出来，避免了算法服务侧直接与硬件设备连接和进行视频流处理的问题。

实施例一

图2是本发明实施例一提供的一种视频流处理方法的流程图，本实施例可适用于需要从硬件设备或者流媒体服务器中拉流的情况，尤其是适用于低性能的中央处理器处理视频流的情况，该方法可以由视频流处理装置来执行，该视频流处理装置可以采用硬件和/或软件的形式实现，该视频流处理装置可配置于计算机、终端、服务器等电子设备中。如图2所示，该方法包括：

S110、读取多路视频流，得到多路视频流的图像帧数据流队列。

其中，读取多路视频流是通过视频流地址进行读取，视频流地址可以根据需要进行配置，也可以根据外部调用服务接口获取视频流地址。视频流可以是RTSP(Real TimeStreaming Protocol，实时流传输协议)地址，也可以是MP4格式的本地视频文件。图像帧数据具体可以理解为是N×M队列的二进制数据流队列，N表示多路数据流对应的个数，M表示预设时间内生成的图像帧数，每一图像帧的数据格式是二进制格式。

具体的，在进行实时拉流的过程中，通过配置的视频流地址或者是通过接口服务获取的视频流地址读取多路摄像头或者流媒体服务器硬件视频设备中的视频流，可以通过调用opencv软件库对视频流地址进行读取，获取多路视频流，并对多路视频流进行处理，输出多路视频流的图像帧数据流队列。

进一步地，方法还包括：获取全局信息队列，全局信息队列中包括多路视频流读取过程中的异常信息；根据全局信息队列中的异常信息进行异常处理。

具体的，在读取视频流的过程中，可以调取全局信息队列，读取全局信息队列中的多路视频流读取过程中的异常信息，确定多路视频流读取过程中是否存在异常，如果没有读取到多路视频流读取过程中的异常信息，则成功读取视频流，若读取到多路视频流读取过程中的异常信息，则需要根据异常信息进行相应的异常处理。

需要说明的是，在读取多路视频流的过程中，先打开各路设备，并行地获取视频流地址，进一步执行从视频流地址中取图像帧数据的操作，因此，在读取多路视频流的过程中会存在打开设备异常的问题、读取视频流地址异常的问题、获取视频流地址中的图像帧数据异常的问题。在读取视频流的过程中，一旦出现上述异常问题，会将对应的异常问题更新至全局信息队列中。

可选的，根据全局信息队列中的异常信息进行异常处理，包括：若异常信息为硬件设备的打开异常，则进行报警处理，获取预设时间间隔，基于预设时间间隔执行重新打开硬件设备的操作；若异常信息为视频流地址的读取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址的操作；若异常信息为图像帧数据流队列的获取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址、从视频流中获取图像帧数据流的操作。

其中，预设时间间隔具体可以理解为是用于控制重新尝试打开设备的时间间隔，即两次尝试打开设备的间隔时间。预设重试次数具体可以理解为是在当前时间重试打开设备的连续重试次数。预设时间间隔和预设重试次数是预先设置在系统中的，可以根据实际需求进行设置。示例性的，预设时间间隔设置为10秒，预设重试次数设置为10次。

具体的，在读取数据流的过程中，获取全局信息队列，提取全局信息队列中的异常信息，根据异常信息的内容确定异常处理策略，如果异常信息为硬件设备的打开异常，则进行报警处理，示例性的，可以以弹框的形式将异常信息在控制系统的可视化界面中进行展示，进一步地，获取预设时间间隔，等待预设时间间隔后，继续重试打开设备。如果异常信息为视频流地址的读取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数控制执行重新打开设备和读取视频流地址，即在当前次获取视频流地址异常的情况下，等待预设时间间隔后重试打开设备和读取视频流地址，若在重试次数完成之后，若异常信息仍为视频流地址的读取异常，则停止打开设备，等待预设时间间隔后，继续重试打开设备，直至视频流地址读取成功，当前异常处理操作结束。如果异常信息为图像帧数据流队列的获取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数控制执行重新打开设备、读取视频流地址和从视频流中获取图像帧数据流，即在当前次从视频流中获取图像帧数据流异常的情况下，等待预设时间间隔后重试打开设备、读取视频流地址和从视频流中获取图像帧数据流，若在重试次数完成之后，若异常信息仍为图像帧数据流队列的获取异常，则停止打开设备、读取视频流地址和从视频流中获取图像帧数据流的操作，等待预设时间间隔后，继续重试打开设备、读取视频流地址和从视频流中获取图像帧数据流的操作，直至获取图像帧数据流成功，当前异常处理操作结束。

在本实施例中，通过同时获取多路视频流确定对视频流对应的图像帧数据流队列，有助于实现同时处理多路视频流的方法，还添加了对于读取视频流异常的处理策略，提高了视频流处理的稳定性和快速性。

S120、基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据。

其中，并行数具体可以理解为是同时处理视频帧的数量，可以根据系统的中央处理器的资源配置进行预先配置。

具体的，获取预先配置的并行数，按照并行数从图像帧数据流队列中读取对应数量的图像帧数据，对读取的图像帧数据进行并行解码，得到每一图像帧数据对应的图片数据，将所有解码处理后得到的图片数据放入预创建的图片数据队列中。

在本实施例中，通过并行的方式对图像帧数据进行解码，得到每一图像帧数据对应的图片数据，提高了图像帧数据的解码速度，而且，并行处理图像帧的数量是根据中央处理器的资源配置进行设置的，使得中央处理器的资源可以充分地占用，避免了资源空闲和浪费的情况。

S130、基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列。

需要说明的是，在对图像帧数据流队列中的图像帧数据进行解码的过程中，由于每一图像帧的解码速度不一样，所以导致在解码处理后，队列中的图片数据存在乱序的情况。

可选的，基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列，包括：在从图像帧数据流队列中读取图像帧数据的过程中，按照图像帧数据的读取顺序对每一图像帧数据添加顺序标识；基于顺序标识对图片数据进行排序，确定目标图片数据队列。

其中，顺序标识具体可以理解为是表示读取图像帧数据的参数，参数值可以设置0、1、2……数字，还可以设置其他的表示方式，可根据实际需求自行设置。

具体的，在根据预设并行数从图像帧数据流队列中读取对应帧数的图像帧数据的过程中，可以按照读取顺序对每一图像帧数据添加顺序标识，在对图像帧数据进行并行解码之后，依据顺序标识对解码后的图片数据进行排序，将排序后的图片数据放入图片数据队列中，得到目标图片数据队列。

S140、基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。

其中，限速策略具体可以理解为是根据每一帧图片数据产生的时间进行设置的，还与网络传输速度和与之通信连接的其他接收设备或装置接收能力相关联，可以根据预先获取相关联的参数进行设置。示例性的，可以通过设置发送间隔时间或者发送间隔帧数。视频处理服务包含但不限于人员跳台服务、货物阻塞服务、以及人员计数、装载率识别、车牌识别、停车位检测等算法服务。

具体的，在确定目标图片数据队列之后，可以根据限速策略对目标图片数据队列进行限速发送，即将图片数据队列中的一帧图片数据发送到至少一个视频处理服务之后，根据限速策略继续进行下一帧图片数据的发送。

进一步地，方法还包括：获取视频处理服务反馈的服务异常信息，将服务异常信息更新至全局信息队列。

具体的，在将目标图片数据队列发送至至少一个视频处理服务的过程中，还可以获取任一视频处理服务反馈的异常信息，并将异常信息实时同步到全局信息队列，以供系统内部或者外部服务读取和使用。

在一个具体的实施例中，如图3所示的视频流处理方法的执行过程数据流走向的示意图，通过与视频设备进行通讯连接，打开视频设备，采用opencv软件通过视频流地址读取多路视频流，并对多路视频流进行处理，输出N×N的二进制数据流队列，即图像帧数据队列，一组组读取图像帧数据流队列中的图像帧数据进行解码，其中，每组的并行数依据系统中的中央处理器的资源配置进行计算，实现根据系统资源灵活地设置并行数，示例性的，处理一帧图像帧数据，需要占用1.2核的中央处理器的资源，如果是10核的中央处理器资源，那么可以设置每组取出的视频帧数据的并行数为6；如果打开视频设备失败的情况下，启动重试机制，根据预设置的重试次数重试打开视频设备，成功读取多路视频流。读取每组图像帧数据的时候，图像帧数据是按照图像帧数据队列中的顺序被读取的，在对每组图像帧数据进行并行运算后，得到的对应的图片数据是乱序的，则需要按照读取顺序对图片数据进行排序，将排序后的图片数据存入图片数据队列中，然后将图片数据队列发送至下游的算法服务中，示例性的，每组取N个图像帧数据，图像帧数据的顺序为1、2……N，对其进行并行解码运算，得到乱序的图片数据，对其按照读取顺序进行排序，获得顺序为1、2……N的图片数据队列，将图片数据队列发送至视频处理服务，在此期间，还可以获取下游服务的异常信息，并将异常信息反馈至全局信息队列中，用于控制停止拉流。

本实施例的技术方案，通过读取多路视频流，得到多路视频流的图像帧数据流队列；可以同时获取多路视频流，有助于提高视频流处理的速度。基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；可以提高对视频流解码的速度，有助于避免解码速度慢导致的花屏问题。基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务，通过采用限速发送目标图片数据，避免对下游算法服务造成压力。提高了并行解码的速度，避免了解码速度差导致的花屏问题，在提高视频流解码的速度的情况下采用限速发送避免了对下游服务造成的压力，而且，本方案将视频流解码后发送给下游视频处理服务，有助于对视频流的处理进行统一管理。

实施例二

图4是本发明实施例二提供的一种视频流处理方法的流程图，本实施例对上述实施例中的确定多路视频流的图像帧数据流队列的方法进行进一步优化，可选的，创建线程池，线程池中包括多个线程；通过多个线程并行地读取多路视频流；对多路视频流进行预处理，确定多路视频流的图像帧数据流队列。如图4所示，该方法包括：

S210、创建线程池，线程池中包括多个线程。

具体的，根据系统配置资源预先创建多个线程池，用于读取多个硬件视频设备中的视频流。

S220、通过多个线程并行地读取多路视频流。

具体的，可以根据线程池处理各路打开的硬件视频设备，根据线程池的数量并行地读取相应数量的硬件视频设备中的视频流。

S230、对多路视频流进行预处理，确定多路视频流的图像帧数据流队列。

具体的，采用opencv并行地读取多路视频流，并对多路视频进行处理，输出符合要求的数据格式，在本实施例中，输出的是图像帧数据对应的二进制数据流队列。

S240、基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据。

S250、基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列。

S260、基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。

本实施例的技术方案，通过创建线程池，线程池中包括多个线程；通过多个线程并行地读取多路视频流；对多路视频流进行预处理，确定多路视频流的图像帧数据流队列，基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；可以提高对视频流解码的速度，有助于避免解码速度慢导致的花屏问题。基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务，通过采用限速发送目标图片数据，避免对下游算法服务造成压力。提高了并行解码的速度，避免了解码速度差导致的花屏问题，在提高视频流解码的速度的情况下采用限速发送避免了对下游服务造成的压力，而且，本方案将视频流解码后发送给下游视频处理服务，有助于对视频流的处理进行统一管理。

实施例三

图5是本发明实施例三提供的一种视频流处理方法的流程图，本实施例对上述实施例中的对目标图片数据队列进行限速发送的方法的进一步优化，可选的，获取抽帧配置，基于抽帧配置和预设比例系数确定发送时间间隔，基于发送时间间隔执行目标图片数据队列的发送操作，以将目标图片数据队列发送至至少一个视频处理服务。如图5所示，该方法包括：

S310、读取多路视频流，得到多路视频流的图像帧数据流队列。

S320、基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据。

S330、基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列。

S340、获取抽帧配置，基于抽帧配置和预设比例系数确定发送时间间隔，基于发送时间间隔执行目标图片数据队列的发送操作，以将目标图片数据队列发送至至少一个视频处理服务。

其中，抽帧配置具体可以理解为根据产生一帧实时流所需要的时间进行设置，比如可以设置为间隔25帧发送一帧图片数据。预设比例系数可以根据下游算法服务接收每一帧图片数据所需要的时间和网络速度进行设置，例如可以设置为80％。

具体的，根据预先设置的抽帧配置和预设比例系数计算发送时间间隔。示例性的，抽帧配置设置为间隔25帧发送一帧，则发送完一帧后，会等待25(帧)*1(秒)/帧率*80％秒再进行下一帧的发送。这个发送时间间隔主要依据多长时间产生一帧实时流数据*80％进行配置。基于配置得到的发送时间间隔执行目标图片数据队列的发送操作，以将目标图片数据队列发送至至少一个视频处理服务。

在本实施例中，通过读取多路视频流，得到多路视频流的图像帧数据流队列；可以同时获取多路视频流，有助于提高视频流处理的速度。基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；可以提高对视频流解码的速度，有助于避免解码速度慢导致的花屏问题。基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；获取抽帧配置，基于抽帧配置和预设比例系数确定发送时间间隔，基于发送时间间隔执行目标图片数据队列的发送操作，以将目标图片数据队列发送至至少一个视频处理服务通过采用限速发送目标图片数据，避免对下游算法服务造成压力。提高了并行解码的速度，避免了解码速度差导致的花屏问题，在提高视频流解码的速度的情况下采用限速发送避免了对下游服务造成的压力，而且，本方案将视频流解码后发送给下游视频处理服务，有助于对视频流的处理进行统一管理。

实施例四

图6是本发明实施例四提供的一种视频流处理装置的结构示意图。如图6所示，该装置包括：

图像帧数据流队列确定模块510，用于读取多路视频流，得到多路视频流的图像帧数据流队列；

图片数据确定模块520，用于基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；

目标图片数据队列确定模块530，用于基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；

限速发送处理模块540，用于基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。

可选的，图像帧数据流队列确定模块510，具体用于：

创建线程池，线程池中包括多个线程；

通过多个线程并行地读取多路视频流；

对多路视频流进行预处理，确定多路视频流的图像帧数据流队列。

获取全局信息队列，全局信息队列中包括多路视频流读取过程中的异常信息；根据全局信息队列中的异常信息进行异常处理。

若异常信息为硬件设备的打开异常，则获取预设时间间隔，基于预设时间间隔执行重新打开硬件设备的操作；

若异常信息为视频流地址的读取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址的操作；

若异常信息为图像帧数据流队列的获取异常，则获取预设时间间隔和预设重试次数，基于预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址、从视频流中获取图像帧数据流的操作。

可选的，目标图片数据队列确定模块530，具体用于：

在从图像帧数据流队列中读取图像帧数据的过程中，按照图像帧数据的读取顺序对每一图像帧数据添加顺序标识；

基于顺序标识对图片数据进行排序，确定目标图片数据队列。

可选的，该装置还具体用于：

获取视频处理服务反馈的服务异常信息，将服务异常信息更新至全局信息队列。

可选的，限速发送处理模块540，具体用于：

获取抽帧配置，基于抽帧配置和预设比例系数确定发送时间间隔，基于发送时间间隔执行目标图片数据队列的发送操作。

本发明实施例所提供的视频流处理装置可执行本发明任意实施例所提供的视频流处理方法，具备执行方法相应的功能模块和有益效果。

实施例五

图7是本发明实施例五提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如视频流处理方法。

在一些实施例中，视频流处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM13并由处理器11执行时，可以执行上文描述的视频流处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频流处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的视频流处理方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行一种视频流处理方法，该方法包括：

读取多路视频流，得到多路视频流的图像帧数据流队列；

基于预先配置的并行数从图像帧数据流队列中读取并行数的图像帧数据，对并行数的图像帧数据进行并行解码，得到图像帧数据对应的图片数据；

基于图像帧数据的读取顺序对图片数据进行排序，确定目标图片数据队列；

基于限速策略对目标图片数据队列进行限速发送，以将目标图片数据队列发送至至少一个视频处理服务。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种视频流处理方法，其特征在于，包括：

读取多路视频流，得到所述多路视频流的图像帧数据流队列；

基于预先配置的并行数从所述图像帧数据流队列中读取所述并行数的图像帧数据，对所述并行数的图像帧数据进行并行解码，得到所述图像帧数据对应的图片数据；

基于所述图像帧数据的读取顺序对所述图片数据进行排序，确定目标图片数据队列；

基于限速策略对所述目标图片数据队列进行限速发送，以将所述目标图片数据队列发送至至少一个视频处理服务。

2.根据权利要求1所述的视频流处理方法，其特征在于，所述读取多路视频流，确定所述多路视频流的图像帧数据流队列，包括：

创建线程池，所述线程池中包括多个线程；

通过所述多个线程并行地读取所述多路视频流；

对所述多路视频流进行预处理，确定所述多路视频流的图像帧数据流队列。

3.根据权利要求1所述的视频流处理方法，其特征在于，所述基于所述图像帧数据的读取顺序对所述图片数据进行排序，确定目标图片数据队列，包括：

在从所述图像帧数据流队列中读取图像帧数据的过程中，按照图像帧数据的读取顺序对每一图像帧数据添加顺序标识；

基于所述顺序标识对所述图片数据进行排序，确定目标图片数据队列。

4.根据权利要求1所述的视频流处理方法，其特征在于，所述方法还包括：

获取全局信息队列，所述全局信息队列中包括多路视频流读取过程中的异常信息；根据全局信息队列中的异常信息进行异常处理。

5.根据权利要求4所述的视频流处理方法，其特征在于，所述根据全局信息队列中的异常信息进行异常处理，包括：

若所述异常信息为硬件设备的打开异常，则获取预设时间间隔，基于所述预设时间间隔执行重新打开硬件设备的操作；

若所述异常信息为视频流地址的读取异常，则获取预设时间间隔和预设重试次数，基于所述预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址的操作；

若所述异常信息为图像帧数据流队列的获取异常，则获取预设时间间隔和预设重试次数，基于所述预设时间间隔和预设重试次数执行重新打开硬件设备、读取视频流地址、从视频流中获取图像帧数据流的操作。

6.根据权利要求1所述的视频流处理方法，其特征在于，所述方法还包括：

获取所述视频处理服务反馈的服务异常信息，将所述服务异常信息更新至全局信息队列。

7.根据权利要求1所述的视频流处理方法，其特征在于，所述基于限速策略对所述目标图片数据队列进行限速发送，包括：

获取所述抽帧配置，基于所述抽帧配置和预设比例系数确定发送时间间隔，基于所述发送时间间隔执行所述目标图片数据队列的发送操作。

8.一种视频流处理装置，其特征在于，包括：

图像帧数据流队列确定模块，用于读取多路视频流，得到所述多路视频流的图像帧数据流队列；

图片数据确定模块，用于基于预先配置的并行数从所述图像帧数据流队列中读取所述并行数的图像帧数据，对所述并行数的图像帧数据进行并行解码，得到所述图像帧数据对应的图片数据；

目标图片数据队列确定模块，用于基于所述图像帧数据的读取顺序对所述图片数据进行排序，确定目标图片数据队列；

限速发送处理模块，用于基于限速策略对所述目标图片数据队列进行限速发送，以将所述目标图片数据队列发送至至少一个视频处理服务。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的视频流处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的视频流处理方法。