CN115277652B - 基于推理服务的流媒体处理方法、装置、电子设备 - Google Patents

Abstract

本公开提供了一种基于推理服务的流媒体处理方法、装置、电子设备，涉及人工智能领域，尤其涉及人工智能模型的推理服务领域。具体实现方案为：在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，确定所述第i个推理服务容器集的替换对象；通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。本公开实施例的技术方案，能够保证对流媒体进行处理的准确性以及稳定性。

Description

基于推理服务的流媒体处理方法、装置、电子设备

技术领域

本公开涉及人工智能领域，尤其涉及人工智能模型的推理服务领域。具体涉及一种基于推理服务的流媒体处理方法、装置、电子设备及存储介质。

背景技术

目前流媒体技术处于高速发展阶段，将人工智能(AI，Artificial Intelligence)用于对流媒体进行实时审核，成为对流媒体进行处理的一项关键技术。然而，如何保证对流媒体进行处理的稳定性以及准确性，就成为需要解决的问题。

发明内容

本公开提供了一种基于推理服务的流媒体处理方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种基于推理服务的流媒体处理方法，包括：

在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；

在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，确定所述第i个推理服务容器集的替换对象；

通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。

根据本公开的第二方面，提供了一种基于推理服务的流媒体处理装置，包括：状态保持模块、对象管理模块、流媒体管理模块；其中，

所述状态保持模块，用于在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；

所述对象管理模块，用于在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，确定所述第i个推理服务容器集的替换对象；

所述流媒体管理模块，用于通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行前述方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本实施例提供的方案，在任意一个推理服务容器集对流媒体进行处理的过程中，确定该推理服务容器集的状态为异常状态的情况下，采用推理服务容器集的替换对象对流媒体进行处理。如此，可以保证对流媒体进行处理的准确性以及稳定性。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的基于推理服务的流媒体处理方法的一种流程示意图；

图2是根据本公开一实施例的基于推理服务的流媒体处理装置的一种组成结构示意图；

图3是根据本公开一实施例的基于推理服务的流媒体处理装置的另一种组成结构示意图；

图4是根据本公开一实施例的基于推理服务的流媒体处理方法的一种示意性场景处理流程图；

图5是用来实现本公开实施例的基于推理服务的流媒体处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开第一方面实施例提供一种基于推理服务的流媒体处理方法，如图1所示，包括：

S101：在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；

S102：在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，确定所述第i个推理服务容器集的替换对象；

S103：通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。

本实施例提供的信息处理方法可以应用于电子设备，该电子设备具体可以为服务器。

所述第k路流媒体为N路流媒体中任意之一；所述第i个推理服务容器集可以为N个推理服务容器集中任意之一，N为大于或等于i的正整数。所述推理服务容器集的数量N与流媒体的路数是相同的，所述N个推理服务容器集分别与所述N路流媒体中不同的流媒体具备绑定关系，即所述N个推理服务容器集、与所述N路流媒体之间为一一对应的。也就是说，本次服务器同时可以通过一个或多个推理服务容器集中的每一个推理服务容器集处理对应的一路流媒体。

所述通过所述第i个推理服务容器集对所述第k路流媒体进行处理，具体可以指的是：基于所述第i个推理服务容器集，对实时获取的所述第k路流媒体的当前视频帧进行AI推理，反馈实时审核结果。

所述通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理，指的是：基于所述第i个推理服务容器集的替换对象，对实时获取的所述第k路流媒体的当前视频帧进行AI推理，反馈实时审核结果。

可见，通过采用上述方案，就可以在任意一个推理服务容器集对流媒体进行处理的过程中，确定该推理服务容器集的状态为异常状态的情况下，采用推理服务容器集的替换对象对流媒体进行处理。如此，可以保证对流媒体进行处理的准确性以及稳定性。

在一种实施方式中，所述方法还包括：在确定存在待处理的N路流媒体的情况下，生成N个推理服务容器集；其中，所述N路流媒体中包含所述第k路流媒体，所述N个推理服务容器集中包含所述第i个推理服务容器集；N为大于或等于i、且大于或等于k的正整数；将所述N个推理服务容器集与所述N路流媒体分别进行绑定，并通过所述N个推理服务容器集对所述N路流媒体分别进行处理；其中，所述N个推理服务容器集中不同的推理服务容器集对应不同路流媒体。

所述确定存在待处理的N路流媒体的方式，具体可以包括：在与外网基于预设协议进行对接，获取到本次待处理的流媒体的路数为N路的情况下，确定存在待处理的N路流媒体。需要指出的是，在获取到本次待处理的流媒体的路数为N路的同时，还可以获取到本次待处理的每路流媒体的地址信息。所述每路流媒体对应的地址信息，具体可以为，所述每路流媒体对应的外网服务器的地址信息；并且，不同路流媒体所对应的外网服务器的地址信息可以不同。

在确定存在待处理的N路流媒体的情况下，可以确定本次需要创建的推理服务容器集的数量为N，也就是针对每路流媒体均创建一个推理服务容器集。

在一种实施方式中，所述生成N个推理服务容器集，包括：基于第j个模型推理服务以及第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集；j为小于或等于N的正整数；其中，所述第j组配置信息包括以下至少之一：所述第j个推理服务容器集的探活接口配置信息、所述第j个推理服务容器集的资源限制配置信息、所述第j个推理服务容器集的调度配置信息、所述第j个推理服务容器集的存储配置信息。

其中，所述第j个推理服务容器集为所述N个推理服务容器集中的任意之一，由于针对N个推理服务容器集中每一个推理服务容器集的处理与前述第j个推理服务容器集的处理均为相同的，因此不做一一赘述。

所述基于第j个模型推理服务以及第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集，可以包括：基于所述第j个模型推理服务以及所述第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集，得到所述第j个推理服务容器集的标识信息；基于所述第j个推理服务容器集的标识信息，获取所述第j个推理服务容器集的连接信息。

所述第j个模型推理服务可以指的是第j个AI模型推理服务的可执行代码。所述第j个模型推理服务的镜像信息，则可以为包含所述第j个AI模型推理服务的可执行代码的文件信息。

所述第j组配置信息，可以为基于预设模板信息生成的；该预设模板信息中包含待配置参数。所述预设模板信息中包含的待配置参数，可以包括以下至少之一：待配置健康检查参数、待配置资源限制参数、待配置调度参数、待配置存储参数。其中，所述待配置健康检查参数用于配置探活接口；所述待配置资源限制参数用于配置占用的系统资源的范围；所述待配置调度参数用于配置地址信息；所述待配置存储参数用于配置数据存储位置。

相应的，该第j组配置信息的生成方式可以为：对该预设模板信息中包含的所述待配置参数进行内容设置，得到第j组配置信息。其中，该第j组配置信息中具体的参数内容，可以为管理人员根据实际需求配置的；也就是，在针对每一个推理服务容器集生成对应的配置信息的时候，采用相同的预设模板信息，根据实际需求对相同的预设模板信息中包含的待配置参数进行不同的参数内容的设置，得到每一个推理服务容器集对应的配置信息。需要指出的是，不同的推理服务容器集对应的配置信息至少部分不同。

该第j组配置信息中可以包括以下至少之一：

所述第j个推理服务容器集的探活接口配置信息；具体的，所述第j个推理服务容器集的探活接口配置信息用于为第j个推理服务容器集配置探活接口；

所述第j个推理服务容器集的资源限制配置信息；具体的，所述第j个推理服务容器集的资源限制配置信息包含所述第j个推理服务容器集占用的系统资源的范围；其中，所述第j个推理服务容器集占用的系统资源的范围可以包括：所述第j个推理服务容器集占用的系统资源的最低值和最高值；

所述第j个推理服务容器集的调度配置信息；具体的，所述第j个推理服务容器集的调度配置信息包括所述第j个推理服务容器集对应的地址信息；其中，所述第j个推理服务容器集对应的地址信息，为运行该第j个推理服务容器集的物理机的地址信息；

所述第j个推理服务容器集的存储配置信息；具体的，所述第j个推理服务容器集的存储配置信息包括：所述第j个推理服务容器集的数据存储位置；其中，所述第j个推理服务容器集的数据存储位置，指的是：所述第j个推理服务容器集中包含的第j个AI模型推理服务的运行过程中产生的数据的存储位置，和/或，所述第j个推理服务容器集中包含的第j个AI模型推理服务的运行过程中需要使用的数据的存储位置。通过设置第j个推理服务容器集的存储配置信息，可以使得第j个推理服务容器集在运行过程中，便捷的获取到远程存储的数据。

所述第j个推理服务容器集的标识信息，可以包括：所述第j个推理服务容器集的名称和/或编号；其中，第i个推理服务容器集的编号可以用ID(Identity，身份标识号)来表示。所述第j个推理服务容器集的连接信息，可以包括以下至少之一：所述第j个推理服务容器集的IP(Internet Protocol，网际互连协议)地址、URL(uniform resource locator，统一资源定位系统)地址；其中，所述IP地址用于表征该第j个推理服务容器集所在的实际物理机的地址，所述URL地址用于表征该第j个推理服务容器集所在的互联网主机的服务器及具体的网页位置。

在一种示例中，所述基于第j个模型推理服务以及第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集的具体处理，可以通过调用Kubernetes(k8s)平台来实现。其中，在k8s平台中，容器集(pod)是所有业务类型的基础，具体可以是一个或多个容器的组合；在本示例中，所述第j个推理服务容器集即第j个推理服务pod，该第j个推理服务pod包含的一个或多个容器中可以包含第j个模型推理服务的可执行代码。比如，通过调用k8s接口，控制所述k8s平台基于第j组配置信息以及所述第j个模型推理服务的镜像信息创建第j个推理服务容器集(pod)；通过该k8s接口获取到所述k8s平台生成的所述第j个推理服务容器集的标识信息，基于该第j个推理服务容器集的标识信息获取所述第j个推理服务容器集的连接信息。

可见，通过采用上述方案，就可以根据每个模型推理服务以及配置信息，生成每个推理服务容器集；由于针对每一个推理服务容器集均配置相关的资源、调度、存储等信息，可以使得每一个推理服务容器集独立运行，保证了各个推理服务容器集分别进行流媒体的处理时的效率以及准确性；并且，由于每一个推理服务容器集独立生成并独立运行，因此也能够更加准确的分析每一个推理服务容器集的状态，使得后续基于推理服务容器集的状态确定替换对象的处理，更加准确且高效。

所述将所述N个推理服务容器集与所述N路流媒体的相关信息分别进行绑定，具体可以为：将所述N个推理服务容器集中的第j个推理服务容器集的连接信息，与所述N路流媒体中的所述第t路流媒体的地址信息进行绑定，建立所述第j个推理服务容器集与所述第t路流媒体之间的数据传输通道。也就是，可以将所述第j个推理服务容器集的IP地址(或URL)与所述第t路流媒体的地址信息绑定后，可以建立第j个推理服务容器集和第t路流媒体的两个地址之间的数据传输通道；t为正整数。

需要指出的是，基于前述第j个推理服务容器集的标识信息，还可以获取到所述第j个推理服务容器集的状态信息；所述第j个推理服务容器集的状态信息可以包括：所述第j个推理服务容器集当前处于运行中、当前处于创建中、当前处于停用中等等状态中任意之一。相应的，所述将所述N个推理服务容器集中的第j个推理服务容器集的连接信息，与所述N路流媒体中的所述第t路流媒体的地址信息进行绑定，建立所述第j个推理服务容器集与所述第t路流媒体之间的数据传输通道，还可以包括：基于所述第j个推理服务容器集的状态信息确定所述第j个推理服务容器集当前处于运行中的情况下，将所述N个推理服务容器集中的第j个推理服务容器集的连接信息，与所述N路流媒体中的所述第t路流媒体的地址信息进行绑定，建立所述第j个推理服务容器集与所述第t路流媒体之间的数据传输通道。

在完成前述处理之后，可以通过所述N个推理服务容器集对所述N路流媒体分别进行处理，同样的，以所述N个推理服务容器集中的任意一个推理服务容器集为第j个推理服务容器集，以第j个推理服务容器集绑定的为N路流媒体中第t路流媒体为例，具体来说：所述第j个推理服务容器集通过与所述第t路流媒体之间的数据传输通道，实时获取所述第t路流媒体的当前视频帧，对所述第t路流媒体的当前视频帧进行AI推理，反馈实时审核结果。

以上实施例中，以第j个推理服务容器集为N个推理服务容器集中任意之一，第t路流媒体为N路流媒体中任意之一为例进行的详细说明，针对N个推理服务容器集以及N路流媒体中各个推理服务容器集以及各路流媒体的处理，与前述第j个推理服务容器集、第t路流媒体的处理是相同的，只是不做一一赘述。

举例来说，假设N等于2，则N路流媒体分别为流媒体1、流媒体2；生成的N个推理服务容器集分别为推理服务pod 1和推理服务pod 2；将推理服务pod 1与流媒体1进行绑定，将推理服务pod 2和流媒体2进行绑定；然后通过推理服务pod 1实时获取所述流媒体1的当前视频帧，对所述流媒体1的当前视频帧进行AI推理，反馈实时审核结果；同时通过推理服务pod 2实时获取所述流媒体2的当前视频帧，对所述流媒体2的当前视频帧进行AI推理，反馈实时审核结果。应理解，前述将推理服务pod 1与流媒体1进行绑定，将推理服务pod 2和流媒体2进行绑定只是一种可能的方式，在其他可能的方式中，还可以将推理服务pod 1与流媒体2进行绑定，将推理服务pod 2和流媒体1进行绑定，只要N路流媒体中不同的流媒体与不同的推理服务pod绑定，就在本实施例的保护范围内。

可见，通过采用上述方案，就可以根据本次需要处理的流媒体的数量，生成对应数量的推理服务容器集，并将流媒体与推理服务容器集分别进行绑定。如此，能够使得不同的推理服务容器集处理不同的流媒体，保证了流媒体处理的准确性。并且，由于每一个推理服务容器集独立生成并独立运行，因此也能够更加准确的分析每一个推理服务容器集的状态，使得后续基于推理服务容器集的状态确定替换对象的处理，更加准确且高效。

在一种实施方式中，所述对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果，包括：对所述第i个推理服务容器集进行接口探活检测，得到对所述第i个推理服务容器集的检测结果。

所述基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态，包括：在对所述第i个推理服务容器集的检测结果为第一类结果的情况下，确定所述第i个推理服务容器集处于异常状态；其中，所述第一类结果包括连接失败或连接错误。

其中，所述第i个推理服务容器集与前述第j个推理服务容器集可以相同也可以不同，不论所述第i个推理服务容器集与前述第j个推理服务容器集是否相同，两者的具体生成方式以及绑定处理方式均为相同的，不做重复说明。所述第i个推理服务容器集为前述N个推理服务容器集中的任意之一，由于针对每一个推理服务容器集的处理均为相同的，因此这里不做一一赘述。

示例性的，前述对所述第i个推理服务容器集进行接口探活检测，得到对所述第i个推理服务容器集的检测结果，可以包括：向第i个推理服务容器集发起传输控制协议(TCP，Transmission Control Protocol)三次握手，建立新连接；如果连接建立成功，则对所述第i个推理服务容器集的检测结果是连接正常；如果建立失败、且返回的代码表示连接失败或连接超时，则对所述第i个推理服务容器集的检测结果是连接失败；如果连接失败、且返回的代码表示连接错误，则对所述第i个推理服务容器集的检测结果是连接错误。需要指出的是，这里仅为一种示例性说明，而关于接口探活检测并得到检测结果的方式还可以采用其他方式，只要可以获取到第i个推理服务容器集当前是否连接正常、或是否连接失败、或是否连接错误的检测结果，就均在本实施例保护范围内。

另外，还可以包括：在对所述第i个推理服务容器集的检测结果为第二类结果的情况下，确定所述第i个推理服务容器集处于正常状态；其中，所述第二类结果可以为连接正常。进一步地，在确定所述第i个推理服务容器集处于正常状态的情况下，继续执行前述S101，也就是对每一个推理服务容器集对流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果。

通过采用上述方案，可以实时对每一个推理服务容器集进行检测，进而得到每一个推理服务容器集的当前状态是否为异常状态，从而能够保证及时的确定处于异常状态的推理服务容器集的替换对象，并执行后续的处理，保证了系统的稳定性。

在一种实施方式中，生成所述第i个推理服务容器集的替换对象，包括：基于第i个模型推理服务以及第i组配置信息，生成所述第i个推理服务容器集的替换对象，得到所述第i个推理服务容器集的替换对象的标识信息；基于所述第i个推理服务容器集的替换对象的标识信息，获取所述第i个推理服务容器集的替换对象的连接信息；其中，所述第i组配置信息包括以下至少之一：所述第i个推理服务容器集的探活接口配置信息、所述第i个推理服务容器集的资源限制配置信息、所述第i个推理服务容器集的调度配置信息、所述第i个推理服务容器集的存储配置信息生成所述第i个推理服务容器集的替换对象。

关于第i个模型推理服务、第i组配置信息的相关说明，与前述第j个模型推理服务、第j组配置信息的相关说明是类似的，这里不再重复说明。

上述第i个模型推理服务与生成第i个推理服务容器集时的模型推理服务相同；第i组配置信息与生成第i个推理服务容器集时的配置信息相同。而由于第i个推理服务容器集以及第i个推理服务容器集的替换对象的生成时机是不同的，因此，所述第i个推理服务容器集的替换对象的标识信息、与所述第i个推理服务容器集的标识信息是不同的，并且，所述第i个推理服务容器集的替换对象、与所述第i个推理服务容器集的连接信息也是不同的。也就是说，虽然采用相同的第i个模型推理服务以及第i组配置信息生成了第i个推理服务容器集的替换对象，但是第i个推理服务容器集的替换对象的IP地址和/或URL地址，与所述第i个推理服务容器集的IP地址和/或URL地址是不同的。

需要指出的是，在前述生成所述第i个推理服务容器集的替换对象的处理中，还可以包括：在数据库中记录所述第i个推理服务容器集的异常信息；并且，还可以停止对所述第i个推理服务容器集进行接口探活。其中，所述数据库可以为任意类型的数据库，比如可以为meta DB(元数据库，meta-database)，这里不对数据库全部可能的种类进行穷举。

前述生成所述第i个推理服务容器集的替换对象的时机，可以是在确定所述第i个推理服务容器集处于异常状态之前，或者，可以是在确定所述第i个推理服务容器集处于异常状态的同时，或者，还可以是确定所述第i个推理服务容器集处于异常状态之后，均在本实施例保护范围内。

在一种实施方式中，所述通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理，包括：

基于所述第i个推理服务容器集的异常信息、所述第i个推理服务容器集的替换对象的相关信息，生成并发送所述第i个推理服务容器集的替换请求信息；响应于获取到所述第i个推理服务容器集的替换指示信息，通过所述第i个推理服务容器集的替换对象对所述第k路流媒体进行处理。

本实施方式中，生成所述第i个推理服务容器集的替换对象的时机，前述生成所述第i个推理服务容器集的替换对象的时机，可以是在确定所述第i个推理服务容器集处于异常状态之前，或者，可以是在确定所述第i个推理服务容器集处于异常状态的同时。

所述基于所述第i个推理服务容器集的异常信息、所述第i个推理服务容器集的替换对象的相关信息，生成并发送所述第i个推理服务容器集的替换请求信息，可以包括：基于所述第i个推理服务容器集的异常信息、所述第i个推理服务容器集的替换对象的相关信息、所述第i个推理服务容器集的相关信息，生成所述第i个推理服务容器集的替换请求信息，将该第i个推理服务容器集的替换请求信息发送至目标设备。其中，所述目标设备可以指的是管理人员使用的电子设备，比如可以是平板电脑、笔记本电脑、台式电脑等等任意之一。所述目标设备与执行本实施例的基于推理服务的流媒体处理方法的电子设备之间可以具备信息传输接口，通过该信息传输接口将所述第i个推理服务容器集的替换请求发送至目标设备。

其中，所述第i个推理服务容器集的异常信息可以包括：所述第i个推理服务容器集当前处于异常状态的提示信息、所述第i个推理服务容器集处于异常状态的时间信息等等至少之一。所述第i个推理服务容器集的替换对象的相关信息，可以包括：所述第i个推理服务容器集的替换对象的连接信息，和/或，所述第i个推理服务容器集的替换对象的标识信息。所述第i个推理服务容器集的相关信息，可以包括：所述第i个推理服务容器集的连接信息，和/或，所述第i个推理服务容器集的标识信息。

前述获取到所述第i个推理服务容器集的替换指示信息，同样可以为基于所述目标设备与执行本实施例的基于推理服务的流媒体处理方法的电子设备之间的信息传输接口传输的。

另外，还可以包括：响应于获取到所述第i个推理服务容器集的拒绝替换信息，将所述第i个推理服务容器集的替换对象删除，保持使用所述第i个推理服务容器集对所述第k路流媒体进行处理，并返回执行前述S101。这是由于，管理人员通过其使用的目标设备在接收到所述第i个推理服务容器集的替换请求信息的时候，查看所述第i个推理服务容器集当前对第k路流媒体的实时分析结果，若确定该实时分析结果正常，则可以不替换所述第i个推理服务容器集，因此可以反馈所述第i个推理服务容器集的拒绝替换信息。

可见，通过采用上述方案，可以在确定某一个推理服务容器集发生异常的情况下，就确定该推理服务容器集的替换对象，进而在收到替换指示信息之后，直接通过所述第i个推理服务容器集的替换对象对所述第k路流媒体进行处理，如此，可以保证在接收到替换指示信息后，及时的采用推理服务容器集的替换对象对流媒体进行处理，保证了整体的处理效率。

在一种实施方式中，在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，确定所述第i个推理服务容器集的替换对象，包括：

在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，基于所述第i个推理服务容器集的异常信息，生成并发送所述第i个推理服务容器集的替换请求信息；

响应于获取到所述第i个推理服务容器集的替换指示信息，生成所述第i个推理服务容器集的替换对象。

所述基于所述第i个推理服务容器集的异常信息，生成并发送所述第i个推理服务容器集的替换请求信息，可以包括：基于所述第i个推理服务容器集的异常信息、所述第i个推理服务容器集的相关信息，生成所述第i个推理服务容器集的替换请求信息，将该第i个推理服务容器集的替换请求信息发送至目标设备。其中，所述目标设备可以指的是管理人员使用的电子设备，比如可以是平板电脑、笔记本电脑、台式电脑等等任意之一。所述目标设备与执行本实施例的基于推理服务的流媒体处理方法的电子设备之间可以具备信息传输接口，通过该信息传输接口将所述第i个推理服务容器集的替换请求发送至目标设备。

其中，所述第i个推理服务容器集的异常信息可以包括：所述第i个推理服务容器集当前处于异常状态的提示信息、所述第i个推理服务容器集处于异常状态的时间信息等等至少之一。所述第i个推理服务容器集的相关信息，可以包括：所述第i个推理服务容器集的连接信息，和/或，所述第i个推理服务容器集的标识信息。

所述生成所述第i个推理服务容器集的替换对象的方式、第i个推理服务容器集以及第i个推理服务容器集的替换对象的相同以及不同，与前述实施例是类似的，这里不再赘述。另外在前述生成所述第i个推理服务容器集的替换对象的处理中，还可以包括：在数据库中记录所述第i个推理服务容器集的异常信息；并且，还可以停止对所述第i个推理服务容器集进行接口探活。

本实施方式中，生成所述第i个推理服务容器集的替换对象的时机，在确定所述第i个推理服务容器集处于异常状态之后。具体的，这种实施方式中，在确定第i个推理服务容器集处于异常状态的情况下，就会及时的发送所述第i个推理服务容器集的替换请求信息，仅在接收到所述第i个推理服务容器集的替换指示信息的情况下，才会生成第i个推理服务容器集的替换对象。

另外，还可以包括：响应于获取到所述第i个推理服务容器集的拒绝替换信息，保持使用所述第i个推理服务容器集对所述第k路流媒体进行处理，返回执行前述S101。这是由于，管理人员可以在通过其使用的目标设备接收到所述第i个推理服务容器集的替换请求信息的时候，查看所述第i个推理服务容器集当前对第k路流媒体的处理结果，若确定该处理结果正常，则可以不替换所述第i个推理服务容器集，因此可以反馈所述第i个推理服务容器集的拒绝替换信息。

这种处理方式中，由于在确定第i个推理服务容器集处于异常状态时，就确定是否进行替换，只有在接收到替换指示信息的情况下，才会生成第i个推理服务容器集的替换对象。如此，在保证整体的处理稳定性同时，可以减少预先生成替换对象，但最终未使用该替换对象所带来的处理资源的占用问题。

在一种实施方式中，所述确定所述第i个推理服务容器集的替换对象之后，所述方法还包括：断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定，并删除所述第i个推理服务容器集的信息存储记录。

需要指出的是，删除所述第i个推理服务容器集的信息存储记录的同时，还可以包括：回收所述第i个推理服务容器集的处理资源。

其中，所述第i个推理服务容器集的处理资源，可以包括：所述第i个推理服务容器集的系统处理资源；所述第i个推理服务容器集的信息存储记录可以包括所述第i个推理服务容器集的异常状态的记录信息、第i个推理服务容器集对第k路流媒体处理过程中产生的中间数据等等至少之一。

所述断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，可以指的是，将所述第k路流媒体的地址信息、与所述第i个推理服务容器集的连接信息之间的绑定删除；相应的，控制将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定，可以指的是：将所述第k路流媒体的地址信息、与所述第i个推理服务容器集的替换对象的连接信息之间进行绑定。

前述将所述第k路流媒体的地址信息、与所述第i个推理服务容器集的替换对象的连接信息之间进行绑定后，可以建立所述第k路流媒体与所述第i个推理服务容器集的替换对象之间的数据传输通道。相应的，所述通过所述第i个推理服务容器集的替换对象对所述第k路流媒体进行处理，可以指的是：所述第i个推理服务容器集的替换对象，对通过与所述第k路流媒体之间的数据传输通道，实时获取到的所述第k路流媒体的当前视频帧进行AI推理，反馈实时审核结果。

进一步地，还可以实时对所述第i个推理服务容器集的替换节点进行接口探活检测，并得到对应的检测结果；关于其后续的处理与前述实施例相同，因此不做重复说明。

可见，通过采用上述方案，就可以在流媒体切换至与某一个推理服务容器集的替换对象进行绑定之后，将该推理服务容器集的相关资源删除，从而保证了存储空间更加充足，进而保证了整个系统的处理效率以及稳定性。

本公开实施例还提供了一种基于推理服务的流媒体处理装置，如图2所示，包括：状态保持模块201、对象管理模块202、流媒体管理模块203；其中，

所述状态保持模块201，用于在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；

所述对象管理模块202，用于在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，确定所述第i个推理服务容器集的替换对象；

所述流媒体管理模块203，用于通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。

所述流媒体管理模块203，用于在确定存在待处理的N路流媒体的情况下，控制所述对象管理模块生成N个推理服务容器集；其中，所述N路流媒体中包含所述第k路流媒体，所述N个推理服务容器集中包含所述第i个推理服务容器集；N为大于或等于i、且大于或等于k的正整数；将所述N个推理服务容器集与所述N路流媒体分别进行绑定，并通过所述N个推理服务容器集对所述N路流媒体分别进行处理；其中，所述N个推理服务容器集中不同的推理服务容器集对应不同路流媒体。

所述对象管理模块202，用于基于第j个模型推理服务以及第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集；j为小于或等于N的正整数；其中，所述第j组配置信息包括以下至少之一：所述第j个推理服务容器集的探活接口配置信息、所述第j个推理服务容器集的资源限制配置信息、所述第j个推理服务容器集的调度配置信息、所述第j个推理服务容器集的存储配置信息。

所述状态保持模块201，用于对所述第i个推理服务容器集进行接口探活检测，得到对所述第i个推理服务容器集的检测结果；在对所述第i个推理服务容器集的检测结果为第一类结果的情况下，确定所述第i个推理服务容器集处于异常状态；其中，所述第一类结果包括连接失败或连接错误。

所述状态保持模块201，用于基于所述第i个推理服务容器集的异常信息和所述第i个推理服务容器集的替换对象的相关信息，生成并发送所述第i个推理服务容器集的替换请求信息；响应于获取到所述第i个推理服务容器集的替换指示信息，控制所述流媒体管理模块通过所述第i个推理服务容器集的替换对象对所述第k路流媒体进行处理。

所述状态保持模块201，用于在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，基于所述第i个推理服务容器集的异常信息，生成并发送所述第i个推理服务容器集的替换请求信息；响应于获取到所述第i个推理服务容器集的替换指示信息，控制所述对象管理模块生成所述第i个推理服务容器集的替换对象；

所述对象管理模块202，用于生成所述第i个推理服务容器集的替换对象。

在图2的基础上，如图3所示，所述装置，还包括存储模块204，用于根据所述状态保持模块的控制删除所述第i个推理服务容器集的信息存储记录；

所述状态保持模块201，用于控制流媒体管理模块断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，控制流媒体管理模块将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定；删除所述存储模块中所述第i个推理服务容器集的信息存储记录；

所述流媒体管理模块203，用于断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定。

前述状态保持模块、流媒体管理模块、存储模块、对象管理模块，可以是在同一个设备中，比如，均在同一个服务器中。或者，前述状态保持模块、流媒体管理模块、存储模块、对象管理模块也可以是分别在不同设备中，比如，状态保持模块设置在第一服务器中、流媒体管理模块设置在第二服务器中、存储模块设置在数据库(比如元数据库(meta DB，meta-database))中、对象管理模块设置在第四服务器中。或者，还可以是一部分模块在同一个设备中，其他模块在其他设备中等，比如，状态保持模块、流媒体管理模块设置在同一个服务器中，存储模块设置在单独的数据库中、对象管理模块设置在另一个服务器中等等。这里不对前述各个模块可能设置的情况进行穷举。

结合前述基于推理服务的流媒体处理装置以及前述基于推理服务的流媒体处理方法，以N等于2，推理服务容器集为推理服务pod为例，结合图4进行示例性说明，具体包括：

S401：流媒体管理模块在确定存在待处理的2路流媒体的情况下，控制对象管理模块生成2个推理服务pod。

具体的，流媒体管理模块与外网按照协议对接，确定存在待处理的流媒体路数为2(如图4所示的1号流媒体以及2号流媒体)、流媒体的地址等信息后，控制对象管理模块创建与所述流媒体数量相同数量的2个推理服务pod，分别为图4所示的推理服务pod A和推理服务pod B。

其中，控制对象管理模块创建与所述流媒体数量相同数量的2个推理服务pod，可以为：向对象管理模块发送请求创建2个推理服务pod的服务创建请求；对象管理模块解析该服务创建请求，将2个模型推理服务分别与对应的配置信息进行整合后，调用k8s接口创建推理服务pod A和推理服务pod B；创建推理服务pod A和推理服务pod B后，为流媒体管理模块返回推理服务pod A的标识信息和推理服务pod B的标识信息；该流媒体管理模块基于推理服务pod A的标识信息和推理服务pod B的标识信息获取并记录推理服务pod A和推理服务pod B分别对应的连接信息。

S402：流媒体管理模块将2个推理服务pod与2路流媒体分别进行绑定，并通过2个推理服务pod对2路流媒体分别进行处理。

通过执行本步骤，可以将推理服务pod A与1号流媒体之间建立数据传输通道，推理服务pod A通过该数据传输通道可以实时获取1号流媒体的当前视频帧，对所述1号流媒体的当前视频帧进行AI推理，反馈实时审核结果；同样的，将推理服务pod B与2号流媒体之间建立数据传输通道，进而推理服务pod B通过该数据传输通道可以实时获取2号流媒体的当前视频帧，对所述2号流媒体的当前视频帧进行AI推理，反馈实时审核结果。

S403：状态保持模块对2个推理服务pod分别进行接口探活检测，得到对2个推理服务pod的检测结果。

S404：在基于对推理服务pod B的检测结果，确定pod B处于异常状态的情况下，对象管理模块生成推理服务pod C，该推理服务pod C为推理服务pod B的替换对象。

另外，状态保持模块还会在存储模块中记录推理服务pod B的异常信息，并且停止对推理服务pod B进行接口探活。

S405：状态保持模块发送推理服务pod B的替换请求信息。

具体可以为：状态保持模块基于推理服务pod B的异常信息、推理服务pod B的替换对象即推理服务pod C的相关信息、推理服务pod B的相关信息，生成推理服务pod B的替换请求信息，并通过与流媒体管理模块之间的回调接口发送推理服务pod B的替换请求信息；然后该状态保持模块轮询等待流媒体管理模块的反馈。

S406：状态保持模块获取到推理服务pod B的替换指示信息，控制流媒体管理模块断开2号流媒体与推理服务pod B之间的绑定，将2号流媒体与推理服务pod C进行绑定。

其中，推理服务pod B的替换指示信息可以为管理人员通过其自身使用的目标设备查看到推理服务pod B的替换请求信息之后生成并发送给流媒体管理模块的。比如，一种示例中，流媒体管理模块可以为一个服务器，该服务器可以通过与目标设备之间的有线连接或无线连接，将前述推理服务pod B的替换请求发送至该目标设备；并通过与目标设备之间的有线连接或无线连接，接收前述推理服务pod B的替换指示信息。

在完成本步骤之后，推理服务pod C通过与2号流媒体之间的数据传输通道，实时获取到的2号流媒体的当前视频帧进行AI推理，反馈实时审核结果。

S407：流媒体管理模块通知状态保持模块完成绑定切换。

S408：状态保持模块删除存储模块中推理服务pod B的信息存储记录。

具体可以为：状态保持模块调用k8s接口将k8s平台中推理服务pod B删除，回收系统资源(即回收推理服务pod B的处理资源)，并删除存储模块中推理服务pod B的信息存储记录。并且，在执行S408的同时，状态保持模块对推理服务pod C进行接口探活检测。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储电子设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

电子设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的基于推理服务的流媒体处理方法。例如，在一些实施例中，上文所描述的基于推理服务的流媒体处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到电子设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文所描述的基于推理服务的流媒体处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上文所描述的基于推理服务的流媒体处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种基于推理服务的流媒体处理方法，包括：

在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；其中，所述第k路流媒体为N路流媒体中任意之一，所述第i个推理服务容器集为N个推理服务容器集中任意之一，所述推理服务容器集的数量N与所述流媒体的路数相同，所述N个推理服务容器集分别与所述N路流媒体中不同的流媒体具备绑定关系，N为大于或等于i、且大于或等于k的正整数；

在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，基于所述第i个推理服务容器集的异常信息，生成并发送所述第i个推理服务容器集的替换请求信息；

响应于获取到所述第i个推理服务容器集的替换指示信息，生成所述第i个推理服务容器集的替换对象；

通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。

2.根据权利要求1所述的方法，还包括：

在确定存在待处理的N路流媒体的情况下，生成N个推理服务容器集；其中，所述N路流媒体中包含所述第k路流媒体，所述N个推理服务容器集中包含所述第i个推理服务容器集；

将所述N个推理服务容器集与所述N路流媒体分别进行绑定，并通过所述N个推理服务容器集对所述N路流媒体分别进行处理；其中，所述N个推理服务容器集中不同的推理服务容器集对应不同路流媒体。

3.根据权利要求2所述的方法，其中，所述生成N个推理服务容器集，包括：

基于第j个模型推理服务以及第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集；j为小于或等于N的正整数；其中，所述第j组配置信息包括以下至少之一：所述第j个推理服务容器集的探活接口配置信息、所述第j个推理服务容器集的资源限制配置信息、所述第j个推理服务容器集的调度配置信息、所述第j个推理服务容器集的存储配置信息。

4.根据权利要求1或2所述的方法，其中，所述对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果，包括：对所述第i个推理服务容器集进行接口探活检测，得到对所述第i个推理服务容器集的检测结果；

所述基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态包括：在对所述第i个推理服务容器集的检测结果为第一类结果的情况下，确定所述第i个推理服务容器集处于异常状态；其中，所述第一类结果包括连接失败或连接错误。

5.根据权利要求1或2所述的方法，其中，所述通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理，包括：

基于所述第i个推理服务容器集的异常信息和所述第i个推理服务容器集的替换对象的相关信息，生成并发送所述第i个推理服务容器集的替换请求信息；

响应于获取到所述第i个推理服务容器集的替换指示信息，通过所述第i个推理服务容器集的替换对象对所述第k路流媒体进行处理。

6.根据权利要求2或3所述的方法，其中，所述生成所述第i个推理服务容器集的替换对象之后，所述方法还包括：

断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定，并删除所述第i个推理服务容器集的信息存储记录。

7.一种基于推理服务的流媒体处理装置，包括：状态保持模块、对象管理模块、流媒体管理模块；其中，

所述状态保持模块，用于在通过第i个推理服务容器集对第k路流媒体进行处理的过程中，对所述第i个推理服务容器集进行检测，得到对所述第i个推理服务容器集的检测结果；i、k为正整数；其中，所述第k路流媒体为N路流媒体中任意之一，所述第i个推理服务容器集为N个推理服务容器集中任意之一，所述推理服务容器集的数量N与所述流媒体的路数相同，所述N个推理服务容器集分别与所述N路流媒体中不同的流媒体具备绑定关系，N为大于或等于i、且大于或等于k的正整数；在基于对所述第i个推理服务容器集的检测结果，确定所述第i个推理服务容器集处于异常状态的情况下，基于所述第i个推理服务容器集的异常信息，生成并发送所述第i个推理服务容器集的替换请求信息；响应于获取到所述第i个推理服务容器集的替换指示信息，控制所述对象管理模块生成所述第i个推理服务容器集的替换对象；

所述对象管理模块，用于生成所述第i个推理服务容器集的替换对象；

所述流媒体管理模块，用于通过所述第i个推理服务容器集的替换对象，对所述第k路流媒体进行处理。

8.根据权利要求7所述的装置，其中，

所述流媒体管理模块，用于在确定存在待处理的N路流媒体的情况下，控制所述对象管理模块生成N个推理服务容器集；其中，所述N路流媒体中包含所述第k路流媒体，所述N个推理服务容器集中包含所述第i个推理服务容器集；将所述N个推理服务容器集与所述N路流媒体分别进行绑定，并通过所述N个推理服务容器集对所述N路流媒体分别进行处理；其中，所述N个推理服务容器集中不同的推理服务容器集对应不同路流媒体。

9.根据权利要求8所述的装置，其中，所述对象管理模块，用于基于第j个模型推理服务以及第j组配置信息，生成所述N个推理服务容器集中的第j个推理服务容器集；j为小于或等于N的正整数；其中，所述第j组配置信息包括以下至少之一：所述第j个推理服务容器集的探活接口配置信息、所述第j个推理服务容器集的资源限制配置信息、所述第j个推理服务容器集的调度配置信息、所述第j个推理服务容器集的存储配置信息。

10.根据权利要求7或8所述的装置，其中，所述状态保持模块，用于对所述第i个推理服务容器集进行接口探活检测，得到对所述第i个推理服务容器集的检测结果；在对所述第i个推理服务容器集的检测结果为第一类结果的情况下，确定所述第i个推理服务容器集处于异常状态；其中，所述第一类结果包括连接失败或连接错误。

11.根据权利要求7或8所述的装置，其中，所述状态保持模块，用于基于所述第i个推理服务容器集的异常信息和所述第i个推理服务容器集的替换对象的相关信息，生成并发送所述第i个推理服务容器集的替换请求信息；响应于获取到所述第i个推理服务容器集的替换指示信息，控制所述流媒体管理模块通过所述第i个推理服务容器集的替换对象对所述第k路流媒体进行处理。

12.根据权利要求8或9所述的装置，还包括：存储模块，用于根据所述状态保持模块的控制删除所述第i个推理服务容器集的信息存储记录；

所述状态保持模块，用于控制流媒体管理模块断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，控制流媒体管理模块将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定；删除所述存储模块中所述第i个推理服务容器集的信息存储记录；

所述流媒体管理模块，用于断开所述第k路流媒体与所述第i个推理服务容器集之间的绑定，将所述第k路流媒体与所述第i个推理服务容器集的替换对象进行绑定。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。