CN114401254A - 流媒体服务的处理方法、装置、电子设备及存储介质 - Google Patents

流媒体服务的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114401254A
CN114401254A CN202210280690.5A CN202210280690A CN114401254A CN 114401254 A CN114401254 A CN 114401254A CN 202210280690 A CN202210280690 A CN 202210280690A CN 114401254 A CN114401254 A CN 114401254A
Authority
CN
China
Prior art keywords
streaming media
input source
media service
service process
media data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210280690.5A
Other languages
English (en)
Other versions
CN114401254B (zh
Inventor
李硕
未学超
付永高
冷家冰
刘雅雯
朱名发
黄锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210280690.5A priority Critical patent/CN114401254B/zh
Publication of CN114401254A publication Critical patent/CN114401254A/zh
Priority to US17/975,677 priority patent/US11902346B2/en
Priority to EP22206213.5A priority patent/EP4250684A1/en
Application granted granted Critical
Publication of CN114401254B publication Critical patent/CN114401254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/142—Managing session states for stateless protocols; Signalling session states; State transitions; Keeping-state mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了一种流媒体服务的处理方法、装置、电子设备及存储介质，涉及计算机技术领域，具体涉及工业视觉、深度学习、流媒体和信息流等技术领域。具体实现方案为：获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息；根据所述进程信息，启动所述流媒体服务进程；利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。

Description

流媒体服务的处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，具体涉及工业视觉、深度学习、流媒体和信息流等技术领域。
背景技术
实时流式传输是指采集到的音视频数据使用实时传输协议在网络上传输，需要关注采集端情况的任何人或设备都可以通过网络实时获取。实时流式传输是流媒体传输的一种实现方式。实时流式传输的实现需要基于专用的流媒体服务与传输协议。
目前，相关技术中通常是通过搭建多个服务和组件来实现流媒体服务。
发明内容
本公开提供了一种流媒体服务的处理方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种流媒体服务的处理方法，包括：
获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息；
根据所述进程信息，启动所述流媒体服务进程；
利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
根据本公开的另一方面，提供了一种流媒体服务的处理装置，包括：
获取单元，用于获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息；
启动单元，用于根据所述进程信息，启动所述流媒体服务进程；
控制单元，用于利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
根据本公开的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
由上述技术方案可知，本公开实施例通过获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息，进而可以根据所述进程信息，启动所述流媒体服务进程，使得能够利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理，由于根据输入源的注册信息启动和控制流媒体服务进程对输入源的流媒体数据进行处理，即可以利用独立的流媒体服务进程对输入源的流媒体数据进行处理，实现了对输入源的流媒体数据的处理过程的有效管理，可以提高流媒体服务整体的可用率，从而保障了流媒体服务的可靠性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第二实施例的流媒体服务的架构示意图；
图4是根据本公开第二实施例的流媒体服务进程的执行原理的示意图；
图5是根据本公开第二实施例的流管理模块的状态机的原理的示意图；
图6是根据本公开第二实施例的流媒体服务的处理方法的集群部署的示意图；
图7是根据本公开第三实施例的示意图；
图8是用来实现本公开实施例的流媒体服务的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理（Personal Digital Assistant，PDA）、无线手持设备、平板电脑（TabletComputer）等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
流媒体(Streaming Media)就是指采用流式传输技术在网络上连续实时播放的媒体格式，如音频、视频或多媒体文件。流媒体技术也称流式媒体技术。流媒体技术是指将一连串的媒体数据压缩后，以流的方式在网络中分段传送，实现在网络上实时传输影音以供观赏的一种技术。流媒体最主要的技术特征是流式传输。流式传输是指通过网络传送媒体技术的总称。实现流式传输主要有两种方式：顺序流式传输( progressive streaming)和实时流式传输( real time streaming)。
其中，实时流式传输是指采集到的音视频数据使用实时传输协议在网络上传输，需要关注采集端情况的任何人或设备都可以通过网络实时获取。实时流式传输是流媒体传输的一种实现方式。实时流式传输的实现需要基于专用的流媒体服务与传输协议。
目前，相关技术中通常是通过搭建多个服务和组件来实现流媒体服务。例如，基于openCV软件库和多个组件开发地定制化流媒体服务，是在流媒体服务拉取到输入源的数据后，利用基于openCV的人工智能（Artificial Intelligence，AI）服务完成对数据的AI分析处理，再将分析处理后的数据发送给流媒体服务，流媒体服务利用多个服务和组件来完成流媒体服务的推流，以完成整个流媒体服务。但是，相关技术的方案搭建涉及到多个服务和组件，部署繁琐，使得出错的风险会增高。而且，一旦出现问题，问题的分析定位也会变得比较困难，从而导致维护困难，服务稳定性低。
此外，相关技术的方案中，由于流媒体服务和基于openCV的AI服务之间需要来回发送数据，导致了时间的延迟变大，并且一旦中间某个环节出现问题，会导致延迟不可控。而且，在实际工业生产中不需要AI分析的视频帧可能会被丢掉，因此，可能导致流媒体服务推送出的视频的流畅度变差。
因此，亟需提供一种流媒体服务的处理方法，能够实现有效管理流媒体服务，从而保障流媒体服务的可靠性。
图1是根据本公开第一实施例的示意图，如图1所示。
101、获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息。
102、根据所述进程信息，启动所述流媒体服务进程。
103、利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
需要说明的是，所述输入源可以包括用于采集音频、视频或多媒体文件等流媒体数据的设备。例如，摄像头等。所述输入源数量可以是一个或者多个。
需要说明的是，所述输入源可以通过流媒体服务的预设接口进行注册，以生成输入源的注册信息。
需要说明的是，所述输入源的流媒体服务进程的进程信息可以是输入源的注册标识，例如，输入源ID。
需要说明的是，所述输入源的流媒体地址信息可以包括输入源的流媒体数据的输入地址和输出地址。其中，流媒体数据的输入地址可以是流媒体数据的网络地址，即统一资源定位器（Uniform Resource Locator, URL）。流媒体数据的输出地址可以是具有输入源ID的地址。
需要说明的是，对所述输入源的流媒体数据进行处理之后，可以利用预设的流媒体协议对处理后的流媒体数据进行协议封装和保存。
需要说明的是，101~103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包（SoftwareDevelopment Kit，SDK）等功能单元，或者还可以为位于网络侧服务器中的流媒体服务器，或者还可以为位于网络侧的分布式系统，例如，网络侧的流媒体服务器或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序（nativeApp），或者还可以是本地终端上的浏览器的一个网页程序（webApp），本实施例对此不进行限定。
这样，可以通过获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息，进而可以根据所述进程信息，启动所述流媒体服务进程，使得能够利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理，由于根据输入源的注册信息启动和控制流媒体服务进程对输入源的流媒体数据进行处理，即可以利用独立的流媒体服务进程对输入源的流媒体数据进行处理，实现了对输入源的流媒体数据的处理过程的有效管理，可以提高流媒体服务整体的可用率，从而保障了流媒体服务的可靠性。
可选地，在本实施例的一个可能的实现方式中，在103中，具体可以利用所述流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，以获得识别后的流媒体数据。
在该实现方式中，预设的图像分析模型可以是根据业务需求所预先训练的图像分析模型。预设的图像分析模型可以对流媒体数据中的视频帧图像进行识别分析，获得业务所需的标记信息。
例如，在无人厂房中，通过预设的图像分析模型，可以识别和标记出采集的视频中出现的人。
在该实现方式的一个具体实现过程中，可以在利用所述流媒体地址信息，控制所述流媒体服务进程获取所述输入源的流媒体数据，进而可以控制所述流媒体服务进程根据预设的图像分析模型，对所获取的所述输入源的流媒体数据进行识别，以获得识别后的流媒体数据。
在该实现方式的另一个具体实现过程中，可以在利用所述流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别之前，可以先控制所述流媒体服务进程对所述输入源的流媒体数据进行预处理。
在该具体实现过程中，所述预处理可以包括对所述输入源的流媒体数据进行解码，将解码后的流媒体数据存储至缓存队列。同时，对解码后的流媒体数据进行抽帧处理，获得帧数据，进而可以再根据预设的图像分析模型，对帧数据进行识别，获得帧数据识别结果。
具体地，在获得帧数据识别结果与获得识别后的流媒体数据之间，还可以将帧数据识别结果和缓存队列中的流媒体数据进行渲染融合，再对渲染融合结果进行编码，以获得识别后的流媒体数据。
具体地，帧数据可以包括但不限于视频帧图像。
这样，在本实现方式中，可以通过利用流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，实现了对输入源的流媒体数据AI分析识别，可以获得结合了AI分析识别结果的流媒体数据，同时实现了对输入源的流媒体数据的识别操作的有效管控，从而进一步地保障了流媒体服务的可靠性。
而且，通过利用流媒体地址信息，控制流媒体服务进程根据预设的图像分析模型，对输入源的流媒体数据进行识别，还可以使得流媒体服务无需和其他AI服务进行交互传输，便可直接对输入源的流媒体数据进行AI分析识别处理。因此，可以避免相关技术中流媒体服务和AI服务交互传输导致的延迟时间，可以有效降低了对流媒体数据的处理时间。
在该实现方式的另一个具体实现过程中，在获得识别后的流媒体数据之后，可以利用所述流媒体地址信息，控制所述流媒体服务进程对所述识别后的流媒体数据进行输出。
在该具体实现过程中，所述流媒体地址信息以包括输入源的流媒体数据的输出地址。
具体地，可以根据输入源的流媒体数据的输出地址，控制所述流媒体服务进程对所述识别后的流媒体数据进行输出，进而可以利用预设的流媒体协议对输出的流媒体数据进行协议封装和保存，使得可以根据接收的业务服务器所发送的流媒体数据的获取请求，将所述获取请求对应的流媒体数据推送至该业务服务器。
示例性的，该预设的流媒体协议可以包括实时消息传输协议(Real TimeMessaging Protocol, RTMP)。
这样，可以通过利用流媒体地址信息，控制流媒体服务进程对识别后的流媒体数据进行输出，可以了解输入源的流媒体数据的输出情况，实现了有效地管理流媒体数据的输出，从而进一步地保障了流媒体服务的可靠性。
可选地，在本实施例的一个可能的实现方式中，在103中，具体还可以利用所述流媒体地址信息，控制所述流媒体服务进程对所述输入源的流媒体数据进行获取。
在该实现方式中，所述输入源的流媒体地址信息可以包括输入源的流媒体数据的输入地址。
在该实现方式的一个具体实现过程中，可以根据输入源的流媒体数据的输入地址URL，控制所述流媒体服务进程获取所述输入源的流媒体数据。
在该具体实现过程中，可以根据输入源的流媒体数据的输入地址URL，利用流媒体服务进程，拉取输入地址URL上的流媒体数据。
这样，可以通过利用流媒体地址信息，控制流媒体服务进程获取输入源的流媒体数据，可以获知输入源的流媒体数据的获取情况，实现了对流媒体数据的获取处理的有效管控，从而进一步地保障了流媒体服务的可靠性。
可选地，在本实施例的一个可能的实现方式中，在103中，具体可以利用所述输入源的流媒体地址信息，配置预设的流媒体引擎的所述输入源的参数信息，进而可以根据预设的流媒体引擎的所述输入源的参数信息，调用所述输入源的流媒体服务进程，即控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
在该实现方式的一个具体实现过程中，对于任意一个输入源，可以利用该输入源的流媒体地址信息，配置预设的流媒体引擎的相关参数信息，调用该预设的流媒体引擎中一个流媒体服务进程，对所述输入源的流媒体数据进行处理。
在该实现方式中，预设的流媒体引擎可以是可执行的二进制文件，可以通过命令行的方式调用。
具体地，预设的流媒体引擎可以是基于流媒体应用程序框架GStreamer所构建的引擎。Gstreamer框架是基于插件（plugin）和管道（pipeline）的体系结构，具备良好的功能可插拔性和易于扩展的能力。
这里，可以将预设的图像分析模型作为管道中的一个插件，由此，流媒体服务调用该预设的流媒体引擎中的流媒体服务进程，可以实现对输入源的流媒体数据进行AI分析识别处理。流媒体服务无需和其他AI服务进行交互传输便可以直接对输入源的流媒体数据进行AI分析识别处理。因此，可以避免相关技术中流媒体服务和AI服务交互传输导致的延迟时间，可以有效降低了对流媒体数据，例如，视频流的处理时间，从而可以减少流媒体服务推送出的视频的播放延迟，即还可以减少流媒体播放端的播放延迟。
并且，可以基于预设的流媒体引擎，实现控制流媒体服务进程对流媒体数据编解码的复用。由此通过复用视频解码数据，减少对流媒体数据的编解码次数，也可以降低延迟时长。
需要说明的是，本实现方式中所提供的控制基于预设的流媒体引擎的流媒体服务进程进行数据处理的多种具体实现过程，可以结合前述实现方式中所提供的控制所述流媒体服务进程进行数据处理的多种具体实现过程，来实现本实施例的流媒体服务的处理方法。详细的描述可以参见前述实现方式中的相关内容，此处不再赘述。
可选地，在本实施例的一个可能的实现方式中，在103之后，进一步地可以获取所述流媒体服务进程对所述输入源的流媒体数据的处理情况，进而可以根据所述处理情况，对所述流媒体服务进程进行管理。
在该实现方式中，所述处理情况可以包括但不限于建立连接、获取成功、获取失败、由获取成功变为获取失败，即处理中断、以及由获取失败变为建立连接。
在该实现方式的一个具体实现过程中，若所述处理情况为由获取成功变为获取失败，则终止所述输入源的流媒体服务进程。
在该实现方式的另一个具体实现过程中，若所述处理情况为获取失败，则按照预设周期利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行获取。
在该具体实现过程中，可以按照预设周期根据输入源的流媒体数据的输入地址URL，控制所述流媒体服务进程获取所述输入源的流媒体数据。
在该具体实现过程中，可以按照预设周期根据输入源的流媒体数据的输入地址URL，利用流媒体服务进程，拉取输入地址URL上的流媒体数据。在这此过程中，所述处理情况可以是由获取失败变为建立连接。可以理解的是，当流媒体服务进程拉取到输入地址URL上的流媒体数据时，所述处理情况可以是获取成功，同时，可以标记处理情况为获取成功。
可以理解的是，预设周期可以是根据实际业务需求所设置的时间周期。例如，预设周期可以是2秒。
这样，可以通过根据所获取的流媒体服务进程对所述输入源的流媒体数据的处理情况，对流媒体服务进程进行管理，可以及时了解数据处理的情况，再根据数据处理情况，及时调整流媒体服务进程，实现了流媒体服务对输入源的流媒体数据处理过程的有效管理，从而提升了流媒体服务的可控性。
而且，还可以及时终止获取失败的流媒体服务进程，以及可以对获取失败的流媒体服务进程按照一定周期进行自检恢复，从而可以优化资源的使用率。
需要说明的是，本实现方式中所提供的对流媒体服务进程进行管理的多种具体实现过程，可以结合前述实现方式中所提供的控制所述流媒体服务进程进行数据处理的多种具体实现过程，来实现本实施例的流媒体服务的处理方法。详细的描述可以参见前述实现方式中的相关内容，此处不再赘述。
可选地，在本实施例的一个可能的实现方式中，在103之后，还可以获取所述输入源的移除指令，进而可以根据所述移除指令，终止所述输入源的流媒体服务进程和移除所述输入源的流媒体数据。
在该实现方式中，可以从业务服务器或者播放客户端获取所述输入源的移除指令。
在该实现方式的一个具体实现过程中，所述处理情况可以包括已移除。进一步地可以根据所述移除指令，终止所述输入源的流媒体服务进程、移除所述输入源的流媒体数据、以及标记处理情况为已移除。
具体地，可以移除相关数据库中的所述输入源的流媒体数据。
这样，可以通过根据所获取的输入源的移除指令，终止所述输入源所对应的流媒体服务进程和移除所述输入源的流媒体数据。由此，可以实现流媒体服务直接不再拉取该输入源的流媒体数据和移除该输入源的流媒体数据，无需再与流媒体服务以外其他服务进行交互来终止拉取数据的操作，降低了业务服务处理流程的复杂度，提升了流媒体服务功能的复合性。
可选地，在本实施例的一个可能的实现方式中，所述流媒体服务部署于流媒体服务集群中的每个节点上。
在该实现方式中，可以将实现流媒体服务的处理方法的流媒体服务分别部署于该流媒体服务集群的节点上。该流媒体服务可以是用于实现该流媒体服务的处理方法的软件架构。
在该实现方式中，所述流媒体服务集群可以包括至少一个主节点和至少一个从节点。
具体地，可以将实现流媒体服务的处理方法的流媒体服务可以部署于该流媒体服务集群中的至少一个主节点和至少一个从节点上，即该流媒体服务分别部署于该流媒体服务集群中的每个节点上。
可以理解的是，还可以将执行本实施例中的流媒体服务的处理方法的流媒体服务器分别部署于该流媒体服务集群中的至少一个主节点和至少一个从节点上。
在该实现方式的一个具体实现过程中，所述流媒体服务集群还可以包括数据库。该数据库可以存储流媒体服务集群中每个节点的相关信息。
具体地，任意一个主节点或从节点启动过程中，可以将该节点自身的角色信息和节点信息存储至数据库中。在运行的过程中，从节点可以定期发送当前承载能力等相关信息到每个主节点。用户的流媒体服务请求可以通过主节点转发到相应的从节点进行处理。
在该实现方式中，可以根据实际的业务应用场景，配置指定流媒体服务集群的流媒体服务的调度策略。
具体地，流媒体服务的调度策略可以包括但不限于集中式调度策略和平均式调度策略。
具体地，集中式调度策略可以为优先向承载流路数最多，且承载能力未达到上限的从节点调度。平均式调度策略可以为优先向承载流路数最少的从节点调度。这里，流路数可以是指输入源的数量，即用户的流媒体服务请求的数量。
这样，可以通过将具有复合服务功能的流媒体服务部署在流媒体服务服务集群中，可以实现流媒体服务对集群部署的支持，可以在尽量不影响业务使用下完成节点的扩容。而且，还可以进一步地降低了部署流媒体服务的时间成本和出错率。
需要说明的是，本实现方式中所提供的控制所述流媒体服务进程进行数据处理的多种具体实现过程，可以结合前述实现方式中所提供的控制所述流媒体服务进程进行数据处理的多种具体实现过程和对流媒体服务进程进行管理的多种具体实现过程，来实现本实施例的流媒体服务的处理方法。详细的描述可以参见前述实现方式中的相关内容，此处不再赘述。
本实施例中，可以通过获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息，进而可以根据所述进程信息，启动所述流媒体服务进程，使得能够利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理，由于根据输入源的注册信息启动和控制流媒体服务进程对输入源的流媒体数据进行处理，即可以利用独立的流媒体服务进程对输入源的流媒体数据进行处理，实现了对输入源的流媒体数据的处理过程的有效管理，可以提高流媒体服务整体的可用率，从而保障了流媒体服务的可靠性。
另外，采用本实施例所提供的技术方案，可以通过利用流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，实现了对输入源的流媒体数据AI分析识别，可以获得结合了AI分析识别结果的流媒体数据，同时实现了对输入源的流媒体数据的识别操作的有效管控，从而进一步地保障了流媒体服务的可靠性。而且，通过利用流媒体地址信息，控制流媒体服务进程根据预设的图像分析模型，对输入源的流媒体数据进行识别，还可以使得流媒体服务无需和其他AI服务进行交互传输，便可直接对输入源的流媒体数据进行AI分析识别处理。因此，可以避免相关技术中流媒体服务和AI服务交互传输导致的延迟时间，可以有效降低了对流媒体数据的处理时间。
另外，采用本实施例所提供的技术方案，可以通过利用流媒体地址信息，控制流媒体服务进程对识别后的流媒体数据进行输出，可以了解输入源的流媒体数据的输出情况，实现了有效地管理流媒体数据的输出，从而进一步地保障了流媒体服务的可靠性。
另外，采用本实施例所提供的技术方案，可以通过根据所获取的流媒体服务进程对所述输入源的流媒体数据的处理情况，对流媒体服务进程进行管理，可以及时了解数据处理的情况，再根据数据处理情况，及时调整流媒体服务进程，实现了流媒体服务对输入源的流媒体数据处理过程的有效管理，从而提升了流媒体服务的可控性。
而且，还可以及时终止获取失败的流媒体服务进程，以及可以对获取失败的流媒体服务进程按照一定周期进行自检恢复，从而可以优化资源的使用率。
另外，采用本实施例所提供的技术方案，可以通过根据所获取的输入源的移除指令，终止所述输入源的流媒体服务进程和移除所述输入源的流媒体数据。由此，可以实现流媒体服务直接不再拉取该输入源的流媒体数据和移除该输入源的流媒体数据，无需再与流媒体服务以外其他服务进行交互来终止拉取数据的操作，降低了业务服务处理流程的复杂度，提升了流媒体服务功能的复合性。
另外，采用本实施例所提供的技术方案，可以通过将具有复合服务功能的流媒体服务部署在流媒体服务服务集群中，可以实现流媒体服务对集群部署的支持，可以在尽量不影响业务使用下完成节点的扩容。而且，还可以进一步地降低了部署流媒体服务的时间成本和出错率。
图2是根据本公开第二实施例的示意图，如图2所示。
在本实施例中，图3是根据本公开第二实施例的流媒体服务的架构示意图。如图3所示，流媒体服务的架构可以包括流媒体服务层（server）、流媒体引擎层（engine）、以及存储数据库。该流媒体服务可以部署在流媒体服务器上。
其中，流媒体服务层可以包括但不限于流管理模块、RTMP服务模块、以及应用程序接口(Application Programming Interface, API)。
流媒体引擎层可以是可执行的二进制文件，通过命令行界面(command-lineinterface, CLI)的方式调用。流媒体引擎层可以包括多个流媒体服务进程。
具体地，流媒体引擎层即可以是预设的流媒体引擎。通过配置预设的流媒体引擎的输入源的参数信息，可以调用与输入源的对应的流媒体服务进程。其中，一个流媒体服务进程可以对应于一个输入源。
存储数据库可以用于存储输入源的注册信息和输入源的流媒体数据等。
201、获取输入源的流媒体服务进程的进程信息和输入源的流媒体地址信息。
在本实施例中，输入源可以通过流媒体服务的API在流管理模块进行注册，以生成输入源的注册信息。注册信息包括输入源的流媒体服务进程的进程信息和输入源的流媒体地址信息。流媒体服务的输入源也可称为源流。
具体地，输入源的流媒体服务进程的进程信息可以是输入源的注册标识，例如，输入源ID，即streamID。
输入源的流媒体地址信息可以包括输入源的流媒体数据的输入地址和输入源的流媒体数据的输出地址。
例如，输入源的流媒体数据的输入地址可以是URL地址；输入源的流媒体数据的输出地址可以是rtmp://xxxxx/streamID。
202、根据进程信息，启动流媒体服务进程。
203、利用流媒体地址信息，控制输入源的流媒体服务进程获取输入源的流媒体数据。
具体地，流媒体服务层的流管理模块利用流媒体地址信息，调用输入源的流媒体服务进程。流媒体服务进程，根据流媒体地址信息中的的输入地址，获取输入源的流媒体数据。
204、利用流媒体地址信息，控制流媒体服务进程根据预设的图像分析模型，识别输入源的流媒体数据，以获得识别后的流媒体数据。
在本实施例中，图4是根据本公开第二实施例的流媒体服务进程的执行原理的示意图。
如图4所示，首先，流媒体服务进程可以对输入源的流媒体数据进行解码，将解码后的流媒体数据存储至缓存队列。同时，对解码后的流媒体数据进行抽帧处理，获得帧数据。
然后，可以将帧数据输入AI分析模型，即预设的图像分析模型，输出分析结果。再次，将分析结果和缓存队列中的解码后的流媒体数据进行渲染融合，再对渲染融合结果进行编码，以获得识别后的流媒体数据。
最后，对所获得的识别后的流媒体数据进行推流处理，进而可以将识别后的流媒体数据输出。
在本实施例中，流媒体服务进程是基于流媒体引擎层的进程，即是基于预设的流媒体引擎的进程。该预设的流媒体引擎可以是基于GStreamer框架所构建的引擎。Gstreamer框架可以包括插件和管道。预设的图像分析模型可以作为管道中的一个插件，以实现对输入源的流媒体数据进行AI分析识别处理。
此外，这里，流媒体服务对每个输入源单独调用一个流媒体服务进程进行流媒体数据的处理。由此可以有效避免输入源相互之间的干扰，即若某一个输入源发生了故障，不会对其他输入源的处理进程构成影响，可以实现故障隔离，从而增强了流媒体服务的容错能力。
205、利用流媒体地址信息，控制流媒体服务进程输出识别后的流媒体数据。
在本实施例中，可以利用流媒体地址信息中的输出地址，将识别后的流媒体数据输出至流媒体服务的RTMP服务模块。
206、利用RTMP协议对所输出的识别后的流媒体数据进行协议封装和保存。
在本实施例中，流媒体服务层的RTMP服务模块可以利用RTMP协议对所输出的识别后的流媒体数据进行协议封装和保存。
可选地，RTMP服务模块还可以对所输出的识别后的流媒体数据进行录制等操作。
207、获取流媒体服务进程对输入源的流媒体数据的处理情况。
208、根据处理情况，对流媒体服务进程进行管理。
在本实施例中，流媒体服务的流管理模块的核心功能是通过状态机实现的。流管理模块的流管理功能使用的是标准的注册机制。输入源需要在流管理模块进行注册，以获得输入源的streamID。
此外，对于需要使用输入源的流媒体数据的用户，可以基于sreamID对输入源的流媒体数据进行相关操作。例如，基于sreamID访问和获取输入源的流媒体数据。
在本实施例中，图5是根据本公开第二实施例的流管理模块的状态机的原理的示意图。
在流媒体服务中，一路输入源的流媒体数据可以主要存在四种状态。如图5所示。
连接状态connecting：是指流媒体服务和输入源建立连接的过程，该过程中通过流管理模块调用流媒体引擎的流媒体进程，以获取输入源的流媒体数据。
在线状态online：是指流媒体服务成功获取到输入源的流媒体数据的状态。
离线状态offline：是指流媒体服务获取输入源的流媒体数据失败的状态。
关闭状态closing：是指输入源从流媒体服务中移除的状态。
在连接状态、在线状态、以及离线状态分别进行注销操作，可以分别转换至关闭状态。在线状态下，若处理中断，在线状态转换至离线状态。
在本实施例中，处理情况可以包括但不限于建立连接、获取成功、获取失败、由获取成功变为获取失败，即处理中断、以及由获取失败变为建立连接。
具体地，流媒体服务进程对输入源的流媒体数据的处理情况，即输入源在流管理模块（状态机）中的运行情况可以包括：
1.注册一路输入源到流媒体服务中时，初期状态是connecting，即处理情况为建立连接。
2.流管理模块通过调用流媒体服务进程获取输入源的流媒体数据，并可以将输入源的流媒体数据转推给RTMP服务模块，如果输入源的流媒体数据获取成功，状态变为online，即处理情况为获取成功，否则，状态变为offline，即处理情况为获取失败。
3.如果首次获取输入源的流媒体数据成功后，即建立连接完成后，若发生由于网络故障或输入源故障导致数据不能持续获取到问题，状态由online变为offline，输入源的流媒体数据的处理情况为由获取成功变为获取失败，关闭该输入源对应的流媒体服务进程。
4.流管理模块可以按照一定频率自检状态为offline的输入源，并尝试恢复，此时状态从offline变为connecting，该输入源的流媒体数据的处理情况为由获取失败变为建立连接。
5.若输入源需要从流媒体服务中移除时，该输入源的状态会被标记为closing，流管理模块会释放该状态下的输入源的流媒体数据等资源，最后从数据库中移除该状态下的输入源的相关记录。
可以理解的是，本实施例的流媒体服务的处理方法可以应用场景可以包括不限于工业应用场景、影音娱乐应用场景、安防应用场景、以及交通应用场景。其中，工业应用场景可以不限于无人厂房管理和物流仓储管理等。影音娱乐应用场景可以不限于视频直播和视频播放等。
图6是根据本公开第二实施例的流媒体服务的处理方法的集群部署的示意图，如图6所示。
在本实施例中，流媒体服务的处理方法可以应用于流媒体服务集群。该流媒体服务集群可以包括多个主节点（master1、master2、……）、多个从节点（slave1、slave2、slave3、……）、以及用于存储节点信息的数据库。
具体地，可以将实现流媒体服务的处理方法的流媒体服务分别部署于该流媒体服务集群的多个主节点和多个从节点中。该流媒体服务可以是用于实现该流媒体服务的处理方法的软件架构。
可以理解的是，还可以将执行本实施例中的流媒体服务的处理方法的流媒体服务器分别部署于该流媒体服务集群的多个主节点和多个从节点中。
具体地，master节点或slave节点启动时，可以将自身的角色信息和节点信息存储至数据库中。
在运行的过程中，slave节点可以定期发送当前承载能力等相关信息到master节点。用户请求可以通过master节点转发到相应的slave节点处理。
在本实施例中，可以根据实际的业务应用场景，配置指定流媒体服务集群的流媒体服务的调度策略。
具体地，调度策略可以包括但不限于集中式调度策略和平均式调度策略。
其中，集中式调度策略为优先向承载流路数最多，且承载能力未达到上限的slave节点调度。平均式调度策略为优先向承载流路数最少的slave节点调度。这里，流路数可以是指输入源的数量。
本实施例中，可以通过获取输入源的注册信息，所述注册信息包括所述输入源所对应的流媒体服务进程的进程信息和所述输入源的流媒体地址信息，进而可以根据所述进程信息，启动所述流媒体服务进程，使得能够利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理，由于根据输入源的注册信息启动和控制流媒体服务进程对输入源的流媒体数据进行处理，即可以利用独立的流媒体服务进程对输入源的流媒体数据进行处理，实现了对输入源的流媒体数据的处理过程的有效管理，可以提高流媒体服务整体的可用率，从而保障了流媒体服务的可靠性。
另外，采用本实施例所提供的技术方案，可以将流管理功能和流媒体数据的处理功能集合于一体流媒体服务，使得流媒体服务基本不依赖于外部其他服务。
另外，采用本实施例所提供的技术方案，流媒体服务可以对每个输入源单独调用一个流媒体服务进程进行流媒体数据的处理。由此可以有效避免输入源相互之间的干扰，即若某一个输入源发生了故障，不会对其他输入源的处理进程构成影响，可以实现故障隔离，从而增强了流媒体服务的容错能力，提高了流媒体服务整体的可用率。
另外，采用本实施例所提供的技术方案，可以通过获取输入源的输入源所对应的流媒体服务进程的进程信息和所述输入源的流媒体地址信息，进而可以根据所述进程信息，启动所述流媒体服务进程，使得能够利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。由此可以实现对输入源的流媒体数据的处理过程管控，可以把流管理功能从业务剥离，不仅可以降低业务实现的复杂度，也使流媒体服务的功能高内聚，从而可以在多种业务场景复用流媒体组件，减少重复开发成本。
另外，采用本实施例所提供的技术方案，可以通过在流媒体服务进程中内置AI分析能力，流媒体服务可以实现对输入源的流媒体数据进行AI分析识别处理。流媒体服务无需和其他AI服务进行交互传输便可以直接对输入源的流媒体数据进行AI分析识别处理。因此，可以避免相关技术中流媒体服务和AI服务交互传输导致的延迟时间，可以有效降低了对流媒体数据，例如，视频流的处理时间，进而还可以减少流媒体播放端的视频流播放延迟。而且，一方面，不需要分析的流媒体数据的视频帧也可以不需要丢弃，保证了流媒体服务推送出的视频的流畅度。另一方面，如果某一视频帧在AI分析过程中耗费时间过长时，可以丢弃该视频帧分析结果，优先保证流媒体服务推送出的视频延迟可控。
另外，采用本实施例所提供的技术方案，可以通过将流媒体服务部署在服务集群中，可以实现对集群的支持，从而可以在尽量不影响业务使用下完成节点的扩容。而且，流媒体服务的部署包在部署上只需要满足硬件要求及系统库版本要求，降低了部署流媒体服务的时间成本和出错率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图7是根据本公开第三实施例的示意图，如图7所示。本实施例的流媒体服务的处理装置700可以包括获取单元701、启动单元702、和控制单元703。其中，获取单元701，用于获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息；启动单元702，用于根据所述进程信息，启动所述流媒体服务进程；控制单元703，用于利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
需要说明的是，本实施例的流媒体服务的处理装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包（Software Development Kit，SDK）等功能单元，或者还可以为位于网络侧服务器中的流媒体服务器，或者还可以为位于网络侧的分布式系统，例如，网络侧的流媒体服务器或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序（nativeApp），或者还可以是本地终端上的浏览器的一个网页程序（webApp），本实施例对此不进行限定。
可选地，在本实施例的一个可能的实现方式中，所述控制单元703，可以具体用于利用所述流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，以获得识别后的流媒体数据。
可选地，在本实施例的一个可能的实现方式中，所述控制单元703，还用于利用所述流媒体地址信息，控制所述流媒体服务进程对所述识别后的流媒体数据进行输出。
可选地，在本实施例的一个可能的实现方式中，所述控制单元703，还用于获取所述流媒体服务进程对所述输入源的流媒体数据的处理情况；根据所述处理情况，对所述流媒体服务进程进行管理。
可选地，在本实施例的一个可能的实现方式中，所述控制单元703，可以具体用于若所述处理情况为由获取成功变为获取失败，则终止所述输入源的流媒体服务进程。
可选地，在本实施例的一个可能的实现方式中，所述控制单元703，可以具体用于若所述处理情况为获取失败，则按照预设周期利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行获取。
可选地，在本实施例的一个可能的实现方式中，所述控制单元703，还可以用于获取所述输入源的移除指令；根据所述移除指令，终止所述输入源的流媒体服务进程和移除所述输入源的流媒体数据。
可选地，在本实施例的一个可能的实现方式中，所述流媒体服务部署于流媒体服务集群中的节点上。
可选地，在本实施例的一个可能的实现方式中，所述流媒体服务集群包括至少一个主节点和至少一个从节点。
本实施例中，可以通过获取单元获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息，进而启动单元可以根据所述进程信息，启动所述流媒体服务进程，使得控制单元能够利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理，由于根据输入源的注册信息启动和控制流媒体服务进程对输入源的流媒体数据进行处理，即可以利用独立的流媒体服务进程对输入源的流媒体数据进行处理，实现了对输入源的流媒体数据的处理过程的有效管理，可以提高流媒体服务整体的可用率，从而保障了流媒体服务的可靠性。
另外，采用本实施例所提供的技术方案，可以通过利用流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，实现了对输入源的流媒体数据AI分析识别，可以获得结合了AI分析识别结果的流媒体数据，同时实现了对输入源的流媒体数据的识别操作的有效管控，从而进一步地保障了流媒体服务的可靠性。而且，通过利用流媒体地址信息，控制流媒体服务进程根据预设的图像分析模型，对输入源的流媒体数据进行识别，还可以使得流媒体服务无需和其他AI服务进行交互传输，便可直接对输入源的流媒体数据进行AI分析识别处理。因此，可以避免相关技术中流媒体服务和AI服务交互传输导致的延迟时间，可以有效降低了对流媒体数据的处理时间。
另外，采用本实施例所提供的技术方案，可以通过利用流媒体地址信息，控制流媒体服务进程对识别后的流媒体数据进行输出，可以了解输入源的流媒体数据的输出情况，实现了有效地管理流媒体数据的输出，从而进一步地保障了流媒体服务的可靠性。
另外，采用本实施例所提供的技术方案，可以通过根据所获取的流媒体服务进程对所述输入源的流媒体数据的处理情况，对流媒体服务进程进行管理，可以及时了解数据处理的情况，再根据数据处理情况，及时调整流媒体服务进程，实现了流媒体服务对输入源的流媒体数据处理过程的有效管理，从而提升了流媒体服务的可控性。
而且，还可以及时终止获取失败的流媒体服务进程，以及可以对获取失败的流媒体服务进程按照一定周期进行自检恢复，从而可以优化资源的使用率。
另外，采用本实施例所提供的技术方案，可以通过根据所获取的输入源的移除指令，终止所述输入源的流媒体服务进程和移除所述输入源的流媒体数据。由此，可以实现流媒体服务直接不再拉取该输入源的流媒体数据和移除该输入源的流媒体数据，无需再与流媒体服务以外其他服务进行交互来终止拉取数据的操作，降低了业务服务处理流程的复杂度，提升了流媒体服务功能的复合性。
另外，采用本实施例所提供的技术方案，可以通过将具有复合服务功能的流媒体服务部署在流媒体服务服务集群中，可以实现流媒体服务对集群部署的支持，可以在尽量不影响业务使用下完成节点的扩容。而且，还可以进一步地降低了部署流媒体服务的时间成本和出错率。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器（ROM）802中的计算机程序或者从存储单元808加载到随机访问存储器（RAM）803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如流媒体服务的处理方法。例如，在一些实施例中，流媒体服务的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的流媒体服务的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行流媒体服务的处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种流媒体服务的处理方法，包括：
获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息；
根据所述进程信息，启动所述流媒体服务进程；
利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
2.根据权利要求1所述的方法，其中，所述利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理，包括：
利用所述流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，以获得识别后的流媒体数据。
3.根据权利要求2所述的方法，其中，所述利用所述流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，以获得识别后的流媒体数据之后，还包括：
利用所述流媒体地址信息，控制所述流媒体服务进程对所述识别后的流媒体数据进行输出。
4.根据权利要求1-3中任一项所述的方法，其中，所述利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理之后，还包括：
获取所述流媒体服务进程对所述输入源的流媒体数据的处理情况；
根据所述处理情况，对所述流媒体服务进程进行管理。
5.根据权利要求4所述的方法，其中，所述根据所述处理情况，对所述流媒体服务进程进行管理，包括：
若所述处理情况为由获取成功变为获取失败，则终止所述输入源的流媒体服务进程；或者
若所述处理情况为获取失败，则按照预设周期利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行获取。
6.根据权利要求1-3、5中任一项所述的方法，其中，所述利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理之后，还包括：
获取所述输入源的移除指令；
根据所述移除指令，终止所述输入源的流媒体服务进程和移除所述输入源的流媒体数据。
7.根据权利要求6所述的方法，其中，所述流媒体服务部署于流媒体服务集群中的节点上。
8.根据权利要求7所述的方法，其中，
所述流媒体服务集群包括至少一个主节点和至少一个从节点。
9.一种流媒体服务的处理装置，包括：
获取单元，用于获取输入源的注册信息，所述注册信息包括所述输入源的流媒体服务进程的进程信息和所述输入源的流媒体地址信息；
启动单元，用于根据所述进程信息，启动所述流媒体服务进程；
控制单元，用于利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行处理。
10.根据权利要求9所述的装置，其中，所述控制单元，具体用于
利用所述流媒体地址信息，控制所述流媒体服务进程根据预设的图像分析模型，对所述输入源的流媒体数据进行识别，以获得识别后的流媒体数据。
11.根据权利要求10所述的装置，其中，所述控制单元，还用于
利用所述流媒体地址信息，控制所述流媒体服务进程对所述识别后的流媒体数据进行输出。
12.根据权利要求9-11中任一项所述的装置，其中，所述控制单元，还用于
获取所述流媒体服务进程对所述输入源的流媒体数据的处理情况；
根据所述处理情况，对所述流媒体服务进程进行管理。
13.根据权利要求12所述的装置，其中，所述控制单元，具体用于
若所述处理情况为由获取成功变为获取失败，则终止所述输入源的流媒体服务进程；或者
若所述处理情况为获取失败，则按照预设周期利用所述流媒体地址信息，控制所述流媒体服务进程，对所述输入源的流媒体数据进行获取。
14.根据权利要求9-11、13中任一项所述的装置，其中，所述控制单元，还用于
获取所述输入源的移除指令；
根据所述移除指令，终止所述输入源的流媒体服务进程和移除所述输入源的流媒体数据。
15.根据权利要求14所述的装置，其中，所述流媒体服务部署于流媒体服务集群中的节点上。
16.根据权利要求15所述的装置，其中，
所述流媒体服务集群包括至少一个主节点和至少一个从节点。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202210280690.5A 2022-03-22 2022-03-22 流媒体服务的处理方法、装置、电子设备及存储介质 Active CN114401254B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210280690.5A CN114401254B (zh) 2022-03-22 2022-03-22 流媒体服务的处理方法、装置、电子设备及存储介质
US17/975,677 US11902346B2 (en) 2022-03-22 2022-10-28 Method and apparatus for processing streaming media service, electronic device, and storage medium
EP22206213.5A EP4250684A1 (en) 2022-03-22 2022-11-08 Method and apparatus for processing streaming media service, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210280690.5A CN114401254B (zh) 2022-03-22 2022-03-22 流媒体服务的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114401254A true CN114401254A (zh) 2022-04-26
CN114401254B CN114401254B (zh) 2022-11-25

Family

ID=81235196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210280690.5A Active CN114401254B (zh) 2022-03-22 2022-03-22 流媒体服务的处理方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11902346B2 (zh)
EP (1) EP4250684A1 (zh)
CN (1) CN114401254B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791931A (zh) * 2017-01-05 2017-05-31 上海浦东软件园汇智软件发展有限公司 一种数据流转码的方法及设备
CN111654674A (zh) * 2020-06-04 2020-09-11 上海鸢安智能科技有限公司 基于单个ffmpeg进程并行处理多个视频源的方法、软件系统、终端
CN112261289A (zh) * 2020-10-16 2021-01-22 海信视像科技股份有限公司 显示设备及ai算法结果获取方法
CN112965804A (zh) * 2021-03-25 2021-06-15 深圳市优必选科技股份有限公司 一种处理信息的方法、装置、终端、系统以及存储介质
CN113225537A (zh) * 2021-05-10 2021-08-06 合肥中科类脑智能技术有限公司 一种视频图像分析系统及方法
CN113285931A (zh) * 2021-05-12 2021-08-20 阿波罗智联(北京)科技有限公司 流媒体的传输方法、流媒体服务器及流媒体系统
CN113923401A (zh) * 2021-08-16 2022-01-11 杜鹢 图像分析运维实现方法及图像分析运维系统
US20220030310A1 (en) * 2019-09-23 2022-01-27 Shanghai Illuminera Digital Technology Co., Ltd. Big data acquisition and analysis system using intelligent image recognition, and application method thereof
CN114051120A (zh) * 2021-10-26 2022-02-15 远光软件股份有限公司 视频告警方法、装置、存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9154577B2 (en) 2011-06-06 2015-10-06 A10 Networks, Inc. Sychronization of configuration file of virtual application distribution chassis
CN103716681A (zh) 2013-12-06 2014-04-09 乐视网信息技术（北京）股份有限公司 一种码流切换方法及电子设备
EP3475880A4 (en) * 2016-06-23 2020-02-26 Capital One Services, LLC SYSTEM AND METHOD FOR AUTOMATIC DETECTION OF OBJECT DETECTION
CN111723727A (zh) * 2020-06-17 2020-09-29 平安科技（深圳）有限公司 基于边缘计算的云监控方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791931A (zh) * 2017-01-05 2017-05-31 上海浦东软件园汇智软件发展有限公司 一种数据流转码的方法及设备
US20220030310A1 (en) * 2019-09-23 2022-01-27 Shanghai Illuminera Digital Technology Co., Ltd. Big data acquisition and analysis system using intelligent image recognition, and application method thereof
CN111654674A (zh) * 2020-06-04 2020-09-11 上海鸢安智能科技有限公司 基于单个ffmpeg进程并行处理多个视频源的方法、软件系统、终端
CN112261289A (zh) * 2020-10-16 2021-01-22 海信视像科技股份有限公司 显示设备及ai算法结果获取方法
CN112965804A (zh) * 2021-03-25 2021-06-15 深圳市优必选科技股份有限公司 一种处理信息的方法、装置、终端、系统以及存储介质
CN113225537A (zh) * 2021-05-10 2021-08-06 合肥中科类脑智能技术有限公司 一种视频图像分析系统及方法
CN113285931A (zh) * 2021-05-12 2021-08-20 阿波罗智联(北京)科技有限公司 流媒体的传输方法、流媒体服务器及流媒体系统
CN113923401A (zh) * 2021-08-16 2022-01-11 杜鹢 图像分析运维实现方法及图像分析运维系统
CN114051120A (zh) * 2021-10-26 2022-02-15 远光软件股份有限公司 视频告警方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114401254B (zh) 2022-11-25
US20230319124A1 (en) 2023-10-05
EP4250684A1 (en) 2023-09-27
US11902346B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
JP7112919B2 (ja) スマート装置のタスク処理方法および装置
CN113556584B (zh) 云手机的截图传输方法、装置、电子设备和存储介质
CN105898506A (zh) 媒体文件的多屏播放方法和系统
CN109428864B (zh) 提高nginx-rtmp拉流服务质量的方法及装置
CN111880865A (zh) 多媒体数据推送方法、装置、电子设备及存储介质
CN113766146B (zh) 音视频处理方法、装置、电子设备及存储介质
CN110659330A (zh) 数据处理方法、装置及存储介质
CN110113298A (zh) 数据传输方法、装置、信令服务器和计算机可读介质
CN114401254B (zh) 流媒体服务的处理方法、装置、电子设备及存储介质
US20230283813A1 (en) Centralized streaming video composition
CN111212043A (zh) 一种多媒体文件的生成方法和装置
CN111885351A (zh) 一种屏幕显示方法、装置、终端设备和存储介质
CN113473158B (zh) 直播数据处理方法、装置、电子设备、介质
CN113411661B (zh) 用于记录信息的方法、装置、设备、存储介质及程序产品
CN114640893A (zh) 实时音视频通信系统的服务端对接方法以及装置
CN115022725A (zh) 一种视频播放方法和装置
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN111866508A (zh) 视频处理方法、装置、介质及电子设备
CN113727183B (zh) 直播推流方法、装置、设备、存储介质及计算机程序产品
CN113938457B (zh) 一种云手机应用远程摄像头的方法、系统和设备
CN113194277B (zh) 会议终端多屏幕视频的方法、装置及存储介质
CN111866491B (zh) 一种多人场景下主从交互式的3d视频展示方法及系统
CN110691256B (zh) 视频关联信息的处理方法、装置，服务器及存储介质
CN116489133A (zh) 一种视频播放方法、装置、电子设备及存储介质
CN114071185A (zh) 视频流下发的方法、相关装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant