CN108012085A - 一种多媒体信息处理方法、服务器及存储介质 - Google Patents

一种多媒体信息处理方法、服务器及存储介质 Download PDF

Info

Publication number
CN108012085A
CN108012085A CN201711377951.0A CN201711377951A CN108012085A CN 108012085 A CN108012085 A CN 108012085A CN 201711377951 A CN201711377951 A CN 201711377951A CN 108012085 A CN108012085 A CN 108012085A
Authority
CN
China
Prior art keywords
frame
data
write
stream medium
medium data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711377951.0A
Other languages
English (en)
Other versions
CN108012085B (zh
Inventor
陈志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shanghai Co Ltd
Original Assignee
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shanghai Co Ltd filed Critical Tencent Technology Shanghai Co Ltd
Priority to CN201711377951.0A priority Critical patent/CN108012085B/zh
Publication of CN108012085A publication Critical patent/CN108012085A/zh
Application granted granted Critical
Publication of CN108012085B publication Critical patent/CN108012085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404—Monitoring of server processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种多媒体信息处理方法，该方法包括：当在网络传输中抓取到第一多媒体帧数据时，对第一多媒体帧数据进行解析，得到第一流媒体数据；当依据第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，依据读操作状态进行第一流媒体数据的读写操作，预设的帧数据传输断流条件为判定多媒体帧数据是否正确传输的依据；当依据第一流媒体数据确定满足预设的帧数据传输断流条件时，生成错误帧事件；依据错误帧事件，发送连接错误通知消息，依据连接错误通知消息进行网络传输过程中的重新连接。本发明实施例还同时提供了一种服务器和存储介质。

Description

一种多媒体信息处理方法、服务器及存储介质
技术领域
本发明涉及网络通信领域中的多媒体信息处理技术，尤其涉及一种多媒体信息处理方法、服务器及存储介质。
背景技术
视频流是一种用于接收多媒体信息内容的方式，视频流处理往往是多媒体项目的基础服务，并且会持续影响整个多媒体项目的流畅性和实时性，所以视频流读取的鲁棒性和高性能是整体多媒体服务的至关重要的一环。
目前，一般采用开源计算机视觉库(OpenCV，Open Source Computer VisionLibrary)的视频采集(VideoCapture)进行视频流获取，OpenCV支持从摄像设备或视频文件中抓取图像，并保存为另一视频文件(即多媒体文件)，这样就可以进行对抓取到的视频文件进行传输和使用了。
但是，OpenCV的VideoCapture在处理视频流的时候，一旦出现摄像设备等获取视频流超时导致断流的情况时，就会出现视频流获取错误，以及当获取到的视频流进行解析的管道出现错误时，会导致OpenCV的VideoCapture无法取到视频流。
发明内容
为解决上述技术问题，本发明实施例期望提供一种多媒体信息处理方法、服务器及存储介质，能够监控在多媒体信息的获取过程中的断连事件，实现自动重连，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
本发明的技术方案是这样实现的：
本发明实施例提供了一种多媒体信息处理方法，包括：
当在网络传输中抓取到第一多媒体帧数据时，对所述第一多媒体帧数据进行解析，得到第一流媒体数据；
当依据所述第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，依据所述读操作状态进行所述第一流媒体数据的读写操作，所述预设的帧数据传输断流条件为判定所述多媒体帧数据是否正确传输的依据；
当依据所述第一流媒体数据确定满足所述预设的帧数据传输断流条件时，生成错误帧事件；
依据所述错误帧事件，发送连接错误通知消息，依据所述连接错误通知消息进行网络传输过程中的重新连接。
本发明实施例提供了一种服务器，包括：
解析单元，用于当在网络传输中抓取到第一多媒体帧数据时，对所述第一多媒体帧数据进行解析，得到第一流媒体数据；
获取单元，用于当依据所述第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，
读写单元，用于依据所述读操作状态进行所述第一流媒体数据的读写操作，所述预设的帧数据传输断流条件为判定所述多媒体帧数据是否正确传输的依据；
生成单元，用于当依据所述第一流媒体数据确定满足所述预设的帧数据传输断流条件时，生成错误帧事件；
发送单元，用于依据所述错误帧事件，发送连接错误通知消息，
连接单元，用于依据所述连接错误通知消息进行网络传输过程中的重新连接。
本发明实施例提供了一种服务器，包括：
接收器、发送器、处理器以及存储有所述处理器可执行指令、所述接收器的接收的数据和所述发送器发送的数据的存储介质，所述接收器、所述发送器和存储介质通过通信总线依赖所述处理器执行操作，当所述指令被处理器执行时，执行上述的多媒体信息处理方法。
本发明实施例提供了一种计算机可读存储介质，存储有机器指令，当所述机器指令被一个或多个处理器执行的时候，所述处理器执行所述多媒体信息处理方法。
本发明实施例提供了一种多媒体信息处理方法、服务器及存储介质，当在网络传输中抓取到第一多媒体帧数据时，对第一多媒体帧数据进行解析，得到第一流媒体数据；当依据第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，依据读操作状态进行第一流媒体数据的读写操作，预设的帧数据传输断流条件为判定多媒体帧数据是否正确传输的依据；当依据第一流媒体数据确定满足预设的帧数据传输断流条件时，生成错误帧事件；依据错误帧事件，发送连接错误通知消息，依据连接错误通知消息进行网络传输过程中的重新连接。采用上述技术实现方案，由于服务器可以在网络传输中抓取到第一多媒体数据的时候，解析并监听该第一多媒体数据在传输过程中出现的传输错误等错误帧事件，并基于错误帧事件进行错误通知消息的上报，从而实现数据传输通道的重新连接，保证多媒体数据传输的正确性，即服务器能够监控在多媒体信息的获取过程中的断连事件，实现自动重连，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
附图说明
图1为本发明实施例中进行服务器与终端进行信息交互的各种硬件实体的架构图；
图2为本发明实施例提供的示例性的一种多媒体信息处理系统的框图一；
图3为本发明实施例提供的一种多媒体信息处理方法的流程图一；
图4为本发明实施例提供的示例性的一种多媒体信息处理系统的框图二；
图5为本发明实施例提供的一种多媒体信息处理方法的流程图二；
图6为本发明实施例提供的示例性的一种多媒体信息处理系统的框图三；
图7为本发明实施例提供的一种多媒体信息处理方法的流程图三；
图8为本发明实施例提供的示例性的一种多媒体信息处理系统的框图四；
图9为本发明实施例提供的实验串行取流和并行取流的性能曲线图；
图10为本发明实施例提供的示例性的场景图；
图11为本发明实施例提供的一种服务器的结构示意图一；
图12为本发明实施例提供的一种服务器的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为本发明实施例中一种服务器与终端的信息交互的各种硬件实体的架构图，图1中包括：一个或多个服务器1、终端2-1至2-5及网络31，网络31中包括路由器，网关等等网络实物，图中并未体现。终端2-1至2-5通过有线网络或者无线网络与服务器进行信息交互，以便从终端2-1至2-5从服务器获取到流媒体数据。终端的类型如图1所示，包括手机(终端2-3)、平板电脑或PDA(终端2-5)、台式机(终端2-2)、PC机(终端2-4)、智能TV(终端2-1)等类型。其中，终端中安装有各种用户所需的应用，比如具备娱乐功能的应用(如视频应用，音频播放应用，游戏应用和阅读软件)，又如具备服务功能的应用(如地图导航应用、团购应用和拍摄应用等)。在本发明实施例中的终端2-1至2-5可以为具有与视频流相关的应用的终端设备，例如，视频编辑器，代码转换器，流媒体播放器和媒体播放器等，本发明实施例不作限制。
示例性的，基于图1的架构，如图2所示的多媒体信息处理系统，该多媒体处理系统可以包括：摄像设备、终端和服务器。
摄像设备，用于采集多媒体信息。其中，该摄像设备通过网络与服务器进行多媒体信息交互。
服务器，用于在摄像设备开启时，通过网络传输不断的抓取该摄像设备采集的多媒体信息，并对抓取的多媒体信息进行错误判定，以确定网络传输中的连接关系，并在传输正确时，响应终端中应用的请求读取该多媒体信息。
终端，用于确定网络传输中的连接关系，以及在传输正确时向服务器请求摄像设备的多媒体信息。
本发明实施例提供了一种多媒体信息处理方法，如图3所示，该方法可以包括：
S101、当在网络传输中抓取到第一多媒体帧数据时，对第一多媒体帧数据进行解析，得到第一流媒体数据；
在本发明实施例提供的一种多媒体信息处理方法可以应用在终端通过服务器请求多媒体发生设备中的多媒体信息的过程中。
需要说明的是，在本发明实施例中，多媒体信息发生设备可以为摄像设备，也可以为多媒体信息资源库或网络流媒体等多媒体生成或存储的设备，本发明实施例不作限制。
在本发明实施例中，摄像设备为摄像头硬件。
下面以多媒体发生设备为摄像设备为例进行说明，基于图2，如图4所示，服务器底层采用GStreamer逻辑模块、CameraCapture(多媒体信息捕捉)模块和存储模块。
GStreamer是用来构建流媒体应用的开源多媒体框架(framework)，可以将各种媒体处理系统连接在一起，以完成复杂的工作流程。GStreamer支持各种媒体处理组件，包括简单的音频播放、音频和视频播放、录制、流媒体和编辑。其中，元件(element)是GStreamer中最重要的概念，可以通过创建一系列的元件(Elements)，并把这一系列元件连接起来，从而让数据流在这个被连接的各个元件之间传输。每个元件都有一个特殊的函数接口，对于有些元件的函数接口它们是用于能够读取文件的数据，解码文件数据的；而有些元件的函数接口只是输出相应的数据到具体的设备上(例如，声卡设备)。这里是将若干个元件连接在一起，从而创建一个管道(pipeline)来完成一个功能的，例如，媒体播放或者录音。GStreamer已经默认安装了很多有用的元件，通过使用这些元件能够构建一个具有多种功能的应用程序。其中，每个元件包含有多个衬垫(gstPad)。这些gstpad随后用于元件之间的连接和通信，并最终构成一个可以传递和处理数据的管道。
在本发明实施例中，GStreamer逻辑模块采用上述元件对摄像设备采集传输的第一多媒体数据进行解析，并将解析后的第一流媒体数据采用管道传输给CameraCapture模块的，该CameraCapture模块基于监听GStreamer逻辑模块中的消息，来确定是不是多媒体传输中出现了错误，若没有就正常传输，若有就上报上层应用，看是否进行重新连接。
也就是说，在本发明实施例中，当摄像设备启动后，该摄像设备就会不断的采集多媒体数据，因此，基于图4的架构，服务器是在网络传输不断的进行第一多媒体数据的抓取的，在抓取到第一多媒体帧数据时，通过GStreamer逻辑模块对第一多媒体帧数据进行解析，得到第一流媒体数据。
在本发明实施例中，第一多媒体数据为协议帧裸数据，这里可以为实时流传输协议(RTSP，Real Time Streaming Protocol)视频流，第一流媒体数据为解析后得到的视频流。
S102、当依据第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，依据读操作状态进行第一流媒体数据的读写操作，预设的帧数据传输断流条件为判定多媒体帧数据是否正确传输的依据；
在本发明实施例中，服务器可以依据第一流媒体数据确定是否满足预设的帧数据传输断流条件，以便进行后续的多媒体处理流程，这里，预设的帧数据传输断流条件为判定多媒体帧数据是否正确传输的依据。
这里，服务器在得到第一流媒体数据之后，该服务器可以根据第一流媒体数据判断出在第一多媒体数据传输或采集的过程中是否存在错误导致断流的情况发生，那么，服务器依据第一流媒体数据确定出未满足预设的帧数据传输断流条件时，表征此时的第一多媒体数据在传输的过程中是没有出现错误的，这样，该服务器就可以进行正常的多媒体数据处理流程，对解析得到的第一流媒体数据进行正常的读写操作了，于是，该服务器获取当前的读操作状态，依据读操作状态进行第一流媒体数据的读写操作。
需要说明的是，在本发明实施例中的读和写是分开的结构实现的，而且在写操作完成后，需要依据读操作的状态进行下一次读写的更新，因此，在本发明实施例中，在正常的多媒体信息处理流程中，服务器可以获取当前的读操作状态，依据读操作状态进行第一流媒体数据的读写操作(也可以理解为对读写操作的设备)。详细的实现过程将在后续实施例中进行说明。
S103、当依据第一流媒体数据确定满足预设的帧数据传输断流条件时，生成错误帧事件；
在本发明实施例中，服务器可以依据第一流媒体数据确定是否满足预设的帧数据传输断流条件，以便进行后续的多媒体处理流程，这里，预设的帧数据传输断流条件为判定多媒体帧数据是否正确传输的依据。
这里，服务器在得到第一流媒体数据之后，该服务器可以根据第一流媒体数据判断出在第一多媒体数据传输或采集的过程中是否存在错误导致断流的情况发生，那么，服务器依据第一流媒体数据确定出满足预设的帧数据传输断流条件时，表征此时的第一多媒体数据在传输的过程中是已经出现错误的，这样，该服务器就需要对出现的错误进行提示，以便确定是否需要进行修复(即网络传输过程中的重新连接)。
这里，当依据第一流媒体数据确定满足预设的帧数据传输断流条件时，表征此时第一多媒体数据的传输出现了错误，于是，给服务器可以生成错误帧事件，利用错误帧事件为后续处理的依据和判断。
需要说明的是，GStreamer逻辑模块中的箱柜(Bins)是一个可以装载元件的容器，并且管道(pipelines)是箱柜的一个特殊的子类型，管道可以操作包含在它自身内部的所有元件。箱柜可以发送总线消息(bus messages)给它的子集元件(这些消息包括：错误消息(error messages)，标签消息(tag messages)，EOS消息(EOS messages))。管道是高级的箱柜，当设定管道的暂停或者播放状态的时候，多媒体数据流将开始流动，并且多媒体数据处理也开始处理。这时，管道将在一个单独的线程中运行，直到被停止或者多媒体数据流播放完毕。
基于GStreamer逻辑模块的架构，pipeline的各对象之间的通信通过缓存buffers(这里是存储模块)、事件event、查询query和消息message机制实现，调度通过时钟和队列实现。
也就是说，这里，CameraCapture模块可以通过监听GStreamer逻辑模块生成的错误帧事件，来实现对错误帧事件的上报。
需要说明的是，基于GStreamer逻辑模块的架构，在本发明实施例中，如图4所示，服务器中的CameraCapture模块可以通过总线(例如，GStreamer总线)监听GStreamer逻辑模块中存储模块中的消息来实现错误帧事件的监听，其中，错误帧事件的表现形式还可以为GStreamer逻辑模块中的状态转换(从存储模块中获取)，也就是说，一个元件的查询元件调用的函数的返回值，来判别该元件的状态是否发生改变，即是否是错误帧事件。
下面的监测错误和检查返回值的代码示例。
/*Start playing*/
ret＝gst_element_set_state(pipeline,GST_STATE_PLAYING)；
if(ret＝＝GST_STATE_CHANGE_FAILURE){
g_printerr("Unable to set the pipeline to the playing state.\n")；
gst_object_unref(pipeline)；
return-1；
}
需要说明的是，在本发明实施例中，服务器依据第一流媒体数据进行是否满足预设的帧数据传输断流条件的情况，是基于第一多媒体数据采集到的情况进行的，还有一种情况可以为由于网络波动，第一多媒体数据断流的判定，这种情况将在后面的实施例中进行说明。
S104、依据错误帧事件，发送连接错误通知消息，依据连接错误通知消息进行网络传输过程中的重新连接。
服务器在生成错误帧事件之后，该服务器就获知此时的第一多媒体数据的传输是存在错误的，这样的话，该服务器就需要针对错误帧事件，发送连接错误通知消息，于是，该服务器就可以依据连接错误通知消息在底层架构和上层应用(终端)中进行信息交互实现网络传输过程中的重新连接。
需要说明的是，在本发明实施例中，上层应用在接收到连接错误通知消息后可以通过接收到连接错误通知消息的次数或者频率，决定此时的网络传输是否需要进行重新连接。这里，错误出现的越多，或者越频繁就需要进行重新连接了(重连决策)，具体的上层应用的重连决策的实现本发明实施例不作限制、这里，一旦上层应用决定重新连接的话，就指示服务器来实现网络传输过程中的重新连接了。
可以理解的是，由于服务器可以在网络传输中抓取到第一多媒体数据的时候，解析并监听该第一多媒体数据在传输过程中出现的传输错误等错误帧事件，并基于错误帧事件进行错误通知消息的上报，从而实现数据传输通道的重新连接，保证多媒体数据传输的正确性，即服务器能够监控在多媒体信息的获取过程中的断连事件，实现自动重连，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
进一步地，在S101之后，且在S102或S103之前，在本发明实施例提供的一种多媒体信息处理方法还可以包括：S105-S108；或者，在S101之前，本发明实施例还可以包括：S109-S110。如下：
S105、当第一流媒体数据的协议帧格式错误时，确定满足预设的帧数据传输断流条件。
S106、当第一流媒体数据的协议帧格式正确时，确定未满足预设的帧数据传输断流条件。
服务器在的到了第一流媒体数据之后，由于第一流媒体数据是经过GStreamer逻辑模块解析第一多媒体数据(协议帧裸数据)得到的，那么在服务器GStreamer逻辑模块解析得到的第一多媒体数据被发现是与预设协议不同的协议帧格式，即得到的是损坏的协议帧裸数据导致的，此时，GStreamer逻辑模块就会抛弃该第一多媒体数据，即CameraCapture模块通过监听消息监听到了抛弃帧事件(错误帧事件的一种)，这时，服务器确定此时的情况满足预设的帧数据传输断流条件，即第一多媒体数据传输错误。
这里，服务器得到了损坏的协议帧裸数据的原因可能是由于摄像设备采集断流导致的，也就是说，当摄像设备因为某些原因无法取到视频数据流(第一多媒体数据)，或是只能取到损坏的数据帧(第一多媒体数据)，服务器则由摄像设备通过网络传输，得到损坏的协议帧裸数据。
可以理解的是，这样服务器可以通过监听第一多媒体数据的抛弃帧事件找到因为摄像设备采集断流导致的断流的情况，这样，服务器就可以通过针对这样情况对摄像设备进行重启或修复(重新连接)，消除断流，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
S107、当第一流媒体数据的规格不符合预设规格时，确定满足预设的帧数据传输断流条件；预设规格用于表征数据的大小或尺寸。
S108、当第一流媒体数据的符合预设规格时，确定未满足预设的帧数据传输断流条件。
服务器在的到了第一流媒体数据之后，由于第一流媒体数据是经过GStreamer逻辑模块解析第一多媒体数据(协议帧裸数据)得到的，那么在服务器GStreamer逻辑模块解析得到的第一流媒体数据被发现是与预设协议相同的协议帧格式，但是，此时解析得到的第一流媒体数据的规格确是错误的，与预设规格不符，这里的预设规格用于表征数据的大小或尺寸。也就是说，第一多媒体数据可以正常通过网络传输，以及GStreamer逻辑模块的正常解析，但是服务器获取到的第一流媒体的帧大小出错(例如为0)或者帧尺寸出错了，因此，GStreamer逻辑模块需要抛弃该第一多媒体数据，即CameraCapture模块通过检测到了抛弃帧事件(错误帧事件的一种)，这时，服务器确定此时的情况满足预设的帧数据传输断流条件，即第一多媒体数据传输错误。
这里，服务器得到了规格不符的流媒体数据的原因可能是由于摄像设备驱动或内部服务产生错误导致的，也就是说，摄像设备的驱动或内部服务产生错误，虽然协议帧裸数据(第一多媒体数据)解析正确处理，然而获取到的实际帧大小为0或是错误的尺寸。在这种情况下，第一多媒体数据虽然可以正常通过网络传输和gstreamer的解析，然而实际上是需要抛弃，并且决定是否需要重连的。这时，基于Camera Capture模块内部会对帧数据进行检查，当得到帧大小为0或是尺寸错误的第一流媒体数据的时候(即获知了错误帧事件时)会向上层应用发起连接错误通知消息，决定是否进行重连(重新连接)。
可以理解的是，这样服务器可以通过检测第一流媒体数据的规格发现因为摄像设备的驱动或内部服务产生错误导致的断流的情况，这样，服务器就可以通过针对这样情况对摄像设备进行重启或修复(重新连接)，消除断流，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
S109、监测在网络传输中是否抓取第一多媒体帧数据。
S110、当在网络传输的预设时间段内未抓取到第一多媒体帧数据时，确定满足预设的帧数据传输断流条件。
需要说明的是，在本发明实施例中，服务器依据第一流媒体数据进行是否满足预设的帧数据传输断流条件的情况，是基于第一多媒体数据采集到的情况进行的，还有一种情况可以为由于网络波动，第一多媒体数据实现的断流条件的判定。
在本发明实施例中，服务器需要监测摄像设备开启的情况下，在网络传输中是否一直可以抓取第一多媒体帧数据，当在网络传输的预设时间段内未抓取到第一多媒体帧数据时，表征第一多媒体在传输过程中是出现了错误的，因此，确定此时满足预设的帧数据传输断流条件。
也就是说，摄像设备以正常取得视频数据流(第一多媒体数据)，然而因为网络波动，使得Camera Capture模块与摄像设备失去连接。此时，由于无法获取第一多媒体数据，整个结构流处于断流的情况，gstreamer无法获取到任何协议帧裸数据(第一多媒体数据)，Camera Capture模块无法获取到任何帧数据(第一流媒体数据)。这时，Camera Capture模块内部超时探测会在预设时间段内无数据传输后，通知上层应用，决定是否重连。
在本发明实施例中，Camera Capture模块内部可以设置有定时器，定时器设置有定时时间，该定时时间可以为20秒，具体的定时时间的设置本发明实施例不作限制。
可以理解的是，这样服务器可以通过检测预设时间段内是否有数据传输而发现因为网络波动产生错误导致的断流的情况，这样，服务器就可以通过针对这样情况对网络进行修复和连接(重新连接)，消除断流，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
在上述实施例的实现基础上，如图5所示，S102的过程可以包括：S201-S204。如下：
S201、在当前写入帧中对第一流媒体数据进行写操作，在写操作完成后关闭当前写入帧的写入权限。
服务器在得到第一流媒体数据之后，该服务器可以根据第一流媒体数据判断出在第一多媒体数据传输或采集的过程中是否存在错误导致断流的情况发生，那么，服务器依据第一流媒体数据确定出未满足预设的帧数据传输断流条件时，表征此时的第一多媒体数据在传输的过程中是没有出现错误的，这样，该服务器就可以进行正常的多媒体数据处理流程，对解析得到的第一流媒体数据进行正常的读写操作了，于是，该服务器获取当前的读操作状态，依据读操作状态进行第一流媒体数据的读写操作。
也就是说，服务器依据第一流媒体数据确定出未满足预设的帧数据传输断流条件时，由于服务器得到了正确的第一流媒体数据，那么该服务器就可以在当前写入帧中对第一流媒体数据进行写操作，并在写操作完成后关闭当前写入帧的写入权限。
这里，CameraCapture模块主动调用Camera Capture已注册的函数，对当前写入帧写入第一流媒体数据并加锁。
在本发明实施例中，如图6所示，CameraCapture模块的内部采用应用帧、写入帧双帧交换设计结构，保证读取写入分离的读写操作。其中，写入帧用于进行流媒体数据的写操作，应用帧用于进行对流媒体数据的读操作。
本发明实施例中的服务器是将写入帧和应用帧进行双帧交换实现的读写操作，而为了保证实现的可靠性，在进行双帧交换的时候需要对写入帧和应用帧进行加锁，禁止读写操作后再进行，并且，实现双帧交换的时机为在每次写入完成时。因此，服务器在当前写入帧中对第一流媒体数据进行写操作时，需要在写操作完成后关闭当前写入帧的写入权限，即对当前写入帧加锁，等待双帧交换。
需要说明的是，采用本发明实施例中传输到CameraCapture模块的第一帧数据的读操作是在写入帧实现的，后续的帧数据都是在应用帧中进行的读操作。
S202、当读操作状态为完成态时，关闭当前应用帧的读取权限。
S203、当读操作状态为进行态时，等待当前应用帧的读操作完成，在读操作完成时，关闭当前应用帧的读取权限。
服务器在写操作完成后关闭写入帧的写入权限之后，服务器已经获取了在进行当前写入帧进行写操作完成时的读操作状态了，因此，这时，该服务器就可以根据读操作状态，对当前应用帧进行相应的处理了。
需要说明的是，服务器在当前写入帧进行写操作的时候，该当前应用帧可能受到上层应用的请求，正在进行流媒体数据的读操作。这里，读操作对应的读操作状态可以包括：进行态和完成态。进行态可以表征当前应用帧正在进行读操作，完成态可以表征当前应用帧没有在进行读操作了(未开始或者已经完成都可)。
那么，当服务器获知读操作状态为完成态时，表征目前没有在进行的读操作，可以进行双帧交换了，因此，关闭当前应用帧的读取权限，即将当前应用帧加锁，禁止读操作后才进行交换。而当服务器获知读操作状态为进行态时，表征目前还存在正在进行的读操作，需要等待当前应用帧的读操作完成，在读操作完成时，可以进行双帧交换了，因此，关闭当前应用帧的读取权限，关闭当前应用帧的读取权限，即将当前应用帧加锁，禁止读操作后才进行交换。
S204、当写入权限和读取权限均关闭时，将当前写入帧更新为进行下一次读操作的下一个应用帧，将当前应用帧更新为进行下一次写操作的下一个写入帧。
这样，在写入权限和读取权限均关闭的时候，由于此时在服务器中既不能进行写操作还不能进行读操作了，因此，可以实现双帧交换的流程了，于是，服务器将当前写入帧更新为进行下一次读操作的下一个应用帧，将当前应用帧更新为进行下一次写操作的下一个写入帧。
也就是说，当写入权限和读取权限均关闭时，交换当前写入帧和当前应用帧的内存指针，这样，下一次进行写操作的时，写操作的指针就指向当前应用帧，在当前应用帧中进行写操作；下一次进行读操作的时，读操作的指针就指向当前写入帧，在当前写入帧中进行读操作。这样实现了，服务器将当前写入帧更新为进行下一次读操作的下一个应用帧，将当前应用帧更新为进行下一次写操作的下一个写入帧。
可以理解的是，本发明实施例的多媒体数据处理方法采用的读写分离结构，可以在每次写操作完成的时候，通过对当前写入帧和当前应用帧加锁，实现交换内存指针，达到写操作和读操作地址的改变，性能最优，并且写操作和读操作都可以在正常完成后再进行交换，避免了脏数据的产生，达到了高性能并发取流的目的。
进一步地，如图7所示，S204之后，本发明实施例提供的一种多媒体处理方法还包括：S205-S207。如下：
S205、启动下一个写入帧的写入权限和下一个应用帧的读取权限。
服务器在将当前写入帧更新为进行下一次读操作的下一个应用帧，将当前应用帧更新为进行下一次写操作的下一个写入帧之后，就可以开始下一次或下一帧流媒体数据的读写操作了，这时，需要将写入权限和读取权限开启，即启动下一个写入帧的写入权限和下一个应用帧的读取权限，也就是解锁的过程，这样下一个写入帧和下一个应用帧才可以进行正常的读写操作流程。
S206、接收读取请求。
S207、对与读取请求中的请求标识对应的第一流媒体数据进行读操作。
服务器在下一个写入帧的写入权限和下一个应用帧的读取权限开启之后，若是接收到终端即上层应用发送的读取请求(即流媒体数据获取请求)时，由于服务器中可以对多路摄像设备进行统一管理出口，因此，可以根据读取请求中的请求标识来获取到底需要哪个摄像设备采集的数据，这里若是读取请求请求的是采集第一流媒体数据的摄像设备时，该服务器就可以对与读取请求中的请求标识对应的第一流媒体数据进行读操作，并将读取到的第一流媒体数据发送给上层进行播放或展示。
在本发明实施例中，如图8所示，服务器中还可以包括：多媒体管理(CameraManager)模块，该多媒体管理模块与每路摄像设备(摄像头1、摄像头2、摄像头3、……、摄像头N)对应的CameraCapture模块，用于从多路CameraCapture模块中依据signal(新帧可读标志位)进行流媒体数据的读取，并上报给上层应用。其中，N为大于等于2的正整数。其中，中间过程与图4或图6中的摄像设备到CameraCapture模块的结构一致。
需要说明的是，上层应用在发送读取请求的时候，会携带有摄像设备的标识信息，这样，服务器就可以根据摄像设备的标识信息，去相应的CameraCapture模块中去读取流媒体数据了，这样就可以实现多路流媒体数据的并发读取操作的实现。
在本发明实施例中，每路的CameraCapture模块中可以设置一个新帧可读标志位，表征该路抓取到了新的流媒体数据了，可以来读取了。当CameraManager响应读取请求的时候，实现根据新帧可读标志位就可以确定出那路有新数据可以读取了，实现不同路的新数据的并发读取。
可选的，新帧可读标志位可以设置为1，本发明实施例不限制新帧可读标志位的表现形式。
示例性的，如图9所示的实验数据表明，本发明实施例提供的并行取流摄像设备的个数越多，每秒获取的帧数越多，串行摄像设备的个数越多，每秒获取的帧数几乎不变。当摄像设备为1个时，串行与并行大体一致为：23.48帧/秒；当摄像设备为2个时，串行:23.87帧/秒，并行：47.38帧/秒；当摄像设备为5个时，串行:23.61帧/秒，并行：116.82帧/秒；当摄像设备为10个时，串行:23.66帧/秒，并行：238.66帧/秒；当摄像设备为50个时，串行:22.58帧/秒，并行：1145.47帧/秒；当摄像设备为100个时，串行:22.82帧/秒，并行：2227.17帧/秒；当摄像设备为1000个时，串行:21.37帧/秒，并行：9569.37帧/秒。由此可知，并行取流实现高并发的性能很优越。
可以理解的是，采用图8所示的并发取流的结构，实现了多路摄像设备的并行取流功能，流媒体数据获取及时和准确，不会漏掉数据，性能较好。
示例性的，如图10所示，假设在公园中安装有摄像头1、摄像头2和摄像头3，在公园的值班室的电脑4上可以通过网络并发摄像头1、摄像头2和摄像头3调取电脑主机5上的视频数据。
基于前述实施例的同一发明构思下，如图11所示，本发明实施例提供了一种服务器1，该服务器1可以包括：
解析单元10，用于当在网络传输中抓取到第一多媒体帧数据时，对所述第一多媒体帧数据进行解析，得到第一流媒体数据；
获取单元11，用于当依据所述第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，
读写单元12，用于依据所述读操作状态进行所述第一流媒体数据的读写操作，所述预设的帧数据传输断流条件为判定所述多媒体帧数据是否正确传输的依据；
生成单元13，用于当依据所述第一流媒体数据确定满足所述预设的帧数据传输断流条件时，生成错误帧事件；
发送单元14，用于依据所述错误帧事件，发送连接错误通知消息，
连接单元15，用于依据所述连接错误通知消息进行网络传输过程中的重新连接。
可选的，所述服务器1还包括：确定单元16。
所述确定单元16，用于所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之后，且所述获取当前的读操作状态或生成错误帧事件之前，当所述第一流媒体数据的协议帧格式错误时，确定满足所述预设的帧数据传输断流条件；当所述第一流媒体数据的协议帧格式正确时，确定未满足所述预设的帧数据传输断流条件；当所述第一流媒体数据的规格不符合预设规格时，确定满足所述预设的帧数据传输断流条件；所述预设规格用于表征数据的大小或尺寸；当所述第一流媒体数据的符合预设规格时，确定未满足所述预设的帧数据传输断流条件。
可选的，所述服务器1还包括：监测单元17和确定单元16。
所述监测单元17，用于所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之前，监测在所述网络传输中是否抓取所述第一多媒体帧数据；
所述确定单元16，用于当在所述网络传输的预设时间段内未抓取到所述第一多媒体帧数据时，确定满足所述预设的帧数据传输断流条件。
可选的，所述服务器1还包括：关闭单元18和更新单元19。
所述读写单元12，具体用于在当前写入帧中对所述第一流媒体数据进行写操作，
所述关闭单元18，用于在写操作完成后关闭所述当前写入帧的写入权限；以及当所述读操作状态为进行态时，等待当前应用帧的读操作完成，在读操作完成时，关闭所述当前应用帧的读取权限，
所述更新单元19，用于当所述写入权限和所述读取权限均关闭时，将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧；
所述关闭单元18，还用于所述在写操作完成后关闭所述写入帧的写入权限之后，以及将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧之前，当所述读操作状态为完成态时，关闭所述当前应用帧的读取权限。
可选的，所述服务器1还包括：启动单元110和接收单元111。
所述启动单元110，用于所述将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧之后，启动所述下一个写入帧的写入权限和所述下一个应用帧的读取权限；
所述接收单元111，用于所述启动所述下一个写入帧的写入权限和所述下一个应用帧的读取权限之后，接收读取请求；
所述读写操作12，还用于对与所述读取请求中的请求标识对应的所述第一流媒体数据进行读操作。
在实际应用中，上述解析单元10、获取单元11、读写单元12、生成单元13、确定单元16、监测单元17、关闭单元18、更新单元19和启动单元110可由位于服务器1上的处理器112实现，具体为中央处理器(CPU，Central Processing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital Signal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现，发送单元14可由发送器113实现，接收单元111可由接收器114实现。
如图12所示，本发明实施例还提供了一种服务器，包括：
接收器114、发送器113、处理器112以及存储有所述处理器112可执行指令、所述接收器114的接收的数据和所述发送器113发送的数据的存储介质115，所述接收器114、所述发送器113和存储介质通过通信总线116依赖所述处理器112执行操作，当所述指令被处理器112执行时，执行上述的实施例中所述的多媒体信息处理方法。
需要说明的是，实际应用时，服务器中的各个组件通过通信总线116耦合在一起。可理解，通信总线116用于实现这些组件之间的连接通信。通信总线116除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图12中将各种总线都标为通信总线116。
可以理解的是，由于服务器可以在网络传输中抓取到第一多媒体数据的时候，解析并监听该第一多媒体数据在传输过程中出现的传输错误等错误帧事件，并基于错误帧事件进行错误通知消息的上报，从而实现数据传输通道的重新连接，保证多媒体数据传输的正确性，即服务器能够监控在多媒体信息的获取过程中的断连事件，实现自动重连，完成多媒体信息的正确获取，提高获取多媒体信息的成功率和稳定性。
本发明实施例提供了一种计算机可读存储介质，存储有机器指令，当所述机器指令被一个或多个处理器执行的时候，所述处理器执行上述实施例中所述的多媒体信息处理方法。
其中，计算机可读存储介质可以是磁性随机存取存储器(ferromagnetic randomaccess memory，FRAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (15)

1.一种多媒体信息处理方法，其特征在于，包括：
当在网络传输中抓取到第一多媒体帧数据时，对所述第一多媒体帧数据进行解析，得到第一流媒体数据；
当依据所述第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，依据所述读操作状态进行所述第一流媒体数据的读写操作，所述预设的帧数据传输断流条件为判定所述多媒体帧数据是否正确传输的依据；
当依据所述第一流媒体数据确定满足所述预设的帧数据传输断流条件时，生成错误帧事件；
依据所述错误帧事件，发送连接错误通知消息，依据所述连接错误通知消息进行网络传输过程中的重新连接。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之后，且所述获取当前的读操作状态或生成错误帧事件之前，所述方法还包括：
当所述第一流媒体数据的协议帧格式错误时，确定满足所述预设的帧数据传输断流条件；
当所述第一流媒体数据的协议帧格式正确时，确定未满足所述预设的帧数据传输断流条件。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之后，且所述获取当前的读操作状态或生成错误帧事件之前，所述方法还包括：
当所述第一流媒体数据的规格不符合预设规格时，确定满足所述预设的帧数据传输断流条件；所述预设规格用于表征数据的大小或尺寸；
当所述第一流媒体数据的符合预设规格时，确定未满足所述预设的帧数据传输断流条件。
4.根据权利要求1所述的方法，其特征在于，所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之前，所述方法还包括：
监测在所述网络传输中是否抓取所述第一多媒体帧数据；
当在所述网络传输的预设时间段内未抓取到所述第一多媒体帧数据时，确定满足所述预设的帧数据传输断流条件。
5.根据权利要求1所述的方法，其特征在于，所述依据所述读操作状态进行所述第一流媒体数据的读写操作，包括：
在当前写入帧中对所述第一流媒体数据进行写操作，在写操作完成后关闭所述当前写入帧的写入权限；
当所述读操作状态为进行态时，等待当前应用帧的读操作完成，在读操作完成时，关闭所述当前应用帧的读取权限；
当所述写入权限和所述读取权限均关闭时，将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧。
6.根据权利要求5所述的方法，其特征在于，所述在写操作完成后关闭所述写入帧的写入权限之后，以及将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧之前，所述方法还包括：
当所述读操作状态为完成态时，关闭所述当前应用帧的读取权限。
7.根据权利要求5或6所述的方法，其特征在于，所述将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧之后，所述方法还包括：
启动所述下一个写入帧的写入权限和所述下一个应用帧的读取权限。
8.根据权利要求7所述的方法，其特征在于，所述启动所述下一个写入帧的写入权限和所述下一个应用帧的读取权限之后，所述方法还包括：
接收读取请求；
对与所述读取请求中的请求标识对应的所述第一流媒体数据进行读操作。
9.一种服务器，其特征在于，包括：
解析单元，用于当在网络传输中抓取到第一多媒体帧数据时，对所述第一多媒体帧数据进行解析，得到第一流媒体数据；
获取单元，用于当依据所述第一流媒体数据确定未满足预设的帧数据传输断流条件时，获取当前的读操作状态，
读写单元，用于依据所述读操作状态进行所述第一流媒体数据的读写操作，所述预设的帧数据传输断流条件为判定所述多媒体帧数据是否正确传输的依据；
生成单元，用于当依据所述第一流媒体数据确定满足所述预设的帧数据传输断流条件时，生成错误帧事件；
发送单元，用于依据所述错误帧事件，发送连接错误通知消息，
连接单元，用于依据所述连接错误通知消息进行网络传输过程中的重新连接。
10.根据权利要求9所述的服务器，其特征在于，所述服务器还包括：确定单元；
所述确定单元，用于所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之后，且所述获取当前的读操作状态或生成错误帧事件之前，当所述第一流媒体数据的协议帧格式错误时，确定满足所述预设的帧数据传输断流条件；当所述第一流媒体数据的协议帧格式正确时，确定未满足所述预设的帧数据传输断流条件；当所述第一流媒体数据的规格不符合预设规格时，确定满足所述预设的帧数据传输断流条件；所述预设规格用于表征数据的大小或尺寸；当所述第一流媒体数据的符合预设规格时，确定未满足所述预设的帧数据传输断流条件。
11.根据权利要求9所述的服务器，其特征在于，所述服务器还包括：监测单元和确定单元；
所述监测单元，用于所述对所述第一多媒体帧数据进行解析，得到第一流媒体数据之前，监测在所述网络传输中是否抓取所述第一多媒体帧数据；
所述确定单元，用于当在所述网络传输的预设时间段内未抓取到所述第一多媒体帧数据时，确定满足所述预设的帧数据传输断流条件。
12.根据权利要求9所述的服务器，其特征在于，所述服务器还包括：关闭单元和更新单元；
所述读写单元，具体用于在当前写入帧中对所述第一流媒体数据进行写操作，
所述关闭单元，用于在写操作完成后关闭所述当前写入帧的写入权限；以及当所述读操作状态为进行态时，等待当前应用帧的读操作完成，在读操作完成时，关闭所述当前应用帧的读取权限，
所述更新单元，用于当所述写入权限和所述读取权限均关闭时，将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧；
所述关闭单元，还用于所述在写操作完成后关闭所述写入帧的写入权限之后，以及将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧之前，当所述读操作状态为完成态时，关闭所述当前应用帧的读取权限。
13.根据权利要求12所述的服务器，其特征在于，所述服务器还包括：启动单元和接收单元；
所述启动单元，用于所述将所述当前写入帧更新为进行下一次读操作的下一个应用帧，将所述当前应用帧更新为进行下一次写操作的下一个写入帧之后，启动所述下一个写入帧的写入权限和所述下一个应用帧的读取权限；
所述接收单元，用于所述启动所述下一个写入帧的写入权限和所述下一个应用帧的读取权限之后，接收读取请求；
所述读写操作，还用于对与所述读取请求中的请求标识对应的所述第一流媒体数据进行读操作。
14.一种服务器，其特征在于，包括：
接收器、发送器、处理器以及存储有所述处理器可执行指令、所述接收器的接收的数据和所述发送器发送的数据的存储介质，所述接收器、所述发送器和存储介质通过通信总线依赖所述处理器执行操作，当所述指令被处理器执行时，执行上述的权利要求1至8任一项所述的多媒体信息处理方法。
15.一种计算机可读存储介质，其特征在于，存储有机器指令，当所述机器指令被一个或多个处理器执行的时候，所述处理器执行所述的权利要求1至8任一项所述的多媒体信息处理方法。
CN201711377951.0A 2017-12-19 2017-12-19 一种多媒体信息处理方法、服务器及存储介质 Active CN108012085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711377951.0A CN108012085B (zh) 2017-12-19 2017-12-19 一种多媒体信息处理方法、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711377951.0A CN108012085B (zh) 2017-12-19 2017-12-19 一种多媒体信息处理方法、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN108012085A true CN108012085A (zh) 2018-05-08
CN108012085B CN108012085B (zh) 2020-07-14

Family

ID=62059903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711377951.0A Active CN108012085B (zh) 2017-12-19 2017-12-19 一种多媒体信息处理方法、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN108012085B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083583A (zh) * 2019-03-29 2019-08-02 北京奇安信科技有限公司 流式事件处理方法及装置
CN111355933A (zh) * 2020-04-15 2020-06-30 海信集团有限公司 一种Gstreamer框架适时检测方法及服务器

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277209A (zh) * 2008-05-14 2008-10-01 山东大学 网络流媒体传输断线重连技术
CN101808126A (zh) * 2010-03-12 2010-08-18 清华大学 一种用于实时视频处理的分布式计算系统和方法
CN102111419A (zh) * 2011-03-07 2011-06-29 浙江大学 一种基于消息中间件的客户端自动重连方法
US20120042310A1 (en) * 2010-02-14 2012-02-16 Nokia Corporation Method, apparatus and computer program product for platform independent framework
CN102984571A (zh) * 2012-12-07 2013-03-20 青岛海信信芯科技有限公司 数字电视中Gstreamer读取外部数据的方法及其装置
CN103064662A (zh) * 2012-08-28 2013-04-24 华南理工大学 基于Android平台的PhoneGap跨平台媒体扩展框架
CN103731758A (zh) * 2013-12-20 2014-04-16 北京欧迈特数字技术有限责任公司 一种视频流传输方法和装置
CN104796796A (zh) * 2015-04-21 2015-07-22 范文鲜 提高Android平台的HLS流播放器容错的方法
CN105472457A (zh) * 2015-03-27 2016-04-06 深圳Tcl数字技术有限公司 基于视频启动播放方法及视频启动装置
CN106210525A (zh) * 2016-07-29 2016-12-07 乐视控股（北京）有限公司 用于实现视频直播的相机及方法
CN106791810A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频播放测试方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277209A (zh) * 2008-05-14 2008-10-01 山东大学 网络流媒体传输断线重连技术
US20120042310A1 (en) * 2010-02-14 2012-02-16 Nokia Corporation Method, apparatus and computer program product for platform independent framework
CN101808126A (zh) * 2010-03-12 2010-08-18 清华大学 一种用于实时视频处理的分布式计算系统和方法
CN102111419A (zh) * 2011-03-07 2011-06-29 浙江大学 一种基于消息中间件的客户端自动重连方法
CN103064662A (zh) * 2012-08-28 2013-04-24 华南理工大学 基于Android平台的PhoneGap跨平台媒体扩展框架
CN102984571A (zh) * 2012-12-07 2013-03-20 青岛海信信芯科技有限公司 数字电视中Gstreamer读取外部数据的方法及其装置
CN103731758A (zh) * 2013-12-20 2014-04-16 北京欧迈特数字技术有限责任公司 一种视频流传输方法和装置
CN105472457A (zh) * 2015-03-27 2016-04-06 深圳Tcl数字技术有限公司 基于视频启动播放方法及视频启动装置
CN104796796A (zh) * 2015-04-21 2015-07-22 范文鲜 提高Android平台的HLS流播放器容错的方法
CN106210525A (zh) * 2016-07-29 2016-12-07 乐视控股（北京）有限公司 用于实现视频直播的相机及方法
CN106791810A (zh) * 2016-12-14 2017-05-31 合网络技术（北京）有限公司 视频播放测试方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083583A (zh) * 2019-03-29 2019-08-02 北京奇安信科技有限公司 流式事件处理方法及装置
CN111355933A (zh) * 2020-04-15 2020-06-30 海信集团有限公司 一种Gstreamer框架适时检测方法及服务器
CN111355933B (zh) * 2020-04-15 2023-01-20 海信集团有限公司 一种Gstreamer框架适时检测方法及服务器

Also Published As

Publication number Publication date
CN108012085B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
US8527655B2 (en) Optimal routing of audio, video, and control data through heterogeneous networks
CN102843442B (zh) 用于配置联网的照相机的方法
CN104573611B (zh) 一种分布式人脸识别集群系统
CN101562619B (zh) 信息采集系统
CN102195795B (zh) 智能小区日志系统及其日志记录方法
US20120215842A1 (en) Method and apparatus for outputting event of third party device in home network supporting upnp remote protocol
CN106201811B (zh) 应用程序的故障恢复方法和终端
CN105429905A (zh) 监控广告投放终端的方法、装置和系统
CN110177300B (zh) 程序运行状态的监控方法、装置、电子设备和存储介质
CN108769576B (zh) 智能视频处理方法和系统
CN110830460B (zh) 一种连接建立方法、装置、电子设备及存储介质
CN102291580A (zh) 基于Android系统的视频传输方法
CN108012085A (zh) 一种多媒体信息处理方法、服务器及存储介质
CN101237571A (zh) 一种监控系统中的视频编码的存储方法及设备
CN108924485A (zh) 客户端实时视频流中断处理方法及系统、监控系统
WO2018121681A1 (zh) 一种远程开启流数据传输的方法和装置
CN102438182B (zh) 一种视频流分析方法及装置
CN106227583A (zh) 一种多线程视频数据实时处理方法和装置
CN106302459A (zh) 联网操作方法及装置
CN116861198A (zh) 数据处理方法、装置及存储介质
CN109146473B (zh) Dapp评价数据的处理方法、装置及电子设备
CN104284239A (zh) 一种视频播放方法、装置、视频播放客户端和多媒体服务器
CN113660540B (zh) 图像信息处理方法、系统、显示方法、装置及存储介质
CN112203063B (zh) 视频联网的分布式实现方法和系统及电子设备
RU2009145958A (ru) Защита контента реального времени в сети

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant