CN111182334B - 数据处理方法、服务器、终端以及存储介质 - Google Patents

数据处理方法、服务器、终端以及存储介质 Download PDF

Info

Publication number
CN111182334B
CN111182334B CN201911396804.7A CN201911396804A CN111182334B CN 111182334 B CN111182334 B CN 111182334B CN 201911396804 A CN201911396804 A CN 201911396804A CN 111182334 B CN111182334 B CN 111182334B
Authority
CN
China
Prior art keywords
video
terminal
streaming media
media server
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911396804.7A
Other languages
English (en)
Other versions
CN111182334A (zh
Inventor
蒋伟
徐丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911396804.7A priority Critical patent/CN111182334B/zh
Publication of CN111182334A publication Critical patent/CN111182334A/zh
Application granted granted Critical
Publication of CN111182334B publication Critical patent/CN111182334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例涉及数据处理，公开了一种数据处理方法、流媒体服务器、终端以及计算机可读存储介质。本发明中，数据处理方法包括：当检测到从流媒体服务器接收视频分片的终端处于弱网环境时，将尚未下发的视频分片转换成图片，将图片下发给终端，以供终端播放。当检测到终端的网络恢复时，停止图片转换，并在所有图片完全下发后，将尚未转换成图片的视频分片直接下发给终端。能够实现在弱网环境下避免视频出现卡顿，提高视频播放的流畅度。

Description

数据处理方法、服务器、终端以及存储介质
技术领域
本发明实施例涉及数据处理领域，特别涉及一种数据处理方法、服务器、终端以及存储介质。
背景技术
随着现代网路技术的发展，网络开始带给人们形式多样的信息，流媒体技术应运而生。流媒体是指在网络中使用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。而流媒体技术就是把连续的声音和图像信息经过压缩处理后放到网站服务器上，用户一边下载一边收听观看，而不用等整个压缩文件下载到自己的计算机上才可以观看的网络传输技术。
在网络条件较差的情况下，用户观看视频时会遇到视频卡顿或视频无法加载等问题，即，视频不能流畅的播放，以至影响到用户的观看体验。
发明内容
本发明实施方式的目的在于提供一种数据处理方法、服务器、终端以及存储介质，使得在弱网环境下避免视频出现卡顿，提高视频播放的流畅度。
为解决上述技术问题，本发明的实施方式提供了一种数据处理方法，应用于流媒体服务器，方法包括：当检测到从流媒体服务器接收视频分片的终端处于弱网环境时，将尚未下发的视频分片转换成图片，将图片下发给终端，以供终端播放。当检测到终端的网络恢复时，停止图片转换，并在所有图片完全下发后，将尚未转换成图片的视频分片直接下发给终端。
本发明的实施方式还提供了一种数据处理方法，应用于终端，方法包括：当检测到终端处于弱网环境时，向为终端下发视频分片的流媒体服务器发送第一请求，以供流媒体服务器将尚未下发的视频分片转换成图片，并将图片下发给终端。接收流媒体服务器下发的图片并进行播放，当检测到终端的网络恢复时，向流媒体服务器发送第一请求的撤销请求，以供流媒体服务器将尚未转换成图片的视频分片直接下发给终端。
本发明的实施方式还提供了一种媒体服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的数据处理方法。
本发明的实施方式还提供了一种终端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的数据处理方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的数据处理方法。
本发明实施方式相对于现有技术而言，在弱网环境下，流媒体服务器将尚未下发的视频分片转换成图片，并下发给终端。当网络恢复时，停止图片转换，并在图片完全下发后，将尚未下发的视频分片直接下发给终端。本实施例提供的数据处理方法，可以避免弱网环境下视频出现卡顿的情况，提高视频播放的流畅度，从而提高用户的观看体验。
另外，将尚未下发的视频分片转换成图片，包括：将尚未下发的视频分片中的视频数据转换成图片，且将尚未下发的视频分片中与视频数据对应的音频数据转换成文字，将文字合成到图片中。将于视频数据对应的音频数据转换成文字，并合成到图片中，即以文字形式来传达画面对应的语音信息，使得用户接收到的信息与原视频分片要传达的信息保持一致。
另外，将尚未下发的视频分片转换成图片，包括：将尚未下发的视频分片中的视频数据转换成图片，且将尚未下发的视频分片中与视频数据对应的音频数据转换成文字，将图片下发给终端时，还将文字下发给终端。流媒体服务器将转换得到的图片和文字分别发送给终端，在使得用户接收到的信息与原视频分片要传达的信息保持一致的同时，有利于提升用户的观看体验。
另外，将尚未下发的视频分片转换成图片，包括：获得目标视频分片的身份标识。其中，目标视频分片为终端正在从流媒体服务器接收且尚未接收完成的视频分片，将目标视频分片作为尚未下发的视频分片的起始位置，并将尚未下发的视频分片转换成图片。流媒体服务器从而能够得到视频分片的身份标识，且将目标视频分片作为尚未下发的视频分片的起始位置能够帮助流媒体服务器确定出视频分片的位置，有利于还原原视频分片，使得用户视频播放内容的衔接更好。
另外，获得目标视频分片的身份标识中，还获得目标视频分片中尚未接收完成部分的起始位置。将目标视频分片作为尚未下发的起始位置，并将尚未下发的视频分片转换成图片，包括：将目标视频分片中尚未接收完成部分的起始位置作为尚未下发的视频分片的起始位置，并将尚未下发的视频分片转换成图片。同时获得视频分片的身份标识和该视频分片中尚未被接收的部分的位置标识，使得在何处开始进行图片转换的确定更加准确，从而更好地衔接视频播放的内容。
另外，将尚未下发的视频分片转换成图片，包括：将尚未下发的视频分片切分成若干个持续相同时长的片段，且将每个片段转换成一幅图片。或者，将流媒体服务器中尚未下发的视频分片中的每个画面组转换成一幅图片。提供了两种将尚未下发的视频分片转换成图片的方法。
另外，接收流媒体服务器下发的图片并进行播放，包括：接收流媒体服务器下发的由视频分片中的视频数据转换得到的图片并进行播放。方法还包括：在播放图片时播放处理后的文字，文字根据流媒体服务器下发的由视频分片中与视频数据对应的音频数据转换得到。用户在观看图片的同时以另一种形式获取文字信息，能够提升用户的观看体验。
另外，第一请求包括目标视频分片的身份标识，目标视频分片为终端正在从流媒体服务器接收且尚未接收完成的视频分片，其中，尚未下发的视频分片包括目标视频分片及目标视频分片后续的视频分片。终端发送给流媒体服务器的第一请求携带视频分片的身份标识，使得流媒体服务器知晓视频分片的身份信息，从而保证图片下发的准确性。
另外，第一请求中还包括目标视频分片中尚未接收完成部分的起始位置，其中，尚未下发的视频分片包括目标视频分片中尚未接收完成部分及目标视频分片后续的视频分片。终端发送给流媒体服务器的第一请求还包括目标视频分片中尚未接收完成部分的起始位置，使得流媒体服务器知晓目标视频分片中尚未接收完成部分的起始位置，即，在何处开始进行图片转换的确定更准确，使得用户视频播放内容的衔接更好。
另外，检测到终端处于弱网环境，具体为：当检测到终端正在播放的视频分片播放完成，且终端正在从流媒体服务器接收的视频分片尚未接收完成时，表示检测到终端处于弱网环境。提供一种检测终端网络环境的方法，在弱网环境下对视频分片进行处理，能够避免视频卡顿，提高视频播放的流畅度。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明的第一实施方式中的数据处理方法流程图；
图2是本发明的第二实施方式中的数据处理方法流程图；
图3是本发明的第三实施方式中的数据处理方法流程图；
图4是本发明的第四实施方式中的数据处理方法流程图；
图5是本发明的第五实施方式中的数据处理方法流程图；
图6是本发明的第六实施方式中流媒体服务器的结构示意图；
图7是本发明的第七实施方式中终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
发明人发现，在网络条件较差的情况下，用户观看视频时会遇到播放卡顿或视频无法加载等问题，即，视频不能流畅的播放。基于此，发明人提出了本申请的技术方案。
本发明的第一实施方式涉及一种数据处理方法，应用于流媒体服务器。在本实施例中，当检测到终端处于弱网环境时，流媒体服务器将尚未下发的视频分片转换成图片，并将图片发送给终端，以供终端进行播放。等待终端网络恢复，流媒体服务器停止图片转换，并在图片完全下发后，将尚未下发的视频分片直接下发给终端。下面对本实施方式的数据处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。具体流程如图1所示，包括：
步骤101，当检测到从流媒体服务器接收视频分片的终端处于弱网环境时，将尚未下发的视频分片转换成图片。
需要说明的是，在流媒体服务器处理视频分片之前，用户可以选择想要观看的视频进行播放。比如：用户通过终端选择想要观看的视频。
在一个具体的例子中，流媒体服务器将尚未下发的视频分片转换成图片时，还将尚未下发的视频分片中的视频数据转换成图片，且将尚未下发的视频分片中与视频数据对应的音频数据转换成文字，并把转化的得到的文字合成到图片中。
在一个具体的例子中，流媒体服务器可以自行检测对应的终端的网络状态。也可以是终端在检测到自身网络状态后，向对应的流媒体服务器发送告知自身网络状态的消息，比如：终端检测到自身处于弱网环境时，会向流媒体服务器发送第一请求，以告知流媒体服务器终端的网络状态，流媒体服务器根据终端的网络状态决定是否将视频分片转换成图片。同理，终端检测到自身网络恢复时，会向流媒体服务器发送第一请求的撤销请求，以告知流媒体服务器终端的网络状态，流媒体服务器从而决定是否停止将视频分片转换成图片。其中，第一请求和撤销请求可以是以消息的形式，也可以是其他形式，在此不做限定，只要能够使流媒体服务器知晓终端的网络状态即可。需要说明的是，在实际操作中，不限于上述两种情况，即，终端告知流媒体服务器终端自身的网络状态，或者流媒体服务器自行检测终端的网络状态，只要流媒体服务器能够知晓对应的终端的网络状态即可。
在一个具体的例子中，当检测到从流媒体服务器接收视频分片的终端处于弱网环境时，流媒体服务器获得目标视频分片的身份标识，然后将目标视频分片作为尚未下发的视频分片的起始位置，并将尚未下发的视频分片转换为图片。其中，目标视频分片为终端正在从流媒体服务器接收且尚未接收完成的视频分片。
进一步地，流媒体服务器在获得目标视频分片的身份标识中，还会获得目标视频分片中尚未接收完成部分的起始位置。将目标视频分片作为尚未下发的起始位置，并将尚未下发的视频分片转换成图片，具体为：将目标视频分片中尚未接收完成部分的起始位置作为尚未下发的视频分片的起始位置，并将尚未下发的视频分片转换成图片。
在一个具体的例子中，假设存在长度均为10s视频分片A和B，其中，视频分片A前5s的部分称为视频分片A1，后5s的部分称为视频分片A2。假设终端从流媒体服务器接收了5s的视频分片后，网络状态变差，即，终端只接收了A1，那么A2就是上述目标视频分片中尚未接收完成的部分，而B是目标视频分片后续的视频分片。那么，将目标视频分片中尚未接收完成部分的起始位置作为尚未下发的视频分片的起始位置指的就是，将A2的起始位置作为尚未下发的视频分片A2和B的起始位置，流媒体服务器从这个位置将尚未下发的视频分片转换成图片。需要说明的是，在实际操作中，不一定只存在A、B两个视频分片，也可以存在多个视频分片或者一个视频分片。上述内容仅为举例说明，并非实施本方案的必须。
步骤102，将图片下发给终端。
在一个具体的例子中，流媒体服务器将图片下发给终端后，终端能够进行接收并播放。一般来说，终端会对接收到的图片进行缓存操作，当消耗完之前缓存的图片之后，终端会按照顺序逐张加载弱网环境下生成的图片，即，从流媒体服务器接收图片并进行播放。
步骤103，当检测到终端的网络恢复时，停止图片转换，并在所有图片完全下发后，将尚未转换成图片的视频分片直接下发给终端。
在一个具体的例子中，用户通过终端选择想要观看的视频进行播放，流媒体服务器自行检测终端是否处于弱网环境。如果检测到终端处于弱网环境，则流媒体服务器将尚未下发的视频分片转换成图片，即，将视频分片信息进行图像化处理。比如：按照一定的规则将视频分片中的视频数据转换成若干张图片。其中，规则可以根据时间(比如：1s)、画面组或者场景制定，在此不做限定。以规则根据时间制定为例，流媒体服务器将尚未下发的视频分片切分成若干持续相同时长的片段，且将每个片段转换成一幅图片。或者，以规则根据画面组制定为例，流媒体服务器将尚未下发的视频分片中的每个画面组转换成一幅图片，假设有多个画面组，即会得到若干幅与画面组相对应的图片。此外，流媒体服务器还会将视频数据对应的音频数据转换成文字，即，将视频分片中与视频数据对应的对话等音频数据转换成文本信息，接着对图片和与图片对应的文本信息进行合成处理，比如：文本信息通过弹幕、字幕或水印等方式显示在图片上，从而实现弱网环境下图像的变化，在此不做限定。接着，流媒体服务器将合成得到的图片发送给终端。对于终端而言，当它消耗完缓存的图片之后，终端会按照顺序逐张加载弱网环境下生成的图片，即，从流媒体服务器接收图片并进行播放。流媒体服务器能够时刻检测终端的网络状态，如果终端仍然处于弱网环境，则持续处理视频分片，将文本信息和图片进行合成，并下发给终端。直至检测到终端的网络恢复，流媒体服务器停止图片转换，即，流媒体服务器不再处理视频分片，而是在将转换得到的图片完全下发给所终端后，直接将尚未转换成图片的视频分片下发给终端，以供终端进行下载并播放。
在本实施例中，当流媒体服务器检测到终端处于弱网环境时，将尚未下发的视频分片转换成图片，并将图片发送给终端，以供终端进行播放。等待终端网络恢复，流媒体服务器停止图片转换，并在图片完全下发后，将尚未转换成图片的视频分片直接下发给终端。本实施例能够保证在弱网环境下用户也能观看视频，并且能够避免视频出现卡顿，提高视频播放的流畅度。
本发明的第二实施方式涉及一种数据处理方法。第二实施方式与第一实施方式大致相同，在本发明第二实施方式中，流媒体服务器还将文字下发给终端，以供终端将文字进行处理。下面对本实施方式的数据处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。具体流程如图2所示，包括：
步骤201，当检测到从流媒体服务器接收视频分片的终端处于弱网环境时，将尚未下发的视频分片中的视频数据转换成图片，且将尚未下发的视频分片中与视频数据对应的音频数据转换成文字。
需要说明的是，在流媒体服务器处理视频分片之前，用户可以选择想要观看的视频进行播放。比如：用户通过终端选择想要观看的视频。
步骤202，将图片以及文字下发给终端。
在一个具体的例子中，流媒体服务器将尚未下发的视频分片中与视频数据对应的音频数据转换成文字，并把图片以及文字下发给终端，以供终端将文字进行处理。对于终端而言，终端接收到其中的文字后，可以将文字和图片进行合并，并进行播放。终端也可以单独对文字进行处理，比如将文字处理成语音、弹幕、字幕水印等，在此不做限定。终端播放图片的同时，还会播放处理后的文字。以语音为例，终端对文字进行人工智能(ArtificialIntelligence，简称AI)识别，以将文字转换成语音并搭配图片进行播放，从而实现语音对话。以弹幕为例，终端在接收到流媒体服务器发送的图片和文字之后，将文字处理成弹幕，并在播放图片时搭配弹幕。
步骤203，当检测到终端的网络恢复时，停止图片转换，并在所有图片完全下发后，将尚未转换成图片的视频分片直接下发给终端。与步骤103类似，在此不再赘述。
在一个具体的例子中，用户通过终端选择想要观看的视频进行播放。如果检测到终端处于弱网环境，则流媒体服务器将尚未下发的视频分片转换成图片，即，将视频分片信息进行图像化处理。比如：按照一定的规则将视频分片中的视频数据转换成若干张图片。其中，规则可以根据时间(比如：1s)、画面组或者场景制定，在此不做限定。以规则根据时间制定为例，流媒体服务器将尚未下发的视频分片切分成若干持续相同时长的片段，且将每个片段转换成一幅图片。或者，以规则根据画面组制定为例，流媒体服务器将尚未下发的视频分片中的每个画面组转换成一幅图片，假设有多个画面组，最终会得到若干幅与画面组相对应的图片。此外，流媒体服务器还会将视频数据对应的音频数据转换成文字，即，将视频分片中与视频数据对应的对话等音频数据转换成文本信息，接着流媒体服务器将图片和文本信息发送给终端。对于终端而言，当它消耗完缓存的图片和文本信息之后，终端会按照顺序加载弱网环境下生成的图片以及文本信息，即，从流媒体服务器接收图片以及文本信息并进行播放。需要说明的是，终端还可以利用AI识别将文本信息转换成语音进行播放。流媒体服务器能够时刻知晓终端的网络状态，如果终端仍然处于弱网环境，则持续处理视频分片，生成文本信息和图片，并下发给终端。直至检测到终端网络恢复，流媒体服务器停止图片转换，即，流媒体服务器不再处理视频分片，而是在所有图片下发给终端后，直接将尚未转换成图片的视频分片下发给终端，以供终端进行下载并播放。
在本实施例中，当流媒体服务器检测到终端处于弱网环境时，将尚未下发的视频分片中的视频数据转换成图片，且将尚未下发的视频分片中与视频数据对应的音频数据转换成文字，并把图片以及文字下发给终端。等待终端网络恢复，流媒体服务器停止图片转换，并在所有图片下发后，将尚未转换成图片的视频分片直接下发给终端。本实施例能够保证在弱网环境下用户也能观看视频，并且能够避免视频出现卡顿，提高视频播放的流畅度。
本发明的第三实施方式涉及一种数据处理方法，应用于终端。在本实施例中，当检测到终端处于弱网环境时，终端向流媒体服务器发送第一请求，以供流媒体服务器将尚未下发的视频分片转换成图片，并将图片下发给终端。然后接收流媒体服务器下发的图片并进行播放。当检测到终端的网络恢复时，终端向流媒体服务器发送第一请求的撤销请求，以供流媒体服务器将尚未转换成图片的视频分片直接下发给终端。下面对本实施方式的数据处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
具体流程如图3所示，包括：
步骤301，当检测到终端处于弱网环境时，向流媒体服务器发送第一请求。
具体地说，第一请求包括目标视频分片的身份标识，目标视频分片为终端正在从流媒体服务器接收且尚未接收完成的视频分片。其中，尚未下发的视频分片包括目标视频分片及目标视频分片后续的视频分片。
具体地说，第一请求还包括目标视频分片中尚未接收完成部分的起始位置。其中，尚未下发的视频分片包括目标视频分片中尚未接收完成的部分及目标视频分片后续的视频分片。
在一个具体的例子中，当终端处于弱网环境时，终端会向媒体服务器发送第一请求，以供流媒体服务器将尚未下发的视频分片转换成图片，并将图片下发给终端。终端发送的第一请求携带的有正在从流媒体服务器接收且尚未接收完成的视频分片的身份标识，以及目标视频分片中尚未接收完成部分的起始位置。其中，身份标识可以是视频分片的序列号，从而验证视频分片的身份，在此不做限定。需要说明的是，在实际情况中，终端可能在接受了一部分视频分片后，网络状态变差，即，变为弱网环境，所以在流媒体服务器中会存在该视频分片中还未被终端接收的视频分片。假设存在长度均为10s视频分片A和B，其中，视频分片A前5s的部分称为视频分片A1，后5s的部分称为视频分片A2。假设终端从流媒体服务器接收了5s的视频分片后，网络状态变差，即，终端接收了A1，那么A2就是上述目标视频分片中尚未接收完成的部分，而B就是目标视频分片后续的视频分片。
步骤302，接收流媒体服务器下发的图片并进行播放。
在一个具体的例子中，流媒体服务器会下发图片，对于终端而言，终端会接受流媒体服务器下发的图片。
步骤303，当检测到终端的网络恢复时，向流媒体服务器发送第一请求的撤销请求。
具体地说，当终端网络恢复时，终端会向流媒体服务器发送第一请求的撤销请求，以供流媒体服务器将尚未转换成图片的视频分片直接下发给终端。
在本实施例中，如果终端处于弱网环境，终端会向流媒体服务器发送第一请求，以供流媒体服务器将尚未下发的视频分片转换成图片，并将图片下发给终端。终端接收到图片后会进行播放。当终端的网络恢复时，终端向流媒体服务器发送第一请求的撤销请求，以供流媒体服务器将尚未转换成图片的视频分片下发给终端。本实施例能够保证流媒体服务器知晓终端的网络状态，从而决定是否对视频分片进行处理，有利于实现在弱网环境下避免视频出现卡顿，提高视频播放的流畅度。
本发明的第四实施方式涉及一种数据处理方法。在本实施例中，当检测到终端处于弱网环境时，向流媒体服务器发送第一请求。接着，终端接收流媒体服务器下发的由视频分片中的视频数据转换得到的图片并进行播放，以及接收流媒体服务器下发的由视频分片中与视频数据对应的音频数据转换得到的文字，将文字进行处理，并在播放图片时播放处理后的文字。如果检测到终端的网络恢复，终端向流媒体服务器发送第一请求的撤销请求。下面对本实施方式的数据处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。具体流程如图4所示，包括：
步骤401，当检测到终端处于弱网环境时，向流媒体服务器发送第一请求。与步骤301类似，在此不再赘述。
步骤402，接收流媒体服务器下发的由视频分片中的视频数据转换得到的图片进行播放，并在播放图片时播放处理后的文字。
具体地说，文字根据流媒体服务器下发的由视频分片中与视频数据对应的音频数据转换得到。
在一个具体的例子中，流媒体服务器不仅会将视频分片中的视频数据进行转换得到图片，还会将与视频数据对应的音频数据进行转换得到文字，然后将文字和图片下发给终端。那么，对于终端而言，它会接收到流媒体服务器下发的图片和文字。其中，终端接收到文字后，可以将文字进行处理，并在播放图片时播放处理后的文字。比如：终端利用AI识别将文字转换成语音，并搭配图片进行播放，或者将文字处理成弹幕、字幕，并搭配从流媒体服务器接接收的图片进行播放，在此不做限定。在实际操作中，终端从流媒体服务器接收到图片和文字后，也可以直接将文字和图片进行合并处理并播放。
需要说明的是，本实施例中终端接收图片和文字在同一步骤中进行，上述仅为举例说明，在实际操作时，也可以分步进行，在此不做限定。只要是保证终端接收到的图片和图片对应的语音同时播放的方法，理应都在保护和范围内。
步骤403，当检测到终端的网络恢复时，向流媒体服务器发送第一请求的撤销请求。与步骤303类似，在此不再赘述。
在本实施例中，终端不仅会接受由流媒体服务器下发的由视频分片中的视频数据转换得到的图片，还会接收到流媒体服务器下发的由视频分片中与视频数据对应的音频数据转换得到的文字。进一步地，终端会将文字进行处理，并在播放图片时播放处理后的文字。本实施例实现了用户在弱网环境下观看视频，且能够避免视频出现卡顿，提高视频播放的流畅度。
本发明的第五实施方式涉及一种数据处理方法。在本实施例中，当检测到终端正在播放的视频分片播放完成，且终端正在从流媒体服务器接收的视频分片尚未接收完成时，表示检测到终端处于弱网环境。于是终端向为终端下发视频分片的流媒体服务器发送第一请求，以开始后续的动作。下面对本实施方式的数据处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。具体流程如图5所示，包括：
步骤501，当检测到终端正在播放的视频分片播放完成，且终端正在从流媒体服务器接收的视频分片尚未接收完成时，向流媒体服务器发送第一请求。
需要说明的是，步骤501与步骤301类似，区别在于，步骤501判断终端处于弱网环境的标准为：如果终端正在播放的视频分片播放完成，且终端正在从流媒体服务器接收的视频分片尚未接收完成，即表示终端处于弱网环境。
在一个具体的例子中，假设长度为10s的视频分片A，终端开始播放视频分片A，同时从流媒体服务器接收视频分片B，且B为A之后的视频分片。终端在10s后将视频分片A播放完毕，如果在将视频分片A播放完毕之前或播放完毕的同时，终端接收到完整的视频分片B，则表明终端网络状态良好，视频分片能够连续播放。但是，如果在视频分片A播放的期间，终端没有接收完成视频分片B，则表明终端处于弱网环境，那么终端会向流媒体服务器发送第一请求，以供流媒体服务器将尚未下发的视频分片转换成图片，并将图片下发给终端。
步骤502，接收流媒体服务器下发的图片并进行播放。与步骤402类似，在此不再赘述。
步骤503，当检测到终端的网络恢复时，向流媒体服务器发送第一请求的撤销请求。与步骤303类似，在此不再赘述。
在本实施例中，当检测到终端正在播放的视频分片播放完成，且终端正在从流媒体服务器接收的视频分片尚未接收完成时，表示检测到终端处于弱网环境。本实施例提供了终端是否处于弱网环境的一种判断方法，同时，实现了用户在弱网环境下观看视频，且能够避免视频出现卡顿，提高视频播放的流畅度。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第六实施方式涉及一种流媒体服务器，如图6所示，包括至少一个处理器601，以及，与至少一个处理器601通信连接的存储器602。其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行上述的数据处理方法。
其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。
处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
本发明第七实施方式涉及一种终端，如图7所示，包括至少一个处理器701，以及，与至少一个处理器701通信连接的存储器702。其中，存储器702存储有可被至少一个处理器701执行的指令，指令被至少一个处理器701执行，以使至少一个处理器701能够执行上述的数据处理方法。
其中，存储器702和处理器701采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器701和存储器702的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器701处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器701。
处理器701负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器702可以被用于存储处理器701在执行操作时所使用的数据。
本发明第十一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种数据处理方法，其特征在于，应用于流媒体服务器，所述方法包括：
当检测到从所述流媒体服务器接收视频分片的终端处于弱网环境时，获得目标视频分片的身份标识；其中，所述目标视频分片为所述终端正在从所述流媒体服务器接收且尚未接收完成的视频分片；
将所述目标视频分片作为尚未下发的视频分片的起始位置，并将所述尚未下发的视频分片转换成图片；
将所述图片下发给所述终端，以供所述终端播放；
当检测到所述终端的网络恢复时，停止图片转换，并在所有图片完全下发后，将尚未转换成图片的视频分片直接下发给所述终端。
2.根据权利要求1所述的数据处理方法，其特征在于，所述将尚未下发的视频分片转换成图片，包括：
将所述尚未下发的视频分片中的视频数据转换成图片，且将所述尚未下发的视频分片中与所述视频数据对应的音频数据转换成文字；
将所述文字合成到所述图片中。
3.根据权利要求1所述的数据处理方法，其特征在于，所述将尚未下发的视频分片转换成图片，包括：
将所述尚未下发的视频分片中的视频数据转换成图片，且将所述尚未下发的视频分片中与所述视频数据对应的音频数据转换成文字；
所述将所述图片下发给所述终端时，还将所述文字下发给所述终端。
4.根据权利要求1所述的数据处理方法，其特征在于，所述获得目标视频分片的身份标识中，还获得所述目标视频分片中尚未接收完成部分的起始位置；
所述将所述目标视频分片作为尚未下发的视频分片的起始位置，并将所述尚未下发的视频分片转换成图片，包括：
将所述目标视频分片中尚未接收完成部分的起始位置作为所述尚未下发的视频分片的起始位置，并将所述尚未下发的视频分片转换成图片。
5.根据权利要求1所述的数据处理方法，其特征在于，所述将尚未下发的视频分片转换成图片，包括：
将所述尚未下发的视频分片切分成若干个持续相同时长的片段，且将每个所述片段转换成一幅图片；或者，
将所述流媒体服务器中尚未下发的视频分片中的每个画面组转换成一幅图片。
6.一种数据处理方法，其特征在于，应用于终端，所述方法包括：
当检测到所述终端处于弱网环境时，向为所述终端下发视频分片的流媒体服务器发送第一请求，以供所述流媒体服务器将尚未下发的视频分片转换成图片，并将所述图片下发给所述终端；其中，所述第一请求包括目标视频分片的身份标识；所述目标视频分片为所述终端正在从所述流媒体服务器接收且尚未接收完成的视频分片；所述尚未下发的视频分片包括所述目标视频分片及所述目标视频分片后续的视频分片；
接收所述流媒体服务器下发的所述图片并进行播放；
当检测到所述终端的网络恢复时，向所述流媒体服务器发送所述第一请求的撤销请求，以供所述流媒体服务器将尚未转换成图片的视频分片直接下发给所述终端。
7.根据权利要求6所述的数据处理方法，其特征在于，所述接收所述流媒体服务器下发的所述图片并进行播放，包括：
接收所述流媒体服务器下发的由所述视频分片中的视频数据转换得到的所述图片并进行播放；
所述方法还包括：在播放所述图片时播放处理后的文字；所述文字根据所述流媒体服务器下发的由所述视频分片中与所述视频数据对应的音频数据转换得到。
8.根据权利要求6所述的数据处理方法，其特征在于，所述第一请求中还包括所述目标视频分片中尚未接收完成部分的起始位置；
其中，所述尚未下发的视频分片包括所述目标视频分片中尚未接收完成部分及所述目标视频分片后续的视频分片。
9.根据权利要求6所述的数据处理方法，其特征在于，所述检测到所述终端处于弱网环境，具体为：
当检测到所述终端正在播放的视频分片播放完成，且所述终端正在从所述流媒体服务器接收的视频分片尚未接收完成时，表示检测到所述终端处于弱网环境。
10.一种流媒体服务器，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的数据处理方法。
11.一种终端，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求6至9中任一所述的数据处理方法。
12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述的数据处理方法，或者，实现权利要求6至9中任一所述的数据处理方法。
CN201911396804.7A 2019-12-30 2019-12-30 数据处理方法、服务器、终端以及存储介质 Active CN111182334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911396804.7A CN111182334B (zh) 2019-12-30 2019-12-30 数据处理方法、服务器、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396804.7A CN111182334B (zh) 2019-12-30 2019-12-30 数据处理方法、服务器、终端以及存储介质

Publications (2)

Publication Number Publication Date
CN111182334A CN111182334A (zh) 2020-05-19
CN111182334B true CN111182334B (zh) 2022-03-25

Family

ID=70649053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396804.7A Active CN111182334B (zh) 2019-12-30 2019-12-30 数据处理方法、服务器、终端以及存储介质

Country Status (1)

Country Link
CN (1) CN111182334B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179450B (zh) * 2021-03-23 2022-06-03 重庆扬成大数据科技有限公司 一种用于大数据环境下分析城市运营管理的工作方法
CN114071192A (zh) * 2021-11-11 2022-02-18 北京百度网讯科技有限公司 信息获取方法、终端、服务器、电子设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959061A (zh) * 2010-11-03 2011-01-26 重庆瑞斯凯特科技有限责任公司 交通路况视频监控系统及方法
CN102232298A (zh) * 2011-04-07 2011-11-02 华为技术有限公司 媒体内容的传输处理方法、装置与系统
CN103546766A (zh) * 2013-11-14 2014-01-29 腾讯科技(成都)有限公司 视频处理方法和相关设备及通信系统
CN104135486A (zh) * 2014-08-08 2014-11-05 浙江奇汇电子提花机有限公司 一种基于tcp协议的流媒体无线自适应传输方法
CN106817354A (zh) * 2015-12-01 2017-06-09 阿里巴巴集团控股有限公司 一种视频流传输方法、设备和系统
CN109361935A (zh) * 2018-12-24 2019-02-19 广州微算互联信息技术有限公司 图片流视频传输方法与系统
CN109379628A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN109982120A (zh) * 2017-12-28 2019-07-05 飞狐信息技术（天津）有限公司 一种多媒体播放方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9525851B2 (en) * 2008-07-25 2016-12-20 Time Warner Cable Enterprises Llc System and method for sharing digital images over a content-based network
US9906820B2 (en) * 2015-07-06 2018-02-27 Korea Advanced Institute Of Science And Technology Method and system for providing video content based on image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959061A (zh) * 2010-11-03 2011-01-26 重庆瑞斯凯特科技有限责任公司 交通路况视频监控系统及方法
CN102232298A (zh) * 2011-04-07 2011-11-02 华为技术有限公司 媒体内容的传输处理方法、装置与系统
CN103546766A (zh) * 2013-11-14 2014-01-29 腾讯科技(成都)有限公司 视频处理方法和相关设备及通信系统
CN104135486A (zh) * 2014-08-08 2014-11-05 浙江奇汇电子提花机有限公司 一种基于tcp协议的流媒体无线自适应传输方法
CN106817354A (zh) * 2015-12-01 2017-06-09 阿里巴巴集团控股有限公司 一种视频流传输方法、设备和系统
CN109982120A (zh) * 2017-12-28 2019-07-05 飞狐信息技术（天津）有限公司 一种多媒体播放方法及装置
CN109379628A (zh) * 2018-11-27 2019-02-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及计算机可读介质
CN109361935A (zh) * 2018-12-24 2019-02-19 广州微算互联信息技术有限公司 图片流视频传输方法与系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VPx video coding for lossy transmission channels using error resilience packets;Di Chen;《2016 Picture Coding Symposium (PCS)》;20170424;全文 *
用于变电站自主巡视机器人的图像传输系统研究;马承志;《马承志》;20140916;第42卷(第18期);全文 *

Also Published As

Publication number Publication date
CN111182334A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
USRE48430E1 (en) Two-dimensional code processing method and terminal
JP2021530927A (ja) フレーム精度のコンテンツ修正の円滑化を支援する、低レートフィンガープリンティングを用いた補間に基づく時間マッピングの確立及び使用
CN102036058B (zh) 视频监控系统中视频切换的方法、服务器、终端及系统
CN110933517B (zh) 码率切换方法、客户端和计算机可读存储介质
EP2151970A1 (en) Processing and supplying video data
EP3026919A1 (en) Image generation system and image generation-purpose program
CN111182334B (zh) 数据处理方法、服务器、终端以及存储介质
US20120240180A1 (en) Set-top box, earphone, and multimedia playing method
US20210211777A1 (en) Information Presenting Method, Terminal Device, Server and System
CN110830823A (zh) 播放进度修正方法、装置、电子设备及可读存储介质
US11962839B2 (en) Content-modification system with testing and reporting feature
US8955019B2 (en) Network system, server apparatus, terminal apparatus, display method of content guide, program for server apparatus, program for terminal apparatus
US20060002682A1 (en) Recording apparatus and recording control method
CN106385627B (zh) 视频编码方法和装置
US10674188B2 (en) Playback apparatus, method of controlling playback apparatus, playback method and server apparatus
JP2009130534A (ja) 画像処理装置及びその制御方法
US20140223471A1 (en) Side channel caching and triggering of contextual advertisements for live broadcast video streaming to mobile computing devices
CN111741174B (zh) 视频彩铃生成方法、系统、网络设备及存储介质
RU2662648C1 (ru) Способ и устройство для обработки данных
CN110351584B (zh) 视频混流方法、视频混流装置及存储介质
US20180048727A1 (en) Transmission apparatus and method, and storage medium
CN110650351B (zh) 直播控制方法、系统、服务器及计算机可读存储介质
KR101637022B1 (ko) 컨텐트를 송신하는 방법 및 장치, 컨텐트를 수신하는 방법 및 장치
EP3300376A1 (en) Method and apparatus for processing iptv program, and iptv system
US11381855B2 (en) Content-modification system with multiple video buffers feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant