CN111225238A - 信息处理方法及相关设备 - Google Patents
信息处理方法及相关设备 Download PDFInfo
- Publication number
- CN111225238A CN111225238A CN201811416104.5A CN201811416104A CN111225238A CN 111225238 A CN111225238 A CN 111225238A CN 201811416104 A CN201811416104 A CN 201811416104A CN 111225238 A CN111225238 A CN 111225238A
- Authority
- CN
- China
- Prior art keywords
- code stream
- sub
- category
- data
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 230000005540 biological transmission Effects 0.000 claims abstract description 232
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000012216 screening Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 48
- 230000003068 static effect Effects 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 15
- 230000015556 catabolic process Effects 0.000 claims description 14
- 238000006731 degradation reaction Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 39
- 230000006835 compression Effects 0.000 description 21
- 238000007906 compression Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000000717 retained effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种信息处理方法、实现该方法的装置、转码设备、无线发送设备及计算机可读存储介质。由于无线信道带宽资源有限,且视频数据包含的数据量较大,当无线信道传输能力小于视频业务所需传输能力时,在传输过程中视频的源码流可能会出现丢包现象,而造成视频接收端根据有损的源码流恢复出的视频的质量较低的问题。本申请实施例提出的方法可以对视频的源码流进行转码处理得到包括不同重要性的子码流的第一码流集合,并对第一码流集合进行筛选得到第二码流集合,进而仅传输筛选得到的第二码流集合中的子码流,并根据第二码流集合中的子码流恢复得到用户较为关注的原始视频数据,有利于提高恢复得到的视频的质量。
Description
技术领域
本申请涉及通信技术领域,具体涉及一种信息处理方法、装置、转码设备、无线发送设备及计算机可读存储介质。
背景技术
随着计算机网络以及图像处理技术的飞速发展,视频传输已经广泛地应用于各种场景中。视频传输分为有线视频传输和无线视频传输两类,与有线视频传输相比,无线视频传输具有以下优点:(1)成本低廉,无线视频传输系统无需架设电缆或挖掘电缆沟,节省了人力物力资源;(2)应用范围广,在山地、湖泊、林区等特殊地理环境中,无线传输几乎不受地理环境限制;(3)扩展性好,对无线视频传输系统进行扩展时,只需增加前端设备、发射机和接收机即可,而有线视频传输系统还需要重新布线;(4)移动性高,有线视频传输系统无法支持移动场景,而无线视频传输系统在无线网络覆盖范围内具有很高的移动性。
无线视频传输系统的一般架构如图1所示。视频发送端101将编码后得到的视频的源码流发送给无线信道发送端102,无线信道发送端102根据无线传输协议将视频的源码流转换成无线信号,并通过无线信道发送无线信号;无线信道接收端103收到无线信号之后,将之恢复成视频的源码流,并将恢复得到的视频的源码流发送给视频接收端104,视频接收端104根据收到的源码流进行存储、解码、分析和播放等工作。
由于无线信道带宽资源有限,且视频数据包含的数据量较大,当无线信道传输能力小于视频业务所需传输能力时,在传输过程中视频的源码流可能会出现丢包现象,而造成视频接收端104根据有损的源码流恢复出的视频的质量较低的问题。因此,如何提高视频接收端恢复出的视频的质量成为一个亟待解决的技术问题。
发明内容
本申请实施例提供了一种信息处理方法、实现该方法的装置、转码设备、无线发送设备及计算机可读存储介质,可以对视频的源码流进行转码处理得到包括不同重要性的子码流的第一码流集合,并对第一码流集合进行筛选得到第二码流集合,进而仅传输筛选得到的第二码流集合中的子码流,并根据第二码流集合中的子码流恢复得到用户较为关注的原始视频数据,有利于提高恢复得到的视频的质量。
第一方面,本申请实施例提供了一种信息处理方法,可以应用于第一转码设备,该方法包括:获取待传输视频的源码流,对源码流进行转码处理得到第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;将第一码流集合发送给无线发送设备,使得无线发送设备根据第一子码流的重要性确定第一子码流的传输优先级,以及根据第二子码流的重要性确定第二子码流的传输优先级,并基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,并通过无线信道传输该第二码流集合,该第二码流集合包括第一子码流和/或第二子码流,其中,第一子码流的传输优先级与第二子码流的传输优先级不同。
在该技术方案中,通过对源码流进行转码处理可以得到第一码流集合,第一码流集合中包括重要性不同的第一子码流和第二子码流,通过对第一码流集合进行筛选得到第二码流集合,进而仅传输筛选得到的重要性较高的第二码流集合中的子码流,可以充分利用有限的无线信道资源传输重要性较高的子码流,根据第二码流集合中的子码流恢复得到用户较为关注的原始视频数据,有利于提高恢复得到的视频的质量。
在一种实现方式中,对源码流进行转码处理得到第一码流集合的具体实施方式可以为:对源码流进行解码处理得到原始视频数据;将原始视频数据划分为数据集合,该数据集合至少包括第一数据子集和第二数据子集;基于第一编码信息对第一数据子集进行编码处理,得到第一子码流,并基于第二编码信息对第二数据子集进行编码处理,得到第二子码流;将第一子码流与第二子码流添加至第一码流集合。
在该技术方案中,可以根据第一数据子集和第二数据子集中包括的视频数据对于恢复视频的质量的影响,针对第一数据子集和第二数据子集,采用不同的编码信息进行编码,得到压缩率不同的第一子码流和第二子码流,进而增加对恢复视频的质量影响较小的视频数据的压缩率,减小对恢复视频的质量影响较大的视频数据的压缩率。通过这种方式,可以在不改变总的视频码率的基础上,保留对于恢复视频的质量影响较大的视频数据中的大部分细节信息,并保留对于恢复视频的质量影响较小的视频数据中的小部分细节信息,有利于提高视频恢复质量。
在一种实现方式中,将原始视频数据划分为数据集合的具体实施方式可以为:按照类别维度对原始视频数据进行聚类处理;根据聚类处理的结果确定数据集合,该数据集合至少包括第一数据子集和第二数据子集,第一数据子集中的视频数据的类别为第一类别;第二数据子集中的视频数据的类别为第二类别。
在该技术方案中,通过将属于不同类别的视频数据划分为不同的数据集合,进而编码得到不同的子码流,可以在带宽资源有限的情况下,根据子码流中视频数据的类别,丢弃对于恢复视频的质量影响较小的子码流,进而确保第二转码设备恢复出的视频的质量。
在一种实现方式中,对源码流进行转码处理得到第一码流集合的具体实施方式还可以包括:按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性。
在该技术方案中,可以根据第一数据子集(或者第二数据子集)中的视频数据的类别对于恢复视频的质量影响,确定该第一子码流(或者第二子码流)的重要性,进而利用有限的无线信道资源传输重要性较高的子码流,有利于提高第二转码设备恢复出的视频的质量。
在一种实现方式中,将原始视频数据划分为数据集合的具体实施方式可以为:按照预设划分方式对原始视频数据进行划分得到数据集合,该数据集合至少包括第一数据子集和第二数据子集。
在该技术方案中,相较于按照类别维度对原始视频数据进行划分,按照预设划分方式将原始视频数据划分为多个数据子集,在划分过程中不用识别视频数据的类别,可以提高划分效率,进而提高转码效率。
在一种实现方式中,对源码流进行转码处理得到第一码流集合的具体实施方式还可以包括:按照类别维度对第一数据子集进行聚类处理,得到第一数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;并按照类别维度对第二数据子集进行聚类处理,得到第二数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;提取第一数据子集中数据量最大的第一类别,以及提取第二数据子集中数据量最大的第二类别;按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性。
在该技术方案中,根据第一数据子集中数据量最大的第一类别设置第一子码流的重要性,可以使得第一子码流的重要性能够更加准确地反映该第一子码流中的视频数据对于恢复视频的质量影响;同理,根据第二数据子集中数据量最大的第二类别设置第二子码流的重要性,可以使得第二子码流的重要性能够更加准确地反映该第二子码流中的视频数据对于恢复视频的质量影响。
在一种实现方式中,类别维度包括空间维度和/或质量维度;若类别维度为空间维度,则前述类别包括运动类或静止类;若类别维度为质量维度,则前述类别包括轮廓类或颜色类;若类别维度为空间维度和质量维度,则前述类别包括运动轮廓类、运动颜色类、静止轮廓类或静止颜色类。
在该技术方案中,由于在不同的视频观看场景下,视频图像中的不同类别的图像元素对于观看体验的影响不同,因此,通过不同的类别维度识别出视频图像中不同类别的图像元素之后,可以将构成同一类别图像元素的视频数据编码为同一个子码流,进而优先确保对于观看体验的影响较大的子码流的传输,有利于提高第二转码设备恢复出的视频的质量。
在一种实现方式中,若第一类别为运动类,第二类别为静止类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为轮廓类,第二类别为颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为运动轮廓类,第二类别为运动颜色类、静止轮廓类或静止颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为运动颜色类,第二类别为静止轮廓类或静止颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为静止轮廓类,第二类别为静止颜色类,则第一子码流的重要性高于第二子码流的重要性。
在该技术方案中,相较于静止类的视频数据,运动类的视频数据对于恢复视频的质量影响较大,通过为包含运动类视频数据的第一子码流设置较高的重要性,可以提高第二转码设备恢复出的视频的质量;相较于颜色类的视频数据,轮廓类的视频数据对于恢复视频的质量影响较大,通过为包含轮廓类视频数据的第二子码流设置较高的重要性,可以提高第二转码设备恢复出的视频的质量。
在一种实现方式中,基于第一编码信息对第一数据子集进行编码处理,得到第一子码流,并基于第二编码信息对第二数据子集进行编码处理,得到第二子码流之前,该方法还可以包括:按照第一类别确定第一编码信息,并按照第二类别确定第二编码信息。
在该技术方案中,不同类别的视频数据对于恢复视频的质量影响不同,按照不同类别确定不同的编码信息,可以得到不同压缩率的子码流,对于恢复视频的质量影响较大的类别,编码得到压缩率较小的子码流,并对于恢复视频的质量影响较小的类别,编码得到压缩率较大的子码流。通过这种方式,可以在不改变总的视频码率的基础上,保留对于恢复视频的质量影响较大的视频数据中的大部分细节信息,并保留对于恢复视频的质量影响较小的视频数据中的小部分细节信息,有利于提高视频恢复质量。
第二方面,本申请实施例提供了另一种信息处理方法,可以应用于无线发送设备,该方法包括:接收第一转码设备发送的待传输视频的第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;根据第一子码流的重要性确定第一子码流的传输优先级,并根据第二子码流的重要性确定第二子码流的传输优先级,第一子码流的传输优先级与第二子码流的传输优先级不同;基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合包括第一子码流和/或第二子码流;通过无线信道将第二码流集合传输至第二转码设备。
在该技术方案中,通过对第一码流集合进行筛选得到第二码流集合,进而仅传输筛选得到的重要性较高的第二码流集合中的子码流,可以充分利用有限的无线信道资源传输重要性较高的子码流,有利于提高第二转码设备恢复出的视频的质量。
在一种实现方式中,若第一子码流的重要性高于第二子码流的重要性,则第一子码流的传输优先级高于第二子码流的传输优先级;通过无线信道将第二码流集合传输至第二转码设备的具体实施方式可以为:若无线信道的传输条件满足预设劣化条件,则丢弃第二子码流,并通过无线信道将第一子码流传输至无线接收设备,以由无线接收设备将第一子码流转发至第二转码设备;或者,通过无线信道将第二码流集合传输至第二转码设备的具体实施方式还可以为:若无线信道的传输条件满足预设劣化条件,则按照传输优先级的高低顺序依次将第一子码流及第二子码流传输至无线接收设备,以由无线接收设备将第一子码流及第二子码流转发至第二转码设备。
在该技术方案中,在无线信道的传输条件满足预设劣化条件时,通过丢弃重要性较低的第二子码流,仅传输重要性较高的第一子码流,可以降低对无线信道的压力,有利于减少丢包率,进而确保重要性较高的第一子码流的可靠传输。另外,由于无线信道的传输条件具有时变的特点,通过传输优先级的高低顺序依次传输第一子码流和第二子码流,可以更好地确保传输优先级较高的第一子码流的可靠传输,避免在无线信道的传输条件变差之后,导致传输优先级较高的第一子码流发生丢包,而降低第二转码设备恢复出的视频的质量。
在一种实现方式中,通过无线信道将第二码流集合传输至第二转码设备之后,该方法还可以包括:若接收到第二转码设备发送的重发请求,则通过无线信道将所请求的目标子码流重新传输至第二转码设备;其中,重发请求用于请求重发第二转码设备缺失的目标子码流,目标子码流为第一子码流或第二子码流。
在该技术方案中,通过重发第二转码设备缺失的目标子码流,可以提高第二转码设备恢复出的视频的质量。
第三方面,本申请实施例提供了另一种信息处理方法,可以应用于第二转码设备,该方法包括:接收无线发送设备发送的第二码流集合,第二码流集合包括第一子码流和/或第二子码流;第二码流集合是由无线发送设备根据无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一转码设备发送的第一码流集合进行筛选得到的;第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据;对视频的原始视频数据进行编码处理得到视频的源码流。
在该技术方案中,第二码流集合中的子码流是无线发送设备基于传输优先级筛选得到的,且子码流的传输优先级是根据该子码流的重要性确定的,根据第二码流集合可以恢复得到重要性较高的视频数据,进而有利于提高第二转码设备恢复出的视频的质量。
在一种实现方式中,对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据的具体实施方式可以为:对第二码流集合中的子码流分别进行解码处理,并将解码处理后得到的视频数据添加至数据集合;若数据集合包括的视频数据不完整,则确定数据集合所缺失的视频数据的重要性;若数据集合所缺失的视频数据的重要性大于预设重要性阈值,则向无线发送设备发送重发请求,重发请求用于请求无线发送设备重发目标子码流,目标子码流包括数据集合所缺失的视频数据,目标子码流为第一子码流或第二子码流;接收无线发送设备发送的目标子码流,对目标子码流进行解码处理得到目标数据,并将目标数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
在该技术方案中,在数据集合所缺失的视频数据的重要性大于预设重要性阈值时,向无线发送设备发送重发请求,以获取包括数据集合所缺失的视频数据的目标子码流,可以提高第二转码设备恢复出的视频的质量。
在一种实现方式中,根据目标类别确定数据集合所缺失的视频数据的重要性之后,该方法还可以包括:若数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,则获取历史视频数据,历史视频数据的重要性与数据集合所缺失的视频数据的重要性相同;将历史视频数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
在该技术方案中,在数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值时,通过获取重要性与数据集合所缺失的视频数据的重要性相同的历史视频数据,并使用历史视频数据替代数据集合所缺失的视频数据,可以提高第二转码设备恢复出的视频的质量。
第四方面,本申请实施例提供了一种信息处理装置,该装置具有实现第一方面所述的信息处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面,本申请实施例提供了另一种信息处理装置,该装置具有实现第二方面所述的信息处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第六方面,本申请实施例提供了又一种信息处理装置,该装置具有实现第三方面所述的信息处理方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
第七方面,本申请实施例提供一种信息处理系统,该信息处理系统包括第四方面所述的信息处理装置、第五方面所述的信息处理装置以及第六方面所述的信息处理装置。
第八方面,本申请实施例提供一种转码设备,该转码设备包括存储器和处理器,存储器中存储有程序指令,处理器调用存储器中存储的程序指令以实现第一方面或第三方面所述的信息处理方法。
第九方面,本申请实施例提供一种无线发送设备,该无线发送设备包括存储器和处理器,存储器中存储有程序指令,处理器调用存储器中存储的程序指令以实现第二方面所述的信息处理方法。
第十方面,本申请实施例提供一种计算机可读存储介质,用于储存为第四方面或第六方面所述的信息处理装置所用的计算机程序指令,其包含用于执行上述第一方面或第三方面所涉及的程序。
第十一方面,本申请实施例提供一种计算机可读存储介质,用于储存为第五方面所述的信息处理装置所用的计算机程序指令,其包含用于执行上述第二方面所涉及的程序。
第十二方面,本申请实施例提供一种计算机程序产品,该程序产品包括程序,所述程序被执行时实现上述第一方面或第三方面所述的方法。
第十三方面,本申请实施例提供一种计算机程序产品,该程序产品包括程序,所述程序被执行时实现上述第二方面所述的方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是现有的一种无线视频传输系统的架构示意图;
图2是本申请实施例公开的一种无线视频传输系统的架构示意图;
图3是本申请实施例公开的一种信息处理方法的流程示意图;
图4是本申请实施例公开的另一种信息处理方法的流程示意图;
图4a是本申请实施例公开的一种按照空间维度对原始视频图像进行拆分处理的场景示意图;
图5是本申请实施例公开的又一种信息处理方法的流程示意图;
图5a-图5b是本申请实施例公开的一种对原始视频图像进行拆分处理的场景示意图;
图6是本申请实施例公开的一种信息处理装置的结构示意图;
图7是本申请实施例公开的另一种信息处理装置的结构示意图;
图8是本申请实施例公开的又一种信息处理装置的结构示意图;
图9是本申请实施例公开的一种转码设备的结构示意图;
图10是本申请实施例公开的一种无线发送设备的结构示意图。
具体实施方式
为了更好的理解本申请实施例公开的一种信息处理方法,下面首先对本申请实施例适用的通信系统进行描述。
请参见图2,图2是本申请实施例公开的一种无线视频传输系统的架构示意图。如图2所示,该系统包括:视频服务器201、第一转码设备202、无线发送设备203、无线接收设备204、第二转码设备205和终端设备206。其中,视频服务器201与第一转码设备202、第一转码设备202与无线发送设备203、无线接收设备204与第二转码设备205、第二转码设备205与终端设备206之间均通过有线方式连接,无线发送设备203与无线接收设备204之间通过无线方式连接。视频服务器201可以用于存储视频数据,当用户需要观看存储于视频服务器201中的视频时,视频服务器201可以对用户需要的视频数据进行编码得到视频的源码流,然后将源码流发送给第一转码设备202;第一转码设备202可以用于对接收到的源码流进行转码处理得到第一码流集合,其中,第一码流集合至少包括两个子码流,然后将第一码流集合发送给无线发送设备203;无线发送设备203接收到第一码流集合之后,可以对第一码流集合中的子码流进行筛选得到第二码流集合,然后通过无线信道将第二码流集合传输至无线接收设备204;无线接收设备204接收到第二码流集合之后,可以将第二码流集合转发给第二转码设备205;第二转码设备205接收到第二码流集合之后,可以对第二码流集合中的子码流进行解码处理以恢复原始视频数据,并对原始视频数据进行编码处理得到视频的源码流,然后将源码流发送给终端设备206;终端设备206接收到视频的源码流之后,可以对源码流进行解码处理,并输出解码得到的视频数据,以供用户观看。
需要说明的是,图2所示视频服务器201、第一转码设备202、无线发送设备203、无线接收设备204、第二转码设备205和终端设备206分别作为单独的物理实体存在仅用于举例,并不构成对本申请实施例的限定。在其他可行的实现方式中,视频服务器201和第一转码设备202可以集成于同一个物理实体,第一转码设备202和无线发送设备203可以集成于同一个物理实体,或者,视频服务器201、第一转码设备202和无线发送设备203可以集成于同一个物理实体;无线接收设备204和第二转码设备205可以集成于同一个物理实体,第二转码设备205和终端设备206可以集成于同一个物理实体,或者,无线接收设备204、第二转码设备205和终端设备206可以集成于同一个物理实体。
可以理解的是,本申请实施例描述的无线视频传输系统是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于图2所示的无线视频传输系统的架构示意图,请参见图3,图3是本申请实施例提供的一种信息处理方法的流程示意图,该方法应用于无线视频传输系统,该方法包括但不限于如下步骤:
步骤S301:第一转码设备获取待传输视频的源码流。其中,视频的源码流是指在单位时间内传输的编码后的原始视频数据,视频的源码流可以是采用原始编码信息对原始视频数据进行编码处理后得到的,其中,原始编码信息可以包括原始编码标准和原始编码参数。在一种实现方式中,原始编码标准可以包括但不限于:Mpeg1、Mpeg2、Mpeg4、Mpeg4AVC、H.261、H.262、H.263、H.263+、H.263++、H.264或者H.265等编码标准。原始编码参数可以包括但不限于量化参数、画面组(Group of Pictures,GOP)等,其中,量化参数用于反映空间细节压缩情况,量化参数小,大部分的图像细节都会被保留,量化参数增大,一些图像细节丢失。GOP指帧内编码图像帧之间的距离,帧内编码图像帧可以不参考其他图像帧,只利用本帧的信息进行编码。GOP值越大,视频码率越低,但是会增加编码和解码时长,视频码率是指视频数据传输时单位时间传送的数据位数。
在一种实现方式中,第一转码设备可以从本地获取视频的源码流,或者,第一转码设备也可以接收视频服务器发送的视频的源码流,本申请实施例对此不做限定。
步骤S302:第一转码设备对该源码流进行转码处理得到第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同。转码处理是指采用不同于原始编码信息的另一种编码信息对源码流中的原始视频数据进行重新编码。在一种实现方式中,在转码时使用的编码信息与原始编码信息不同体现在:在转码时使用的编码标准与原始编码标准不同,和/或,在转码时使用的编码参数与原始编码参数不同。
在一种实现方式中,第一转码设备对该源码流进行转码处理得到第一码流集合的具体实施方式可以为:第一转码设备对该源码流进行解码处理得到原始视频数据;将原始视频数据划分为数据集合,该数据集合至少包括第一数据子集和第二数据子集;对第一数据子集进行编码处理,得到第一子码流,并对第二数据子集进行编码处理,得到第二子码流;将第一子码流与第二子码流添加至第一码流集合,并为第一子码流与第二子码流设置不同的重要性。在一种实现方式中,第一转码设备可以采用相同的编码信息对第一数据子集和第二数据子集分别进行编码处理,或者,第一转码设备可以采用不同的编码信息对第一数据子集和第二数据子集进行编码处理,本申请实施例对此不做限定。当采用不同的编码信息对第一数据子集和第二数据子集进行编码处理时,对第一数据子集进行编码处理时所使用的编码信息或者对第二数据子集进行编码处理时所使用的编码信息均与原始编码信息不同。
在一种实现方式中,原始视频数据中的不同视频数据对于用户观看体验的影响不同,一部分视频数据的影响较大,一部分视频数据的影响较小。例如,在观看电影时,若当前显示的是两用户对话的画面,则观影者主要聚焦于画面中的两用户,而很少会关注到两用户身后的背景画面,也就是说,在该画面中对于观影体验影响较大的是两用户的脸部画面,而对于观影体验影响较小的是两用户身后的背景画面。在一种实现方式中,第二转码设备可以将对于用户观看体验的影响较大的视频数据加入第一数据子集,并将对于用户观看体验的影响较小的视频数据加入第二数据子集,然后为对第一数据子集进行编码处理得到的第一子码流设置较高的重要性,并为对第二数据子集进行编码处理得到的第二子码流设置较低的重要性。当无线信道的带宽资源有限时,无线发送设备可以优先确保重要性较高的第一子码流的传输,进而可以尽量减小无线信道的带宽资源有限而带给用户观看体验的影响。
需要说明的是,前述数据集合除了包括第一数据子集和第二数据子集以外,还可以包括其他数据子集,且其他数据子集对于用户观看体验的影响可以与第一数据子集或者第二数据子集对于用户观看体验的影响相同,或者与第一数据子集或者第二数据子集对于用户观看体验的影响不同。相应的,第一码流集合除了包括第一子码流和第二子码流以外,还可以包括其他子码流,且其他子码流的重要性可以与第一数据子集或者第二数据子集的重要性相同,或者与第一数据子集或者第二数据子集的重要性不同,本申请实施例对此不作限定。其中,其他子码流的重要性可以是依据对应的数据子集对于用户观看体验的影响确定的,具体的,若数据子集对于用户观看体验的影响越大,则对该数据子集进行编码得到的子码流的重要性越高,若数据子集对于用户观看体验的影响越小,则对该数据子集进行编码得到的子码流的重要性越低。
在一种实现方式中,第一转码设备可以获取无线信道的信道传输速率以及丢包率,然后基于无线信道的丢包率确定是否采用不同的编码信息对第一数据子集和第二数据子集进行编码处理,并基于无线信道的信道传输速率确定对第一数据子集和第二数据子集进行编码处理时所采用的编码信息中的压缩率,以便编码后得到的第一子码流与第二子码流的码率之和小于无线信道的信道传输速率。
具体的,若无线信道的丢包率大于预设丢包率阈值,则表明无线信道的传输条件较差,此时,第一转码设备可以采用不同的编码信息对第一数据子集和第二数据子集进行编码处理,并且,对第一数据子集进行编码处理时所采用的编码信息中的压缩率小于对第二数据子集进行编码处理时所采用的编码信息中的压缩率,以便编码后得到的第一子码流与第二子码流的码率之和小于无线信道的信道传输速率,其中,第一数据子集中的视频数据对于用户观看体验的影响大于第二数据子集中的视频数据对于用户观看体验的影响。对第一数据子集进行编码处理时所采用的编码信息中的压缩率小于对第二数据子集进行编码处理时所采用的编码信息中的压缩率,意味着可以保留更多对于用户观看体验的影响较大的视频数据(即第一数据子集中的视频数据)的细节信息,而保留更少对于用户观看体验的影响较小的视频数据(即第二数据子集中的视频数据)的细节信息。通过这种方式,可以在无线信道的传输条件较差时,利用有限的无线传输资源传输较多对于用户观看体验的影响较大的视频数据,并传输较少对于用户观看体验的影响较小的视频数据。
在一种实现方式中,若无线信道的丢包率小于或等于预设丢包率阈值,则表明无线信道的传输条件良好,此时,第一转码设备可以采用相同的编码信息对第一数据子集和第二数据子集进行编码处理,即对第一数据子集和第二数据子集进行编码处理时所采用的编码信息中的压缩率相同,且编码后得到的第一子码流与第二子码流的码率之和小于无线信道的信道传输速率,其中,第一数据子集中的视频数据对于用户观看体验的影响大于第二数据子集中的视频数据对于用户观看体验的影响。对第一数据子集和第二数据子集进行编码处理时所采用的编码信息中的压缩率相同,意味着即可以保留较多对于用户观看体验的影响较大的视频数据(即第一数据子集中的视频数据)的细节信息,也可以保留较多对于用户观看体验的影响较小的视频数据(即第二数据子集中的视频数据)的细节信息。通过这种方式,可以在无线信道的传输条件良好时,利用无线传输资源传输较多视频数据的细节信息,有利于提高第二转码设备恢复出的视频的质量。
在一种实现方式中,预设丢包率阈值可以是第一转码设备默认设置的,也可以是第一转码设备根据用户的输入操作确定的,本申请实施例对此不作限定。在一种实现方式中,第二转码设备可以统计预设时间段内接收到的视频数据量和丢失的视频数据量,以便计算得到平均接收速率和丢包率,进而将计算得到的平均接收速率和丢包率直接反馈给第一转码设备,或者,将计算得到的平均接收速率和丢包率反馈给无线接收设备,并由无线接收设备将平均接收速率和丢包率转发给第一转码设备。第一转码设备接收到平均接收速率和丢包率之后,可以将平均接收速率确定为无线信道的信道传输速率。
步骤S303:第一转码设备将第一码流集合发送给无线发送设备。具体的,第一转码设备将第一码流集合中的所有子码流发送给无线发送设备,以便无线发送设备基于各个子码流的重要性确定该子码流的传输优先级,并基于各个子码流的传输优先级确定是否传输各个子码流,以及如何传输各个子码流。需要说明的是,各个子码流的重要性可以携带于该子码流中,无线发送设备接收到该子码流之后,可以解析该子码流中的数据,以获取该子码流的重要性。在一种实现方式中,第一转码设备将第一码流集合发送给无线发送设备时,还可以将原始编码信息一并发送给无线发送设备,以便无线发送设备将原始编码信息转发给第二转码设备,使得第二转码设备可以基于原始编码信息恢复得到视频的源码流。
步骤S304:无线发送设备根据第一子码流的重要性确定第一子码流的传输优先级,并根据第二子码流的重要性确定第二子码流的传输优先级,第一子码流的传输优先级与第二子码流的传输优先级不同。具体的,无线发送设备在接收到第一转码设备发送的待传输视频的第一码流集合之后,可以基于第一码流集合中各个子码流的重要性确定该子码流的传输优先级,若第一码流集合中的子码流的重要性越高,则该子码流的传输优先级越高,无线发送设备可以根据子码流的传输优先级确定是否传输该子码流,以及如何传输该子码流。在一种实现方式中,无线发送设备在确定是否传输第一码流集合中的某个子码流(如第一子码流)时,可以仅参考第一子码流的传输优先级,例如,若第一子码流的传输优先级的高于预设传输优先级阈值,则无线发送设备确定传输第一子码流。在另一种实现方式中,无线发送设备在确定是否传输第一子码流时,不仅需要参考第一子码流的传输优先级,还需要参考第一码流集合中的其他子码流的传输优先级,例如,无线发送设备可以在第一码流集合中确定出传输优先级最高的前N个子码流,并将传输优先级最高的前N个子码流传输至第二转码设备。
步骤S305:无线发送设备基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合包括第一子码流和/或第二子码流。由于无线信道的传输带宽非常有限,并且第一码流集合包括的视频数据的数据量较大,当无线信道的传输带宽小于传输第一码流集合所需的带宽时,在传输过程中将产生丢包,若在传输过程中丢失的是重要性较高的子码流,将会导致第二转码设备恢复得到的视频的质量较低。为了避免上述问题,无线发送设备对第一码流集合进行筛选,以便确定传输第一码流集合中的哪些子码流,并确定不传输第一码流集合中的哪些子码流,其中,确定传输的第二码流集合中的各个子码流对于第二转码设备恢复出的视频的质量影响较大,而确定不传输的子码流对于第二转码设备恢复出的视频的质量影响较小。相较于传输第一码流集合中的所有子码流,通过主动放弃传输对于第二转码设备恢复出的视频的质量影响较小的子码流,可以降低甚至避免在传输过程中丢失重要性较高的子码流,进而尽量降低丢包对于第二转码设备恢复出的视频的质量影响。
在一种实现方式中,无线发送设备采用的筛选方式可以包括但不限于以下两种:第一,无线发送设备可以基于无线信道的传输条件和第一子码流的传输优先级,确定是否传输第一子码流,若确定传输第一子码流则将第一子码流添加至第二码流集合,并基于无线信道的传输条件和第二子码流的传输优先级,确定是否传输第二子码流,若确定传输第二子码流则将第二子码流添加至第二码流集合。其中,无线信道的传输条件可以包括传输带宽、时延和丢包率中的一种或多种。例如,若第一子码流的传输优先级的高于预设传输优先级阈值,则无线发送设备确定传输第一子码流。其中,预设传输优先级阈值可以是基于无线信道的传输条件确定的,例如,在无线信道的传输条件较好时,表明在丢包率和时延不变的基础上可以通过无线信道传输更多的数据,此时,无线发送设备可以将预设传输优先级阈值设置的较小,以便通过无线信道传输更多的子码流。
第二,无线发送设备可以基于无线信道的传输条件以及第一码流集合中所有子码流的传输优先级,确定是否传输第一子码流,若确定传输第一子码流则将第一子码流添加至第二码流集合,并基于无线信道的传输条件以及第一码流集合中所有子码流的传输优先级,确定是否传输第二子码流,若确定传输第二子码流则将第二子码流添加至第二码流集合。例如,无线发送设备可以在第一码流集合中确定出传输优先级最高的前N个子码流,并将传输优先级最高的前N个子码流传输至第二转码设备。其中,数值N可以是基于无线信道的传输条件确定的,例如,在无线信道的传输条件较好时,表明在丢包率和时延不变的基础上可以通过无线信道传输更多的数据,此时,无线发送设备可以将数值N设置的较大,以便通过无线信道传输更多的子码流。
步骤S306:无线发送设备通过无线信道将第二码流集合传输至第二转码设备。具体的,无线发送设备通过无线信道将第二码流集合中的所有子码流传输至第二转码设备,以便第二转码设备对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据。在一种实现方式中,当第二转码设备中集成有无线接收模块时,无线发送设备可以通过无线信道将第二码流集合直接传输至第二转码设备,其中,第二转码设备中的无线接收模块用于接收无线发送设备通过无线信道传输的第二码流集合。在另一种实现方式中,当第二转码设备中不存在无线接收模块时,无线发送设备可以通过无线信道将第二码流集合传输至无线接收设备,然后由无线接收设备将接收到的第二码流集合转发至第二转码设备。
在一种实现方式中,无线发送设备通过无线信道将第二码流集合传输至第二转码设备的具体实施方式可以为:无线发送设备随机确定第二码流集合中的子码流的传输顺序,并按照传输顺序通过无线信道依次传输第二码流集合中的各个子码流。在另一种实现方式中,无线发送设备通过无线信道将第二码流集合传输至第二转码设备的具体实施方式还可以为:无线发送设备依据第二码流集合中的子码流的传输优先级的高低顺序,通过无线信道依次传输第二码流集合中的各个子码流。由于无线信道的传输条件具有时变的特点,无线发送设备通过传输优先级的高低顺序依次传输子码流,可以更好地确保传输优先级较高的子码流的可靠传输,避免在无线信道的传输条件变差之后,导致传输优先级较高的子码流发生丢包,而降低第二转码设备恢复出的视频的质量。
步骤S307:第二转码设备对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据。具体的,第二转码设备在接收到无线发送设备发送的第二码流集合之后,可以分别对第二码流集合中的各个子码流进行解码处理,然后对各个子码流进行解码处理得到的视频数据进行合并处理,得到视频的原始视频数据。
当第二码流集合包括了第一码流集合中的所有子码流时,第二转码设备可以根据第二码流集合中的子码流直接恢复得到视频的原始视频数据中的所有数据。当第二码流集合仅包括第一码流集合中的部分子码流时,由于第二码流集合中的子码流对于恢复视频的质量影响较大,因此,即使根据该部分子码流也可以恢复原始视频数据中的大部分数据,且恢复得到的原始视频数据是用户较为关注的部分,所以基本不会对用户观看体验造成影响。相较于现有技术,在传输过程中若丢失对于恢复视频的质量具有较大影响的数据包,将导致在缺失对于恢复视频的质量具有较大影响的数据包时,产生严重的花屏现象,这样会严重降低恢复出的视频的质量。
在一种实现方式中,第二转码设备对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据之后,可以获取原始视频数据对应的目的网际协议地址(InternetProtocol Address,IP),若目的IP地址与第二转码设备的IP地址相同,则第二转码设备可以调用输出设备输出原始视频数据;若目的IP地址与第二转码设备的IP地址不同,则第二转码设备可以对视频的原始视频数据进行编码处理得到视频的源码流,并将视频的源码流发送给该目的IP地址指示的终端设备。
步骤S308:第二转码设备对视频的原始视频数据进行编码处理得到视频的源码流。具体的,第二转码设备对原始视频数据进行编码处理得到视频的源码流之后,可以将该源码流发送给电子设备,以便电子设备存储该源码流,并对该源码流进行解码处理,然后调用电子设备的输出设备输出解码后得到的原始视频数据,以供用户查看。其中,电子设备可以用户设备或者移动终端等。
在一种实现方式中,第二转码设备对视频的原始视频数据进行编码处理得到视频的源码流的具体实施方式可以为:第二转码设备基于原始编码信息对视频的原始视频数据进行编码处理得到视频的源码流,以便将视频的原始视频数据恢复为在第一转码设备中进行转码之前所具有的原始编码格式。其中,原始编码信息可以是由第一转码设备直接发送给第二转码设备的,或者由第一转码设备发送给无线接收设备,并由无线接收设备转发给第二转码设备。通过这种方式,可以避免第二转码设备采用不同于原始编码信息的编码信息,对视频的原始视频数据进行编码处理后,得到的视频的源码流的编码格式与原始视频数据在第一转码设备中进行转码之前所具有的原始编码格式不同,而导致将该源码流发送给电子设备时,电子设备无法对其进行解码的问题。第二转码设备通过将原始视频数据转码为原始编码格式的源码流,可以解除对于电子设备的解码能力的要求,并且转码的过程对于视频发送端和视频接收端保持透明,即可以兼容任意的视频发送端和视频接收端。
在一种实现方式中,原始编码信息还可以是由电子设备发送给第二转码设备的,通过这种方式,可以将原始视频数据转码为电子设备支持的编码格式,进而确保电子设备可以成功对第二转码设备发送的源码流进行解码。
可见,通过对视频的源码流进行转码处理得到包括不同重要性的子码流的第一码流集合,并对第一码流集合进行筛选得到第二码流集合,进而仅传输筛选得到的重要性较高的第二码流集合中的子码流,可以充分利用有限的无线信道资源传输重要性较高的子码流,进而根据第二子码流中的子码流恢复得到用户较为关注的原始视频数据,有利于提高恢复得到的视频的质量,并有利于提高用户观看体验。
请参见图4,图4是本申请实施例提供的另一种信息处理方法的流程示意图,该方法应用于无线视频传输系统,该方法包括但不限于如下步骤:
步骤S401:第一转码设备获取待传输视频的源码流。需要说明的是,步骤S401的执行过程可参见图3中步骤S301的具体描述,在此不赘述。
步骤S402:第一转码设备对该源码流进行解码处理得到原始视频数据。具体的,若视频的源码流是采用原始编码信息对原始视频数据进行编码处理后得到的,则第一转码设备对该源码流进行解码处理得到原始视频数据,以便采用不同于原始编码信息的编码信息对源码流中的原始视频数据进行重新编码,以得到多个子码流。
步骤S403:第一转码设备按照类别维度对原始视频数据进行聚类处理。具体的,原始视频数据中的不同视频数据对于用户观看体验的影响不同,一部分视频数据的影响较大,另一部分视频数据的影响较小,通过对原始视频数据进行聚类处理,可以将对用户观看体验的影响相似的视频数据划分为一类视频数据。例如,若待传输视频为监控视频时,相对于静止不动的背景物体出现失真,监控视频中的人或者车等移动物体出现失真时对用户观看体验的影响更大,此时,第一转码设备可以将包含人或者车等移动物体的原始视频数据划分为一类视频数据,并将包含背景等静止物体的原始视频数据划分为另一类视频数据。
在一种实现方式中,按照不同的类别维度可以对原始视频数据进行不同的划分。在一种实现方式中,类别维度可以包括空间维度和/或质量维度,空间维度是指在不同的应用场景下,视频中用户感兴趣的区域不同。例如,在视频监控场景下,在监控视频中相对于静止不动的背景物体对应的区域,用户更加关注人或者车等移动物体对应的区域;又如,在视频授课场景下,在授课视频中相较于老师等移动物体对应的区域,用户更加关注包含知识点的黑板等静止物体对应的区域。质量维度是指在视频图像中,轮廓边缘信息对用户观看体验的影响要强于灰度图像信息和颜色图像信息等细节信息,其中,灰度图像信息用于描述灰度视频图像中各个图像元素的深浅度,灰度图像是指每个像素只有一个采样颜色的图像,灰度图像通常显示为从最暗黑色到最亮白色之间的灰度。
在一种实现方式中,按照不同的类别维度对原始视频数据进行划分,可以得到不同类别的视频数据。若类别维度为空间维度,则对原始视频数据进行划分得到的视频数据的类别可以为运动类或静止类;若类别维度为质量维度,则对原始视频数据进行划分得到的视频数据的类别可以为轮廓类或颜色类,其中,将灰度图像信息和颜色图像信息划分为颜色类;若类别维度为空间维度和质量维度,则对原始视频数据进行划分得到的视频数据的类别可以为运动轮廓类、运动颜色类、静止轮廓类或静止颜色类。
在一种实现方式中,原始视频数据可以指构成原始视频图像的数据,第一转码设备按照类别维度对原始视频数据进行聚类处理的具体实施方式可以为:第一转码设备按照类别维度识别出原始视频图像包括的图像元素,并按照图像元素对原始视频图像进行拆分处理,进而将构成同一类图像元素对应的图像区域的视频数据划分为一类视频数据。以图4a所示的一种按照空间维度对原始视频图像进行拆分处理的场景示意图为例,第一转码设备对原始视频图像进行识别得到的图像元素包括人、车和背景,其中,背景包括房屋、树木、天空等静止物体,然后第一转码设备可以按照图示虚线对原始视频图像进行拆分,得到单独构成人、车、背景的图像区域,并将构成人和车等运动类图像元素对应的图像区域的视频数据划分为运动类视频数据,并将构成背景的静止类图像元素对应的图像区域的视频数据划分为静止类视频数据。若以图4a为例,按照质量维度识别出的图像元素包括人、车、房屋、树木的轮廓,人、车、房屋和树木的灰度图像,以及人、车、房屋和树木的颜色。
步骤S404:第一转码设备根据聚类处理的结果确定数据集合,该数据集合至少包括第一数据子集和第二数据子集,第一数据子集中的视频数据的类别为第一类别,第二数据子集中的视频数据的类别为第二类别。例如,在图4a中,第一转码设备可以将构成人和车的视频数据添加至第一数据子集,并将构成房屋和树木等背景的视频数据添加至第二数据子集,其中,第一数据子集中的视频数据的类别为运动类,第二数据子集中的视频数据的类别为静止类。
在一种实现方式中,第一转码设备也可以将构成同一图像元素对应的图像区域的视频数据划分为同一类视频数据,并将之加入同一数据子集。以图4a为例,第一转码设备可以将构成人、车、房屋、树木的视频数据分别添加至数据子集1、数据子集2、数据子集3、数据子集4,并将剩余视频数据添加至数据子集5,其中,数据子集1、数据子集2、数据子集3、数据子集4、数据子集5中的视频数据的类别分别为人、车、房屋、树木、纯背景。
步骤S405:第一转码设备基于第一编码信息对第一数据子集进行编码处理,得到第一子码流,并按照第一类别设置第一子码流的重要性;基于第二编码信息对第二数据子集进行编码处理,得到第二子码流,并按照第二类别设置第二子码流的重要性,将第一子码流与第二子码流添加至第一码流集合,其中,第一子码流的重要性高于第二子码流的重要性。第一转码设备根据数据子集中的视频数据所属的类别,设置对该数据子集进行编码处理得到的子码流的重要性,以便后续根据该子码流的重要性确定该子码流中的视频数据对于用户观看体验的影响。
其中,第一编码信息与第二编码信息不同,并且第一编码信息、第二编码信息均与原始编码信息不同。第一转码设备通过采用不同的编码信息对第一数据子集和第二数据子集进行编码处理,可以得到不同码率的第一子码流和第二子码流。在一种实现方式中,第一转码设备可以按照数据子集中的视频数据所属的类别确定该数据子集所采用的编码信息,具体的,第一转码设备可以按照第一类别确定第一编码信息,并按照第二类别确定第二编码信息。不同类别的视频数据对于恢复出的视频的质量影响不同,按照不同类别确定不同的编码信息,可以得到不同压缩率的子码流,对于恢复视频的质量影响较大的类别,编码得到压缩率较小的子码流,并对于恢复视频的质量影响较小的类别,编码得到压缩率较大的子码流,可以在不改变总的视频码率的基础上,提高视频恢复质量。在一种实现方式中,当第一类别为运动类,第二类别为静止类时,第一编码信息包括的编码标准的压缩率可以低于第二编码信息包括的编码标准的压缩率,通过这种方式,可以在不改变总的视频码率的基础上,保留原始视频数据中运动类的视频数据中的大部分细节信息,并保留原始视频数据中静止类的视频数据中的小部分细节信息,即保留较多原始视频数据中重要性较高的视频数据的细节信息,进而提高第二转码设备恢复出的视频的质量。
步骤S406:第一转码设备将第一码流集合发送给无线发送设备。需要说明的是,步骤S406的执行过程可参见图3中步骤S303的具体描述,在此不赘述。
步骤S407:无线发送设备根据第一子码流的重要性确定第一子码流的传输优先级,并根据第二子码流的重要性确定第二子码流的传输优先级,第一子码流的传输优先级高于第二子码流的传输优先级。具体的,子码流的传输优先级与该子码流的重要性成正比,即若第一码流集合中的子码流的重要性越高,则该子码流的传输优先级越高。当第一码流集合包括第一子码流和第二子码流时,若第一子码流的重要性高于第二子码流的重要性,则第一子码流的传输优先级高于第二子码流的传输优先级。
步骤S408:无线发送设备基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合包括第一子码流。具体的,无线发送设备确定第一子码流和第二子码流的传输优先级之后,可以检测无线信道的传输条件,并基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合可以包括第一子码流和/或第二子码流。
在一种实现方式中,当无线信道的传输条件满足预设劣化条件时,无线发送设备可以将第一码流集合中传输优先级较高的第一子码流添加至第二码流集合,然后丢弃第二子码流,并通过无线信道将第一子码流传输至无线接收设备,进而减少传输的子码流数量,降低对无线信道的压力,并且通过传输重要性较高的第一子码流可以尽量减小丢包对于恢复出的视频的质量影响。
在一种实现方式中,当无线信道的传输条件满足预设劣化条件时,无线发送设备可以将第一子码流和第二子码流均添加至第二码流集合,然后按照传输优先级的高低顺序依次将第一子码流及第二子码流传输至无线接收设备,通过这种方式,可以避免同时传输第一子码流和第二子码流对无线信道造成太大的压力而产生丢包的情况,并且通过延迟传输重要性较低的第二子码流,而非直接丢弃第二子码流,可以提高第二转码设备恢复出的视频的质量。
步骤S409:若无线信道的传输条件满足预设劣化条件,则无线发送设备丢弃第二子码流,并通过无线信道将第一子码流传输至无线接收设备,以由无线接收设备将第一子码流转发至第二转码设备。通过这种方法,可以减少传输的子码流数量,降低对无线信道的压力,并且通过传输重要性较高的第一子码流可以尽量减小丢包对于恢复出的视频的质量影响。
步骤S410:第二转码设备对第一子码流进行解码处理,并将解码处理后得到的视频数据添加至数据集合。当第二码流集合包括第一子码流和第二子码流时,第二转码设备可以对第一子码流进行解码处理,并将解码处理后得到的视频数据添加至数据集合,对第二子码流进行解码处理,并将解码处理后得到的视频数据也添加至数据集合。
在一种实现方式中,第二转码设备得到数据集合之后,可以检测数据集合包括的视频数据是否完整,若完整,则对数据集合中的视频数据进行合并处理,得到视频的原始视频数据;若不完整,则执行步骤S411。
步骤S411:若数据集合包括的视频数据不完整,则第二转码设备确定数据集合所缺失的视频数据的重要性。具体的,若数据集合所缺失的视频数据的重要性大于预设重要性阈值,则第二转码设备可以向无线发送设备发送重发请求,当无线发送设备接收到第二转码设备发送的重发请求时,可以通过无线信道将所请求的目标子码流重新传输至第二转码设备,以便第二转码设备对目标子码流进行解码处理得到目标数据,并将目标数据与该数据集合中的视频数据进行合并处理,得到视频的原始视频数据。其中,重发请求用于请求无线发送设备重发目标子码流,目标子码流包括数据集合所缺失的视频数据。当第二码流集合仅包括第一子码流时,目标子码流可以为第二子码流,当第一子码流中的视频数据的类型为人,第二子码流中的视频数据的类型为车时,由于车是运动物体,因此缺失第二子码流时第二转码设备恢复出的视频将对用户的观看体验造成很大影响。因此通过向无线发送设备请求获取目标子码流,可以提高第二转码设备恢复出的视频的质量。
在一种实现方式中,预设重要性阈值可以是第二转码设备默认设置的,或者是第二转码设备根据用户的输入操作确定的,本申请实施例对此不做限定。在一种实现方式中,当第二码流集合仅包括第一子码流时,目标子码流还可以为第一码流集合中除第一子码流和第二子码流以外的其他子码流。在一种实现方式中,若数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,则执行步骤S412。
步骤S412:若数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,则第二转码设备获取历史视频数据,历史视频数据的重要性与数据集合所缺失的视频数据的重要性相同。数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,表明数据集合所缺失的视频数据对于恢复视频的质量影响较小。例如,当数据集合所缺失的视频数据的类型为静止类时,静止类视频数据对于恢复视频的质量影响较小,并且,静止类的图像元素在视频中基本上不会变化,因此,第二转码设备可以用之前接收到的历史子码流中的静止类视频数据替代所缺失的视频数据。通过这种方式,可以提高恢复得到的视频的质量。又如,当数据集合所缺失的视频数据的类型为颜色类时,颜色类视频数据对于恢复视频的质量影响较小,相较于图像元素的轮廓发生改变,图像元素的颜色发生改变时更不容易被用户察觉,因此,第二转码设备可以用之前接收到的历史子码流中的颜色类视频数据替代所缺失的视频数据。通过这种方式,可以提高恢复得到的视频的质量。
需要说明的是,历史视频数据对应的历史图像在历史视频图像中的位置与所缺失的视频数据对应的图像在原始视频图像中的位置相同,例如,若缺失的视频数据用于构成原始视频图像中的左上角区域,那么获取的历史视频数据可以用于构成历史视频图像中的相同左上角区域,其中,历史视频图像可以是原始视频图像的前一帧图像或者前n帧图像,其中n不宜过大,例如,n可以小于25。
步骤S413:第二转码设备将历史视频数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。具体的,第二转码设备获取历史视频数据之后,可以用历史视频数据替代所缺失的视频数据,与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
步骤S414:第二转码设备对视频的原始视频数据进行编码处理得到视频的源码流。需要说明的是,步骤S414的执行过程可参见图3中步骤S308的具体描述,在此不赘述。
可见,通过实施在本申请实施例,根据数据子集中的视频数据所属的类别,设置对该数据子集进行编码处理得到的子码流的重要性,以便后续根据该子码流的重要性确定该子码流中的视频数据对于用户观看体验的影响。当无线信道的传输条件满足预设劣化条件时,无线发送设备可以将第一码流集合中传输优先级较高的第一子码流添加至第二码流集合,然后丢弃第二子码流,并通过无线信道将第一子码流传输至无线接收设备,进而减少传输的子码流数量,降低对无线信道的压力,并且通过传输重要性较高的第一子码流可以尽量减小丢包对于恢复出的视频的质量影响。
请参见图5,图5是本申请实施例提供的又一种信息处理方法的流程示意图,该方法应用于无线视频传输系统,该方法包括但不限于如下步骤:
步骤S501:第一转码设备获取待传输视频的源码流。
步骤S502:第一转码设备对该源码流进行解码处理得到原始视频数据。需要说明的是,步骤S501和S502的执行过程可分别参见图3中步骤S301和图4中步骤S302的具体描述,在此不赘述。
步骤S503:第一转码设备按照预设划分方式对原始视频数据进行划分得到数据集合,该数据集合至少包括第一数据子集和第二数据子集。在一种实现方式中,原始视频数据可以指构成原始视频图像的数据,预设划分方式可以包括平均划分方式和随机划分方式。第一转码设备按照平均划分方式对原始视频数据进行划分得到数据集合的具体实施方式可以为:第一转码设备按照图像区域对原始视频图像进行拆分处理,得到至少两个区域面积相同的子图像,并将构成不同子图像的视频数据加入不同的数据子集。以图5a-图5b所示的一种对原始视频图像进行拆分处理的场景示意图为例,第一转码设备可以按照图5a中的虚线对原始视频图像进行拆分处理,并得到图5b所示的两个区域面积相同的子图像,并将构成左边的子图像的视频数据加入第一数据子集,将构成右边的子图像的视频数据加入第二数据子集。相较于按照类别维度对原始视频数据进行划分,按照平均划分方式将原始视频数据划分为多个数据子集,在划分过程中不用识别视频数据的类别,可以提高划分效率,进而提高转码效率。需要说明的是,图5a-图5b中将原始视频图像拆分为两个子图像仅用于举例,在其他可行的实现方式中,第一转码设备还可以将原始视频图像拆分为三个、四个或者其他数量的子图像,本申请实施例对此不作限定。
在一种实现方式中,第一转码设备按照随机划分方式对原始视频数据进行划分得到数据集合的具体实施方式可以为:第一转码设备按照图像区域对原始视频图像进行拆分处理,得到至少两个子图像,并将构成不同子图像的视频数据加入不同的数据子集,其中,拆分得到的不同子图像的区域面积可以相同,也可以不同,本申请实施例对此不作限定。相较于按照类别维度对原始视频数据进行划分,采用随机划分方式在划分过程中不用识别视频数据的类别,可以提高划分效率,进而提高转码效率。
步骤S504:第一转码设备基于第一编码信息对第一数据子集进行编码处理,得到第一子码流,基于第二编码信息对第二数据子集进行编码处理,得到第二子码流,并将第一子码流与第二子码流添加至第一码流集合。其中,第一编码信息与第二编码信息不同,并且第一编码信息、第二编码信息均与原始编码信息不同。第一转码设备通过采用不同的编码信息对第一数据子集和第二数据子集进行编码处理,可以得到不同码率的第一子码流和第二子码流。
步骤S505:第一转码设备按照类别维度对第一数据子集进行聚类处理,得到第一数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;并按照类别维度对第二数据子集进行聚类处理,得到第二数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量。具体的,第一数据子集(或者第二数据子集)中的不同视频数据对于用户观看体验的影响不同,一部分视频数据的影响较大,另一部分视频数据的影响较小,通过对第一数据子集进行聚类处理,可以将对用户观看体验的影响相似的视频数据划分为一类视频数据。在一种实现方式中,按照不同的类别维度对第一数据子集进行聚类处理,得到的第一数据子集中的视频数据所属的类别不同。类别维度可以包括空间维度和/或质量维度,若类别维度为空间维度,则对第一数据子集进行聚类处理得到的类别可以为运动类或静止类;若类别维度为质量维度,则对第一数据子集进行聚类处理得到的类别可以为轮廓类或颜色类;若类别维度为空间维度和质量维度,则对第一数据子集进行聚类处理得到的类别可以为运动轮廓类、运动颜色类、静止轮廓类或静止颜色类。
在一种实现方式中,按照不同的类别维度对第一数据子集进行聚类处理,得到的第一数据子集中的视频数据所属的类别的数量不同。例如,若第一数据子集用于构成图5b中左边的子图像,则按照空间维度对第一数据子集进行聚类处理,得到的第一数据子集中的视频数据所属的类别的数量为2种,且分别为运动类和静止类,其中,运动类的视频数据用于构成人和车,静止类的视频数据用于构成背景;或者,按照空间维度对第一数据子集进行聚类处理,得到的第一数据子集中的视频数据所属的类别的数量为3种,且分别为人、车和背景。又如,若第二数据子集用于构成图5b中右边的子图像,则按照空间维度对第二数据子集进行聚类处理,得到的第二数据子集中的视频数据所属的类别的数量为2种,且分别为运动类和静止类,其中,运动类的视频数据用于构成车,静止类的视频数据用于构成房屋、树木以及背景;按照空间维度对第二数据子集进行聚类处理,得到的第二数据子集中的视频数据所属的类别的数量为4种,且分别为车、房屋、树木以及背景。
第一转码设备得到第一数据子集中的视频数据所属的类别的数量之后,可以统计每种类别下包含的视频数据的数据量,第一转码设备得到第二数据子集中的视频数据所属的类别的数量之后,可以统计每种类别下包含的视频数据的数据量。其中,第一数据子集(或者第二数据子集)中每种类别下包含的视频数据的数据量与构成每种类别的图像元素所占图像面积的大小,和/或,每种类别的图像元素的图像亮度有关。例如,以图5a为例,第一数据子集中的视频数据所属的类别的数量为2种,即图5a中左边子图像中的图像元素的类别数量为2种,且分别为运动类和静止类,其中,运动类的图像元素包括人和车,静止类的图像元素包括背景,假设构成运动类的图像元素所占子图像的面积与构成静止类的图像元素所占子图像的面积相同,但是运动类的图像元素的亮度高于静止类的图像元素的亮度,那么运动类别下包含的视频数据的数据量大于静止类别下包含的视频数据的数据量。假设图5a中左边子图像中构成运动类的图像元素所占子图像的面积大于构成静止类的图像元素所占子图像的面积,且运动类的图像元素的亮度与静止类的图像元素的亮度相同,那么运动类别下包含的视频数据的数据量大于静止类别下包含的视频数据的数据量。
步骤S506:第一转码设备提取第一数据子集中数据量最大的第一类别,以及提取第二数据子集中数据量最大的第二类别,并按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性,其中,第一子码流的重要性高于第二子码流的重要性。第一转码设备根据第一数据子集中数据量最大的第一类别设置第一子码流的重要性,可以使得第一子码流的重要性能够更加准确地反映该第一子码流中的视频数据对于恢复出的视频的质量影响。同理,根据第二数据子集中数据量最大的第二类别设置第二子码流的重要性,可以使得第二子码流的重要性能够更加准确地反映该第二子码流中的视频数据对于恢复出的视频的质量影响。
例如,当类别维度为空间维度时,若第一数据子集中数据量最大的第一类别为运动类,第二数据子集中数据量最大的第二类别为静止类,由于运动类的视频数据对于恢复出的视频的质量影响高于静止类的视频数据对于恢复出的视频的质量影响,因此按照第一类别设置得到的第一子码流的重要性高于按照第二类别设置得到的第二子码流的重要性,使得根据类别设置得到的重要性能够更加准确地反映视频数据对于恢复视频的质量影响。又如,当类别维度为空间维度时,若第一数据子集中数据量最大的第一类别为人,第二数据子集中数据量最大的第二类别为车,由于人的视频数据对于恢复出的视频的质量影响高于车的视频数据对于恢复出的视频的质量影响,因此按照第一类别设置得到的第一子码流的重要性高于按照第二类别设置得到的第二子码流的重要性,使得根据类别设置得到的重要性能够更加准确地反映视频数据对于恢复出的视频的质量影响。
在一种实现方式中,第一转码设备可以按照数据子集中数据量最大的视频数据的类别确定该数据子集所采用的编码信息,具体的,第一转码设备可以按照第一类别确定第一编码信息,并按照第二类别确定第二编码信息。在一种实现方式中,当第一类别为运动类,第二类别为静止类时,第一编码信息包括的编码标准的压缩率可以低于第二编码信息包括的编码标准的压缩率,通过这种方式,可以在不改变总的视频码率的基础上,保留原始视频数据中运动类的视频数据中的大部分细节信息,并保留原始视频数据中静止类的视频数据中的小部分细节信息,即保留较多原始视频数据中重要性较高的视频数据的细节信息,进而提高第二转码设备恢复出的视频的质量。
步骤S507:第一转码设备将第一码流集合发送给无线发送设备。
步骤S508:无线发送设备根据第一子码流的重要性确定第一子码流的传输优先级,并根据第二子码流的重要性确定第二子码流的传输优先级,第一子码流的传输优先级高于第二子码流的传输优先级。
步骤S509:无线发送设备基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合包括第一子码流。
步骤S510:若无线信道的传输条件满足预设劣化条件,则无线发送设备丢弃第二子码流,并通过无线信道将第一子码流传输至无线接收设备,以由无线接收设备将第一子码流转发至第二转码设备。
步骤S511:第二转码设备对第一子码流进行解码处理,并将解码处理后得到的视频数据添加至数据集合。
步骤S512:若数据集合包括的视频数据不完整,则第二转码设备确定数据集合所缺失的视频数据的重要性。
步骤S513:若数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,则第二转码设备获取历史视频数据,历史视频数据的重要性与数据集合所缺失的视频数据的重要性相同。
步骤S514:第二转码设备将历史视频数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
步骤S515:第二转码设备对视频的原始视频数据进行编码处理得到视频的源码流。需要说明的是,步骤S507~步骤S515的执行过程可分别参见图4中步骤S406~步骤S414的具体描述,在此不赘述。
可见,通过实施本申请实施例,可以根据第一数据子集中数据量最大的第一类别设置第一子码流的重要性,使得第一子码流的重要性能够更加准确地反映该第一子码流中的视频数据对于恢复出的视频的质量影响。同理,根据第二数据子集中数据量最大的第二类别设置第二子码流的重要性,可以使得第二子码流的重要性能够更加准确地反映该第二子码流中的视频数据对于恢复出的视频的质量影响,以便在无线信道的传输条件较差时,无线发送设备可以优先确保重要性较高的子码流的传输,即优先确保对于恢复出的视频的质量影响较大的子码流的传输,有利于提高视频恢复质量。
请参见图6,图6是本申请实施例提供的一种信息处理装置的结构示意图,该信息处理装置60用于执行图3-图5对应的方法实施例中第一转码设备所执行的步骤,该信息处理装置60可以包括:
处理模块601,用于获取待传输视频的源码流;
处理模块601,还用于对源码流进行转码处理得到第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;
发送模块602,用于将第一码流集合发送给无线发送设备,使得无线发送设备根据第一子码流的重要性确定第一子码流的传输优先级,以及根据第二子码流的重要性确定第二子码流的传输优先级,并基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,并通过无线信道传输该第二码流集合,该第二码流集合包括第一子码流和/或第二子码流,其中,第一子码流的传输优先级与第二子码流的传输优先级不同。
在一种实现方式中,处理模块601用于对源码流进行转码处理得到第一码流集合时,具体用于对源码流进行解码处理得到原始视频数据;将原始视频数据划分为数据集合,该数据集合至少包括第一数据子集和第二数据子集;基于第一编码信息对第一数据子集进行编码处理,得到第一子码流,并基于第二编码信息对第二数据子集进行编码处理,得到第二子码流;将第一子码流与第二子码流添加至第一码流集合。
在一种实现方式中,处理模块601用于将原始视频数据划分为数据集合时,具体用于按照类别维度对原始视频数据进行聚类处理;根据聚类处理的结果确定数据集合,该数据集合至少包括第一数据子集和第二数据子集,第一数据子集中的视频数据的类别为第一类别;第二数据子集中的视频数据的类别为第二类别。
在一种实现方式中,处理模块601用于对源码流进行转码处理得到第一码流集合时,还具体用于按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性。
在一种实现方式中,处理模块601用于将原始视频数据划分为数据集合时,具体用于按照平均划分方式对原始视频数据进行划分得到数据集合,该数据集合至少包括第一数据子集和第二数据子集。
在一种实现方式中,处理模块601用于对源码流进行转码处理得到第一码流集合时,还具体用于按照类别维度对第一数据子集进行聚类处理,得到第一数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;并按照类别维度对第二数据子集进行聚类处理,得到第二数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;提取第一数据子集中数据量最大的第一类别,以及提取第二数据子集中数据量最大的第二类别;按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性。
在一种实现方式中,类别维度包括空间维度和/或质量维度;若类别维度为空间维度,则前述类别包括运动类或静止类;若类别维度为质量维度,则前述类别包括轮廓类或颜色类;若类别维度为空间维度和质量维度,则前述类别包括运动轮廓类、运动颜色类、静止轮廓类或静止颜色类。
在一种实现方式中,若第一类别为运动类,第二类别为静止类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为轮廓类,第二类别为颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为运动轮廓类,第二类别为运动颜色类、静止轮廓类或静止颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为运动颜色类,第二类别为静止轮廓类或静止颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为静止轮廓类,第二类别为静止颜色类,则第一子码流的重要性高于第二子码流的重要性。
在一种实现方式中,处理模块601还可以用于按照第一类别确定第一编码信息,并按照第二类别确定第二编码信息。
需要说明的是,图6对应的实施例中未提及的内容以及各个模块执行步骤的具体实现方式可参见图3-图5所示实施例以及前述内容,这里不再赘述。
请参见图7,图7是本申请实施例提供的另一种信息处理装置的结构示意图,该信息处理装置70用于执行图3-图5对应的方法实施例中无线发送设备所执行的步骤,该信息处理装置70可以包括:
接收模块701,用于接收第一转码设备发送的待传输视频的第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;
处理模块702,用于根据第一子码流的重要性确定第一子码流的传输优先级,并根据第二子码流的重要性确定第二子码流的传输优先级,第一子码流的传输优先级与第二子码流的传输优先级不同;
处理模块702,还用于基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合包括第一子码流和/或第二子码流;
发送模块703,用于通过无线信道将第二码流集合传输至第二转码设备。
在一种实现方式中,若第一子码流的重要性高于第二子码流的重要性,则第一子码流的传输优先级高于第二子码流的传输优先级;发送模块703用于通过无线信道将第二码流集合传输至第二转码设备时,具体用于若无线信道的传输条件满足预设劣化条件,则丢弃第二子码流,并通过无线信道将第一子码流传输至无线接收设备,以由无线接收设备将第一子码流转发至第二转码设备;或者,发送模块703用于通过无线信道将第二码流集合传输至第二转码设备时,具体用于若无线信道的传输条件满足预设劣化条件,则按照传输优先级的高低顺序依次将第一子码流及第二子码流传输至无线接收设备,以由无线接收设备将第一子码流及第二子码流转发至第二转码设备。
在一种实现方式中,发送模块703还可以用于若接收到第二转码设备发送的重发请求,则通过无线信道将所请求的目标子码流重新传输至第二转码设备;其中,重发请求用于请求重发第二转码设备缺失的目标子码流,目标子码流为第一子码流或第二子码流。
需要说明的是,图7对应的实施例中未提及的内容以及各个模块执行步骤的具体实现方式可参见图3-图5所示实施例以及前述内容,这里不再赘述。
请参见图8,图8是本申请实施例提供的又一种信息处理装置的结构示意图,该信息处理装置80用于执行图3-图5对应的方法实施例中第二转码设备所执行的步骤,该信息处理装置80可以包括:
接收模块801,用于接收无线发送设备发送的第二码流集合,第二码流集合包括第一子码流和/或第二子码流;第二码流集合是由无线发送设备根据无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一转码设备发送的第一码流集合进行筛选得到的;第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;
处理模块802,用于对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据;
处理模块802,还用于对视频的原始视频数据进行编码处理得到视频的源码流。
在一种实现方式中,处理模块802用于对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据时,具体可以用于对第二码流集合中的子码流分别进行解码处理,并将解码处理后得到的视频数据添加至数据集合;若数据集合包括的视频数据不完整,则确定数据集合所缺失的视频数据的重要性;若数据集合所缺失的视频数据的重要性大于预设重要性阈值,则向无线发送设备发送重发请求,重发请求用于请求无线发送设备重发目标子码流,目标子码流包括数据集合所缺失的视频数据,目标子码流为第一子码流或第二子码流;接收无线发送设备发送的目标子码流,对目标子码流进行解码处理得到目标数据,并将目标数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
在一种实现方式中,处理模块802还用于若数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,则获取历史视频数据,历史视频数据的重要性与数据集合所缺失的视频数据的重要性相同;将历史视频数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
需要说明的是,图8对应的实施例中未提及的内容以及各个模块执行步骤的具体实现方式可参见图3-图5所示实施例以及前述内容,这里不再赘述。
在一种实现方式中,图6或者图8中的各个模块所实现的相关功能可以结合处理器与收发器来实现。参见图9,图9是本申请实施例提供的一种转码设备的结构示意图,该转码设备90包括:收发器901、处理器902和存储器903,所述收发器901、处理器902和存储器903通过一条或多条通信总线连接,也可以通过其它方式相连接。
收发器901可以用于发送数据和/或信令,以及接收数据和/或信令。应用在本申请实施例中,收发器901可以用于将第一码流集合发送给无线发送设备,或者接收无线发送设备发送的第二码流集合。
处理器902被配置为执行图3-图5所述方法中第一转码设备或者第二转码设备相应的功能。该处理器902可以包括一个或多个处理器,例如该处理器902可以是一个或多个中央处理器(central processing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。在处理器902是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器903用于存储程序代码等。存储器903可以包括易失性存储器(volatilememory),例如随机存取存储器(random access memory,RAM);存储器903也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器903还可以包括上述种类的存储器的组合。
处理器902可以调用存储器903中存储的程序代码以执行以下操作:
获取待传输视频的源码流;
对源码流进行转码处理得到第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;
调用收发器901将第一码流集合发送给无线发送设备,使得无线发送设备根据第一子码流的重要性确定第一子码流的传输优先级,以及根据第二子码流的重要性确定第二子码流的传输优先级,并基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,并通过无线信道传输该第二码流集合,该第二码流集合包括第一子码流和/或第二子码流,其中,第一子码流的传输优先级与第二子码流的传输优先级不同。
在一种实现方式中,处理器902用于对源码流进行转码处理得到第一码流集合时,具体用于对源码流进行解码处理得到原始视频数据;将原始视频数据划分为数据集合,该数据集合至少包括第一数据子集和第二数据子集;基于第一编码信息对第一数据子集进行编码处理,得到第一子码流,并基于第二编码信息对第二数据子集进行编码处理,得到第二子码流;将第一子码流与第二子码流添加至第一码流集合。
在一种实现方式中,处理器902用于将原始视频数据划分为数据集合时,具体用于按照类别维度对原始视频数据进行聚类处理;根据聚类处理的结果确定数据集合,该数据集合至少包括第一数据子集和第二数据子集,第一数据子集中的视频数据的类别为第一类别;第二数据子集中的视频数据的类别为第二类别。
在一种实现方式中,处理器902用于对源码流进行转码处理得到第一码流集合时,还具体用于按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性。
在一种实现方式中,处理器902用于将原始视频数据划分为数据集合时,具体用于按照平均划分方式对原始视频数据进行划分得到数据集合,该数据集合至少包括第一数据子集和第二数据子集。
在一种实现方式中,处理器902用于对源码流进行转码处理得到第一码流集合时,还具体用于按照类别维度对第一数据子集进行聚类处理,得到第一数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;并按照类别维度对第二数据子集进行聚类处理,得到第二数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;提取第一数据子集中数据量最大的第一类别,以及提取第二数据子集中数据量最大的第二类别;按照第一类别设置第一子码流的重要性,以及按照第二类别设置第二子码流的重要性。
在一种实现方式中,类别维度包括空间维度和/或质量维度;若类别维度为空间维度,则前述类别包括运动类或静止类;若类别维度为质量维度,则前述类别包括轮廓类或颜色类;若类别维度为空间维度和质量维度,则前述类别包括运动轮廓类、运动颜色类、静止轮廓类或静止颜色类。
在一种实现方式中,若第一类别为运动类,第二类别为静止类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为轮廓类,第二类别为颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为运动轮廓类,第二类别为运动颜色类、静止轮廓类或静止颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为运动颜色类,第二类别为静止轮廓类或静止颜色类,则第一子码流的重要性高于第二子码流的重要性;若第一类别为静止轮廓类,第二类别为静止颜色类,则第一子码流的重要性高于第二子码流的重要性。
在一种实现方式中,处理器902还可以用于按照第一类别确定第一编码信息,并按照第二类别确定第二编码信息。
进一步地,处理器902还可以执行图3-图5所示实施例中第一转码设备对应的操作,具体可参见方法实施例中的描述,在此不再赘述。
在一种实现方式中,处理器902除了执行上述操作以外,还可以调用存储器903中存储的程序代码以执行以下操作:
调用收发器901接收无线发送设备发送的第二码流集合,第二码流集合包括第一子码流和/或第二子码流;第二码流集合是由无线发送设备根据无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一转码设备发送的第一码流集合进行筛选得到的;第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;
对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据;
对视频的原始视频数据进行编码处理得到视频的源码流。
在一种实现方式中,处理器902用于对第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据时,具体可以用于对第二码流集合中的子码流分别进行解码处理,并将解码处理后得到的视频数据添加至数据集合;若数据集合包括的视频数据不完整,则确定数据集合所缺失的视频数据的重要性;若数据集合所缺失的视频数据的重要性大于预设重要性阈值,则调用收发器901向无线发送设备发送重发请求,重发请求用于请求无线发送设备重发目标子码流,目标子码流包括数据集合所缺失的视频数据,目标子码流为第一子码流或第二子码流;调用收发器901接收无线发送设备发送的目标子码流,对目标子码流进行解码处理得到目标数据,并将目标数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
在一种实现方式中,处理器902还用于若数据集合所缺失的视频数据的重要性小于或等于预设重要性阈值,则获取历史视频数据,历史视频数据的重要性与数据集合所缺失的视频数据的重要性相同;将历史视频数据与数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
进一步地,处理器902还可以执行图3-图5所示实施例中第二转码设备对应的操作,具体可参见方法实施例中的描述,在此不再赘述。在一种实现方式中,图9对应实施例所述的转码设备可以是第一转码设备或者第二转码设备。
在一种实现方式中,图7中的各个模块所实现的相关功能可以结合处理器与收发器来实现。参见图10,图10是本申请实施例提供的一种无线发送设备的结构示意图,该无线发送设备100包括:收发器1001、处理器1002和存储器1003,所述收发器1001、处理器1002和存储器1003通过一条或多条通信总线连接,也可以通过其它方式相连接。
收发器1001可以用于发送数据和/或信令,以及接收数据和/或信令。应用在本申请实施例中,收发器1001可以用于接收第一转码设备发送的待传输视频的第一码流集合,还可以用于通过无线信道将第二码流集合传输至第二转码设备。
处理器1002被配置为执行图3-图5所述方法中无线接收设备相应的功能。该处理器1002可以包括一个或多个处理器,例如该处理器1002可以是一个或多个中央处理器(central processing unit,CPU),网络处理器(network processor,NP),硬件芯片或者其任意组合。在处理器1002是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。
存储器1003用于存储程序代码等。存储器1003可以包括易失性存储器(volatilememory),例如随机存取存储器(random access memory,RAM);存储器1003也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD);存储器1003还可以包括上述种类的存储器的组合。
处理器1002可以调用存储器1003中存储的程序代码以执行以下操作:
调用收发器1001接收第一转码设备发送的待传输视频的第一码流集合,第一码流集合包括第一子码流和第二子码流,第一子码流的重要性与第二子码流的重要性不同;
根据第一子码流的重要性确定第一子码流的传输优先级,并根据第二子码流的重要性确定第二子码流的传输优先级,第一子码流的传输优先级与第二子码流的传输优先级不同;
基于无线信道的传输条件、第一子码流的传输优先级和第二子码流的传输优先级,对第一码流集合进行筛选得到第二码流集合,第二码流集合包括第一子码流和/或第二子码流;
调用收发器1001通过无线信道将第二码流集合传输至第二转码设备。
在一种实现方式中,若第一子码流的重要性高于第二子码流的重要性,则第一子码流的传输优先级高于第二子码流的传输优先级;处理器1002用于调用收发器1001通过无线信道将第二码流集合传输至第二转码设备时,具体用于若无线信道的传输条件满足预设劣化条件,则丢弃第二子码流,并调用收发器1001通过无线信道将第一子码流传输至无线接收设备,以由无线接收设备将第一子码流转发至第二转码设备;或者,处理器1002用于调用收发器1001通过无线信道将第二码流集合传输至第二转码设备时,具体用于若无线信道的传输条件满足预设劣化条件,则调用收发器1001按照传输优先级的高低顺序依次将第一子码流及第二子码流传输至无线接收设备,以由无线接收设备将第一子码流及第二子码流转发至第二转码设备。
在一种实现方式中,处理器1002还可以用于若接收到第二转码设备发送的重发请求,则调用收发器1001通过无线信道将所请求的目标子码流重新传输至第二转码设备;其中,重发请求用于请求重发第二转码设备缺失的目标子码流,目标子码流为第一子码流或第二子码流。
进一步地,处理器1002还可以执行图3-图5所示实施例中无线发送设备对应的操作,具体可参见方法实施例中的描述,在此不再赘述。
本申请实施例还提供一种信息处理系统,该信息处理系统包括前述如图6所示的信息处理装置、前述如图7所示的信息处理装置和前述如图8所示的信息处理装置,或者,该信息处理系统包括前述如图9所示的转码设备和前述如图10所示的无线发送设备。
本申请实施例还提供一种计算机可读存储介质,可以用于存储图6或图8所示实施例中信息处理装置所用的计算机软件指令,其包含用于执行上述实施例中为第一转码设备或者第二转码设备所设计的程序。
本申请实施例还提供一种计算机可读存储介质,可以用于存储图7所示实施例中信息处理装置所用的计算机软件指令,其包含用于执行上述实施例中为无线发送设备所设计的程序。
上述计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘。
本申请实施例还提供一种计算机程序产品,该计算机产品被计算设备运行时,可以执行上述图3-图5实施例中为第一转码设备或者第二转码设备所设计的信息处理方法。
本申请实施例还提供一种计算机程序产品,该计算机产品被计算设备运行时,可以执行上述图3-图5实施例中为无线发送设备所设计的信息处理方法。
在本申请实施例中还提供一种芯片,包括处理器和存储器,该存储器用包括处理器和存储器,该存储器用于存储计算机程序,该处理器用于从存储器中调用并运行该计算机程序,该计算机程序用于实现上述方法实施例中的方法。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (23)
1.一种信息处理方法,其特征在于,应用于第一转码设备,所述方法包括:
获取待传输视频的源码流;
对所述源码流进行转码处理得到第一码流集合,所述第一码流集合包括第一子码流和第二子码流,所述第一子码流的重要性与所述第二子码流的重要性不同;
将所述第一码流集合发送给无线发送设备,使得所述无线发送设备根据所述第一子码流的重要性确定所述第一子码流的传输优先级,以及根据所述第二子码流的重要性确定所述第二子码流的传输优先级,并基于无线信道的传输条件、所述第一子码流的传输优先级和所述第二子码流的传输优先级,对所述第一码流集合进行筛选得到第二码流集合,并通过所述无线信道传输所述第二码流集合,所述第二码流集合包括所述第一子码流和/或所述第二子码流,其中,所述第一子码流的传输优先级与所述第二子码流的传输优先级不同。
2.根据权利要求1所述的方法,其特征在于,所述对所述源码流进行转码处理得到第一码流集合,包括:
对所述源码流进行解码处理得到原始视频数据;
将所述原始视频数据划分为数据集合,所述数据集合至少包括第一数据子集和第二数据子集;基于第一编码信息对所述第一数据子集进行编码处理,得到所述第一子码流,并基于第二编码信息对所述第二数据子集进行编码处理,得到所述第二子码流;
将所述第一子码流与所述第二子码流添加至第一码流集合。
3.根据权利要求2所述的方法,其特征在于,所述将所述原始视频数据划分为数据集合,包括:
按照类别维度对所述原始视频数据进行聚类处理;
根据聚类处理的结果确定数据集合,所述数据集合至少包括第一数据子集和第二数据子集,所述第一数据子集中的视频数据的类别为第一类别;所述第二数据子集中的视频数据的类别为第二类别。
4.根据权利要求3所述的方法,其特征在于,所述对所述源码流进行转码处理得到第一码流集合,还包括:
按照所述第一类别设置所述第一子码流的重要性,以及按照所述第二类别设置所述第二子码流的重要性。
5.根据权利要求2所述的方法,其特征在于,所述将所述原始视频数据划分为数据集合,包括:
按照预设划分方式对所述原始视频数据进行划分得到数据集合,所述数据集合至少包括第一数据子集和第二数据子集。
6.根据权利要求5所述的方法,其特征在于,所述对所述源码流进行转码处理得到第一码流集合,还包括:
按照类别维度对所述第一数据子集进行聚类处理,得到所述第一数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;并按照类别维度对所述第二数据子集进行聚类处理,得到所述第二数据子集中的视频数据所属的类别的数量以及每种类别下包含的视频数据的数据量;
提取所述第一数据子集中数据量最大的第一类别,以及提取所述第二数据子集中数据量最大的第二类别;
按照所述第一类别设置所述第一子码流的重要性,以及按照所述第二类别设置所述第二子码流的重要性。
7.根据权利要求3或6所述的方法,其特征在于,所述类别维度包括空间维度和/或质量维度;
若所述类别维度为空间维度,则所述类别包括运动类或静止类;
若所述类别维度为质量维度,则所述类别包括轮廓类或颜色类;
若所述类别维度为空间维度和质量维度,则所述类别包括运动轮廓类、运动颜色类、静止轮廓类或静止颜色类。
8.根据权利要求7所述的方法,其特征在于,若所述第一类别为运动类,所述第二类别为静止类,则所述第一子码流的重要性高于所述第二子码流的重要性;若所述第一类别为轮廓类,所述第二类别为颜色类,则所述第一子码流的重要性高于所述第二子码流的重要性;若所述第一类别为运动轮廓类,所述第二类别为运动颜色类、静止轮廓类或静止颜色类,则所述第一子码流的重要性高于所述第二子码流的重要性;若所述第一类别为运动颜色类,所述第二类别为静止轮廓类或静止颜色类,则所述第一子码流的重要性高于所述第二子码流的重要性;若所述第一类别为静止轮廓类,所述第二类别为静止颜色类,则所述第一子码流的重要性高于所述第二子码流的重要性。
9.根据权利要求3或6所述的方法,其特征在于,所述基于第一编码信息对所述第一数据子集进行编码处理,得到所述第一子码流,并基于第二编码信息对所述第二数据子集进行编码处理,得到所述第二子码流之前,所述方法还包括:
按照所述第一类别确定所述第一编码信息,并按照所述第二类别确定所述第二编码信息。
10.一种信息处理方法,其特征在于,应用于无线发送设备,所述方法包括:
接收第一转码设备发送的待传输视频的第一码流集合,所述第一码流集合包括第一子码流和第二子码流,所述第一子码流的重要性与所述第二子码流的重要性不同;
根据所述第一子码流的重要性确定所述第一子码流的传输优先级,并根据所述第二子码流的重要性确定所述第二子码流的传输优先级,所述第一子码流的传输优先级与所述第二子码流的传输优先级不同;
基于无线信道的传输条件、所述第一子码流的传输优先级和所述第二子码流的传输优先级,对所述第一码流集合进行筛选得到第二码流集合,所述第二码流集合包括所述第一子码流和/或所述第二子码流;
通过所述无线信道将所述第二码流集合传输至第二转码设备。
11.根据权利要求10所述的方法,其特征在于,若所述第一子码流的重要性高于所述第二子码流的重要性,则所述第一子码流的传输优先级高于所述第二子码流的传输优先级;
所述通过所述无线信道将所述第二码流集合传输至第二转码设备,包括:
若所述无线信道的传输条件满足预设劣化条件,则丢弃所述第二子码流,并通过所述无线信道将所述第一子码流传输至无线接收设备,以由所述无线接收设备将所述第一子码流转发至第二转码设备;或者包括:
若所述无线信道的传输条件满足所述预设劣化条件,则按照传输优先级的高低顺序依次将所述第一子码流及所述第二子码流传输至无线接收设备,以由所述无线接收设备将所述第一子码流及所述第二子码流转发至第二转码设备。
12.根据权利要求10或11所述的方法,其特征在于,所述通过所述无线信道将所述第二码流集合传输至第二转码设备之后,所述方法还包括:
若接收到所述第二转码设备发送的重发请求,则通过所述无线信道将所请求的目标子码流重新传输至所述第二转码设备;
其中,所述重发请求用于请求重发所述第二转码设备缺失的目标子码流,所述目标子码流为所述第一子码流或所述第二子码流。
13.一种信息处理方法,其特征在于,应用于第二转码设备,所述方法包括:
接收无线发送设备发送的第二码流集合,所述第二码流集合包括第一子码流和/或第二子码流;所述第二码流集合是由所述无线发送设备根据无线信道的传输条件、所述第一子码流的传输优先级和所述第二子码流的传输优先级,对第一转码设备发送的第一码流集合进行筛选得到的;所述第一码流集合包括所述第一子码流和所述第二子码流,所述第一子码流的重要性与所述第二子码流的重要性不同;
对所述第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据;
对所述视频的原始视频数据进行编码处理得到所述视频的源码流。
14.根据权利要求13所述的方法,其特征在于,所述对所述第二码流集合中的子码流进行解码处理以恢复视频的原始视频数据,包括:
对所述第二码流集合中的子码流分别进行解码处理,并将解码处理后得到的视频数据添加至数据集合;
若所述数据集合包括的视频数据不完整,则确定所述数据集合所缺失的视频数据的重要性;
若所述数据集合所缺失的视频数据的重要性大于预设重要性阈值,则向所述无线发送设备发送重发请求,所述重发请求用于请求所述无线发送设备重发目标子码流,所述目标子码流包括所述数据集合所缺失的视频数据,所述目标子码流为所述第一子码流或所述第二子码流;接收所述无线发送设备发送的所述目标子码流,对所述目标子码流进行解码处理得到目标数据,并将所述目标数据与所述数据集合中的视频数据进行合并处理,得到视频的原始视频数据。
15.根据权利要求14所述的方法,其特征在于,所述根据所述目标类别确定所述数据集合所缺失的视频数据的重要性之后,所述方法还包括:
若所述数据集合所缺失的视频数据的重要性小于或等于所述预设重要性阈值,则获取历史视频数据,所述历史视频数据的重要性与所述数据集合所缺失的视频数据的重要性相同;
将所述历史视频数据与所述数据集合中的视频数据进行合并处理,得到所述视频的原始视频数据。
16.一种信息处理装置,其特征在于,所述装置包括用于执行如权利要求1~9任一项所述的方法的单元。
17.一种信息处理装置,其特征在于,所述装置包括用于执行如权利要求10~12任一项所述的方法的单元。
18.一种信息处理装置,其特征在于,所述装置包括用于执行如权利要求13~15任一项所述的方法的单元。
19.一种信息处理系统,其特征在于,包括如权利要求16所述的信息处理装置、如权利要求17所述的信息处理装置和如权利要求18所述的信息处理装置。
20.一种转码设备,其特征在于,包括存储器和处理器,所述存储器中存储有程序指令,所述处理器通过总线与所述存储器连接,所述处理器执行所述存储器中存储的程序指令,以使所述转码设备执行如权利要求1~9任一项或者如权利要求13~15任一项所述的方法。
21.一种无线发送设备,其特征在于,包括存储器和处理器,所述存储器中存储有程序指令,所述处理器通过总线与所述存储器连接,所述处理器执行所述存储器中存储的程序指令,以使所述无线发送设备执行如权利要求10~12任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1~9任一项或者如权利要求13~15任一项所述的方法。
23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求10~12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811416104.5A CN111225238A (zh) | 2018-11-26 | 2018-11-26 | 信息处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811416104.5A CN111225238A (zh) | 2018-11-26 | 2018-11-26 | 信息处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111225238A true CN111225238A (zh) | 2020-06-02 |
Family
ID=70828692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811416104.5A Pending CN111225238A (zh) | 2018-11-26 | 2018-11-26 | 信息处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111225238A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286194A (zh) * | 2021-12-08 | 2022-04-05 | 北京金山云网络技术有限公司 | 即时通信视频的处理方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101262604A (zh) * | 2008-04-23 | 2008-09-10 | 哈尔滨工程大学 | 一种感兴趣区优先传输的可伸缩视频编码方法 |
CN101867760A (zh) * | 2010-06-23 | 2010-10-20 | 深圳市高斯贝尔家居智能电子有限公司 | 一种高清影音无线传输系统及方法 |
CN102026001A (zh) * | 2011-01-06 | 2011-04-20 | 西安电子科技大学 | 基于运动信息的视频帧重要性评估方法 |
CN102547376A (zh) * | 2010-12-28 | 2012-07-04 | 中国移动通信集团公司 | 一种视频数据传输方法、装置和系统 |
CN103650431A (zh) * | 2012-06-29 | 2014-03-19 | 华为技术有限公司 | 视频数据传输方法及装置 |
CN106210771A (zh) * | 2016-08-16 | 2016-12-07 | 广东中星电子有限公司 | 视频信息传输方法及视频信息传输系统 |
US9774650B2 (en) * | 2014-09-23 | 2017-09-26 | Cisco Technology, Inc. | Frame priority system |
US20170302720A1 (en) * | 2013-08-02 | 2017-10-19 | Pixar | Transition points in an image sequence |
CN107371029A (zh) * | 2017-06-28 | 2017-11-21 | 上海大学 | 基于内容的视频包优先级分配方法 |
CN108156459A (zh) * | 2016-12-02 | 2018-06-12 | 北京中科晶上科技股份有限公司 | 可伸缩视频传输方法及系统 |
-
2018
- 2018-11-26 CN CN201811416104.5A patent/CN111225238A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101262604A (zh) * | 2008-04-23 | 2008-09-10 | 哈尔滨工程大学 | 一种感兴趣区优先传输的可伸缩视频编码方法 |
CN101867760A (zh) * | 2010-06-23 | 2010-10-20 | 深圳市高斯贝尔家居智能电子有限公司 | 一种高清影音无线传输系统及方法 |
CN102547376A (zh) * | 2010-12-28 | 2012-07-04 | 中国移动通信集团公司 | 一种视频数据传输方法、装置和系统 |
CN102026001A (zh) * | 2011-01-06 | 2011-04-20 | 西安电子科技大学 | 基于运动信息的视频帧重要性评估方法 |
CN103650431A (zh) * | 2012-06-29 | 2014-03-19 | 华为技术有限公司 | 视频数据传输方法及装置 |
US20170302720A1 (en) * | 2013-08-02 | 2017-10-19 | Pixar | Transition points in an image sequence |
US9774650B2 (en) * | 2014-09-23 | 2017-09-26 | Cisco Technology, Inc. | Frame priority system |
CN106210771A (zh) * | 2016-08-16 | 2016-12-07 | 广东中星电子有限公司 | 视频信息传输方法及视频信息传输系统 |
CN108156459A (zh) * | 2016-12-02 | 2018-06-12 | 北京中科晶上科技股份有限公司 | 可伸缩视频传输方法及系统 |
CN107371029A (zh) * | 2017-06-28 | 2017-11-21 | 上海大学 | 基于内容的视频包优先级分配方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286194A (zh) * | 2021-12-08 | 2022-04-05 | 北京金山云网络技术有限公司 | 即时通信视频的处理方法、装置、电子设备及存储介质 |
CN114286194B (zh) * | 2021-12-08 | 2024-05-03 | 北京金山云网络技术有限公司 | 即时通信视频的处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11184584B2 (en) | Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding | |
US10911763B2 (en) | System and method for electronic data communication | |
US9013536B2 (en) | Augmented video calls on mobile devices | |
US8890930B2 (en) | Multi-channel video communication system and method for processing multi-channel video communication | |
CN105635636A (zh) | 一种视频会议系统及其实现视频图像传输控制的方法 | |
KR102497153B1 (ko) | 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩 | |
CN111263192A (zh) | 视频处理方法及相关设备 | |
CN101742289B (zh) | 视频码流压缩方法、系统及装置 | |
US9306987B2 (en) | Content message for video conferencing | |
US20220210469A1 (en) | Method For Transmitting Video Picture, Device For Sending Video Picture, And Video Call Method And Device | |
WO2021057705A1 (zh) | 视频编解码方法和相关装置 | |
WO2021057697A1 (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
WO2021057477A1 (zh) | 视频编解码方法和相关装置 | |
KR101898822B1 (ko) | 뷰포트 정보 시그널링을 이용한 가상 현실 비디오 스트리밍 | |
EP1227684A2 (en) | Encoding of video signals | |
Adeyemi-Ejeye et al. | Impact of packet loss on 4K UHD video for portable devices | |
CN114125448B (zh) | 视频编码方法、解码方法及相关装置 | |
WO2021057686A1 (zh) | 视频解码方法和装置、视频编码方法和装置、存储介质及电子装置 | |
TW201401882A (zh) | 影像傳輸系統及其傳輸端裝置與接收端裝置 | |
WO2021057479A1 (zh) | 视频编解码方法和相关装置 | |
CN111225238A (zh) | 信息处理方法及相关设备 | |
TW202406355A (zh) | 用於對影像串流的影像圖框進行編碼以及在通信網路上傳送經編碼影像圖框之方法和影像捕捉裝置 | |
WO2023072068A1 (zh) | 图像编解码方法和装置 | |
CN116962613A (zh) | 数据传输方法及装置、计算机设备、存储介质 | |
US20060067410A1 (en) | Method for encoding and decoding video signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200602 |
|
RJ01 | Rejection of invention patent application after publication |