CN113068008B - 解码、编码、码流传输方法、电子设备及系统 - Google Patents
解码、编码、码流传输方法、电子设备及系统 Download PDFInfo
- Publication number
- CN113068008B CN113068008B CN202110312462.7A CN202110312462A CN113068008B CN 113068008 B CN113068008 B CN 113068008B CN 202110312462 A CN202110312462 A CN 202110312462A CN 113068008 B CN113068008 B CN 113068008B
- Authority
- CN
- China
- Prior art keywords
- target
- code stream
- sub
- picture
- analog signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000004088 simulation Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 27
- 238000002955 isolation Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006854 communication Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000012806 monitoring device Methods 0.000 description 4
- 208000018747 cerebellar ataxia with neuropathy and bilateral vestibular areflexia syndrome Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及数据传输技术领域,具体涉及解码、编码、码流传输方法、电子设备及系统,所述解码方法包括获取至少两路目标码流的分辨率;根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与至少两路目标码流的分辨率一一对应的目标子画面;基于各个所述目标子画面对相应的所述目标码流进行解码,得到至少两路目标模拟码流,所述目标模拟信号通路用于传输至少两路目标模拟码流。利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行解码,即通过将同一路模拟信号通路划分为多个子画面同时进行传输,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
Description
技术领域
本发明涉及数据传输技术领域,具体涉及解码、编码、码流传输方法、电子设备及系统。
背景技术
海量的音视频监控图像信息已经成为目标监管的必要资源和手段,承载这些音视频资源的专网在为各部门的日常工作带来高效便捷的同时,也带来了严重的计算机安全问题。
例如,当专网监控系统的音视频码流需要传输到公网时,需要经过数模转换,将数字编码的码流解码为模拟信号,通过模拟信号线传输到公网监控系统的编码器上,公网监控系统的编码器再重新编码为码流发给公网的客户端或电视墙上展示。
由于公网与专网之间使用的是模拟信号线进行码流的传输,而在物理层面上一根模拟信号线只能传输1路视频。若要增加路数就要增加编解码器设备,这样增加了码流传输系统的部署复杂度。
发明内容
有鉴于此,本发明实施例提供了一种解码、编码、码流传输方法、电子设备及系统,以解决码流传输系统的部署复杂度较高的问题。
根据第一方面,本发明实施例提供了一种解码方法,包括:
获取至少两路目标码流的分辨率;
根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面;
基于各个所述目标子画面对相应的所述目标码流进行解码,得到至少两路目标模拟码流,所述目标模拟信号通路用于传输所述至少两路目标模拟码流。
本发明实施例提供的解码方法,利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行解码,即通过将同一路目标模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
结合第一方面,在第一方面第一实施方式中,所述根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面,包括:
获取画布的分配类型,所述画布的分配类型包括均匀分配或动态分配;
基于所述画布的分配类型以及所述目标码流的分辨率,从各路模型信号通路中确定出所述目标模拟信号通路以及所述目标子画面。
本发明实施例提供的解码方法,对于不同的画布分配类型采用不同的方式进行目标子画面的确定,一方面能够保证所确定出的目标子画面能够符合当前传输系统的设定,另一方面可以保证多画面复用同一模拟信号通路。
结合第一方面第一实施方式,在第一方面第二实施方式中,当所述画布的分配类型为所述均匀分配时,所述基于所述画面分配的类型以及所述目标码流的分辨率,从各路模型信号通路中确定出所述目标模拟信号通路以及所述目标子画面,包括:
遍历各路模拟信号通路对应的画布中的空闲等分子画面,并从所述空闲等分子画面中确定出分辨率大于或等于所述目标码流的分辨率的待定等分子画面;
基于所有所述待定等分子画面的分辨率的大小,确定所述目标模拟信号通路,以得到所述目标子画面。
本发明实施例提供的解码方法,从空闲等分子画面中筛选出待定等分子画面,再依据待定等分子画面的分辨率的大小确定出目标模拟信号通路,以得到目标子画面,即依据分辨率的大小从待定等分子画面中进行目标子画面的确定,优先选择分辨率与目标码流的分辨率相同的待定等分子画面作为目标子画面,以保证模拟信号通路的利用率最大化,提高了码流的传输效率。
结合第一方面第二实施方式,在第一方面第三实施方式中,当所述目标码流中包括音频码流时,所述基于所有所述待定等分子画面的大小,确定所述目标模拟信号通路,以得到所述目标子画面,包括:
依据分辨率的大小对所有所述待定等分子画面进行排序;
按照从小到大的分辨率依次遍历所述待定等分子画面,判断各个所述待定等分子画面是否有空闲音频通道;
当所述待定等分子画面有所述空闲音频通道时,确定所述待定等分子画面对应的模拟信号通路为所述目标模拟信号通路且所述待定等分子画面为所述目标子画面。
本发明实施例提供的解码方法,从待定等分子画面筛选出有空闲音频通道的子画面作为目标子画面,使得音视频都在同一子画面中进行传输,可以防止唇音不同步,保证了音视频之间的同步。
结合第一方面第一实施方式,在第一方面第四实施方式中,当所述画布的分配类型为所述动态分配时,所述基于所述画布的分配类型以及所述目标码流的分辨率,从各路模型信号通路中确定出所述目标模拟信号通路以及所述目标子画面,包括:
获取各个模拟信号通路对应的画布的当前使用情况,以确定所述目标模拟信号通路;
利用所述目标码流的分辨率从所述目标模拟信号通路对应的目标画布中划分出子画面,以得到所述目标子画面。
本发明实施例提供的解码方法,首先依据各个画布的当前使用情况确定出目标画布,再利用目标码流的分辨率从目标画布中划分出子画面,目标画布的确定可以保证画布资源的最大化利用。
结合第一方面第四实施方式,在第一方面第五实施方式中,所述利用所述目标码流的分辨率从所述目标模拟信号通路对应的目标画布中划分出子画面,以得到所述目标子画面,包括:
获取所述目标画布的可用画面区域;
基于所述目标码流的分辨率大小,确定所述可用画面区域中的目标画面区域;
利用所述目标码流的分辨率对所述目标画面区域进行划分,确定所述目标子画面。
本发明实施例提供的解码方法,依据分辨率的大小对画布进行分割,将相同分辨率的子画面集中在一起,可以保证最大的资源利用率。
结合第一方面第五实施方式,在第一方面第六实施方式中,当所述目标码流中包括音频码流时,所述利用所述目标码流的分辨率对所述目标画面区域进行划分,确定所述目标子画面,包括:
利用所述目标码流的分辨率对所述目标画面区域进行划分,得到待定子画面;
判断所述待定子画面是否有空闲音频通道;
当所述待定子画面有所述空闲音频通道时,确定所述待定子画面为所述目标子画面。
本发明实施例提供的解码方法,从待定子画面筛选出有空闲音频通道的子画面作为目标子画面,使得音视频都在同一子画面中进行传输,可以防止唇音不同步,保证了音视频之间的同步。
根据第二方面,本发明实施例还提供了一种码流传输方法,包括:
接收隔离网关发送的请求方的码流传输请求,所述码流传输请求中携带有至少两路目标码流的来源以及目标解码器通道;
从所述至少两路目标码流的来源中提取出所述至少两路目标码流,并发送至所述目标解码器通道中,以根据本发明第一方面,或第一方面任一项所述的解码方法对所述目标码流进行解码,得到至少两路目标模拟码流;
利用所述目标模拟信号通路,将所述至少两路目标模拟码流以及解码状态信息发送给所述请求方相应的编码器进行编码,以得到目标数字码流,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息。
本发明实施例提供的码流传输方法,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
根据第三方面,本发明实施例还提供了一种编码方法,所述方法包括:
获取至少两路目标模拟码流以及解码状态信息,所述至少两路目标模拟码流是根据本发明第一方面,或第一方面任一项所述的解码方法对目标码流进行解码后得到的,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息;
基于所述解码状态信息对所述至少两路目标模拟码流进行编码,得到所述至少两路目标数字码流。
本发明实施例提供的编码方法,由于解码是利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行的,那么在编码时利用相应的解码状态信息对接收到的目标模拟码流进行编码,就可以得到各个子画面中的码流,由于采用了画面复用的方式进行传输,简化了传输系统的部署。
根据第四方面,本发明实施例提供了一种码流传输方法,包括:
获取客户端的码流请求,所述码流请求中携带有至少两路目标码流的来源;
基于所述码流请求创建码流传输任务,并确定目标编码器通道;
向隔离网关发送码流传输请求,所述码流传输请求中携带有所述至少两路目标码流的来源以及与所述目标编码器通道对应的目标解码器通道;
根据本发明第三方面所述的编码方法在所述目标编码器通道中对获取到的至少两路目标模拟码流进行编码,以得到至少两路目标数字码流。
本发明实施例提供的码流传输方法,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
根据第五方面,本发明实施例还提供了一种解码装置,包括:
第一获取模块,用于获取至少两路目标码流的分辨率;
第一确定模块,用于根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面;
解码模块,用于基于各个所述目标子画面对相应的所述目标码流进行解码,得到至少两路目标模拟码流,所述目标模拟信号通路用于传输所述至少两路目标模拟码流。
本发明实施例提供的解码装置,利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行解码,即通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
根据第六方面,本发明实施例还提供了一种码流传输装置,包括:
接收模块,用于接收隔离网关发送的请求方的码流传输请求,所述码流传输请求中携带有至少两路目标码流的来源以及目标解码器通道;
提取模块,用于从所述至少两路目标码流的来源中提取出所述至少两路目标码流,并发送至所述目标解码器通道中,以根据本发明第一方面,或第一方面任一项实施方式中所述的解码方法对所述目标码流进行解码,得到至少两路目标模拟码流;
第一发送模块,用于利用所述目标模拟信号通路,将所述至少两路目标模拟码流以及解码状态信息发送给所述请求方相应的编码器进行编码,以得到至少两路目标数字码流,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息。
本发明实施例提供的码流传输装置,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
根据第七方面,本发明实施例还提供了一种编码装置,所述装置包括:
第二获取模块,用于获取至少两路目标模拟码流以及解码状态信息,所述至少两路目标模拟码流是根据本发明第一方面,或第一方面任一项所述的解码方法对至少两路目标码流进行解码后得到的,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息;
第一编码模块,用于基于所述解码状态信息对所述至少两路目标模拟码流进行编码,得到所述至少两路目标数字码流。
本发明实施例提供的编码装置,由于解码是利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行的,那么在编码时利用相应的解码状态信息对接收到的目标模拟码流进行编码,就可以得到各个子画面中的码流,由于采用了画面复用的方式进行传输,简化了传输系统的部署。
根据第八方面,本发明实施例提供了一种码流传输装置,包括:
第三获取模块,用于获取客户端的码流请求,所述码流请求中携带有至少两路目标码流的来源;
创建模块,用于基于所述码流请求创建码流传输任务,并确定目标编码器通道;
第二发送模块,用于向隔离网关发送码流传输请求,所述码流传输请求中携带有所述至少两路目标码流的来源以及与所述目标编码器通道对应的目标解码器通道;
第二编码模块,用于根据本发明第三方面所述的编码方法在所述目标编码器通道中对获取到的至少两路目标模拟码流进行编码,以得到至少两路目标数字码流。
本发明实施例提供的码流传输装置,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
根据第九方面,本发明实施例提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面或者第一方面的任意一种实施方式中所述的解码方法,或者,执行第二方面所述的码流传输方法,或者,执行第三方面所述的编码方法,或者,执行第四方面所述的码流传输方法。
根据第十方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的解码方法,或者,执行第二方面所述的码流传输方法,或者,执行第三方面所述的编码方法,或者,执行第四方面所述的码流传输方法。
根据第十一方面,本发明实施例还提供了一种码流传输系统,包括:第一网络平台、第二网络平台与隔离网关;其中,
所述第一网络平台中的编码器与第二网络平台中的解码器通过模拟信号通路对应连接;所述第一网络平台用于执行本发明第四方面所述的码流传输方法,所述第二网络平台用于执行本发明第二方面所述的码流传输方法;
所述第一网络平台中的统一媒体平台与所述第二网络平台中的统一媒体平台通过所述隔离网关连接。
本发明实施例提供的码流传输系统,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a-图1b示出了本发明实施例中码流传输系统的结构框图;
图2是根据本发明实施例的解码方法的流程图;
图3是根据本发明实施例的解码方法的流程图;
图4a-图4d是根据本发明实施例的子画面划分的示意图;
图5是根据本发明实施例的编码方法的流程图;
图6是根据本发明实施例的码流传输方法的流程图;
图7是根据本发明实施例的码流传输方法的流程图;
图8是根据本发明实施例的码流传输方法的流程图;
图9示出了本发明实施例中码流传输系统的工作原理图;
图10a-图10c是根据本发明实施例的两次握手交互的示意图;
图11是根据本发明实施例的解码装置的结构框图;
图12是根据本发明实施例的编码装置的结构框图;
图13是根据本发明实施例的码流传输装置的结构框图;
图14是根据本发明实施例的码流传输装置的结构框图;
图15是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种码流传输系统,包括第一网络平台、第二网络平台以及隔离网关。其中,第一网络平台用于接收客户端的码流请求,并向隔离网关发送码流传输请求,隔离网关将码流传输请求发送给第二网络平台。第二网络平台从目标码流的来源中拉取目标码流,利用本发明实施例中所述的解码方法对目标码流进行解码,得到目标模拟码流。第二网络平台再利用模拟信号线将目标模拟码流发送给第一网络平台。第一网络平台利用本发明实施例中所述的编码方法将目标模拟码流编码为目标数字码流,并将目标数字码流发送给客户端,从而实现目标码流的浏览。其中,在解码过程中采用分画面的方式多路复用同一个模拟信号通路传输音视频码流,具体将在下文中对多路复用进行详细描述。
需要说明的是,第一网络平台与第二网络平台之间可以是双向通信,也可以是单向通信。所述的双向通信是第一网络平台可以访问第二网络平台的码流信息,第二网络平台也可以访问第一网络平台的码流信息。所述的单向通信是第一网络平台仅可以向第二网络平台发送码流信息,而第二网络平台不可以向第一网络平台发送码流信息;或者,第二网络平台仅可以向第一网络平台发送码流信息,而第一网络平台不可以向第二网络平台发送码流信息。
以第一网络平台与第二网络平台为单向通信为例,例如,第一网络平台为视频网平台,第二网络平台为专网平台。当视频网平台需要访问专网平台的码流时,第一网络平台与第二网络平台之间通过隔离网关实现网络上的隔离,且在第一网络平台与第二网络平台之间利用单向模拟信号线实现码流的传输。
例如,如图1a所示,第一网络平台为公网监控系统,该公网监控系统包括公网编码器以及公网边界服务;第二网络平台为专网监控系统,该专网监控系统包括有专网边界服务以及专网解码器。其中,专网解码器与公网编码器之间通过单向光纤连接。具体工作原理如下:专网解码器将相应的码流进行解码后利用单向光纤发送给公网编码器进行编码,编码后得到的数字码流发送至公网监控系统进行显示。公网边界服务配置有本域和对域之间的视频隔离网关(编解码器)通道的模拟信号连接映射关系,同时维护着编解码通道资源池状态,包括设备自身注册和在线状态,设备当前推拉流任务状态;所述的公网边界服务还用于向编码器派发任务。所述的专网边界服务派发拉流任务到指定的解码器进行解码。
进一步地,如图1b所示,专网监控系统可以包括多个视频监控设备,公网监控系统也可以包括多个视频监控设备。例如,专网监控系统中的视频监控设备1所采集到的码流信息可以通过本发明实施例中所述的码流传输方法发送至公网监控系统中的视频监控设备2上显示。
关于解码方法、编码方法、码流传输方法的具体细节,将在下文中进行详细描述。
本实施例提供的码流传输系统,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
根据本发明实施例,提供了一种解码方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种解码方法,可用于电子设备,如第二网络平台、电脑、手机、平板电脑等。在本实施例中以第二网络平台为例,图2是根据本发明实施例的解码方法的流程图,如图2所示,该流程包括如下步骤:
S11,获取至少两路目标码流的分辨率。
所述的至少两路目标码流可以是第二网络平台同时获取到的,也可以是分时获取到的,在此对其并不做任何限定,具体可以根据实际情况进行相应的设置。此处描述至少两路目标码流的分辨率的目的在于,表征至少两路目标码流对应的解码后的码流是利用同一路目标模拟信号通路进行复用传输的,对其获取时机并无任何限定。
目标码流的分辨率可以是第二网络平台实时监测到的,也可以是第二网络平台从目标码流对应的设备中获取到的,也可以是通过其他方式获取到的等等,在此对第二网络平台获取目标码流的分辨率的方式并不做任何限定,只需保证第二网络平台能够获取到目标码流的分辨率即可。
S12,根据至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面。
第一网络平台与第二网络平台之间可以对应设置多个编码器与解码器,例如,可以设置4组编码器与解码器,或3组编码器与解码器等等。每组编码器与解码器之间可以具有4路模拟信号通路,各路模拟信号通路可以采用单向光纤实现。
以第二网络平台中设置3个解码器,每个解码器具有4路数据传输通路为例,相应地,在第一网络平台中设置3个编码器与其对应,每组编码器与解码器之间通过4路模拟信号通路连接。其中,每路模拟信号通路对应于一个画布,一个画布可以分为至少一个子画面,分别用于传输至少一路码流,从而就可以实现利用一路模拟信号通路同时传输至少一路码流。具体地,当第二网络平台获取到多路目标码流时,分别利用各个目标码流的分辨率在各路模拟信号通路对应的画布中确定出目标模拟信号通路及相应的目标子画面。例如,多路目标码流均对应于同一个画布,那么在同一个画布就对应于多个目标子画面,相应地,就可以利用一路模拟信号通路同时传输多路目标码流。
具体地,第二网络平台在获取到目标码流之后,将目标码流分发到相应的解码器进行解码。在确定出解码器之后,就可以从该解码器的4路模拟信号通路对应的4个画布中确定出目标模拟信号通路,从而确定出目标子画面,用于对至少两路目标码流进行解码后传输。即,第二网络平台需要先确定目标模拟信号通路,再确定出目标模拟信号通路对应的画布中的目标子画面。
其中,关于目标子画面的确定,可以是将画布进行均匀划分,也可以是依据实际需求将画布进行动态划分。例如,一路模拟信号通路可以传输1路4K的视频和8路音频数据,通过设置画面分割,可将1路视频拆分为1、4、9或16路等分画面,传输多路码流。其中,当4K画布分隔为1、4、9或16路时,各个分画面的分辨率分别为4K、1080P、720P或480P。或者,依据实际需求从4K画布上划分出相应的目标子画面传输码流。
例如,当画布均匀划分时,第二网络平台可以利用各个画布的分辨率先确定出与目标码流对应的目标模拟信号通路;再在该目标模拟信号通路中确定出相应的目标子画面。
当画布动态划分时,第二网络平台也是先确定目标模拟信号通路对应的目标画布。若至少两路目标码流是同时获取到的,则从目标画布上划分出与各路目标码流的分辨率对应的目标子画面;若至少两路目标码流是分时获取到的,则先在目标画布上划分出与先获取的目标码流的分辨率对应的目标子画面,再在目标画布的剩余空间划分出与后获取到的目标码流的分辨率对应的目标子画面。
关于该步骤具体将在下文中进行详细描述。
S13,基于各个目标子画面对相应的目标码流进行解码,得到至少两路目标模拟码流。
其中,目标模拟信号通路用于传输至少两路目标模拟码流。
第二网络平台在确定出各个目标子画面时,利用该目标子画面对相应的目标码流进行解码,其中,每个切割出的子画面都可以解码为一路目标模拟码流。
后续第二网络平台再利用模拟信号通路将至少两路目标模拟码流发送给第一网络平台进行编码后得到相应的至少两路目标数字码流。
本实施例提供的解码方法,利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行解码,即通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
在本实施例中提供了一种解码方法,可用于电子设备,如第二网络平台、电脑、手机、平板电脑等。在本实施例中以第二网络平台为例,图3是根据本发明实施例的解码方法的流程图,如图3所示,该流程包括如下步骤:
S21,获取至少两路目标码流的分辨率。
详细请参见图2所示实施例的S11,在此不再赘述。
S22,根据至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与至少两路目标码流的分辨率一一对应的目标子画面。
具体地,上述S22可以包括如下步骤:
S221,获取画布的分配类型。
其中,所述画布的分配类型包括均匀分配或动态分配。
画布的分配类型可以是事先设置好的,也可以是实时设置的,具体可以根据实际需求进行相应的设置,在此对其并不做任何限制。
在画布的分配类型设置完成之后,第二网络平台可以从相应的配置文件,从其他地方获取到当前画布的分配类型。
S222,基于画布的分配类型以及目标码流的分辨率,从各路模拟信号通路中确定出目标模拟信号通路以及目标子画面。
当画布的分配类型为均匀分布时,对于同一路模拟信号通路对应的画布而言,其所划分得到的各个子画面的分辨率相同。例如,对于4K的画布,将其划分为4个子画面,那么每个子画面的分辨率为1080P。可以对同一个解码器对应的多个模拟信号通路分别划分得到不同的子画面数量,例如,对于第一个模拟信号通路对应的第一画布,划分为1个子画面,子画面的分辨率为4K;对于第二个模拟信号通路对应的第二画布,划分为4个子画面,各个子画面的分辨率为1080P;对于第三个模拟信号通路对应的第三画布,划分为9个子画面,各个子画面的分辨率为720P;对于第四个模拟信号通路对应的第四画布,划分为16个子画面,各个子画面的分辨率为480P。第二网络平台在获取到目标码流的分辨率之后,将目标码流的分辨率与各个子画面的分辨率进行比较,确定出相应的目标模拟信号通路,以得到所述的目标子画面。
当画布的分配类型为动态分布时,第二网络平台可以依据实际目标码流的分辨率实时对目标模拟信号通路的画布进行划分,从画布中划分出大小与目标码流的分辨率相同或相近的子画面,以得到所述的目标子画面。
对于不同的画布分配类型采用不同的方式进行目标子画面的确定,一方面能够保证所确定出的目标子画面能够符合当前传输系统的设定,另一方面可以保证多画面的复用。
在本实施例的一些可选实施方式中,当所述画布的分配类型为所述均匀分配时,上述S222可以包括:
(1)遍历各路模拟信号通路对应的画布中的空闲等分子画面,并从空闲等分子画面中确定出分辨率大于或等于目标码流的分辨率的待定等分子画面。
在均匀分配的类型下,对于各路模拟信号通路对应的画布而言,可以采用不同的标识区分已经使用的等分子画面与空闲等分子画面,例如,采用1表示已经使用的等分子画面,采用0表示空闲等分子画面。当然,也可以采用其他标识进行区分。第二网络平台利用不同的标识就可以从各路模拟信号通路对应的画布的各个等分子画面中确定出空闲等分子画面。
如上文所述,由于各个等分子画面的分辨率是取决于画布所划分出的子画面的数量的,在划分数量确定之后,各个等分子画面的分辨率也就相应确定出。第二网络平台中可以记录有各路模拟信号通路对应的画布对应的划分数量以及子画面的分辨率,再将各个子画面的分辨率与目标码流的分辨率进行比较,从所有的空间等分子画面中确定出分辨率大于或等于目标码流的分辨率的待定等分子画面。
具体地,第二网络平台中可以设置不同的子画面队列,每个队列对应一种分辨率,在遍历得到空闲等分子画面之后,依据各个空闲等分子画面的分辨率将其标识加入相应的队列中。第二网络平台将各个队列对应的分辨率与目标码流的分辨率进行比较,就可以确定出哪个或哪些队列的分辨率大于或等于目标码流的分辨率,得到目标队列。
在确定出目标队列之后,目标队列中各个标识对应的空闲等分子画面即为所述的待定等分子画面。
其中,选取的空闲等分子画面的分辨率应该大于或等于目标码流的分辨率,保证目标模拟信号通道能够正常对码流进行编解码。
(2)基于所有待定等分子画面的分辨率的大小,确定目标模拟信号通路,以得到目标子画面。
第二网络平台在确定出待定等分子画面之后,再利用待定等分子画面的分辨率与目标码流的分辨率进行比较,尽量选取分辨率等于目标码流的分辨率的待定等分子画面。如果没有相等的应尽量选取分辨率差距最小的,这样尽量保证最大的资源利用率。
从空闲等分子画面中筛选出待定等分子画面,再依据待定等分子画面的分辨率的大小确定出目标模拟信号通路,进而确定出目标子画面,即依据分辨率的大小从待定等分子画面中进行目标子画面的确定,优先选择分辨率与目标码流的分辨率相同的待定等分子画面作为目标子画面,以保证模拟信号通路的利用率最大化,提高了码流的传输效率。
可选地,如果需要增加并发路数又不增加设备的条件下,可修改视频分辨率和画面风格。即,通过降低分辨率的方式灵活的增加并发路数。
作为本实施例的一种可选实施方式,当目标码流中包括有音频码流时,所选取的目标子画面还需要具有空闲音频通路。上述步骤(2)可以包括:
2.1)依据分辨率的大小对所有待定等分子画面进行排序。
如上文所述,第二网络平台优先选择分辨率与目标码流的分辨率相同的待定等分子画面;若没有分辨率相同的待定等分子画面,则选择分辨率与目标码流的分辨率相近的待定等分子画面。具体地,第二网络平台对各个待定等分子画面的分辨率进行排序。
2.2)按照从小到大的分辨率依次遍历待定等分子画面,判断各个待定等分子画面是否有空闲音频通道。
第二网络平台依据从小到大的顺序依次遍历各个待定等分子画面,当待定等分子画面有空闲音频通道时,执行步骤2.3);否则,利用下一个待定等分子画面进行空闲音频通道的判断,即继续执行步骤2.2)。
2.3)确定待定等分子画面对应的模拟信号通路为目标模拟信号通路且待定等分子画面为目标子画面。
从待定等分子画面筛选出有空闲音频通道的子画面作为目标模拟信号通路对应的目标子画面,使得音视频都在同一子画面中进行传输,可以防止唇音不同步,保证了音视频之间的同步。
需要说明的是,各个画布所划分的子画面的数量可以是相同的,也可以是不同的,具体可以根据实际需求进行相应的设置,在此对其并不做任何限定。
在本实施例的另一些可选实施方式中,当所述画布的分配类型为所述动态分配时,上述步骤S222可以包括:
(1)获取各路模拟信号通路对应的画布的当前使用情况以确定目标模拟信号通路对应的目标画布。
获取各路模拟信号通路对应的画布的当前使用情况的目的在于保证负载均衡,以实现资源利用最大化。第二网络平台从各路模拟信号通路对应的画布中确定出目标模拟信号通路对应的目标画布,以用于后续目标子画面的确定。
(2)利用目标码流的分辨率从目标画布中划分出子画面,以得到目标子画面。
第二网络平台利用目标码流的分辨率从目标画布中划分出大小相同或相近的子画面,作为所述的目标子画面。其中,子画面的划分可以是依据一定的顺序进行划分,例如,从左往右从上至下的顺序进行划分,也可以是在画布中依据分辨率的大小进行区域划分,利用目标码流的分辨率确定出相应的区域,在从确定出的区域中进行子画面的划分,得到所述的目标子画面。
首先依据各个画布的当前使用情况确定出目标画布,再利用目标码流的分辨率从目标画布中划分出子画面,目标画布的确定可以保证画布资源的最大化利用。
作为本实施例的一种可选实施方式,上述步骤(2)包括:
2.1)获取目标画布的可用画面区域。
所述的可用画面区域即为目标画布的空闲区域,第二网络平台可以通过记录各个已使用画面的坐标以及目标画布的坐标,通过两个坐标进行比较,就可以确定出目标画布的可用画面区域。
2.2)基于目标码流的分辨率大小,确定可用画面区域中的目标画面区域。
如上文所述,依据分辨率的大小对画布进行各个区域进行划分,例如,大分辨率对应的区域为整个画布的最左边,小分辨率对应的区域为整个画布的最右边等等。
第二网络平台利用该目标码流的分辨率大小,从可用画面区域中确定出目标画面区域。
2.3)利用目标码流的分辨率对目标画面区域进行划分,确定目标子画面。
例如,如图4a所示,该画布的分辨率为h0*w0,在第一目标码流来之后,依据从左向右从上向下的顺序对该画布进行划分,划分出1a区域用于对应于第一目标码流的目标子画面。第二网络平台通过记录1a区域的坐标,将其与画布的坐标进行比较,就可以确定出划分出1a区域之后,该画布的可用画面区域。
具体地,一个块把画布的x坐标线复制并向下压,同时向右把Y坐标线复制向右压,形成两个可用块(w1,h1)以及(w2,h2),原有的可用块坐标(w0,h0)废弃。坐标射线方向自动延伸,遇到已使用块或画布边沿即结束。Y坐标线自动往左边靠拢,H范围内遇到可用块停止,X坐标线自动往上靠拢,W范围内遇到可用块停止,遇到边沿结束。
如图4b所示,在图4a中的(w1,h1)区域存放2b,划分出2b之后,可用块为(w1,h1)、(w2,h2)以及(w3,h3)。
如图4c所示,在图4b的基础上,划分出3c,相应地,在划分出3c之后其可用块为(w1,h1)、(w2,h2)、(w3,h3)以及(w4,h4)。其中,(w3,h3)可能很小,在实际中使用不到。
进一步地,图4d示出了划分出11个子画面的示意图,在进行子画面的划分时可以依据分辨率大小的不同划分出相应的区域,再在相应的区域内进行子画面的划分。
依据分辨率的大小对画布进行分割,将相同分辨率的子画面集中在一起,可以保证最大的资源利用率。
进一步可选地,当所述目标码流中包括音频码流时,上述步骤2.3)可以包括:
a)利用目标码流的分辨率对目标画面区域进行划分,得到待定子画面。
b)判断待定子画面是否有空闲音频通道。
第二网络平台在划分得到待定子画面之后,判断其是否有空闲音频通道,当所述待定子画面有所述空闲音频通道时,步骤c);否则,继续对目标画面区域进行划分,得到下一个待定子画面,再对下一个待定子画面进行步骤b)的判断,即执行步骤b)。
c)确定待定子画面为目标子画面。
从待定子画面筛选出有空闲音频通道的子画面作为目标子画面,使得音视频都在同一子画面中进行传输,可以防止唇音不同步,保证了音视频之间的同步。
进一步可选地,在动态分配时,需要解码器与编码器进行二次握手交互,以使得编解码器画面尽量保持一致,使得画面不会串、不蓝屏。例如,在目标码流的分辨率发生变化时,即当前所获取到的目标码流的分辨率与上一次所获取到的目标码流的分辨率不同,解码器端停止解码,申请新布局,并通知对应的编码器停止编码。当编码器停止编码后通知解码器其准备好了,可以使用新布局进行解码。此时,解码器通知编码器开启编码,当编码器准备好之后,告知解码器可以使用新布局进行解码。
S23,基于各个目标子画面对相应的目标码流进行解码,得到至少两路目标模拟码流。
其中,所述目标模拟信号通路用于传输至少两路目标模拟码流。
详细请参见图2所示实施例的S13,在此不再赘述。
本实施例提供的解码方法,对于不同的画布分配类型采用不同的方式进行目标子画面的确定,一方面能够保证所确定出的目标子画面能够符合当前传输系统的设定,另一方面可以保证多画面对同一模拟信号通路的复用。对于码流传输系统而言,通过执行本实施例所述的解码方法,共享模拟信号通路传输音视频数据,只要同一时间并发路数不超过模拟信号通路数量都可以保证业务的正常执行。
根据本发明实施例,提供了一种编码方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种编码方法,可用于电子设备,如第一网络平台、电脑、手机、平板电脑等。在本实施例中以第一网络平台为例,图5是根据本发明实施例的解码方法的流程图,如图5所示,该流程包括如下步骤:
S31,获取至少两路目标模拟码流以及解码状态信息。
其中,所述至少两路目标模拟码流是根据上述任一项所述的解码方法对至少两路目标码流进行解码后得到的,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息。
关于解码方法具体请详见上文所述,在此不再赘述。
解码状态信息是为了告知编码器目标模拟信号通路对应的画布的布局信息,也可以认为是该目标模拟码流处于哪个画布的哪个位置,以便编码器准确地对其进行编码。
例如,解码状态信息中可以包括状态控制、视频主通道号、视频子通道号、音频主通道号、音频子通道号、属于哪块画布、画布所在坐标与宽高、帧率以及码流等等。
其中,状态控制包括开启、停止或更新。所述的更新表示目标码流的分辨率发生变化时,解码器可以利用该状态控制通知编码器当前需要进行更新。视频主通道号表示当前目标模拟码流对应的模拟信号通路,视频子通道号表示当前目标模拟码流在模拟信号通路中的子画面。相应地,音频主通道号与音频子通道号与视频的对应通道号的含义相同。
解码器在通知第一网络平台的编码器时,需要把所有通道的布局按此信息发给编码器,编码器拿到对应的通道,去操作通道对应的编码器状态、参数。
S32,基于解码状态信息对至少两路目标模拟码流进行编码,得到至少两路目标数字码流。
第一网络平台利用所获取到的解码状态信息对至少两路目标模拟码流进行编码,就可以得到相应的目标数字码流。
本实施例提供的编码方法,由于解码是利用目标码流的分辨率从目标模拟信号通路中对应的画布中确定出目标子画面,并利用目标子画面对目标码流进行的,那么在编码时利用相应的解码状态信息对接收到的目标模拟码流进行编码,就可以得到各个子画面中的码流,由于采用了画面复用的方式进行传输,简化了传输系统的部署。
根据本发明实施例,提供了一种码流传输方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种码流传输方法,可用于电子设备,如第二网络平台、电脑、手机、平板电脑等。在本实施例中以第二网络平台为例,图6是根据本发明实施例的解码方法的流程图,如图6所示,该流程包括如下步骤:
S41,接收隔离网关发送的请求方的码流传输请求。
其中,所述码流传输请求中携带有至少两路目标码流的来源以及目标解码器通道。
在本实施例中,所述的请求方为第一网络平台。第一网络平台与第二网络平台之间通过隔离网关实现网络隔离,第二网络平台所接收到的码流传输请求是第一网络平台通过隔离网关发送的。
S42,从至少两路目标码流的来源中提取出至少两路目标码流,并发送至目标解码器通道中,以根据上述所述的解码方法对目标码流进行解码,得到至少两路目标模拟码流。
第二网络平台从目标码流的来源中提取出目标码流,可以采用拉流的方式进行目标码流的拉取。在获取到至少两路目标码流之后,将其发送给目标解码器通道中进行解码,得到至少两路目标模拟码流。
具体的解码方式可以参见上文所述的解码方式,在此并不赘述。
S43,利用目标模拟信号通路,将至少两路目标模拟码流以及解码状态信息发送给请求方相应的编码器进行编码,以得到至少两路目标数字码流。
其中,所述解码状态信息包括目标模拟信号通路对应的画布的布局信息。
第二网络平台再利用与目标解码器通道对应的目标模拟信号通路将解码得到的目标模拟码流发送给第一网络平台对应的目标编码器进行编码。在发送目标模拟码流的同时,还需要发送相应的解码状态信息,以便目标编码器能够正确地编码得到目标数字码流。
关于解码状态信息请参见上文图5所示实施例的S31中的相关描述,在此不再赘述。
本实施例提供的码流传输方法,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
在本实施例中提供了一种码流传输方法,可用于电子设备,如第一网络平台、电脑、手机、平板电脑等。在本实施例中以第一网络平台为例,图7是根据本发明实施例的解码方法的流程图,如图7所示,该流程包括如下步骤:
S51,获取客户端的码流请求。
其中,所述码流请求中携带有至少两路目标码流的来源。
客户端请求访问与第二网络平台连接的设备,其向第一网络平台发送码流请求,在该码流请求中携带有设备的标识,即所述的至少两路目标码流的来源。
S52,基于码流请求创建码流传输任务,并确定目标编码器通道。
第一网络平台在接收到码流请求之后,创建相应的码流传输任务,并从所有空闲编码器通道中选取出目标编码器通道,在目标编码器确定之后,就可以确定出与其对应的目标解码器通道。
S53,向隔离网关发送码流传输请求。
其中,所述码流传输请求中携带有所述至少两路目标码流的来源以及与所述目标编码器通道对应的目标解码器通道。
第一网络平台向与其连接的隔离网关发送码流传输请求,并携带有目标码流的来源及目标解码器通道,以使第二网络平台根据目标码流的来源提取目标码流,并将目标码流发送至目标解码器通道进行解码。在一个实施方式中,如图6所示实施例的S42所示,第二网络平台在提取出目标码流之后,将其发送至目标解码器通道中进行解码。
S54,根据上述的编码方法在目标编码器通道中对获取到的至少两路目标模拟码流进行编码,以得到至少两路目标数字码流。
所述的编码方法请详见上文图5所示实施例的相关描述,在此不再赘述。
本实施例提供的码流传输方法,通过将同一路模拟信号通路划分为多个子画面同时进行传输,用分画面的方式多路复用同一个模拟信号通路传输码流,减少了传输系统中设备的使用,简化了传输系统的部署复杂度。
在本实施例中提供了一种码流传输方法,可用于码流传输系统。图8是根据本发明实施例的解码方法的流程图,如图8所示,该流程包括如下步骤:
S601,第一网络平台获取客户端的码流请求。详细请参见图7所示实施例的S51,在此不再赘述。
S602,第一网络平台基于码流请求创建码流传输任务,并确定目标编码器通道。详细请参见图7所示实施例的S52,在此不再赘述。
S603,第一网络平台向隔离网关发送码流传输请求。详细请参见图7所示实施例的S53,在此不再赘述。
S604,第二网络平台接收隔离网关发送的请求方的码流传输请求。其中,所述码流传输请求中携带有至少两路目标码流的来源以及目标解码器通道。详细请参见图6所示实施例的S41,在此不再赘述。
S605,第二网络平台从至少两路目标码流的来源中提取出至少两路目标码流,并发送至目标解码器通道中,以根据上述所述的解码方法对目标码流进行解码,得到至少两路目标模拟码流。详细请参见图6所示实施例的S42,在此不再赘述。
S606,第二网络平台利用目标模拟信号通路,将至少两路目标模拟码流以及解码状态信息发送给请求方相应的编码器进行编码,以得到至少两路目标数字码流。其中,所述解码状态信息包括目标模拟信号通路对应的画布的布局信息。详细请参见图6所示实施例的S43,在此不再赘述。
S607,第一网络平台根据上述的编码方法在目标编码器通道中对获取到的至少两路目标模拟码流进行编码,以得到至少两路目标数字码流。详细请参见图7所示实施例的S54,在此不再赘述。
S608,第一网络平台将目标数字码流发送给客户端。
在本实施例的一个具体实施方式中,以第一网络平台为视频网平台,第二网络平台为专网平台为例。如图9所示,上述的码流传输方法包括:
(1)视频网平台的客户端浏览专网的设备A,将码流请求发给视频网平台的流媒体服务。对客户端来说隔离网关是透明的,对此不感知。
(2)流媒体服务读取自身本域到设备A所属域的码流方向配置,判断如果码流方向是recvonly,请求设备A的码流请求就会进入模拟信号码流传输流程,转向边界服务发起创建推流任务请求,携带任务标识taskId和推流音视频的资源地址rtmp url。
(3)边界服务配置有本域和对域之间的视频隔离网关(编解码器)通道的模拟信号连接映射关系,同时维护着编解码通道资源池状态,包括设备自身注册和在线状态,设备当前推拉流任务状态。收到创建推拉流任务请求后边界服务将任务分配给当前在线且空闲的编码器通道,并将同这个编码器以模拟信号线相连的对域解码器通道DecNo返回给流媒体。DecNo的内容包含被选择以分配任务的编码器或解码器的设备Id、视频通道号以及音频通道号。
边界服务通过SDSCP协议向编码器派发任务,编码器等待码流到达开始编码并将码流通过rtmp url推送给流媒体服务,流媒体服务把码流转发给客户端。
(4)流媒体得到边界服务返回的解码器通道DecNo,将浏览请求通过视频网和专网之间的网闸或可信边界发送到异域的流媒体服务上,请求中指定码流方向是设备A到DecNo。
(5)专网流媒体服务收到可信边界过来的浏览请求,通过对应接入服务向设备A请求码流,建立交换。
(6)专网流媒体服务根据浏览请求中的DecNo向边界服务创建拉流任务。
(7)边界服务派发拉流任务到DecNo指定的解码器,携带rtmp url。解码器通过rtmp url向流媒体服务请求设备A的码流,解码后图像通过模拟链路传输到视频网的编码器上。
作为本实施例的一个可选实施方式,目标码流的分辨率发生变化、有新的分辨率的目标码流出现,或者申请不到子画面时,第二网络平台中的解码器需要与第一网络平台中的编码器进行二次握手交互,以使编解码器画面保持一致。
具体地,图10a示出了目标码流分辨率发生变化时,解码器与编码器之间的二次握手。图10b示出了出现新分辨率的目标码流时,解码器与编码器之间的二次握手。图10c示出了申请不到子画面时,解码器与编码器之间的二次握手。具体地,在画布资源不够时,需要触发资源满通知指令,通知平台资源不够。平台需要停止编码器和解码器的推流和拉流。在资源满通知指令中需要携带音视频主通道号以及音视频子通道号,平台根据音视频主通道号以及子通道号判断停止相应的推拉流。
在本实施例中还提供了一种解码装置、编码装置以及码流传输装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种解码装置,如图11所示,包括:
第一获取模块101,用于获取至少两路目标码流的分辨率;
第一确定模块102,用于根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面;
解码模块103,用于基于各所述目标子画面对相应的所述目标码流进行解码,得到至少两路目标模拟码流,所述目标模拟信号通路用于传输所述至少两路目标模拟码流。
本实施例还提供了一种编码装置,如图12所示,包括:
第二获取模块201,用于获取至少两路目标模拟码流以及解码状态信息,所述至少两路目标模拟码流是根据所述的解码方法对至少两路目标码流进行解码后得到的,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息;
第一编码模块202,用于基于所述编码状态信息对所述至少两路目标模拟码流进行编码,得到所述至少两路目标数字码流。
本实施例还提供了一种码流传输装置,如图13所示,包括:
接收模块301,用于接收隔离网关发送的请求方的码流传输请求,所述码流传输请求中携带有至少两路目标码流的来源以及目标解码器通道;
提取模块302,用于从所述至少两路目标码流的来源中提取出所述至少两路目标码流,并发送至所述目标解码器通道中,以根据上述的解码方法对所述目标码流进行解码,得到至少两路目标模拟码流;
第一发送模块303,用于利用所述目标模拟信号通路,将所述至少两路目标模拟码流以及解码状态信息发送给所述请求方相应的编码器进行编码,以得到至少两路目标数字码流,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息。
本实施例还提供了一种码流传输装置,如图14所示,包括:
第三获取模块401,用于获取客户端的码流请求,所述码流请求中携带有至少两路目标码流的来源;
创建模块402,用于基于所述码流请求创建码流传输任务,并确定目标编码器通道;
第二发送模块403,用于向隔离网关发送码流传输请求,所述码流传输请求中携带有所述至少两路目标码流的来源以及与所述目标编码器通道对应的目标解码器通道;
第二编码模块404,用于根据上述的编码方法在所述目标编码器通道中对获取到的至少两路目标模拟码流进行编码,以得到至少两路目标数字码流。
本实施例中的解码装置、编码装置及码流传输装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图11所示的解码装置,或图12所示的编码装置,或图13或图14所示的码流传输装置。
请参阅图15,图15是本发明可选实施例提供的一种电子设备的结构示意图,如图15所示,该电子设备可以包括:至少一个处理器501,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口503,存储器504,至少一个通信总线502。其中,通信总线502用于实现这些组件之间的连接通信。其中,通信接口503可以包括显示屏(Display)、键盘(Keyboard),可选通信接口503还可以包括标准的有线接口、无线接口。存储器504可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器504可选的还可以是至少一个位于远离前述处理器501的存储装置。其中处理器501可以结合图11-14中任一项所描述的装置,存储器504中存储应用程序,且处理器501调用存储器504中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线502可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线502可以分为地址总线、数据总线、控制总线等。为便于表示,图15中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器504可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器504还可以包括上述种类的存储器的组合。
其中,处理器501可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器501还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器504还用于存储程序指令。处理器501可以调用程序指令,实现如本申请图2或3实施例中所示的解码方法,或实现如本申请图5实施例中所示的编码方法,或实现如本申请图6或图7所示的码流传输方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的解码方法,或编码方法,或码流传输方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (13)
1.一种解码方法,其特征在于,包括:
获取至少两路目标码流的分辨率;
根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面;
基于各个所述目标子画面对相应的所述目标码流进行解码,得到至少两路目标模拟码流,所述至少两路目标模拟码流复用所述目标模拟通路同时进行传输。
2.根据权利要求1所述的方法,其特征在于,所述根据所述至少两路目标码流的分辨率,从目标模拟信号通路对应的画布中确定出与所述至少两路目标码流的分辨率一一对应的目标子画面,包括:
获取画布的分配类型,所述画布的分配类型包括均匀分配或动态分配;
基于所述画布的分配类型以及所述目标码流的分辨率,从各路模型信号通路中确定出所述目标模拟信号通路以及所述目标子画面。
3.根据权利要求2所述的方法,其特征在于,当所述画布的分配类型为所述均匀分配时,所述基于所述画面分配的类型以及所述目标码流的分辨率,从各路模型信号通路中确定出所述目标模拟信号通路以及所述目标子画面,包括:
遍历各路模拟信号通路对应的画布中的空闲等分子画面,并从所述空闲等分子画面中确定出分辨率大于或等于所述目标码流的分辨率的待定等分子画面;
基于所有所述待定等分子画面的分辨率的大小,确定所述目标模拟信号通路,以得到所述目标子画面。
4.根据权利要求3所述的方法,其特征在于,当所述目标码流中包括音频码流时,所述基于所有所述待定等分子画面的大小,确定所述目标模拟信号通路,以得到所述目标子画面,包括:
依据分辨率的大小对所有所述待定等分子画面进行排序;
按照从小到大的分辨率依次遍历所述待定等分子画面,判断各个所述待定等分子画面是否有空闲音频通道;
当所述待定等分子画面有所述空闲音频通道时,确定所述待定等分子画面对应的模拟信号通路为所述目标模拟信号通路且所述待定等分子画面为所述目标子画面。
5.根据权利要求2所述的方法,其特征在于,当所述画布的分配类型为所述动态分配时,所述基于所述画布的分配类型以及所述目标码流的分辨率,从各路模型信号通路中确定出所述目标模拟信号通路以及所述目标子画面,包括:
获取各路模拟信号通路对应的画布的当前使用情况,以确定所述目标模拟信号通路对应的目标画布;
利用所述目标码流的分辨率从所述目标画布中划分出子画面,以得到所述目标子画面。
6.根据权利要求5所述的方法,其特征在于,所述利用所述目标码流的分辨率从所述目标模拟信号通路对应的目标画布中划分出子画面,以得到所述目标子画面,包括:
获取所述目标画布的可用画面区域;
基于所述目标码流的分辨率大小,确定所述可用画面区域中的目标画面区域;
利用所述目标码流的分辨率对所述目标画面区域进行划分,确定所述目标子画面。
7.根据权利要求6所述的方法,其特征在于,当所述目标码流中包括音频码流时,所述利用所述目标码流的分辨率对所述目标画面区域进行划分,确定所述目标子画面,包括:
利用所述目标码流的分辨率对所述目标画面区域进行划分,得到待定子画面;
判断所述待定子画面是否有空闲音频通道;
当所述待定子画面有所述空闲音频通道时,确定所述待定子画面为所述目标子画面。
8.一种码流传输方法,其特征在于,包括:
接收隔离网关发送的请求方的码流传输请求,所述码流传输请求中携带有至少两路目标码流的来源以及目标解码器通道;
从所述至少两路目标码流的来源中提取出所述至少两路目标码流,并发送至所述目标解码器通道中,以根据权利要求1-7中任一项所述的解码方法对所述目标码流进行解码,得到至少两路目标模拟码流;
利用所述目标模拟信号通路,将所述至少两路目标模拟码流以及解码状态信息发送给所述请求方相应的编码器进行编码,以得到至少两路目标数字码流,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息。
9.一种编码方法,其特征在于,所述方法包括:
获取至少两路目标模拟码流以及解码状态信息,所述至少两路目标模拟码流是根据权利要求1-7中任一项所述的解码方法对至少两路目标码流进行解码后得到的,所述解码状态信息包括所述目标模拟信号通路对应的画布的布局信息;
基于所述解码状态信息对所述至少两路目标模拟码流进行编码,得到所述至少两路目标数字码流。
10.一种码流传输方法,其特征在于,包括:
获取客户端的码流请求,所述码流请求中携带有至少两路目标码流的来源;
基于所述码流请求创建码流传输任务,并确定目标编码器通道;
向隔离网关发送码流传输请求,所述码流传输请求中携带有所述至少两路目标码流的来源以及与所述目标编码器通道对应的目标解码器通道;
根据权利要求9所述的编码方法在所述目标编码器通道中对获取到的至少两路目标模拟码流进行编码,以得到至少两路目标数字码流。
11.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-7中任一项所述的解码方法,或者,执行权利要求9所述的编码方法,或者,执行权利要求8或10所述的码流传输方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-7中任一项所述的解码方法,或者,执行权利要求9所述的编码方法,或者,执行权利要求8或10所述的码流传输方法。
13.一种码流传输系统,其特征在于,包括:第一网络平台、第二网络平台与隔离网关;其中,
所述第一网络平台中的编码器与第二网络平台中的解码器通过模拟信号通路对应连接;所述第一网络平台用于执行权利要求10所述的码流传输方法,所述第二网络平台用于执行权利要求8所述的码流传输方法;
所述第一网络平台中的统一媒体平台与所述第二网络平台中的统一媒体平台通过所述隔离网关连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312462.7A CN113068008B (zh) | 2021-03-24 | 2021-03-24 | 解码、编码、码流传输方法、电子设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312462.7A CN113068008B (zh) | 2021-03-24 | 2021-03-24 | 解码、编码、码流传输方法、电子设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113068008A CN113068008A (zh) | 2021-07-02 |
CN113068008B true CN113068008B (zh) | 2022-09-27 |
Family
ID=76561661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110312462.7A Active CN113068008B (zh) | 2021-03-24 | 2021-03-24 | 解码、编码、码流传输方法、电子设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113068008B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102301730B (zh) * | 2011-07-18 | 2014-02-19 | 华为技术有限公司 | 多路音视频传输和处理方法、装置及系统 |
CN106791919A (zh) * | 2016-12-05 | 2017-05-31 | 乐视控股(北京)有限公司 | 多媒体信息处理方法、装置和电子设备 |
CN109246433B (zh) * | 2018-09-26 | 2020-09-11 | 北京红云融通技术有限公司 | 视频编码方法及装置、解码方法及装置、视频传输系统 |
CN110691260A (zh) * | 2019-10-21 | 2020-01-14 | 北京东方广视科技股份有限公司 | Iptv多分屏编码播放控制方法及装置 |
CN111885346B (zh) * | 2020-08-28 | 2022-12-27 | 中移(杭州)信息技术有限公司 | 一种画面码流合成方法、终端、电子设备和存储介质 |
-
2021
- 2021-03-24 CN CN202110312462.7A patent/CN113068008B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113068008A (zh) | 2021-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10924783B2 (en) | Video coding method, system and server | |
EP3100245B1 (en) | Selection and display of adaptive rate streams in video security system | |
US9013536B2 (en) | Augmented video calls on mobile devices | |
KR101962990B1 (ko) | 복잡도가 낮은 원격 프리젠테이션 세션 인코더 | |
EP2987273B1 (en) | Dynamic allocation of encoders | |
CN107911710B (zh) | 一种直播资源共享管理平台及方法 | |
JP6333858B2 (ja) | 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法 | |
CN111147860B (zh) | 一种视频数据的解码方法及装置 | |
WO2014139269A1 (zh) | 基于虚拟桌面的视频播放、处理方法及装置 | |
WO2019233314A1 (zh) | 一种电视墙图像回显方法、服务器件及电视墙系统 | |
CN105577819A (zh) | 一种虚拟化桌面的分享系统、分享方法以及分享装置 | |
KR20110001838A (ko) | 조합식 디스플레이 설비 및 그 화면 제어 방법과 시스템 | |
CN112035081A (zh) | 投屏方法、装置、计算机设备及存储介质 | |
JP2022502955A (ja) | ビデオエンコードおよびデコード方法、および装置 | |
CN110928513A (zh) | 一种超大分辨率合成指挥应用系统 | |
CN102770827A (zh) | 用于在终端的屏幕上显示多媒体内容的方法 | |
US20140115639A1 (en) | Multi-vision virtualization system and method | |
CN113068008B (zh) | 解码、编码、码流传输方法、电子设备及系统 | |
CN111885351A (zh) | 一种屏幕显示方法、装置、终端设备和存储介质 | |
KR101877034B1 (ko) | 멀티비전 가상화 시스템 및 가상화 서비스 제공 방법 | |
JP6216046B2 (ja) | コーデックの自動適応化 | |
CN107241199B (zh) | 一种会议终端的图像处理方法及装置 | |
CN111726645A (zh) | 一种直播的控制方法、装置、电子设备和存储介质 | |
US10536501B2 (en) | Automated compression of data | |
CN116781973B (zh) | 视频编解码方法、装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |