CN118540552B - 基于光通信的实时视频流优化传输方法及系统 - Google Patents

基于光通信的实时视频流优化传输方法及系统 Download PDF

Info

Publication number
CN118540552B
CN118540552B CN202411004916.4A CN202411004916A CN118540552B CN 118540552 B CN118540552 B CN 118540552B CN 202411004916 A CN202411004916 A CN 202411004916A CN 118540552 B CN118540552 B CN 118540552B
Authority
CN
China
Prior art keywords
video stream
transmission
network
photon
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411004916.4A
Other languages
English (en)
Other versions
CN118540552A (zh
Inventor
曲宝春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Aixiongsi Communication Technology Co ltd
Original Assignee
Suzhou Aixiongsi Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Aixiongsi Communication Technology Co ltd filed Critical Suzhou Aixiongsi Communication Technology Co ltd
Priority to CN202411004916.4A priority Critical patent/CN118540552B/zh
Publication of CN118540552A publication Critical patent/CN118540552A/zh
Application granted granted Critical
Publication of CN118540552B publication Critical patent/CN118540552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/22Adaptations for optical transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种基于光通信的实时视频流优化传输方法及系统,涉及视频光通信传输领域,该方法包括:获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据;获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据;基于网络状态预测模型预测对应该预设时间窗口的第二网络状态数据;在检测到第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码目标视频流所对应的光子编码视频流;对光子编码视频流进行分割以得到多个光子编码模块,并利用多个目标传输路径并行传输各个光子编码模块。由此,在复杂网络环境中实现了实时视频流的优化传输,增强了系统对网络波动的适应能力。

Description

基于光通信的实时视频流优化传输方法及系统
技术领域
本申请涉及视频光通信传输技术领域,尤其涉及一种基于光通信的实时视频流优化传输方法及系统。
背景技术
随着互联网的快速发展和高清视频需求的增加,实时视频流媒体传输成为一个至关重要的技术领域。光通信技术由于其超高带宽、低延迟和抗电磁干扰的特点,逐渐被应用于视频流媒体的传输中。
光通信技术本身具有低延迟的特性,但在大规模网络环境中,传输延迟问题依然存在。传输路径上的网络拥塞和路由选择效率低下,可能导致数据包在传输过程中经历较长的等待时间。此外,当网络负载过高时,数据包丢失和重传也会增加整体的传输延迟。这对于需要实时响应的视频流媒体来说,显然是不利的。
另外,传统光通信技术应对网络波动方面的能力较弱。当网络状况发生变化时,视频流的传输质量会受到显著影响,可能出现视频卡顿、分辨率下降和图像模糊等问题,在进行高质量视频传输时更为明显,严重影响用户的观看体验。
针对上述问题,目前业界暂未提出较佳的技术解决方案。
发明内容
本申请提供一种基于光通信的实时视频流优化传输方法、系统、存储介质、计算机程序产品及电子设备,用以至少解决目前传统光通信技术在大规模网络环境下传输延迟高、传输可靠性差和抗网络波动能力弱的问题。
第一方面,本申请提供一种基于光通信的实时视频流优化传输方法,包括:获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据;第一网络状态数据的数据类型包含网络带宽、网络延迟和丢包率,第一传输视频流数据的数据类型包含视频编码码率、视频分辨率和视频帧率;获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据;将所述第一网络状态数据、所述第一传输视频流数据和所述第二传输视频流数据输入至网络状态预测模型,以预测对应所述预设时间窗口的第二网络状态数据;在检测到所述第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码所述目标视频流所对应的光子编码视频流;对所述光子编码视频流进行分割以得到相应的M个光子编码模块,从可用传输路径集中选择M个目标传输路径,基于所述M个目标传输路径并行传输所述M个光子编码模块;所述光子编码设备包含光源模块、调制器模块和光子编码处理模块;所述光源模块采用可调节输出功率的激光器,用于提供光子源;所述调制器模块包含电光调制器和声光调制器,用于将视频信号调制成光信号;所述光子编码处理模块包含分束器、相位调制器和干涉仪,用于对光信号进行编码处理;所述光源模块的输出功率和所述调制器模块的调制深度是根据网络状态预估指标而自适应调整的;网络状态预估指标是根据所预测的第二网络状态数据而确定的;
其中,所述网络状态预估指标通过下式计算:
式中,表示所预测的网络状态评估指标,分别表示所预测的网络带宽、网络延迟和丢包率,分别表示网络带宽、网络延迟和丢包率的调整系数;表示预设的延迟上限值;
所述光源模块的输出功率通过下式进行自适应调整:
式中,表示光源模块的输出功率,表示实时注入电流,表示注入电流标定值,分别表示激光器的特性系数;
所述调制器模块的调制深度通过下式进行自适应调整:
式中,表示调制器模块的调制深度,表示实时驱动电压,表示驱动电压标定值,表示半波电压。
第二方面,本申请提供一种基于光通信的实时视频流优化传输系统,包括:历史数据获取单元,用于获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据;网络状态数据的数据类型包含网络带宽、网络延迟和丢包率,传输视频流数据的数据类型包含视频编码码率、视频分辨率和视频帧率;待传输数据获取单元,用于获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据;网络状态预测单元,用于将所述第一网络状态数据、所述第一传输视频流数据和所述第二传输视频流数据输入至网络状态预测模型,以预测对应所述预设时间窗口的第二网络状态数据;光子视频编码单元,用于在检测到所述第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码所述目标视频流所对应的光子编码视频流;光子视频传输单元,用于对所述光子编码视频流进行分割以得到相应的M个光子编码模块,从可用传输路径集中选择M个目标传输路径,基于所述M个目标传输路径并行传输所述M个光子编码模块;
所述光子编码设备包含光源模块、调制器模块和光子编码处理模块;所述光源模块采用可调节输出功率的激光器,用于提供光子源;所述调制器模块包含电光调制器和声光调制器,用于将视频信号调制成光信号;所述光子编码处理模块包含分束器、相位调制器和干涉仪,用于对光信号进行编码处理;所述光源模块的输出功率和所述调制器模块的调制深度是根据网络状态预估指标而自适应调整的;网络状态预估指标是根据所预测的第二网络状态数据而确定的;
其中,所述网络状态预估指标通过下式计算:
式中,表示所预测的网络状态评估指标,分别表示所预测的网络带宽、网络延迟和丢包率,分别表示网络带宽、网络延迟和丢包率的调整系数;表示预设的延迟上限值;
所述光源模块的输出功率通过下式进行自适应调整:
式中,表示光源模块的输出功率,表示实时注入电流,表示注入电流标定值,分别表示激光器的特性系数;
所述调制器模块的调制深度通过下式进行自适应调整:
式中,表示调制器模块的调制深度,表示实时驱动电压,表示驱动电压标定值,表示半波电压。
第三方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例的基于光通信的实时视频流优化传输方法的步骤。
第四方面,本申请提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现本申请任一实施例的基于光通信的实时视频流优化传输方法的步骤。
第五方面,本申请提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本申请任一实施例的基于光通信的实时视频流优化传输方法的步骤。
通过本申请提供的一种基于光通信的实时视频流优化传输方法,能够至少产生如下的技术效果:
(1)通过采集历史时间段网络状态数据和传输视频流数据,并获取未来待传输的传输视频流数据,将这些数据输入网络状态预测模型,能够准确预测未来网络状态,使得系统能够提前识别可能的网络拥堵情况,采取预防措施。在检测到传输拥堵的情况下,采用光子编码设备对目标视频流进行编码,并将其分割为多个光子编码模块,通过多条传输路径并行传输,大大减少了单一传输路径的负载,能显著降低了传输延迟,同时减少了由于单一路径故障或拥堵导致的数据包丢失风险。
(2)在预测到潜在网络拥堵风险的情况下,自动切换到光子编码处理方式,可以利用光子编码的低延迟和高可靠性特性,确保在网络拥堵情况下的高质量视频传输。此外,由于光子编码设备和处理相对复杂且资源消耗较大,只有在检测到网络拥堵条件满足时才从普通编码处理转为光子编码处理,可以大幅降低系统整体资源的占用率和能耗,延长设备寿命。
(3)通过对未来传输窗口期内网络状态的预测,系统可以实时调整光子编码设备中光源模块的输出功率和调制模块的调制深度,根据未来潜在的网络状态优化视频编码策略,使得在网络状况变化时依然能维持较高的传输质量和传输效率,减少因网络波动导致的视频传输中断或质量下降。
(4)通过将光子编码视频流分割成多个模块,并基于多条目标传输路径进行并行传输,有效地分散了网络负载,减少了单条传输路径的压力,从而降低了数据包丢失和重传的概率。结合光子编码设备的高效编码处理,确保了视频流在不同网络条件下的高质量传输,避免了视频卡顿、分辨率下降和图像模糊等问题,显著提升了用户的观看体验。
通过本技术方案,综合引入网络状态预测模型、光子编码设备自适应调整机制以及多路径并行传输策略,在复杂网络环境中实现了实时视频流的优化传输,不仅显著降低了传输延迟,提高了传输效率和质量,同时增强了系统对网络波动的适应能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请实施例的基于光通信的实时视频流优化传输方法的一示例的流程图;
图2示出了根据本申请实施例的光子编码设备的一示例的结构连接示意图;
图3示出了根据本申请实施例的通过内容感知分割光子编码视频流的一示例的操作流程图;
图4示出了根据本申请实施例的多模态时空网络的一示例的结构连接示意图;
图5示出了根据本申请实施例的在线学习优化网络状态预测模型的一示例的操作流程图;
图6示出了根据本申请实施例的一种基于光通信的实时视频流优化传输系统的一示例的结构框图;
图7为本申请的电子设备的一实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的技术方案中,如涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图1示出了根据本申请实施例的基于光通信的实时视频流优化传输方法的一示例的流程图。
关于本申请实施例方法的执行主体,其可以是任意具有计算或处理能力的控制器或处理器,通过综合引入网络状态预测模型、光子编码设备自适应调整机制以及多路径并行传输策略,在复杂网络环境中实现了实时视频流的优化传输,不仅显著降低了传输延迟,提高了传输效率和质量,同时增强了系统对网络波动的适应能力。
在一些示例中,其可以是视频传输优化平台,并可以是通过软件、硬件或软硬件结合的方式被集成配置在电子设备或终端中,并且终端或电子设备的类型可以是多样化的,例如光通信发射机、手机、平板电脑或台式机等等。
如图1所示,在步骤S110中,获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据。
这里,第一网络状态数据的数据类型包含网络带宽、网络延迟和丢包率,第一传输视频流数据的数据类型包含视频编码码率、视频分辨率和视频帧率。
在一些实施方式中,通过网络监测工具(如SNMP协议或流量分析器)获取历史时间段内的网络带宽、网络延迟和丢包率等网络状态数据。此外,通过使用视频传输监测工具(如FFmpeg或其他视频监测工具)记录并获取历史时间段内的传输视频流数据,包括视频编码码率、视频分辨率、视频帧率等。由此,利用分布式数据收集和存储技术,将这些数据存储在数据库中,确保在大规模网络环境中也能高效处理和存储大量历史数据,为后续的网络状态预测提供了数据基础。
在步骤S120中,获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据。
在一些实施方式中,通过分析视频播放计划,或者通过与视频服务器交互,以确定未来一段时间内需要传输的目标视频流。进一步地,通过预加载即将播放的目标视频流,并提取相关传输视频流数据,例如通过视频内容分析工具进行预处理。此外,通过预加载和提前获取数据,能够提前做好传输规划,避免因未知参数所导致的网络传输质量的下滑,并还能确保在视频流传输开始前系统已经做好充分准备,减少传输启动延迟。
在步骤S130中,将第一网络状态数据、第一传输视频流数据和第二传输视频流数据输入至网络状态预测模型,以预测对应预设时间窗口的第二网络状态数据。
这里,网络状态预测模型可以非限制地采用各种深度学习模型,例如LSTM(LongShort-Term Memory, 长短期记忆网络)或CNN(Convolutional Neural Network,卷积神经网络),在此应暂不作限制。优选地,网络状态预测模型可以采用MMSTN(Multi-ModalSpatio-Temporal Network,多模态时空网络),更多细节将在下文中结合其他示例展开。由此,通过预测未来传输窗口期内的网络传输质量,使得系统能够提前调整视频编码传输策略,确保实时视频传输(例如,直播视频传输)的流畅性。
在步骤S140中,在检测到第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码目标视频流所对应的光子编码视频流。
另一方面,在检测到第二网络状态数据未满足传输拥堵状态条件的情况下,控制系统保持普通视频编码模式,例如H.264/AVC。由此,只有在检测到未来潜在的网络传输拥堵工况的情况下,系统才使用光子编码设备对视频进行光子编码处理。
需说明的是,普通编码方式通常计算资源消耗较少,适合在网络状态良好的情况下高效传输;另外,光子编码的低延迟和高可靠性特性,能够确保在网络拥堵情况下的高质量视频传输。这样,将普通编码与光子编码结合,通过网络状况检测和智能切换,在满足资源需求均衡条件的前提下,还增强了对各种网络环境的适应性,提高系统的鲁棒性和稳定性。
应理解的是,光子编码设备的编码技术可以使用多样化的编码方法,例如基于量子点编码或基于光子的高效编码方法,从而确保在带宽受限情况下仍能保持较高的视频质量。优选地,在光子编码设备中还可以集成基于预测网络状态的自适应调整机制,更多细节将在下文中结合其他示例展开。
在步骤S150中,对光子编码视频流进行分割以得到相应的M个光子编码模块,从可用传输路径集中选择M个目标传输路径,基于M个目标传输路径并行传输M个光子编码模块。
这里,M为大于1的自然数。在本申请实施例的一个示例中,按照系统预置数量M(即固定分割机制)将光子编码视频流分割为多个光子编码模块,进而根据当前实时传输状态较佳的多路传输路径相应进行传输,确保每个模块通过独立的路径传输,以提高整体传输速度和可靠性。在本申请实施例的另一示例中,系统可以采用内容感知分割技术,通过分析光子编码视频流的内容而进行自使用分割,此时M的数值是浮动的,进而根据当前实时或预测的传输状态较佳的多路传输路径进行传输,更多细节将在下文中结合其他示例展开。由此,通过多路径并行传输,平衡各传输路径的负载,减少单一路径的拥堵风险,确保视频流的实时性和流畅性,并增加了系统的容错性,例如在某条路径出现问题时其他路径可以继续传输,保证视频流的连续性。
通过本申请实施例,通过智能预测网络状态并动态选择编码方式,例如在检测到网络拥堵时触发使用光子编码设备,在兼顾系统资源消耗的前提下,保障在网络状况波动的情况下视频流传输的效率和质量。通过视频模块分割和多路径并行传输,减少传输延迟和丢包,提高了系统的稳定性和对网络波动的适应能力。
图2示出了根据本申请实施例的光子编码设备的一示例的结构连接示意图。
如图2所示,光子编码设备200包含光源模块210、调制器模块220和光子编码处理模块230。光源模块210采用可调节输出功率的激光器,用于提供光子源,一般需要提供高强度、相干性好的光子源。
调制器模块220包含电光调制器(Electro-Optic Modulator,EOM)221和声光调制器(Acousto-OpticModulator,AOM)222,用于将视频信号调制成光信号。应理解的是,电光调制器利用电光效应(也称为Pockels效应),通过在电光材料(如铌酸锂LiNbO3或钛酸钡BaTiO3)上施加电场,改变材料的折射率,从而调制通过该材料的光信号。声光调制器利用声光效应,通过在声光材料(如石英或铷酸钾铌RKNbO3)中引入声波,引起材料折射率的周期性变化,从而调制通过该材料的光信号。具体地,视频信号以电信号的形式输入到电光调制器,通过驱动电压的变化实现对光信号的调制;此外,视频信号通过射频驱动器输入到声光调制器,射频信号驱动压电换能器产生声波,从而调制光信号。
光子编码处理模块230包含分束器231、相位调制器232和干涉仪233,用于对光信号进行编码处理。在一些实施方式中,利用相位调制器232,对光信号的相位进行调制以编码视频数据,通过相位调制可以实现高效的光子编码,减少传输延迟。利用光学分束器231将光信号分成多个子信号,以便并行处理和编码。使用干涉仪233对相位调制后的光信号进行干涉处理,提高信号的稳定性和抗干扰能力,这样编码后的光信号能够通过光纤传输至接收端,并能在传输过程中保证极低的衰减和高稳定性,确保信号能完整传输。
光源模块210的输出功率和调制器模块220的调制深度是根据网络状态预估指标而自适应调整的。根据机器学习预测的在下一个传输窗口内的网络状态,自适应调整光子编码器的调制参数,通过动态调整激光器输出功率和调制深度,优化信号质量和传输效率。
这里,网络状态预估指标是根据所预测的第二网络状态数据而确定的,更具体地,网络状态预估指标通过下式计算:
,式(1),
式中,表示所预测的网络状态评估指标,分别表示所预测的网络带宽、网络延迟和丢包率,分别表示网络带宽、网络延迟和丢包率的调整系数;表示预设的延迟上限值。
这里,为了更灵活地应对网络状况的变化,通过引入权重函数来综合评估传输网络中带宽、延迟和丢包率的变化。
相应地,光源模块210的输出功率通过下式进行自适应调整:
,式(2),
,式(3),
式中,表示光源模块的输出功率,表示实时注入电流,表示注入电流标定值,分别表示激光器的特性系数。
具体地,输出功率调节的自适应机制基于所预测的网络状态参数而实现,当网络状态变化时,调整以优化传输效果。当降低、增大或增高时,相应降低,此时通过减小以减少干扰;反之,提高以增强信号强度。
由此,通过基于未来传输窗口所预测的网络状态(带宽、延迟、丢包率等)来预估网络状态评估指标,并动态调整激光器的输出功率,确保在带宽充足时提高功率以增强信号强度。另外,在网络拥堵时降低功率以减少干扰,减少了网络负担和信号干扰,从而优化传输效率。
相应地,调制器模块220的调制深度通过下式进行自适应调整:
,式(4),
,式(5),
式中,表示调制器模块的调制深度,表示实时驱动电压,表示驱动电压标定值,表示半波电压,即调制器相位变化达到的所需电压。
具体地,在预测到网络状态变化时,根据实时监测的数据调整以优化调制深度。根据实时监测的网络状态和视频流特性,动态调整驱动电压,优化电光调制器的调制深度,例如,当网络状况良好时,增大,增加提高调制深度,增强信号的传输质量;反之,降低以减少干扰。
需说明的是,调制深度是一个无单位的量,用于描述电光调制器(如铌酸锂调制器)对光信号调制的强度,其表示光信号的相位、频率或振幅在调制过程中发生变化的程度。调制深度越大,光信号的变化越显著,信号质量越高,抗干扰能力越强。在带宽充足、延迟和丢包率较低的情况下,可以增加调制深度,提高信号质量。此外,在网络拥堵或传输条件较差时,降低调制深度可以减少信号的干扰和失真,确保数据的稳定传输。
在本实施例中,通过采用自适应光子调制策略,可以动态调整激光器的输出功率和电光调制器的调制深度,以适应实时网络状况和视频流特性,提高视频流的传输效率和质量。
在本申请实施例的一些示例中,通过内容感知分割对光子编码视频流进行自适应分割。内容感知分割通过分析视频内容的复杂度和运动信息,对视频进行动态分割,示例性地,将高运动场景和关键帧被分割成较小的模块,而低运动场景被分割成较大的模块,从而优化传输效率和质量。
图3示出了根据本申请实施例的通过内容感知分割光子编码视频流的一示例的操作流程图。
如图3所示,在步骤S310中,针对光子编码视频流中的每个光子编码视频帧,获取光子编码视频帧中的边缘像素数量和运动矢量范围。
在一些实施方式中,利用边缘检测算法(如Canny边缘检测算法、Sobel算子等),对光子编码视频帧进行处理,计算每帧图像中边缘像素的数量。此外,利用视频编码中的运动估计算法(如块匹配算法、光流法等),计算光子编码视频帧中各块的运动矢量,统计运动矢量的范围。
在步骤S320中,根据边缘像素数量和运动矢量范围计算目标编码模块尺寸。
这里,基于视频帧中的边缘像素数量和运动矢量的大小来计算光子编码视频帧的复杂度,并结合视频帧流中的最大复杂度值来综合计算光子编码模块的尺寸大小。更具体地,目标编码模块尺寸通过下式而计算:
,式(6),
,式(7),
,式(8),
式中,表示第帧光子编码视频帧的复杂度,表示视频帧的复杂度序列,表示所有视频帧中的最大复杂度值;表示第帧中的边缘像素数量,表示每个视频帧的总像素数量,表示第帧光子编码视频帧的运动矢量平均大小;分别表示边缘像素权重和运动矢量权重。
这样,通过根据每个视频帧的复杂度和运动矢量范围动态调整模块大小,能够减少冗余数据,提高传输效率。高复杂度帧生成的模块较小,低复杂度帧生成的模块较大,这样可以减少传输高复杂度帧时的延迟,提高整体传输速率。通过动态调整编码模块的大小,确保网络带宽得到最优利用,提高数据传输效率。
在本实施例中,通过计算每个视频帧的复杂度,动态调整编码模块的大小,使得高复杂度和高运动的帧能够优先传输,确保关键内容的优先级,提高整体传输效率。在视频流中,高运动场景和关键帧被分割成较小的模块进行传输,确保这些重要内容能够快速传输到接收端,提升用户体验。另外,低运动场景和非关键帧被分割成较大的模块,有效减少了传输所需的带宽和时间,提高了传输效率。
在步骤S330中,根据目标编码模块尺寸,将光子编码视频帧分割为多个光子编码模块。
在一些实施方式中,可以根据目标编码模块尺寸,确定初始分割位置,进而根据视频帧内容的复杂度调整分割边界,确保每个模块的复杂度均衡。最终,确定每个编码模块的边界,从而生成光子编码模块。这里,在分割过程中,处理好相邻模块的边界,确保模块之间无缝连接,避免因分割导致的图像质量下降。由此,通过自适应视频模块分割策略,确保每个编码模块的复杂度均衡,提升整体编码效率。此外,能够确保分割后的编码模块大小适中,便于多路径并行传输,减少传输延迟和视频传输质量。
作为进一步的优选实施方式,可以通过优先传输较小的高复杂度帧模块,确保了视频流的关键部分能够快速传输到接收端,提升了视频的整体清晰度和流畅性。
通过本实施例,动态调整每个视频帧的模块大小和数量,使得网络带宽得到了最优利用,减少了传输过程中的冗余数据和带宽浪费,实现高效的带宽利用。此外,较小的数据块在传输过程中更容易被成功传输,减少了由于网络拥堵导致的延迟和丢包,提升了视频传输的质量和用户体验。
在本申请实施例的一些示例中,光发射机可以通过多个通道或路径来高效传输数据,相应地,所预测的第二网络状态数据可以包含多个路径网络状态数据,其可以反映各个路径的网络状态。继而,可以依据此路径网络状态数据来计算或预测相应传输路径的负载因子,选择负载因子最优的多个传输路径进行传输,实现对传输路径的动态调度选择。
图3示出了根据本申请实施例的动态选择传输路径的一示例的操作流程图。
如图3所示,在步骤S310中,针对可用传输路径集中的各个可用传输路径,根据可用传输路径所对应的路径网络状态数据计算该可用传输路径所对应的路径负载因子。
在一些实施方式中,通过采用非线性数学模型来计算负载因子,以更准确地反映各路径的负载情况。
更具体地,路径负载因子是通过回归分析模型而计算的:
,式(9),
式中,表示传输路径的负载因子,分别表示所预测的路径的网络带宽、网络延迟和丢包率,表示回归学习模型的模型系数,表示自然指数函数。
这里,通过带宽的对数变换可以减少极值对计算结果的影响,同时更好地反映带宽的相对变化情况。通过延迟的平方项来突出较大延迟对负载的显著影响,确保高延迟路径在负载因子中占据更大的权重。通过丢包率的平方根变换用于平滑小丢包率值的影响,同时保持对较大丢包率的敏感度。最终将上述各项通过线性组合后取指数,确保负载因子始终为正且能够较好地反映综合负载情况。
在步骤S320中,从各个可用传输路径中筛选对应路径负载因子最小的M个可用传输路径,以作为相应的目标传输路径。
需说明的是,当通过内容感知分割视频时,系统根据不同视频帧的复杂度和运动矢量范围动态调整目标编码模块的尺寸,会导致每个视频帧生成的光子编码模块总数存在差异,此时相应的可用传输路径的数量也会发生浮动。
通过本实施例,利用回归分析模型动态计算各个传输路径的负载因子,可以准确反映不同路径在传输窗口期的网络状态下的负载情况,继而根据负载因子选择传输路径,确保选择的传输路径具有最低的负载,从而提高视频流传输的稳定性和质量,能够避免拥塞路径,提高传输效率。
在本申请实施例的一些示例中,网络状态预测模型采用多模态时空网络。图4示出了根据本申请实施例的多模态时空网络的一示例的结构连接示意图。
如图4所示,网络状态预测模型400包含输入层410、时空卷积模块420、Transformer模块430、融合层440和输出层450。
输入层410用于接收第一网络状态数据、第一传输视频流数据和第二传输视频流数据。
时空卷积模块420用于提取第一传输视频流数据和第二传输视频流数据所对应的时空特征。
需说明的是,时空卷积模块能够同时捕捉视频数据的时间和空间特征,这对于视频流的处理尤为重要,可以有效地提取视频帧之间的依赖关系和视频内容的局部特征。
这里,时空特征是同时包含时间和空间信息的数据特征。在视频流处理中,时空特征是指在视频帧中捕捉到的物体的运动、变化和空间关系。具体地,时空特征中的空间特征能够反映视频帧内的图像特征,例如边缘、纹理和颜色分布等,时空特征中的时间特征能够反映视频帧间的动态变化,例如物体的运动轨迹、速度和加速度等。因此,视频流中的时空特征能够反映物体在不同时刻的动态变化,通过捕捉这些变化,可以更准确地预测未来的网络状态。
在本实施例中,通过时空卷积模块对第一传输视频流数据和第二传输视频流数据进行时空特征提取,能够捕捉视频流中的动态变化和空间信息,使得模型能够较佳地学习并理解视频内容对网络状态的影响。
Transformer模块430用于处理时空特征和第一网络状态数据,以输出相应的全局依赖特征。
需说明的是,传统的递归神经网络(RNN)和长短期记忆网络(LSTM)在处理长距离时间依赖关系时存在信息传递效率低、梯度消失或爆炸等问题。在本实施例中,通过采用Transformer模块的自注意力机制,可以在全局范围内捕捉输入特征之间的依赖关系。相比RNN和LSTM,Transformer不依赖于顺序计算,能够并行处理序列中的所有位置,从而有效解决长距离依赖问题。由此,可以灵活地计算不同位置之间的依赖关系,生成更加多样化和灵活的特征表示,能够更好地捕捉视频流和网络状态数据中的复杂关系。
在本实施例中,利用Transformer模块处理时空特征和第一网络状态数据,捕捉长距离的时间依赖关系和全局特征,有助于模型理解历史数据和当前视频内容之间的复杂关系,从而提高预测的准确性。此外,时空卷积模块和Transformer模块具有较强的并行计算能力,能够充分利用现代GPU的计算资源,可以在较短的时间内完成大规模视频流数据的处理,提高了预测的实时性。
融合层440用于融合时空特征和全局依赖特征,以确定相应的融合特征。
这里,通过融合层将时空特征和全局依赖特征融合,基于残差连接结构设计,相比于单独的全局依赖特征,提供更加全面的特征表示,进一步利用时空特征中的重要信息,避免了单一特征表示的局限性,使得模型在面对不同类型的视频内容和网络状态时,能够保持较高的预测性能和鲁棒性。
输出层450用于处理融合特征,以预测对应未来的预设时间窗口的第二网络状态数据。
在本实施例中,模型能够同时处理网络状态数据和视频流数据,并通过融合层将时空特征和全局依赖特征融合,集成多模态数据处理能力,使得模型在面对不同类型的视频内容和网络状态时,能够保持较高的预测性能和鲁棒性。
在本申请的实践过程中,结合视频传输实时网络预测场景的特点,我们还对时空卷积模块和Transformer模块进行了一系列增强设计,以提高其在本场景下的优势。
在本申请实施例的一些示例中,时空卷积模块采用多尺度时空卷积模块,用于在不同的时间尺度和空间尺度上捕捉视频流的特征,从而增强特征表示的丰富性。
具体地,利用多尺度时空卷积捕捉视频流在不同时间和空间尺度上的特征,能够捕捉到更加丰富和多样的特征信息。此外,多尺度卷积核能够处理不同的时间维度和空间维度变化,从而增强了视频流特征表示的能力,提供了更精确和全面的特征表示。
多尺度时空卷积模块的结构如下:
,式(10),
式中,表示尺度的时空卷积输出,分别表示输入特征图的行索引、列索引和时间索引;表示尺度的卷积核,分别表示卷积核的行索引、列索引和时间索引;RA分别表示卷积核的高度和宽度;表示尺度的时间卷积核大小;表示输入特征图的值,表示该输入特征图在位置的值;表示尺度的偏置项,表示激活函数。
在本实施例中,利用不同尺寸的卷积核捕捉视频流中的动态变化和空间信息,通过在不同的时间和空间尺度上捕捉视频流特征,增强了特征表示的丰富性和多样性,使得模型能够更精确地反映视频内容对网络状态的影响,并也提高了模型对各种复杂视频场景的适应性。
在本申请实施例的一些示例中,Transformer模块采用多头自注意力机制。
具体地,Transformer模块采用多头自注意力机制,能够同时关注输入特征的不同部分,从而捕捉到更为丰富的特征表示。通过并行地计算多个注意力头,多头自注意力机制可以更好地捕捉到视频流和网络状态数据之间的复杂依赖关系。此外,多头自注意力机制能够在不同的子空间中捕捉特征,提升了模型对全局特征和局部特征的综合捕捉能力,使得模型在面对复杂网络状态变化时,能够做出更准确的预测。
在本申请实施例的一些示例中,为了保障网络状态预测模型的预测性能,尤其需要注意对网络状态预测模型的损失函数的设计细节。这里,通过采用综合损失函数,综合考虑预测误差损失(Mean Squared Error,MSE)、网络状态特征平滑损失(Smoothness Loss)和自适应权重损失(Adaptive Weighted Loss)。通过预测误差损失项,衡量预测的第二网络状态数据与真实值之间的差异。通过网络状态特征平滑损失项,鼓励网络状态预测的平滑性,避免预测结果的剧烈变化。通过自适应权重损失,根据预测误差大小自适应地调整影响权重,增强模型对不同时间点上预测误差的敏感度。
更具体地,所述网络状态预测模型的损失函数为:
,式(11),
,式(12),
,式(13),
,式(14),
,式(15),
式中,表示预测误差损失项,表示网络状态特征平滑损失项,表示自适应权重损失项,分别表示相应损失项的调整系数;表示样本数量,表示第个时间点上预测的网络状态数据,表示第个时间点上真实的网络状态数据;表示第个时间点上的自适应权重;μ表示自适应权重的调节参数。
在本实施例中,通过预测误差损失,直接衡量预测值与真实值之间的差异,确保模型的基本预测精度。通过自适应权重机制,根据预测误差的大小动态调整权重,使模型对误差较大的时间点更加敏感,从而重点优化这些关键点的预测精度,使模型更好地应对网络状态的剧烈变化,提高整体预测精度。通过网络状态特征平滑损失,鼓励预测结果的平滑性,避免了网络状态预测结果的剧烈变化,确保了预测曲线的连续性和一致性,使得模型在应对突发网络状态变化时表现更加稳定。另外,通过在综合损失函数中加权融合各个损失项,能有效融合各个损失项的优势,实现更精准的网络状态预测。
图5示出了根据本申请实施例的在线学习优化网络状态预测模型的一示例的操作流程图。
如图5所示,在步骤S510中,在基于M个目标传输路径并行传输M个光子编码模块时,监测光通信网络的资源使用指标是否触发预设的资源警报条件,资源使用指标包含网络带宽利用率、网络延迟、丢包率和信号强度。
这里,在指标触发预设警报条件时,例如当前带宽利用率的预设阈值为80%、网络延迟的预设阈值为100毫秒等等,能够及时发出警报通知,预防网络故障,确保传输的稳定性和安全性,也能在一定程度上实现对先前模型预测结果的验证。
在步骤S520中,当触发资源警报条件时,根据触发资源超限条件的目标资源使用指标生成警报通知,并收集对应邻近的预设时间段的第三网络状态数据和第三传输视频流数据。
在步骤S530中,基于第三网络状态数据和第三传输视频流数据更新网络状态预测模型的数据样本集,使得网络状态预测模型能够进行在线学习优化。
在本实施例中,当检测到真实网络拥堵或故障事件时,其一般能够说明先前模型所输出的预测结果存在偏差,此时通过收集预设时间段内的第三网络状态数据和第三传输视频流数据,更新网络状态预测模型的数据样本集,能够使模型持续学习和适应新的网络状态,持续优化提升预测精度,保障在不同网络条件下的视频传输质量。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
图6示出了根据本申请实施例的一种基于光通信的实时视频流优化传输系统的一示例的结构框图。
如图6所示,基于光通信的实时视频流优化传输系统600包括历史数据获取单元610、待传输数据获取单元620、网络状态预测单元630、光子视频编码单元640和光子视频传输单元650。
历史数据获取单元610用于获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据;网络状态数据的数据类型包含网络带宽、网络延迟和丢包率,传输视频流数据的数据类型包含视频编码码率、视频分辨率和视频帧率。
待传输数据获取单元620用于获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据。
网络状态预测单元630用于将所述第一网络状态数据、所述第一传输视频流数据和所述第二传输视频流数据输入至网络状态预测模型,以预测对应所述预设时间窗口的第二网络状态数据。
光子视频编码单元640用于在检测到所述第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码所述目标视频流所对应的光子编码视频流。
光子视频传输单元650用于对所述光子编码视频流进行分割以得到相应的M个光子编码模块,从可用传输路径集中选择M个目标传输路径,基于所述M个目标传输路径并行传输所述M个光子编码模块。
所述光子编码设备包含光源模块、调制器模块和光子编码处理模块;所述光源模块采用可调节输出功率的激光器,用于提供光子源;所述调制器模块包含电光调制器和声光调制器,用于将视频信号调制成光信号;所述光子编码处理模块包含分束器、相位调制器和干涉仪,用于对光信号进行编码处理;
所述光源模块的输出功率和所述调制器模块的调制深度是根据网络状态预估指标而自适应调整的;网络状态预估指标是根据所预测的第二网络状态数据而确定的;
其中,所述网络状态预估指标通过下式计算:
式中,表示所预测的网络状态评估指标,分别表示所预测的网络带宽、网络延迟和丢包率,分别表示网络带宽、网络延迟和丢包率的调整系数;表示预设的延迟上限值;
所述光源模块的输出功率通过下式进行自适应调整:
式中,表示光源模块的输出功率,表示实时注入电流,表示注入电流标定值,分别表示激光器的特性系数;
所述调制器模块的调制深度通过下式进行自适应调整:
式中,表示调制器模块的调制深度,表示实时驱动电压,表示驱动电压标定值,表示半波电压。
在一些实施例中,本申请实施例提供一种非易失性计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本申请上述任一项基于光通信的实时视频流优化传输方法的步骤。
在一些实施例中,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项基于光通信的实时视频流优化传输方法的步骤。
在一些实施例中,本申请实施例还提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行基于光通信的实时视频流优化传输方法的步骤。
图7是本申请另一实施例提供的执行基于光通信的实时视频流优化传输方法的电子设备的硬件结构示意图,如图7所示,该设备包括:
一个或多个处理器710以及存储器720,图7中以一个处理器710为例。
执行基于光通信的实时视频流优化传输方法的设备还可以包括:输入装置730和输出装置740。
处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器720作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的基于光通信的实时视频流优化传输方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例基于光通信的实时视频流优化传输方法。
存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器720可选包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的信号。输出装置740可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器720中,当被所述一个或者多个处理器710执行时,执行上述任意方法实施例中的基于光通信的实时视频流优化传输方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器,掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)其他具有数据交互功能的机载电子装置,例如安装上车辆上的车机装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于光通信的实时视频流优化传输方法,其特征在于,包括:
获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据;第一网络状态数据的数据类型包含网络带宽、网络延迟和丢包率,第一传输视频流数据的数据类型包含视频编码码率、视频分辨率和视频帧率;
获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据;
将所述第一网络状态数据、所述第一传输视频流数据和所述第二传输视频流数据输入至网络状态预测模型,以预测对应所述预设时间窗口的第二网络状态数据;
在检测到所述第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码所述目标视频流所对应的光子编码视频流;
对所述光子编码视频流进行分割以得到相应的M个光子编码模块,从可用传输路径集中选择M个目标传输路径,基于所述M个目标传输路径并行传输所述M个光子编码模块;
所述光子编码设备包含光源模块、调制器模块和光子编码处理模块;所述光源模块采用可调节输出功率的激光器,用于提供光子源;所述调制器模块包含电光调制器和声光调制器,用于将视频信号调制成光信号;所述光子编码处理模块包含分束器、相位调制器和干涉仪,用于对光信号进行编码处理;
所述光源模块的输出功率和所述调制器模块的调制深度是根据网络状态预估指标而自适应调整的;网络状态预估指标是根据所预测的第二网络状态数据而确定的;
其中,所述网络状态预估指标通过下式计算:
式中,表示所预测的网络状态评估指标,分别表示所预测的网络带宽、网络延迟和丢包率,分别表示网络带宽、网络延迟和丢包率的调整系数;表示预设的延迟上限值;
所述光源模块的输出功率通过下式进行自适应调整:
式中,表示光源模块的输出功率,表示实时注入电流,表示注入电流标定值,分别表示激光器的特性系数;
所述调制器模块的调制深度通过下式进行自适应调整:
式中,表示调制器模块的调制深度,表示实时驱动电压,表示驱动电压标定值,表示半波电压。
2.根据权利要求1所述的基于光通信的实时视频流优化传输方法,其特征在于,所述对所述光子编码视频流进行分割以得到相应的M个光子编码模块,包括:
针对所述光子编码视频流中的每个光子编码视频帧:
获取所述光子编码视频帧中的边缘像素数量和运动矢量范围,
根据所述边缘像素数量和运动矢量范围计算目标编码模块尺寸,
根据所述目标编码模块尺寸,将所述光子编码视频帧分割为多个光子编码模块;
所述目标编码模块尺寸通过下式而计算:
式中,表示第帧光子编码视频帧的复杂度,表示视频帧的复杂度序列,表示所有视频帧中的最大复杂度值;表示第帧中的边缘像素数量,表示每个视频帧的总像素数量,表示第帧光子编码视频帧的运动矢量平均大小;分别表示边缘像素权重和运动矢量权重。
3.根据权利要求2所述的基于光通信的实时视频流优化传输方法,其特征在于,所述第二网络状态数据包含多个路径网络状态数据,
所述从可用传输路径集中选择M个目标传输路径,包括:
针对可用传输路径集中的各个可用传输路径,根据所述可用传输路径所对应的路径网络状态数据计算所述可用传输路径所对应的路径负载因子;
从各个所述可用传输路径中筛选对应路径负载因子最小的M个可用传输路径,以作为相应的目标传输路径;
所述路径负载因子是通过回归分析模型而计算的:
式中,表示传输路径的负载因子,分别表示所预测的路径的网络带宽、网络延迟和丢包率,表示回归学习模型的模型系数,表示自然指数函数。
4.根据权利要求1-3中任一项所述的基于光通信的实时视频流优化传输方法,其特征在于,所述网络状态预测模型采用多模态时空网络,其包含输入层、时空卷积模块、Transformer模块、融合层和输出层;
所述输入层用于接收第一网络状态数据、第一传输视频流数据和第二传输视频流数据;
所述时空卷积模块用于提取所述第一传输视频流数据和所述第二传输视频流数据所对应的时空特征;
所述Transformer模块用于处理所述时空特征和所述第一网络状态数据,以输出相应的全局依赖特征;
所述融合层用于融合所述时空特征和所述全局依赖特征,以确定相应的融合特征;
所述输出层用于处理所述融合特征,以预测对应未来的预设时间窗口的第二网络状态数据。
5.根据权利要求4所述的基于光通信的实时视频流优化传输方法,其特征在于,所述时空卷积模块采用多尺度时空卷积模块,用于在不同的时间尺度和空间尺度上捕捉视频流的特征,从而增强特征表示的丰富性:
式中,表示尺度的时空卷积输出,分别表示输入特征图的行索引、列索引和时间索引;表示尺度的卷积核,分别表示卷积核的行索引、列索引和时间索引;RA分别表示卷积核的高度和宽度;表示尺度的时间卷积核大小;表示输入特征图的值,表示该输入特征图在位置的值;表示尺度的偏置项,表示激活函数。
6.根据权利要求4所述的基于光通信的实时视频流优化传输方法,其特征在于,所述Transformer模块采用多头自注意力机制。
7.根据权利要求4所述的基于光通信的实时视频流优化传输方法,其特征在于,所述网络状态预测模型的损失函数为:
式中,表示预测误差损失项,表示网络状态特征平滑损失项,表示自适应权重损失项,分别表示相应损失项的调整系数;表示样本数量,表示第个时间点上预测的网络状态数据,表示第个时间点上真实的网络状态数据;表示第个时间点上的自适应权重;μ表示自适应权重的调节参数。
8.根据权利要求7所述的基于光通信的实时视频流优化传输方法,其特征在于,所述方法还包括:
在基于所述M个目标传输路径并行传输所述M个光子编码模块时,监测光通信网络的资源使用指标是否触发预设的资源警报条件;所述资源使用指标包含网络带宽利用率、网络延迟、丢包率和信号强度;
当触发所述资源警报条件时,根据触发所述资源超限条件的目标资源使用指标生成警报通知,并收集对应邻近的预设时间段的第三网络状态数据和第三传输视频流数据;
基于所述第三网络状态数据和所述第三传输视频流数据更新所述网络状态预测模型的数据样本集,使得所述网络状态预测模型能够进行在线学习优化。
9.一种基于光通信的实时视频流优化传输系统,其特征在于,包括:
历史数据获取单元,用于获取对应过往的历史时间段的第一网络状态数据和第一传输视频流数据;第一网络状态数据的数据类型包含网络带宽、网络延迟和丢包率,第一传输视频流数据的数据类型包含视频编码码率、视频分辨率和视频帧率;
待传输数据获取单元,用于获取对应在未来的预设时间窗口待传输的目标视频流的第二传输视频流数据;
网络状态预测单元,用于将所述第一网络状态数据、所述第一传输视频流数据和所述第二传输视频流数据输入至网络状态预测模型,以预测对应所述预设时间窗口的第二网络状态数据;
光子视频编码单元,用于在检测到所述第二网络状态数据满足预设的传输拥堵状态条件的情况下,利用光子编码设备编码所述目标视频流所对应的光子编码视频流;
光子视频传输单元,用于对所述光子编码视频流进行分割以得到相应的M个光子编码模块,从可用传输路径集中选择M个目标传输路径,基于所述M个目标传输路径并行传输所述M个光子编码模块;
所述光子编码设备包含光源模块、调制器模块和光子编码处理模块;所述光源模块采用可调节输出功率的激光器,用于提供光子源;所述调制器模块包含电光调制器和声光调制器,用于将视频信号调制成光信号;所述光子编码处理模块包含分束器、相位调制器和干涉仪,用于对光信号进行编码处理;
所述光源模块的输出功率和所述调制器模块的调制深度是根据网络状态预估指标而自适应调整的;网络状态预估指标是根据所预测的第二网络状态数据而确定的;
其中,所述网络状态预估指标通过下式计算:
式中,表示所预测的网络状态评估指标,分别表示所预测的网络带宽、网络延迟和丢包率,分别表示网络带宽、网络延迟和丢包率的调整系数;表示预设的延迟上限值;
所述光源模块的输出功率通过下式进行自适应调整:
式中,表示光源模块的输出功率,表示实时注入电流,表示注入电流标定值,分别表示激光器的特性系数;
所述调制器模块的调制深度通过下式进行自适应调整:
式中,表示调制器模块的调制深度,表示实时驱动电压,表示驱动电压标定值,表示半波电压。
CN202411004916.4A 2024-07-25 2024-07-25 基于光通信的实时视频流优化传输方法及系统 Active CN118540552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411004916.4A CN118540552B (zh) 2024-07-25 2024-07-25 基于光通信的实时视频流优化传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411004916.4A CN118540552B (zh) 2024-07-25 2024-07-25 基于光通信的实时视频流优化传输方法及系统

Publications (2)

Publication Number Publication Date
CN118540552A CN118540552A (zh) 2024-08-23
CN118540552B true CN118540552B (zh) 2024-11-26

Family

ID=92382874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411004916.4A Active CN118540552B (zh) 2024-07-25 2024-07-25 基于光通信的实时视频流优化传输方法及系统

Country Status (1)

Country Link
CN (1) CN118540552B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119135680A (zh) * 2024-11-04 2024-12-13 深圳新智联软件有限公司 一种多屏快传文件的实现方法、装置及显示设备
CN119211492B (zh) * 2024-11-27 2026-02-06 云和县华数广电网络有限公司 一种基于光信号的高清视频信号传输系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134619A (zh) * 2020-09-23 2020-12-25 北京冠华天视数码科技有限公司 一种实现播放控制器和显示终端之间单纤双向传输方法
CN115065858A (zh) * 2022-08-18 2022-09-16 广州市保伦电子有限公司 一种基于双光纤的音视频传输方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115701709A (zh) * 2021-08-02 2023-02-10 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机可读介质及电子设备
CN118175356A (zh) * 2022-12-09 2024-06-11 中兴通讯股份有限公司 视频传输方法、装置、设备及存储介质
CN118101941A (zh) * 2024-03-13 2024-05-28 广州佰锐网络科技有限公司 一种用于音视频传输的抗弱网方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112134619A (zh) * 2020-09-23 2020-12-25 北京冠华天视数码科技有限公司 一种实现播放控制器和显示终端之间单纤双向传输方法
CN115065858A (zh) * 2022-08-18 2022-09-16 广州市保伦电子有限公司 一种基于双光纤的音视频传输方法及系统

Also Published As

Publication number Publication date
CN118540552A (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
CN118540552B (zh) 基于光通信的实时视频流优化传输方法及系统
US12137230B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
Wang et al. Wireless deep video semantic transmission
US20250203098A1 (en) Reinforcement learning based rate control
US12192478B2 (en) Adaptively encoding video frames using content and network analysis
Huang et al. Deep reinforced bitrate ladders for adaptive video streaming
CN114245209B (zh) 视频分辨率确定、模型训练、视频编码方法及装置
CN113996056A (zh) 云游戏的数据发送和接收方法以及相关设备
CN117640920A (zh) 一种视频决策码率确定方法、装置、存储介质及电子装置
Li et al. Improving adaptive real-time video communication via cross-layer optimization
Wang et al. Synergistic temporal-spatial user-aware viewport prediction for optimal adaptive 360-degree video streaming
CN108401190B (zh) 一种用于对视频帧进行实时标注的方法与设备
Zhang et al. Anableps: Adapting bitrate for real-time communication using VBR-encoded video
CN115334309A (zh) 帧内预测编码方法、装置、设备以及存储介质
KR20220139801A (ko) 낮은 비트레이트 비디오 압축을 위한 마이크로도싱
CN114666620B (zh) 基于视觉敏感度的自适应流媒体方法
Choi et al. User-tailored video adaptation in dynamic environments
CN116760988A (zh) 基于人类视觉系统的视频编码方法和装置
Ye et al. A visual sensitivity aware ABR algorithm for DASH via deep reinforcement learning
Li et al. Balancing latency and accuracy on deep video analytics at the edge
US12555612B2 (en) System and method for transmitting and receiving video based on wireless transmission
US12563200B2 (en) Systems and methods for video encoding rate control
US20250106403A1 (en) Systems and methods for video encoding rate control
Wang et al. Adaptive bitrate video semantic increment transmission system based on buffer and semantic importance
Song et al. ATA: Task-Oriented Adaptive Video Streaming for Cloud-Based Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant