CN116743609A - 一种基于语义通信的视频流媒体的QoE评估方法及装置 - Google Patents

一种基于语义通信的视频流媒体的QoE评估方法及装置 Download PDF

Info

Publication number
CN116743609A
CN116743609A CN202311013701.4A CN202311013701A CN116743609A CN 116743609 A CN116743609 A CN 116743609A CN 202311013701 A CN202311013701 A CN 202311013701A CN 116743609 A CN116743609 A CN 116743609A
Authority
CN
China
Prior art keywords
semantic
streaming media
qoe
reconstructed video
video streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311013701.4A
Other languages
English (en)
Other versions
CN116743609B (zh
Inventor
程宝平
陶晓明
张健
谢小燕
付涛
林嘉铭
徐桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
Tsinghua University
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, China Mobile Hangzhou Information Technology Co Ltd filed Critical Tsinghua University
Priority to CN202311013701.4A priority Critical patent/CN116743609B/zh
Publication of CN116743609A publication Critical patent/CN116743609A/zh
Application granted granted Critical
Publication of CN116743609B publication Critical patent/CN116743609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5061Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the interaction between service providers and their network customers, e.g. customer relationship management
    • H04L41/5067Customer-centric QoS measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • H04L41/5009Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种基于语义通信的视频流媒体的QoE评估方法及装置,首先通过语义通信解码端解码进行视频重建,生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征,并确定其对应的基准QoE评分。同时,对重建视频流媒体中各个重建视频帧进行前景语义分析,得到对应的前景语义一致性表征,并比较相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量,得到重建视频流媒体的QoE评分。其从服务质量和视频内容因素两方面考虑,根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估,使得结果更加真实、有效。

Description

一种基于语义通信的视频流媒体的QoE评估方法及装置
技术领域
本申请涉及移动通信领域,特别是涉及一种基于语义通信的视频流媒体的QoE评估方法及装置。
背景技术
语义通信是一种可将用户的需求和信息含义融入通信过程中的全新架构,该架构有望成为未来万物智联网络的新型基础范式。传统通信框架内,通常用计算复杂度换压缩率的编码优化路径,码率下降幅度渐缓,呈现瓶颈趋势;同时,通信信道容量已趋近极限,难以满足快速增长的海量视频数据在传输、存储、分析等方面的需求。而语义通信突破现有理论框架,借鉴人脑超高图像视频压缩性能机理,将人脑视觉感知、认知机理融入通信过程,实现高效语义表征和极低码率下视频的清晰度和流畅度。具体来说,语义通信系统对视频帧进行语义编码,得到视频的语义表征(例如关键点、素描图、轮廓图、颜色信息等)并发送,接收端接收并利用这些语义表征重建视频帧。
QoE(Quality of Experience,体验质量)是一种用户体验或者用户感知,即终端用户对移动网络提供的业务性能的主观感受,用户感觉到的“质量”或“性能”或“舒适度”。QoE可以通过接近量化的方法来表示终端用户对业务与网络的体验和感受。根据QoE评分,运营商可以将用户对于视频业务质量和性能进行综合评价,优化语义通信系统。
传统方式中通常基于QoS(Quality of Service,服务质量)评价因素进行QoE评价,但评估效果不够准确,得出的QoE评价结果往往难以真实反映用户的体验感受。
发明内容
本申请提供一种基于语义通信的视频流媒体的QoE评估方法及装置,通过综合语义通信的QoS因素和视频内容的语义特征两个方面的表现情况,得到更为准确、真实的QoE评价分数。
本申请实施例第一方面提供一种基于语义通信的视频流媒体的QoE评估方法,上述方法包括:
语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体;
上述语义通信解码端获取上述重建视频流媒体的QoS表征,并确定上述QoS表征对应的基准QoE评分;
上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析,得到上述各个重建视频帧的前景语义一致性表征,上述前景语义一致性表征是重建视频帧中的前景物体的不变性点集;
上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量;
上述语义通信解码端根据上述基准QoE评分和上述QoE偏移量,得到上述重建视频流媒体的QoE评分。
可选地,上述方法还包括:
上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行背景语义分析,得到上述各个重建视频帧的背景语义一致性表征,上述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图;
上述语义通信解码端比较上述相邻两个视频帧的背景语义一致性表征;
在上述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下,上述语义通信解码端确定发生镜头转换。
可选地,上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析,得到上述各个重建视频帧的前景语义一致性表征,包括:
在上述相邻两个视频帧的背景语义一致性表征之间的偏移量不大于上述目标偏移量的情况下,上述语义通信解码端确定未发生镜头转换;
上述语义通信解码端在确定未发生镜头转换的情况下,对上述相邻两个重建视频帧进行前景语义分析,得到上述相邻两个重建视频帧的前景语义一致性表征。
可选地,上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量,包括:
上述语义通信解码端计算上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征之间的最大均值差异MMD;
上述语义通信解码端根据计算出的MMD,确定上述QoE偏移量。
可选地,上述语义通信解码端确定上述QoS表征对应的基准QoE评分,包括:
上述语义通信解码端通过预先训练的基准QoE评分预测模型,对上述QoS表征进行处理,得到上述基准QoE评分;
其中,上述基准QoE评分预测模型是利用多种类型的样本视频流媒体各自的QoS表征和预先标记的QoE评分标签,对目标模型进行训练得到的,上述QoS表征包括以下至少一项视频卡顿信息、视频分辨率信息、视频编码信息。
可选地,上述多种类型的样本视频流媒体是按照以下步骤得到的:
获取上述语义通信解码端的多个已重建视频流媒体,以及上述多个已重建视频流媒体各自的QoS表征;
按照上述多个已重建视频流媒体QoS表征之间的匹配度,对上述多个已重建视频流媒体进行分类,得到上述多种类型的样本视频流媒体。
可选地,上述多种类型的样本视频流媒体的预先标记的QoE评分标签,是按照以下步骤得到的:
播放上述多种类型的样本视频流媒体;
获取用户输入的QoE评分;
为上述多种类型的样本视频流媒体分别标记用户输入的QoE评分。
可选地,上述方法还包括:
在重建视频流媒体的QoE评分低于目标评分的情况下,上述语义通信解码端对进行视频重建所采用的语义解码器的参数进行调整;和/或
在重建视频流媒体的QoE评分低于上述目标评分的情况下,上述语义通信编码端对进行视频编码所采用的语义编码器的参数进行调整。
本申请实施例第二方面提供一种基于语义通信的视频流媒体的QoE评估装置,上述装置包括:
视频重建模块,语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体;
基准QoE计算模块,上述语义通信解码端获取上述重建视频流媒体的QoS表征,并确定上述QoS表征对应的基准QoE评分;
前景语义表征模块,上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析,得到上述各个重建视频帧的前景语义一致性表征,上述前景语义一致性表征是重建视频帧中的前景物体的不变性点集;
偏移量计算模块,上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量;
QoE评分计算模块,上述语义通信解码端根据上述基准QoE评分和上述QoE偏移量,得到上述重建视频流媒体的QoE评分。
可选地,上述装置还包括:
背景语义表征模块,上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行背景语义分析,得到上述各个重建视频帧的背景语义一致性表征,上述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图;
背景语义比较模块,上述语义通信解码端比较上述相邻两个视频帧的背景语义一致性表征;
在上述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下,上述语义通信解码端确定发生镜头转换。
与现有技术相比,本申请包括以下优点:
本申请实施例提供一种基于语义通信的视频流媒体的QoE评估方法及装置,首先通过语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体。然后通过语义通信解码端获取重建视频流媒体的QoS表征,并确定QoS表征对应的基准QoE评分。同时,语义通信解码端对重建视频流媒体中各个重建视频帧进行前景语义分析,得到各个重建视频帧的前景语义一致性表征,即重建视频帧中的前景物体的不变性点集,并比较重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。最后通过语义通信解码端根据基准QoE评分和QoE偏移量,得到重建视频流媒体的QoE评分。本申请从服务质量和视频内容因素两方面考虑,根据QoS特征和语义特征对语义通信过程中产生的重建视频流媒体的体验质量QoE进行综合评估,得到的QoE分数更加真实、有效,从而能更加准确地衡量用户对语义通信系统的感受体验。另外,为了衡量重建视频内容的语义偏移对语义通信QoE的影响,综合了视频的前景语义一致性特征和背景语义一致性特征作为视频的语义一致性表征,其中前景和背景分别采用MMD和语义素描图,采用的表征量不受具体视频内容限制,具备良好的通用性。
附图说明
图1是本申请一实施例提出的一种基于语义通信的视频流媒体的QoE评估方法的流程图;
图2是本申请另一实施例提出的一种基于语义通信的视频流媒体的QoE评估方法的流程图;
图3是本申请一实施例提出的一种基于语义通信的视频流媒体的QoE评估装置的结构示意图。
附图标记:1、视频重建模块;2、基准QoE计算模块;3、背景语义表征模块;4、背景语义比较模块;5、前景语义表征模块;6、偏移量计算模块;7、QoE评分计算模块;8、调整模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在语义通信中,由于语义信息参数设置不当,可能导致接收端重建的视频帧产生扭曲或失真(恐怖谷效应),导致重建质量差,此时应该立即调整参数,抑制视频内容上的失真,保证通信系统的用户体验质量。所以语义一致性信息是衡量语义通信系统的重要指标。但是在传统方式中,通常只基于QoS(Quality of Service,服务质量)评价因素进行QoE评价,包括带宽、时延、抖动和丢包率等,而这些QoS因素无法判断视频的语义一致性信息,未能从视频本身内容质量上对语义通信进行衡量,得出的QoE评价结果往往难以真实反映用户的体验感受。
鉴于此,本申请通过将QoS因素和语义信息结合,从通信系统信息(基准QoE)和视频本身内容信息(QoE偏移量)综合衡量语义通信系统的重建视频的QoE分数。一方面根据QoS特征计算基准QoE分数,另一方面通过视频内容计算语义一致性表征,并将其映射为QoE偏移。然后将QoE偏移量反作用于基准QoE分数上,从而得到更为准确的QoE评分。
具体的,请参照图1,图1是本申请一实施例提出的一种基于语义通信的视频流媒体的QoE评估方法的流程图。如图1所示,该方法包括以下步骤:
步骤S101:语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体。
在本实施例中,语义通信的执行主要包括编码端和解码端,其中,编码端和解码端可以为任意的具有通信功能的终端,比如电脑、手机、平板、PC等。语义通信过程中,首先由编码端对原始视频流媒体进行有选择的特征提取和压缩编码等操作,得到相关的语义信息,例如关键点、素描图、轮廓图、颜色信息等,然后将语义信息传输给解码端,由解码端进行解码后,重建视频流媒体,从而有效地节省通信带宽,以满足智能时代的视频通信需求。示例性的,编码端和解码端可以基于知识库和深度学习网络提取和重建语义信息,实现端到端的语义传输。
由于解码端是根据语义进行视频重建,而不是直接接收的视频信号,所以生成的重建视频流媒体可能与原始的视频流媒体有一定的差距。例如,由于编码端的语义信息参数设置不当,可能导致解码端生成的重建视频在内容上有所失真(恐怖谷效应),导致用户的体验感不好。所以,需要对语义通信系统的质量进行衡量,以在检测到语义通信系统的重建质量较差时,通过调整相关语义信息参数,抑制视频内容上的失真,保证通信系统的用户体验质量,即对重建视频进行QoE评估。
步骤S102:上述语义通信解码端获取上述重建视频流媒体的QoS表征,并确定上述QoS表征对应的基准QoE评分。
在本实施例中,QoS(Quality of Service)表示语义通信过程中的通信服务质量,QoS影响因子包括视频卡顿信息、视频分辨率信息、视频编码方式信息等,其中,视频卡顿信息又包括首帧卡顿时间、卡顿次数、卡顿位置、卡顿时长、平均卡顿时长、平均卡顿位置等。
本实施例中,语义通信解码端通过构建QoS特征向量来生成重建视频流媒体的QoS表征。QoS表征包括视频卡顿信息、视频分辨率信息、视频编码信息中的至少一项。示例性的,构建的QoS特征向量可以表示为Fq={f0,f1,...fN},其中,每个元素即为一个QoS影响因子,fn表示QoS特征向量中的第n个元素。对任意的元素fn,若fn=k,则表示第n个影响因子设置的值为k。例如,fn=1080p,则表示重建视频流媒体的分辨率为1920*1080。得到了重建视频流媒体的QoS表征后,可以通过QoS表征与QoE评分的映射关系,将QoS表征转换为QoE评分,并作为基准QoE评分。待后续根据重建视频内容计算了QoE偏移量后,即可综合得到重建视频流媒体最终的QoE评分。
在一种可选的实施方式中,确定QoS表征对应的基准QoE评分,包括:
语义通信解码端通过预先训练的基准QoE评分预测模型,对上述QoS表征进行处理,得到上述基准QoE评分。其中,上述基准QoE评分预测模型是利用多种类型的样本视频流媒体各自的QoS表征和预先标记的QoE评分标签,对目标模型进行训练得到的。
本实施例中,首先收集历史重建视频流媒体,提取各自对应的QoS表征,并据其计算历史重建视频流媒体之间的相似匹配度,对历史重建视频流媒体进行分类。然后,按照视频类别对每个视频进行QoE打分,生成对应的QoE评分标签,从而得到多种类型的样本视频流媒体。之后,采用机器学习模型(包括但不局限于随机森林回归模型,人工神经网络模型,支持向量回归模型等)建立每类视频与QoE评分的关系,构建语义通信系统的QoS表征与QoE评之间的映射关系。接着,利用上述形成的多种类型的样本视频流媒体对构建的学习模型进行训练,将样本视频流媒体对应的QoS表征输入学习模型中进行评分预测,得到预测QoE评分,并计算预测QoE评分与该样本视频流媒体对应的QoE评分标签之间的差异,据此计算学习模型的损失函数。根据损失函数对学习模型进行反向梯度更新,对QoS表征与QoE评之间的映射关系中的相关参数进行自主适应性调整,以对学习模型进行优化,最终得到基准QoE评分预测模型。
步骤S103:上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析,得到上述各个重建视频帧的前景语义一致性表征,上述前景语义一致性表征是重建视频帧中的前景物体的不变性点集。
本实施例中,只通过上述的QoS表征无法体现重建视频内容上的扭曲、偏差对用户体验质量QoE的影响,所以需要从重建视频的内容上去考虑,通过定义重建视频的语义QoE表征,来衡量视频重建过程对QoE的影响,使得最终得到的QoE评估结果更加的全面和客观。
本申请为了衡量语义通信系统中的重建视频产生的语义偏移,利用前景语义一致性作为重建视频的语义表征,从而得到重建视频的前景语义一致性表征。具体的,可以利用SIFT算法(尺度不变特征变换)、SURF算法(加速稳健特征)等,对重建视频流媒体中的各个重建视频帧进行前景物体的特征点提取和描述,检测出视频帧图像中的关键点,得到前景物体的局部不变性点集{P1,P2,...,Pn},这个不变性点集即为该重建视频帧前景语义一致性表征。如果前后相邻两张重建视频帧的前景语义一致性表征差异较小,则说明两张重建视频帧的语义一致性偏差较小,重建视频的扭曲程度越小,重建效果也就越好。
步骤S104:上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。
本实施例中,可以通过最大均值差异MMD计算重建视频流媒体中相邻两个重建视频帧的不变性点集之间的分布差异,对相邻两个视频帧的前景语义一致性表征进行比较,进而得到重建视频流媒体的QoE偏移量。QoE偏移量越大,说明语义一致性偏差越大,重建视频的扭曲程度越大,重建效果越不好。
另外,考虑到有时视频会发生视角切换或是镜头转换,此时视频在时间上的语义会发生较大的偏差,前后两视频帧的前景语义一致性差别也会很大,就会对本申请的语义分析造成影响,不利于语义的计算。所以可以在对重建视频流媒体进行前景语义分析之前,先进行镜头转换判断,如果判断出视频镜头发生转换,则将其当做断点,分别计算镜头转换前的视频帧的前景语义一致性表征和镜头转换后的视频帧的前景语义一致性表征,并通过分别比较相邻两个视频帧的前景语义一致性表征,得到重建视频流媒体的QoE偏移量。或者说,在确定未发生镜头转换的情况下,对相邻两个重建视频帧进行前景语义分析,得到相邻两个重建视频帧的前景语义一致性表征,再进一步得到重建视频流媒体的QoE偏移量。从而对于处于镜头转换前后的两张视频帧来说,就不计算它们之间的前景语义一致性表征的差异,一方面节约了计算资源,提高了处理速度;另一方面,也保证了最终得到的QoE偏移量的准确性,以真实地反映重建视频内容的质量。
示例性的,在判断镜头是否发生转换时,可以通过计算重建视频流媒体中各个重建视频帧的背景语义一致性表征来判断。背景语义一致性表征采用语义素描图信息表示,通过采用边缘提取算子(包括但不局限于Sobel、Canny算子等)提取视频帧图像的边缘信息,将边缘像素值小于设置阈值t1的边缘像素剔除,同时将连续边缘长度小于设置阈值t2的边缘像素剔除,剩下的强边缘像素形成的图像即为背景语义素描图,也就得到了该视频帧的背景语义一致性表征。然后通过比较相邻两个视频帧的背景语义一致性表征,如果相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量,则确定发生镜头转换。
步骤S105:上述语义通信解码端根据上述基准QoE评分和上述QoE偏移量,得到上述重建视频流媒体的QoE评分。
本实施例中,通过将基准QoE评分和QoE偏移量相加,得到重建视频流媒体最终的QoE评分。即,QoE = QoE_base + QoE_shift,其中,QoE_base表示基准QoE评分,QoE_shift表示QoE偏移量,且QoE_shift=-MMD。从而将重建视频流媒体的QoE偏移量反作用于基准QoE之上,得到最终的QoE评分。QoE评分越高,说明重建视频的用户体验质量越好;QoE评分越低,说明重建视频的用户体验质量越差。
本申请的评价标准考虑了QoS和视频语义信息的双重因素影响,采用QoS和语义信息结合的方式,从通信系统信息(基准QoE)和视频本身内容信息(QoE偏移量)综合衡量语义通信系统的重建视频QoE,以得到更加客观、准确的评价结果。并且,在进行重建视频的语义一致性表征时,综合了视频的前景语义一致性特征和背景语义一致性特征,其中前景和背景分别采用MMD和语义素描图来表示,采用的表征量不受具体视频内容限制,具备良好的通用性。
请参照图2,图2是本申请另一实施例提出的一种基于语义通信的视频流媒体的QoE评估方法的流程图。如图2所示,该方法包括以下步骤:
步骤S201:语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体。
步骤S202:语义通信解码端获取上述重建视频流媒体的QoS表征,并确定上述QoS表征对应的基准QoE评分。具体的,该步骤包括以下步骤S2021-S2025:
步骤S2021:获取上述语义通信解码端的多个已重建视频流媒体,以及多个已重建视频流媒体各自的QoS表征。
上述步骤中,QoS表征用QoS特征向量表示,其中,QoS特征包括但不局限于视频卡顿特征、视频分辨率特征和视频编码特征。通过将多个QoS特征组合形成向量,以从多方面衡量语义通信系统的服务质量。例如,构建的QoS特征向量可以表示为Fq={f0,f1,...fN},其中,每个元素即为一个QoS影响因子。对任意的元素fn,若fn=k,则表示第n个影响因子设置的值为k。例如,fn=1S,则表示重建视频流媒体的卡顿时间为1秒。
步骤S2022:获取已重建视频流媒体各自对应的QoE评分标签,形成样本视频流媒体。
上述步骤中,可以在播放这些已重建视频流媒体的过程中,通过用户对已重建视频流媒体进行打分,将用户对于语义通信业务与网络的体验和感受进行量化,并对应标记用户输入的QoE评分,从而得到已重建视频流媒体各自对应的QoE评分标签。然后基于重建视频流媒体对应的QoS表征和QoE评分标签,形成样本视频流媒体。
步骤S2023:按照上述多个已重建视频流媒体QoS表征之间的匹配度,对多个已重建视频流媒体进行分类,得到多种类型的样本视频流媒体。
上述步骤中,通过计算已重建视频流媒体QoS特征向量之间的匹配度,对多个已重建视频流媒体进行分类。例如,可以将QoS特征向量相等的已重建视频流媒体划分为同一类视频,或者通过计算QoS特征向量之间的余弦相似度,将相似度大于某一固定阈值的已重建视频流媒体划分为一类。从而得到多种类型的样本视频流媒体。
步骤S2024:利用多种类型的样本视频流媒体各自的QoS表征和预先标记的QoE评分标签,对目标模型进行训练,得到基准QoE评分预测模型。
上述步骤中,可以基于人工神经网络构建目标模型,建立视频与QoE评分的关系,构建语义通信系统的QoS表征与QoE评之间的映射关系。接着,利用上述形成的多种类型的样本视频流媒体对构建的目标模型进行训练,将样本视频流媒体对应的QoS表征输入目标模型中进行评分预测,得到预测QoE评分,并计算预测QoE评分与该样本视频流媒体对应的QoE评分标签之间的差异,据此计算目标模型的损失函数。根据损失函数对目标模型进行反向梯度更新,对QoS表征与QoE评之间的映射关系中的相关参数进行自主适应性调整,以对目标模型进行优化,最终得到基准QoE评分预测模型。
本实施例中,通过已重建视频流媒体的QoS表征对多个样本视频流媒体进行分类,建立每类视频与QoE评分的关系,使利用基准QoE评分预测模型预测出的基准QoE评分更加准确,扩大该模型的可利用范围,以适用于更多的语义通信场景。
步骤S2025:利用基准QoE评分预测模型对当前重建视频流媒体的QoS表征进行处理,得到对应的基准QoE评分。
步骤S203:语义通信解码端对上述重建视频流媒体中各个重建视频帧进行背景语义分析,得到上述各个重建视频帧的背景语义一致性表征,上述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图。
上述步骤中,通过将视频帧图像的内容分割为背景和前景,分别计算背景语义一致性表征和前景语义一致性表征。其中,背景语义一致性表征采用语义素描图信息表示,通过采用边缘提取算子(包括但不局限于Sobel、Canny算子等)提取视频帧图像的边缘信息,将边缘像素值小于设置阈值t1的边缘像素剔除,同时将连续边缘长度小于设置阈值t2的边缘像素剔除,剩下的强边缘像素形成的图像即为背景语义素描图,也就得到了该视频帧的背景语义一致性表征。
然后通过比较相邻两个视频帧的背景语义一致性表征,如果相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量,则确定发生镜头转换。
步骤S204:语义通信解码端比较上述相邻两个视频帧的背景语义一致性表征,确定镜头是否发生转换。
上述步骤中,如果相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量,上述语义通信解码端确定发生镜头转换。如果相邻两个视频帧的背景语义一致性表征之间的偏移量不大于目标偏移量,上述语义通信解码端确定未发生镜头转换。
步骤S205:语义通信解码端在确定未发生镜头转换的情况下,对上述相邻两个重建视频帧进行前景语义分析,得到上述相邻两个重建视频帧的前景语义一致性表征。
上述步骤中,前景语义一致性表征是重建视频帧中的前景物体的不变性点集,可以利用SIFT算法(尺度不变特征变换)、SURF算法(加速稳健特征)等,对重建视频流媒体中的各个重建视频帧进行前景物体的特征点提取和描述,检测出视频帧图像中的关键点,以得到前景物体的局部不变性点集{P1,P2,...,Pn}。
由于在视频语义重建过程中,通常前景语义一致性表征会发生较大偏差,这是视频语义重建过程中希望避免的,所以通过前景语义一致性表征来衡量重建视频的语义偏差。然而有时视频会发生视角切换或是镜头转换,此时视频在时间上的语义也会发生较大偏差,这样不利于语义的计算。所以先通过比较前后相邻两视频帧的背景语义一致性表征,判断该处视频帧是否发生镜头转换,即前后帧的语义素描图如果发生较大的偏差,则认为视频的视角产生了切换,此时要分别计算切换前和切换后的前景语义一致性表征。而对于处于镜头转换前后的两张视频帧来说,就不计算它们之间的前景语义一致性表征的差异,以保证最终得到的QoE偏移量的准确性,真实地反映重建视频内容的质量。
步骤S206:语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量。
上述步骤中,可以通过计算上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征之间的最大均值差异MMD,确定QoE偏移量,计算方式如下:
,其中,K=(xTy+1)3,x和y分别表示前后视频帧的前景语义一致性表征,即局部不变性点集P,m表示前视频帧中局部不变性点的个数,n表示后视频帧中局部不变性点的个数。计算出来的MMD偏差越大,说明重建视频内容上的语义一致性偏差越大,重建视频扭曲越大,重建效果越不好。于是将QoE偏移量计算为QoE_shift=-MMD。
步骤S207:语义通信解码端根据上述基准QoE评分和上述QoE偏移量,得到上述重建视频流媒体的QoE评分。
上述步骤中,利用公式:QoE = QoE_base + QoE_shift来计算重建视频流媒体最终的QoE评分。通过将将QoE偏移量反作用于基准QoE分数上,从视频内容因素和QoS因素两方面计算QoE评分,以得到更加客观、准确的评价结果。
在一种可选的实施方式中,上述方法还包括:
步骤S208:在重建视频流媒体的QoE评分低于目标评分的情况下,上述语义通信解码端对进行视频重建所采用的语义解码器的参数进行调整,和/或在重建视频流媒体的QoE评分低于上述目标评分的情况下,上述语义通信编码端对进行视频编码所采用的语义编码器的参数进行调整。
本实施例中,可以根据QoE的评估结果,对编码器参数和解码器的参数进行参数调优,以提高重建视频的质量。示例性的,当语义编码器设置为利用10个关键点进行特征提取和压缩编码,语义解码器解码后基于这10个关键点进行视频帧重建时,生成的视频帧中人物形象扭曲较大,重建视频流媒体的质量较低,则此时可通过对编解码的模型参数进行调整,将关键点的数量增加到20个,从而通过增加关键点,提高视频重建质量。
基于同一发明构思,本申请一实施例提供一种基于语义通信的视频流媒体的QoE评估装置。请参照图3,图3是本申请一实施例提出的一种基于语义通信的视频流媒体的QoE评估装置的结构示意图,包括:
视频重建模块1,语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体;
基准QoE计算模块2,上述语义通信解码端获取上述重建视频流媒体的QoS表征,并确定上述QoS表征对应的基准QoE评分;
前景语义表征模块5,上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行前景语义分析,得到上述各个重建视频帧的前景语义一致性表征,上述前景语义一致性表征是重建视频帧中的前景物体的不变性点集;
偏移量计算模块6,上述语义通信解码端比较上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量;
QoE评分计算模块7,上述语义通信解码端根据上述基准QoE评分和上述QoE偏移量,得到上述重建视频流媒体的QoE评分。
可选地,上述装置还包括:
背景语义表征模块3,上述语义通信解码端对上述重建视频流媒体中各个重建视频帧进行背景语义分析,得到上述各个重建视频帧的背景语义一致性表征,上述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图;
背景语义比较模块4,上述语义通信解码端比较上述相邻两个视频帧的背景语义一致性表征;
在上述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下,上述语义通信解码端确定发生镜头转换。
可选地,上述背景语义比较模块4还包括:
在上述相邻两个视频帧的背景语义一致性表征之间的偏移量不大于上述目标偏移量的情况下,上述语义通信解码端确定未发生镜头转换;
上述语义通信解码端在确定未发生镜头转换的情况下,对上述相邻两个重建视频帧进行前景语义分析,得到上述相邻两个重建视频帧的前景语义一致性表征。
可选地,上述偏移量计算模块6包括:
最大均值差异计算子模块,上述语义通信解码端计算上述重建视频流媒体中相邻两个视频帧的前景语义一致性表征之间的最大均值差异MMD;
偏移量确定子模块,上述语义通信解码端根据计算出的MMD,确定上述QoE偏移量。
可选地,上述基准QoE计算模块2包括:
模型预测子模块,上述语义通信解码端通过预先训练的基准QoE评分预测模型,对上述QoS表征进行处理,得到上述基准QoE评分;
其中,上述基准QoE评分预测模型是利用多种类型的样本视频流媒体各自的QoS表征和预先标记的QoE评分标签,对目标模型进行训练得到的,上述QoS表征包括以下至少一项视频卡顿信息、视频分辨率信息、视频编码信息。
可选地,上述基准QoE计算模块2还包括:
历史数据获取子模块,获取上述语义通信解码端的多个已重建视频流媒体,以及上述多个已重建视频流媒体各自的QoS表征;
样本形成子模块,用于按照上述多个已重建视频流媒体QoS表征之间的匹配度,对上述多个已重建视频流媒体进行分类,得到上述多种类型的样本视频流媒体。
可选地,上述基准QoE计算模块2还包括:
样本播放子模块,用于播放上述多种类型的样本视频流媒体;
用户评分子模块,用于获取用户输入的QoE评分;
评分标记子模块,用于为上述多种类型的样本视频流媒体分别标记用户输入的QoE评分。
可选地,上述装置还包括:
调整模块8,用于在重建视频流媒体的QoE评分低于目标评分的情况下,上述语义通信解码端对进行视频重建所采用的语义解码器的参数进行调整;和/或在重建视频流媒体的QoE评分低于上述目标评分的情况下,上述语义通信编码端对进行视频编码所采用的语义编码器的参数进行调整。
对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于语义通信的视频流媒体的QoE评估方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于语义通信的视频流媒体的QoE评估方法,其特征在于,所述方法包括:
语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体;
所述语义通信解码端获取所述重建视频流媒体的QoS表征,并确定所述QoS表征对应的基准QoE评分;
所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析,得到所述各个重建视频帧的前景语义一致性表征,所述前景语义一致性表征是重建视频帧中的前景物体的不变性点集;
所述语义通信解码端比较所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量;
所述语义通信解码端根据所述基准QoE评分和所述QoE偏移量,得到所述重建视频流媒体的QoE评分。
2.根据权利要求1所述的方法,其特征在于,在所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析,得到所述各个重建视频帧的前景语义一致性表征之前,还包括:
所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行背景语义分析,得到所述各个重建视频帧的背景语义一致性表征,所述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图;
所述语义通信解码端比较所述相邻两个视频帧的背景语义一致性表征;
在所述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下,所述语义通信解码端确定发生镜头转换。
3.根据权利要求2所述的方法,其特征在于,所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析,得到所述各个重建视频帧的前景语义一致性表征,包括:
在所述相邻两个视频帧的背景语义一致性表征之间的偏移量不大于所述目标偏移量的情况下,所述语义通信解码端确定未发生镜头转换;
所述语义通信解码端在确定未发生镜头转换的情况下,对所述相邻两个重建视频帧进行前景语义分析,得到所述相邻两个重建视频帧的前景语义一致性表征。
4.根据权利要求1所述的方法,其特征在于,所述语义通信解码端比较所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量,包括:
所述语义通信解码端计算所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征之间的最大均值差异MMD;
所述语义通信解码端根据计算出的MMD,确定所述QoE偏移量。
5.根据权利要求1所述的方法,其特征在于,所述语义通信解码端确定所述QoS表征对应的基准QoE评分,包括:
所述语义通信解码端通过预先训练的基准QoE评分预测模型,对所述QoS表征进行处理,得到所述基准QoE评分;
其中,所述基准QoE评分预测模型是利用多种类型的样本视频流媒体各自的QoS表征和预先标记的QoE评分标签,对目标模型进行训练得到的,所述QoS表征包括以下至少一项视频卡顿信息、视频分辨率信息、视频编码信息。
6.根据权利要求5所述的方法,其特征在于,所述多种类型的样本视频流媒体是按照以下步骤得到的:
获取所述语义通信解码端的多个已重建视频流媒体,以及所述多个已重建视频流媒体各自的QoS表征;
按照所述多个已重建视频流媒体QoS表征之间的匹配度,对所述多个已重建视频流媒体进行分类,得到所述多种类型的样本视频流媒体。
7.根据权利要求6所述的方法,其特征在于,所述多种类型的样本视频流媒体的预先标记的QoE评分标签,是按照以下步骤得到的:
播放所述多种类型的样本视频流媒体;
获取用户输入的QoE评分;
为所述多种类型的样本视频流媒体分别标记用户输入的QoE评分。
8.根据权利要求1-7任一所述的方法,其特征在于,所述方法还包括:
在重建视频流媒体的QoE评分低于目标评分的情况下,所述语义通信解码端对进行视频重建所采用的语义解码器的参数进行调整;和/或
在重建视频流媒体的QoE评分低于所述目标评分的情况下,所述语义通信编码端对进行视频编码所采用的语义编码器的参数进行调整。
9.一种基于语义通信的视频流媒体的QoE评估装置,其特征在于,所述装置包括:
视频重建模块,语义通信解码端根据语义通信编码端发送的针对原始视频流媒体的编码结果,进行视频重建,生成重建视频流媒体;
基准QoE计算模块,所述语义通信解码端获取所述重建视频流媒体的QoS表征,并确定所述QoS表征对应的基准QoE评分;
前景语义表征模块,所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行前景语义分析,得到所述各个重建视频帧的前景语义一致性表征,所述前景语义一致性表征是重建视频帧中的前景物体的不变性点集;
偏移量计算模块,所述语义通信解码端比较所述重建视频流媒体中相邻两个视频帧的前景语义一致性表征,得到QoE偏移量;
QoE评分计算模块,所述语义通信解码端根据所述基准QoE评分和所述QoE偏移量,得到所述重建视频流媒体的QoE评分。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
背景语义表征模块,所述语义通信解码端对所述重建视频流媒体中各个重建视频帧进行背景语义分析,得到所述各个重建视频帧的背景语义一致性表征,所述背景语义一致性表征是对重建视频帧进行边缘提取而得到的背景语义素描图;
背景语义比较模块,所述语义通信解码端比较所述相邻两个视频帧的背景语义一致性表征;
在所述相邻两个视频帧的背景语义一致性表征之间的偏移量大于目标偏移量的情况下,所述语义通信解码端确定发生镜头转换。
CN202311013701.4A 2023-08-14 2023-08-14 一种基于语义通信的视频流媒体的QoE评估方法及装置 Active CN116743609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311013701.4A CN116743609B (zh) 2023-08-14 2023-08-14 一种基于语义通信的视频流媒体的QoE评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311013701.4A CN116743609B (zh) 2023-08-14 2023-08-14 一种基于语义通信的视频流媒体的QoE评估方法及装置

Publications (2)

Publication Number Publication Date
CN116743609A true CN116743609A (zh) 2023-09-12
CN116743609B CN116743609B (zh) 2023-10-17

Family

ID=87911756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311013701.4A Active CN116743609B (zh) 2023-08-14 2023-08-14 一种基于语义通信的视频流媒体的QoE评估方法及装置

Country Status (1)

Country Link
CN (1) CN116743609B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888846A (zh) * 2014-03-04 2014-06-25 浙江大学 基于QoE的无线视频流业务自适应速率控制方法
CN111079601A (zh) * 2019-12-06 2020-04-28 中国科学院自动化研究所 基于多模态注意力机制的视频内容描述方法、系统、装置
CN111163318A (zh) * 2020-01-09 2020-05-15 北京大学 一种基于反馈优化的人机视觉编码方法和装置
CN112702602A (zh) * 2020-12-04 2021-04-23 浙江智慧视频安防创新中心有限公司 一种视频编解码的方法及存储介质
CN114339238A (zh) * 2020-09-29 2022-04-12 华为技术有限公司 视频编码的方法、视频解码的方法及其装置
CN114913250A (zh) * 2021-12-24 2022-08-16 天翼数字生活科技有限公司 基于语义分割和匈牙利算法的视频编解码系统和方法
CN115905619A (zh) * 2022-10-09 2023-04-04 上海哔哩哔哩科技有限公司 对视频的用户体验质量进行评价的方案
WO2023095932A1 (ko) * 2021-11-23 2023-06-01 엘지전자 주식회사 시맨틱 기반 무선 통신 시스템에서 데이터를 전송하는 방법, 전송 기기, 프로세싱 장치 및 저장 매체, 그리고 데이터를 수신하는 방법, 수신 기기 및 저장 매체
US20230198663A1 (en) * 2021-12-17 2023-06-22 Lenovo (Singapore) Pte, Ltd. Radio access network configuration for video approximate semantic communications

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888846A (zh) * 2014-03-04 2014-06-25 浙江大学 基于QoE的无线视频流业务自适应速率控制方法
CN111079601A (zh) * 2019-12-06 2020-04-28 中国科学院自动化研究所 基于多模态注意力机制的视频内容描述方法、系统、装置
CN111163318A (zh) * 2020-01-09 2020-05-15 北京大学 一种基于反馈优化的人机视觉编码方法和装置
CN114339238A (zh) * 2020-09-29 2022-04-12 华为技术有限公司 视频编码的方法、视频解码的方法及其装置
CN112702602A (zh) * 2020-12-04 2021-04-23 浙江智慧视频安防创新中心有限公司 一种视频编解码的方法及存储介质
WO2023095932A1 (ko) * 2021-11-23 2023-06-01 엘지전자 주식회사 시맨틱 기반 무선 통신 시스템에서 데이터를 전송하는 방법, 전송 기기, 프로세싱 장치 및 저장 매체, 그리고 데이터를 수신하는 방법, 수신 기기 및 저장 매체
US20230198663A1 (en) * 2021-12-17 2023-06-22 Lenovo (Singapore) Pte, Ltd. Radio access network configuration for video approximate semantic communications
CN114913250A (zh) * 2021-12-24 2022-08-16 天翼数字生活科技有限公司 基于语义分割和匈牙利算法的视频编解码系统和方法
CN115905619A (zh) * 2022-10-09 2023-04-04 上海哔哩哔哩科技有限公司 对视频的用户体验质量进行评价的方案

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王煜 等: "视频语义模型及评价准则", 计算机学报, no. 03 *
陶晓明 等: "面向体验质量的多媒体计算通信", 中国图像图形学报, vol. 26, no. 6 *

Also Published As

Publication number Publication date
CN116743609B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111107395B (zh) 一种视频转码的方法、装置、服务器和存储介质
CN109286825B (zh) 用于处理视频的方法和装置
CN113242469B (zh) 一种自适应视频传输配置方法和系统
US8804815B2 (en) Support vector regression based video quality prediction
Ries et al. Video Quality Estimation for Mobile H. 264/AVC Video Streaming.
CN103414915B (zh) 一种网站上传视频质量评价方法及装置
KR102472971B1 (ko) 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN108156459A (zh) 可伸缩视频传输方法及系统
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
CN113452944B (zh) 一种云手机的画面显示方法
CN113962965A (zh) 图像质量评价方法、装置、设备以及存储介质
JP2024511103A (ja) 近似値に基づいて画像又はビデオの品質を評価する方法及び装置、第1のモデルの訓練方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111340101A (zh) 稳定性评估方法、装置、电子设备和计算机可读存储介质
KR101465664B1 (ko) 영상 데이터 품질 평가 장치, 방법 및 시스템
CN116760988B (zh) 基于人类视觉系统的视频编码方法和装置
CN117061791B (zh) 云视频帧自适应协作渲染方法、装置及计算机设备
CN116743609B (zh) 一种基于语义通信的视频流媒体的QoE评估方法及装置
CN113452996A (zh) 一种视频编码、解码方法及装置
CN117831116A (zh) 基于大模型蒸馏的奔跑事件检测方法及电子设备
CN117478886A (zh) 多媒体数据编码方法、装置、电子设备及存储介质
CN109219960B (zh) 视频编码质量平滑度的优化方法、装置、设备及存储介质
CN116155873A (zh) 一种云边协同的图像处理方法、系统、设备及介质
CN112866683B (zh) 基于视频前处理及转码的质量评估方法
CN118175356A (zh) 视频传输方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Cheng Baoping

Inventor after: Tao Xiaoming

Inventor after: Zhang Jian

Inventor after: Xie Xiaoyan

Inventor after: Fu Tao

Inventor after: Lin Jiaming

Inventor after: Xu Hua

Inventor after: Ge Ning

Inventor after: Duan Yiping

Inventor before: Cheng Baoping

Inventor before: Tao Xiaoming

Inventor before: Zhang Jian

Inventor before: Xie Xiaoyan

Inventor before: Fu Tao

Inventor before: Lin Jiaming

Inventor before: Xu Hua

CB03 Change of inventor or designer information