CN117896552A - 视频会议的处理方法、视频会议系统以及相关装置 - Google Patents
视频会议的处理方法、视频会议系统以及相关装置 Download PDFInfo
- Publication number
- CN117896552A CN117896552A CN202410290195.1A CN202410290195A CN117896552A CN 117896552 A CN117896552 A CN 117896552A CN 202410290195 A CN202410290195 A CN 202410290195A CN 117896552 A CN117896552 A CN 117896552A
- Authority
- CN
- China
- Prior art keywords
- resolution
- video stream
- video
- network
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000000034 method Methods 0.000 claims abstract description 92
- 230000014759 maintenance of location Effects 0.000 claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000001303 quality assessment method Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000004422 calculation algorithm Methods 0.000 description 21
- 239000013598 vector Substances 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013441 quality evaluation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000008713 feedback mechanism Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了视频会议的处理方法、视频会议系统以及相关装置。应用于接收端，该方法包括：接收网络端发送的关键参考帧和具有第二分辨率的第二视频流；其中，具有第二分辨率的第二视频流是网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到；关键参考帧是网络端利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到；根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。通过上述方式，提升视频会议效果。
Description
技术领域
本申请涉及视频会议技术领域，特别是涉及视频会议的处理方法、视频会议系统以及相关装置。
背景技术
在视频会议中，动态场景（如快速移动的参与者或相机抖动）是常见的。相关技术在这些场景下往往难以保持视频帧间的连贯性和自然性，导致重建的视频出现模糊或不自然的现象。这种限制降低了视频会议的视觉质量和用户体验。
以及视频会议通常依赖于网络连接，而网络带宽和稳定性可能因地理位置、网络拥堵或其他技术问题而波动。相关技术在网络条件不稳定时难以保持视频质量，尤其是在带宽有限的情况下，视频质量可能急剧下降。以及在视频会议中，保留关键视觉信息（如发言人的面部表情、重要的视觉提示）至关重要。然而，相关技术在重建过程中无法有效地保留这些关键信息，导致重要的非语言交流细节丢失。
发明内容
本申请提供的视频会议的处理方法、视频会议系统以及相关装置，能够提升视频会议效果。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种视频会议的处理方法，应用于接收端，该方法包括：接收网络端发送的关键参考帧和具有第二分辨率的第二视频流；其中，具有第二分辨率的第二视频流是网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到；关键参考帧是网络端利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到；根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
其中，根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，包括：对于第二视频流中的每一视频帧，估计每一视频帧与关键参考帧之间的运动信息；基于运动信息，得到变形场；其中，变形场用于描述从每一视频帧至关键参考帧的特征变化；利用变形场调整从关键参考帧提取的第一特征；利用调整后的第一特征与每一视频帧的第二特征结合，进行超分重建，得到具有第三分辨率的第三视频流并显示。
其中，显示具有第三分辨率的第三视频流之前，对具有第三分辨率的第三视频流进行质量评估。
其中，利用调整后的第一特征与每一视频帧的第二特征结合，进行超分重建，包括：利用生成对抗网络或卷积神经网络，结合调整后的第一特征与每一视频帧的第二特征进行超分重建。
其中，估计每一视频帧与关键参考帧之间的运动信息，包括：提取视频帧的第一关键特征点，以及提取关键参考帧中的第二关键特征点；匹配第一关键特征点和第二关键特征点，得到匹配特征点对；计算每一匹配特征点对之间的位置变化，得到运动信息。
其中，基于运动信息，得到变形场，包括：将运动信息应用于整个视频帧，得到视频帧对应的变形场。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种视频会议的处理方法，应用于网络端，该方法包括：接收发送端发送的具有第一分辨率的第一视频流，并监测网络质量；响应于网络质量低于预设质量，降低第一视频流的分辨率，得到具有第二分辨率的第二视频流，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出关键参考帧；将第二视频流和关键参考帧发送至接收端，以使接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
其中，响应于网络质量低于预设质量，降低第一视频流的分辨率，得到具有第二分辨率的第二视频流，包括：响应于网络质量低于预设质量，结合关键参考帧确定下采样程度；下采样程度能够保证关键参考帧中的重要内容在超分重建过程中被识别；基于下采样程度降低第一视频流的分辨率，得到具有第二分辨率的第二视频流。
其中，该方法还包括：接收接收端反馈信息，结合实时网络质量动态调整关键参考帧和超分分辨率的选择策略。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种接收端，该接收端包括存储器以及与存储器耦接的处理器和通信模组，存储器存储有至少一计算机程序，至少一计算机程序被处理器加载并执行时，用于实现如应用于接收端的方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种网络端，该网络端包括存储器以及与存储器耦接的处理器和通信模组，存储器存储有至少一计算机程序，至少一计算机程序被处理器加载并执行时，用于实现如应用于网络端的方法。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种视频会议系统，该视频会议系统包括：发送端、网络端和接收端，网络端如上述的网络端，接收端如上述的接收端。
为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质有至少一段程序，至少一段程序被处理器加载并执行时，用于实现如上述任一技术方案提供的方法。
区别于当前技术，本申请提供的视频会议的处理方法、视频会议系统以及相关装置，通过在视频传输过程中，当网络质量低于预设质量时，利用网络端对发送端发送的具有第一分辨率的第一视频流进行分辨率降低，得到具有第二分辨率的第二视频流，以此适应网络波动，保持视频流质量，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出第一视频流中的关键参考帧，然后在接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，以此提升超分重建效果，进而提升视频会议效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请中视频会议系统一实施例的结构示意图；
图2是本申请中视频会议的处理方法一实施例的流程示意图；
图3是本申请中视频会议的处理方法另一实施例的流程示意图；
图4是本申请中步骤32一实施例的流程示意图；
图5是本申请中视频会议的处理方法另一实施例的流程示意图；
图6是本申请中视频会议的处理方法另一实施例的流程示意图；
图7是本申请中接收端一实施例的结构示意图；
图8是本申请中网络端一实施例的结构示意图；
图9是本申请中计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请中视频会议系统一实施例的结构示意图。该视频会议系统100包括：发送端10、网络端20和接收端30。
发送端10采集的视频流通过网络端20传输至接收端30进行显示，进而实现视频会议。
可以理解，在实际应用过程中，因视频会议存在多方用户参与端中只有一个发送端，其余用户参与端均为接收端。在其他实施例中，视频会议中的每一参与端既是发送端也是接收端。
在视频会议中，动态场景（如快速移动的参与者或相机抖动）是常见的。相关技术在这些场景下往往难以保持视频帧间的连贯性和自然性，导致重建的视频出现模糊或不自然的现象。这种限制降低了视频会议的视觉质量和用户体验。
以及视频会议通常依赖于网络连接，而网络带宽和稳定性可能因地理位置、网络拥堵或其他技术问题而波动。相关技术在网络条件不稳定时难以保持视频质量，尤其是在带宽有限的情况下，视频质量可能急剧下降。以及在视频会议中，保留关键视觉信息（如发言人的面部表情、重要的视觉提示）至关重要。然而，相关技术在重建过程中无法有效地保留这些关键信息，导致重要的非语言交流细节丢失。
视频会议可能涉及复杂的背景和多个参与者，这些场景的复杂性给传统超分辨率方法带来了挑战。这些方法可能无法有效地处理多人交互或频繁变化的背景，从而影响重建图像的质量。
基于此，本申请提出通过在视频传输过程中，当网络质量低于预设质量时，利用网络端对发送端发送的具有第一分辨率的第一视频流进行分辨率降低，得到具有第二分辨率的第二视频流，以此适应网络波动，保持视频流质量，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出第一视频流中的关键参考帧，然后在接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，以此提升超分重建效果。具体参阅以下任一实施例。
请参阅图2，图2是本申请中视频会议的处理方法一实施例的流程示意图。应用于接收端，该方法包括：
步骤21：接收网络端发送的关键参考帧和具有第二分辨率的第二视频流。
其中，具有第二分辨率的第二视频流是网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到。即在视频流传输过程中，网络端实时监测网络质量，在网络质量低于预设质量时，对发送端发送的具有第一分辨率的第一视频流进行降分辨率处理得到。
进一步，网络端利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到关键参考帧。
步骤22：根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
在一些实施例中，可以结合关键参考帧对具有第二分辨率的第二视频流进行超分重建，提升第二视频流的分辨率，得到具有第三分辨率的第三视频流并显示。
在本实施例中，通过在视频传输过程中，当网络质量低于预设质量时，利用网络端对发送端发送的具有第一分辨率的第一视频流进行分辨率降低，得到具有第二分辨率的第二视频流，以此适应网络波动，保持视频流质量，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出第一视频流中的关键参考帧，然后在接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，以此提升超分重建效果。
请参阅图3，图3是本申请中视频会议的处理方法一实施例的流程示意图。应用于接收端，该方法包括：
步骤31：接收网络端发送的关键参考帧和具有第二分辨率的第二视频流。
其中，具有第二分辨率的第二视频流是网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到；关键参考帧是网络端利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到。
步骤32：对于第二视频流中的每一视频帧，估计每一视频帧与关键参考帧之间的运动信息。
在一些实施例中，通过特征点匹配、光流算法或其他运动估计技术，计算出视频帧与关键参考帧之间的运动信息。
在一些实施例中，参阅图4，步骤32可以是以下流程：
步骤321：提取视频帧的第一关键特征点，以及提取关键参考帧中的第二关键特征点。
在一些实施例中，可以利用相应的网络模型提取视频帧的第一关键特征点，以及提取关键参考帧中的第二关键特征点。
步骤322：匹配第一关键特征点和第二关键特征点，得到匹配特征点对。
在一些实施例中，使用特征匹配算法，如FLANN（快速最近邻搜索库）或暴力匹配，以此匹配第一关键特征点和第二关键特征点，得到匹配特征点对。
在一些实施例中，可以计算第一关键特征点和第二关键特征点之间的相似度，选择最佳匹配。
可以理解，第一关键特征点的数量为多个。第二关键特征点的数量为多个。
步骤323：计算每一匹配特征点对之间的位置变化，得到运动信息。
在一些实施例中，可以使用光流算法或基于匹配的方法计算每一匹配特征点对中第一关键特征点和第二关键特征点之间的位置变化，得到运动信息。
步骤33：基于运动信息，得到变形场。
其中，变形场用于描述从每一视频帧至关键参考帧的特征变化。
在一些实施例中，可以将运动信息应用于整个视频帧，得到视频帧对应的变形场。
步骤34：利用变形场调整从关键参考帧提取的第一特征。
步骤35：利用调整后的第一特征与每一视频帧的第二特征结合，进行超分重建，得到具有第三分辨率的第三视频流并显示。
在一些实施例中，可以利用生成对抗网络或卷积神经网络，结合调整后的第一特征与每一视频帧的第二特征进行超分重建。在一些实施例中，超分重建的分辨率可以在网络端提前确定。
在一些实施例中，显示具有第三分辨率的第三视频流之前，对具有第三分辨率的第三视频流进行质量评估。在一些实施例中，使用图像质量评估工具和用户反馈来评估重建质量。进而可以根据质量评估结果调整超分辨率模型的参数，以此改善超分重建的效果。
在本实施例中，通过在视频传输过程中，当网络质量低于预设质量时，利用网络端对发送端发送的具有第一分辨率的第一视频流进行分辨率降低，得到具有第二分辨率的第二视频流，以此适应网络波动，保持视频流质量，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出第一视频流中的关键参考帧，然后在接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，以此提升超分重建效果。
进一步，运动估计与变形场生成的结合为超分辨率重建提供了关键的运动信息。这种方法能够有效处理视频中的动态内容，如人物运动或相机移动。通过精确的运动估计和变形场生成，可以在重建高分辨率视频时保持更高的连贯性和自然性，尤其是在处理快速运动或复杂场景时。
请参阅图5，图5是本申请中视频会议的处理方法一实施例的流程示意图。应用于网络端，该方法包括：
步骤51：接收发送端发送的具有第一分辨率的第一视频流，并监测网络质量。
在视频流传输过程中，网络端实时监测网络质量，在网络质量低于预设质量时，对发送端发送的具有第一分辨率的第一视频流进行降分辨率处理得到。其中，可以通过监测延迟、丢包率和/或带宽，确定出网络质量。
步骤52：响应于网络质量低于预设质量，降低第一视频流的分辨率，得到具有第二分辨率的第二视频流。
步骤53：利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出关键参考帧。
关键参考帧通常是在网络质量良好时捕获的高分辨率帧。
在一些实施例中，还可以结合网络质量和视频流的具体内容（如场景复杂度），动态选择相应的超分分辨率，以便于在接收端按照此超分分辨率进行超分重建。
步骤54：将第二视频流和关键参考帧发送至接收端，以使接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
在一些实施例中，可以利用压缩算法将第二视频流进行压缩发送至接收端，以减少数据传输量。接收端采用相应的解压缩算法对其进行解压，然后根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
在本实施例中，通过在视频传输过程中，当网络质量低于预设质量时，利用网络端对发送端发送的具有第一分辨率的第一视频流进行分辨率降低，得到具有第二分辨率的第二视频流，以此适应网络波动，保持视频流质量，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出第一视频流中的关键参考帧，然后在接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，以此提升超分重建效果。
请参阅图6，图6是本申请中视频会议的处理方法一实施例的流程示意图。应用于网络端，该方法包括：
步骤61：接收发送端发送的具有第一分辨率的第一视频流，并监测网络质量。
步骤62：响应于网络质量低于预设质量，结合关键参考帧确定下采样程度。
下采样程度能够保证关键参考帧中的重要内容在超分重建过程中被识别。
步骤63：基于下采样程度降低第一视频流的分辨率，得到具有第二分辨率的第二视频流。
步骤64：利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出关键参考帧。
步骤65：将第二视频流和关键参考帧发送至接收端，以使接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
在一些实施例中，设置反馈机制，接收接收端的反馈信息，结合实时网络质量动态调整关键参考帧和超分分辨率的选择策略，以此更加适配当前的网络状态。
在一应用场景中，本申请的视频会议系统的工作流程如下：
在视频会议过程中，网络端进行网络质量监测与QoS触发。即在每个视频会议的视频流传输过程中，实时监测网络状况，包括延迟、丢包率和带宽。当网络质量下降到预设阈值时，触发质量服务（QoS）机制，启动超分功能。
具体地，根据当前的网络状态（如带宽和延迟）和视频内容（如场景复杂度），动态选择合适的超分分辨率。以及从视频流中选择关键参考帧。这通常是在网络状况良好时捕获的高分辨率帧，包含丰富的场景细节。
具体地，上述超分分辨率和关键参考帧的选择实现过程如下：
首先进行网络状态监测。实时监测当前网络状态，包括带宽、延迟和丢包率。技术实现：使用网络监测工具，如Wireshark或自定义脚本，来捕获和分析网络流量和RTCP报告。数据分析：计算网络的平均带宽（B_avg），延迟（D_avg）和丢包率（P_loss）。公式：例如，B_avg = Σ(带宽样本) / 样本数量。这些参数将用于决定是否需要降低视频分辨率或触发超分重建。
以及对视频内容分析。因场景复杂度高的视频可能需要更高的分辨率来保持细节，因此分析当前视频内容的复杂度。具体地，使用图像处理算法，如边缘检测（Canny算法）或纹理分析，来评估会议场景的复杂度。如，计算场景的纹理复杂度指数（T_index）。对应的公式：例如，T_index = Σ(像素纹理值) / 总像素数。
以及对画面内容分析。实时分析视频内容，识别重要人物或重要画面变换。如使用图像识别和机器学习技术来识别关键人物（如发言人或主持人）和重要事件。具体地，评估画面中人物的重要性和活动的显著性。以此可以根据画面内容的重要性动态调整超分分辨率和选择关键参考帧。
以及场景变更检测。监测视频中的场景变化，如背景突然变更或画面剧烈切换。具体地，使用场景检测算法来识别画面中的显著变化。如计算场景变化的频率和幅度。通过上述方式，在场景发生重大变化时，重新选择关键参考帧以适应新场景。
以及发言人和主持人变更检测。识别视频会议中的发言人和主持人变更。如使用语音识别和面部识别技术来识别当前的发言人或主持人。具体地，分析语音和面部数据，确定发言权的转移。如，在发言人或主持人变更时，调整超分分辨率或选择新的关键参考帧。
以及接收端异常检测。在接收端检测视频流的异常情况，如画面冻结或质量突然下降。技术实现：使用视频质量评估工具来监测画面质量。数据分析：实时评估视频流的清晰度、流畅度和完整性。应用：在检测到异常时，请求新的关键参考帧或调整超分分辨率。
以及动态调整策略。根据视频内容和接收端的反馈动态调整超分分辨率和关键参考帧。如，在网路端实现一个自适应系统，根据实时分析的结果调整超分策略。具体地，综合考虑网络状态、画面内容和接收端反馈动态调整超分分辨率和关键参考帧，以此确保视频会议中的视频质量最优化，特别是在关键时刻。
反馈机制和网络适应：建立一个反馈机制，以便在网络状况变化时快速响应。技术实现：实时监测网络状况和接收端的反馈，快速调整超分策略。数据分析：持续评估网络带宽、延迟和丢包率。应用：在网络状况变化时，快速调整超分分辨率和关键参考帧的选择。
上述的超分分辨率决策采用以下方式，基于网络状态、视频内容和画面重要性，决定超分分辨率。如使用决策树、机器学习模型或深度学习模型来确定最佳分辨率。模型应考虑网络参数、视频内容复杂度和画面中的关键元素（如重要人物）。具体地，综合考虑网络平均带宽（B_avg）、平均延迟（D_avg）、丢包率（P_loss）、场景纹理复杂度指数（T_index）和画面重要性指数（I_index）。可以采用以下公式：分辨率 = f(B_avg, D_avg, P_loss, T_index, I_index)。即选择一种分辨率，既能适应网络条件，又能保持视频内容的清晰度，并突出画面中的重要元素。
上述的关键参考帧的选择采用以下方式：基于网络状况、视频内容和画面动态变化选择高分辨率的关键参考帧。具体地，分析视频流中的每一帧，考虑清晰度、细节保留度和画面内容的重要性（如发言人变更、场景变化）。如评估每帧的清晰度指数（C_index）、细节保留度（D_score）和内容重要性指数（CI_index）。如，参考帧得分 = g(C_index, D_score, CI_index)。其中，可以选择得分最高的帧作为关键参考帧，以确保在超分重建过程中保留关键内容和高质量的细节。
在网络质量不佳时，将视频流降级为低分辨率版本以适应带宽限制。低分辨率视频帧通过压缩算法传输，以减少所需的数据量。
具体地，低分辨率视频帧的处理实现过程如下：
关键参考帧的利用：在确定进行低分辨率处理时，首先考虑已选择的关键参考帧。具体地，使用图像处理算法比较当前帧与关键参考帧，识别重要的视觉元素。如分析两帧之间的差异，特别是在重要元素（如人脸、标志性物体）上的差异，以此确保在下采样过程中，这些重要元素的细节尽可能保留。
动态下采样决策：根据当前网络状况和关键参考帧的内容，动态决定下采样的程度。具体地，结合网络带宽、延迟、丢包率和关键参考帧的内容特征来做出决策。如考虑网络参数和关键参考帧的视觉重要性，以此在保证重要内容可识别的前提下，选择合适的下采样比例。
执行下采样：对当前视频帧执行下采样处理。具体地，使用高级图像处理算法（如双三次插值）进行下采样，同时考虑保留关键元素的细节，以此在生成低分辨率版本的视频帧，同时尽量保留关键元素的清晰度。
低分辨率帧的质量增强：对下采样后的视频帧进行质量增强处理。具体地，使用图像增强技术，如锐化、对比度调整，来提升低分辨率帧的视觉质量，以此改善低分辨率视频帧的视觉效果，使其在较低的分辨率下仍然清晰可见。
压缩与编码：对处理后的低分辨率视频帧进行压缩和编码。技术实现：使用高效的视频编码技术（如H.265）进行压缩，以减少数据量，以此确保视频帧在网络上传输时占用的带宽最小。
接收端接收到低分辨率视频流后，根据预先选择的关键参考帧进行超分重建。如果关键参考帧与当前帧存在显著差异，或因网络问题导致的帧损坏，接收端可能需要采取补偿措施，如请求新的参考帧。
接收端对于每个低分辨率帧，估计其与高分辨率参考帧（关键参考帧）之间的运动。基于估计的运动信息，生成变形场，描述从参考帧到目标帧的特征变化。
接收端使用变形场调整从高分辨率参考帧提取的特征，以匹配低分辨率目标帧。将调整后的特征与低分辨率帧的特征结合，使用神经网络进行超分辨率重建。
接收端在超分重建后，评估重建视频帧的质量。如果质量不佳或存在明显的重建错误，进行进一步的调整或重新请求参考帧。考虑到实时性要求，这一步骤需要快速高效地执行。
接收端将重建的高分辨率视频流输出到会议室的显示设备上，以提供更清晰的视频会议体验。
其中，接收端超分重建的实现过程如下：
接收低分辨率视频帧：接收端首先接收通过网络传输的低分辨率视频帧。具体地，使用网络协议（如RTP/RTCP）接收并解码视频流。如将接收到的压缩数据解码为可用于处理的视频帧格式，以此确保视频帧在接收后能够被正确解析和处理。
帧质量评估：评估接收到的低分辨率视频帧的质量。具体地，使用图像质量评估算法（如PSNR或SSIM）来评估视频帧的质量。如，计算每帧的质量得分。如采用以下公式，PSNR= 10 * log10(MAX_I^2 / MSE)。以此确定哪些帧需要进行超分辨率处理。
关键参考帧的匹配：将接收到的低分辨率帧与选定的关键参考帧进行匹配。具体地，使用图像匹配算法（如特征匹配或光流估计）来找到关键参考帧与当前帧之间的对应关系。如计算参考帧和当前帧之间的相似度或运动向量。例如，采用光流估计公式或特征匹配算法。关键参考帧的匹配能够确保超分重建过程中参考帧与当前帧的一致性。
运动估计与变形场生成：基于参考帧和当前帧之间的匹配，估计运动并生成变形场。具体地，使用光流算法或其他运动估计技术来估计帧间运动。如生成描述帧间运动的变形场。例如，采用光流估计公式或变形场计算公式，以此为超分重建过程提供必要的运动和变形信息。
超分辨率重建：使用深度学习模型或其他超分辨率技术对低分辨率帧进行重建。具体地，应用如生成对抗网络（GAN）或卷积神经网络（CNN）的超分辨率模型。如结合低分辨率帧、变形场和关键参考帧的信息进行重建。通过超分重建生成接近高分辨率的视频帧，提升视觉质量。
重建质量评估与优化：评估重建后的视频帧质量，并进行必要的优化。具体地，使用图像质量评估工具和用户反馈来评估重建质量。如根据质量评估结果调整超分辨率模型的参数，以此确保重建的视频帧在视觉上满足用户需求。
上述运动估计与变形场生成的实现过程如下：
运动估计的准备：准备进行运动估计的初始工作，包括收集必要的数据和设置参数。具体地，从接收到的视频流中提取当前低分辨率帧和关键参考帧。如确保两帧的格式和尺寸一致，以便于进行运动估计。以此为运动估计创建一个稳定的起始环境，确保后续步骤的准确性。
特征提取：从当前帧和关键参考帧中提取特征点。具体地，使用特征提取算法，如SIFT（尺度不变特征变换）或ORB（Oriented FAST and Rotated BRIEF）。如识别两帧中的关键特征点，这些点应在两帧中都清晰可见。例如，采用SIFT算法中的特征点检测和描述子生成公式。以此提取的特征点将用于后续的匹配和运动估计。
特征点匹配：将当前帧中的特征点与关键参考帧中的特征点进行匹配。具体地，使用特征匹配算法，如FLANN（快速最近邻搜索库）或暴力匹配。如，计算两帧中特征点之间的相似度，选择最佳匹配。例如，采用基于描述子的特征点匹配公式，以此确保正确匹配特征点，为准确估计运动提供基础。
运动向量计算：基于匹配的特征点计算运动向量。具体地，使用光流算法或基于匹配的方法计算每对匹配点之间的运动。如计算每对匹配点之间的位置变化，生成运动向量。例如，采用光流估计中的Lucas-Kanade方法或Horn-Schunck算法。其中，运动向量描述了参考帧到当前帧的运动，是生成变形场的关键。
变形场的构建：使用运动向量构建变形场。具体地，将运动向量应用于整个帧，生成一个描述整个帧变形的场。如，分析运动向量的分布和强度，构建变形场。例如，采用基于运动向量的变形场生成公式。其中，变形场将用于指导超分辨率重建过程中的像素变换。
变形场的优化和应用：优化变形场并将其应用于超分辨率重建过程。具体地，使用插值和平滑技术优化变形场，减少不连续和异常。如确保变形场在整个帧上平滑且连续。应用优化后的变形场于超分辨率重建，以实现更自然和连贯的视觉效果。
上述的特征融合与重建的实现过程如下：
特征提取：从低分辨率视频帧和关键参考帧中提取特征。具体地，使用深度学习模型，如卷积神经网络（CNN），提取两帧的特征。如将视频帧输入到CNN中，提取特征图（feature maps）。例如，采用特征提取公式 F(x) = ReLU(W * x + b)，其中 W 和 b 是卷积层的权重和偏置。其中，提取的特征将用于后续的融合和重建步骤。
特征融合：将低分辨率帧的特征与变形场调整后的关键参考帧特征融合。具体地，使用特征融合技术，如特征叠加或特征加权融合。如结合两组特征，创建一个综合特征表示。例如，采用融合公式 G(f1, f2) = α * f1 + (1 - α) * f2，其中 f1 和 f2 是两组特征，α 是融合系数。其中，融合的特征将提供更丰富的信息，用于重建高质量的视频帧。
运动补偿：对融合的特征进行运动补偿，以考虑帧间的运动。具体地，应用变形场于融合的特征，以补偿运动。如根据变形场调整特征图的位置。例如，采用运动补偿公式 M(f, v) = f(x + v)，其中 f 是特征图，v 是变形场中的运动向量。其中，运动补偿确保特征在时间上的连续性和一致性。
超分辨率重建：使用融合和运动补偿后的特征进行超分辨率重建。具体地，应用深度学习模型，如生成对抗网络（GAN），进行重建。如将融合的特征输入到GAN的生成器中，生成高分辨率帧。例如，采用GAN生成器公式 G(f) = tanh(Wg * f + bg)，其中 Wg 和 bg 是生成器的权重和偏置。其中，生成的高分辨率帧应接近于原始的高分辨率质量。
重建质量评估：评估重建后的视频帧质量。具体地，使用图像质量评估工具，如PSNR或SSIM，评估重建帧的质量。如，计算重建帧与原始高分辨率帧之间的质量差异。公式：例如，SSIM公式 SSIM(x, y) = (2μxμy + C1)(2σxy + C2) / (μx^2 + μy^2 + C1)(σx^2+ σy^2 + C2)。其中，重建质量评估能够确保重建的视频帧在视觉上满足质量标准。
反馈和优化：根据重建质量的评估结果进行反馈和优化。具体地，调整超分辨率模型的参数或重新训练模型以改善重建质量。如分析质量评估结果，识别重建过程中的问题。其中，持续优化超分辨率重建过程，以适应不同的视频内容和网络条件。
具体地，运动估计与变形场生成过程如下：
运动估计：这一步骤涉及分析低分辨率视频帧与高分辨率关键参考帧之间的运动。通过特征点匹配、光流算法或其他运动估计技术，计算出帧间的运动向量。
变形场生成：基于运动估计的结果，生成一个变形场，这个变形场描述了从关键参考帧到当前帧的像素级运动。变形场是一个向量场，每个向量指示特定像素或特征点在两帧之间的移动。
具体地，特征融合与重建过程如下：
特征提取：从低分辨率帧和高分辨率关键参考帧中提取特征。这通常通过深度学习模型（如CNN）完成，以获取两帧的特征表示。
应用变形场：将变形场应用于关键参考帧的特征。这意味着根据变形场调整参考帧的特征，使其与当前帧的几何和运动特性对齐。
特征融合：将调整后的关键参考帧特征与当前低分辨率帧的特征结合。这个融合过程考虑了两帧的内容和运动信息，创建了一个综合的特征表示。
重建高分辨率帧：使用融合的特征通过超分辨率模型（如GAN或CNN）重建出高分辨率的视频帧。这个过程利用了融合特征中的丰富信息来生成清晰、细节丰富的高分辨率图像。
结合过程如下：
运动一致性：通过运动估计与变形场生成，确保关键参考帧的特征在几何和运动上与当前帧一致。这对于保持视频帧间的自然过渡和连贯性至关重要。
信息增强：特征融合过程结合了调整后的参考帧特征和当前帧特征，增强了重建过程中的信息量。这使得重建的高分辨率帧能够更好地恢复丢失的细节和纹理。
质量提升：最终，这种结合运动信息和特征信息的方法能够显著提升重建帧的质量，特别是在动态场景和复杂运动情况下。
在本应用场景中，在超分辨率重建中，智能选择关键参考帧，这不仅基于图像质量，还考虑了画面内容的重要性和场景的动态变化。通过选择最合适的关键参考帧，可以确保在重建过程中保留关键视觉信息，特别是在动态场景和快速内容变化的情况下。
以及根据实时网络状况和视频内容动态调整超分辨率重建策略。这种方法使得超分重建过程更加灵活，能够适应网络带宽的波动和视频内容的变化。这种动态调整机制提高了超分辨率重建的适应性和效率，特别是在网络条件不稳定的远程视频会议场景中。
进一步，运动估计与变形场生成的结合为超分辨率重建提供了关键的运动信息。这种方法能够有效处理视频中的动态内容，如人物运动或相机移动。通过精确的运动估计和变形场生成，可以在重建高分辨率视频时保持更高的连贯性和自然性，尤其是在处理快速运动或复杂场景时。
这些效果共同作用于提升低分辨率视频帧的质量，特别适用于网络条件变化大的远程视频会议场景。它们不仅提高了视频质量，还增强了模型对于视频内容变化的适应性，使得超分辨率重建过程更加高效和准确。
参阅图7，图7是本申请中接收端一实施例的结构示意图。该接收端30包括处理器31以及与处理器31耦接的存储器32和通信模组33，存储器32存储有至少一计算机程序，至少一计算机程序被处理器加载并执行时，用于实现以下方法：
接收网络端发送的关键参考帧和具有第二分辨率的第二视频流；其中，具有第二分辨率的第二视频流是网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到；关键参考帧是网络端利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到；根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
可以理解，至少一计算机程序被处理器31加载并执行时，还用于实现上述任一实施例的方法。
参阅图8，图8是本申请中网络端一实施例的结构示意图。该网络端20包括处理器21以及与处理器21耦接的存储器22和通信模组23，存储器22存储有至少一计算机程序，至少一计算机程序被处理器加载并执行时，用于实现以下方法：
接收发送端发送的具有第一分辨率的第一视频流，并监测网络质量；响应于网络质量低于预设质量，降低第一视频流的分辨率，得到具有第二分辨率的第二视频流，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出关键参考帧；将第二视频流和关键参考帧发送至接收端，以使接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
可以理解，至少一计算机程序被处理器21加载并执行时，还用于实现上述任一实施例的方法。
请参阅图9，图9是本申请中计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质110有至少一段程序111，至少一段程序111被处理器加载并执行时，用于实现以下方法：
接收网络端发送的关键参考帧和具有第二分辨率的第二视频流；其中，具有第二分辨率的第二视频流是网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到；关键参考帧是网络端利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到；根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示；
或者，接收发送端发送的具有第一分辨率的第一视频流，并监测网络质量；响应于网络质量低于预设质量，降低第一视频流的分辨率，得到具有第二分辨率的第二视频流，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出关键参考帧；将第二视频流和关键参考帧发送至接收端，以使接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
可以理解，至少一段程序111被处理器加载并执行时，用于实现上述任一实施例的方法。
综上所述，本申请提供的视频会议的处理方法、视频会议系统以及相关装置，通过在视频传输过程中，当网络质量低于预设质量时，利用网络端对发送端发送的具有第一分辨率的第一视频流进行分辨率降低，得到具有第二分辨率的第二视频流，以此适应网络波动，保持视频流质量，以及利用第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出第一视频流中的关键参考帧，然后在接收端根据关键参考帧对第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，以此提升超分重建效果，进而提升视频会议效果。
在本申请所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (13)
1.一种视频会议的处理方法，其特征在于，应用于接收端，所述方法包括：
接收网络端发送的关键参考帧和具有第二分辨率的第二视频流；其中，所述具有第二分辨率的第二视频流是所述网络端响应于网络质量低于预设质量，对发送端发送的具有第一分辨率的第一视频流进行分辨率降低得到；所述关键参考帧是所述网络端利用所述第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定得到；
根据所述关键参考帧对所述第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
2.根据权利要求1所述的方法，其特征在于，所述根据所述关键参考帧对所述第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示，包括：
对于所述第二视频流中的每一视频帧，估计每一视频帧与所述关键参考帧之间的运动信息；
基于所述运动信息，得到变形场；其中，所述变形场用于描述从每一视频帧至所述关键参考帧的特征变化；
利用所述变形场调整从所述关键参考帧提取的第一特征；
利用调整后的第一特征与每一视频帧的第二特征结合，进行超分重建，得到具有第三分辨率的第三视频流并显示。
3.根据权利要求1或2所述的方法，其特征在于，显示所述具有第三分辨率的第三视频流之前，对所述具有第三分辨率的第三视频流进行质量评估。
4.根据权利要求2所述的方法，其特征在于，所述利用调整后的第一特征与每一视频帧的第二特征结合，进行超分重建，包括：
利用生成对抗网络或卷积神经网络，结合调整后的第一特征与每一视频帧的第二特征进行超分重建。
5.根据权利要求2所述的方法，其特征在于，所述估计每一视频帧与所述关键参考帧之间的运动信息，包括：
提取所述视频帧的第一关键特征点，以及提取所述关键参考帧中的第二关键特征点；
匹配所述第一关键特征点和所述第二关键特征点，得到匹配特征点对；
计算每一所述匹配特征点对之间的位置变化，得到所述运动信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述运动信息，得到变形场，包括：
将所述运动信息应用于整个所述视频帧，得到所述视频帧对应的变形场。
7.一种视频会议的处理方法，其特征在于，应用于网络端，所述方法包括：
接收发送端发送的具有第一分辨率的第一视频流，并监测网络质量；
响应于所述网络质量低于预设质量，降低所述第一视频流的分辨率，得到具有第二分辨率的第二视频流，以及利用所述第一视频流中每一视频帧的清晰度指数、细节保留度和/或内容重要性指数确定出关键参考帧；
将所述第二视频流和所述关键参考帧发送至接收端，以使所述接收端根据所述关键参考帧对所述第二视频流进行超分重建，得到具有第三分辨率的第三视频流并显示。
8.根据权利要求7所述的方法，其特征在于，所述响应于所述网络质量低于预设质量，降低所述第一视频流的分辨率，得到具有第二分辨率的第二视频流，包括：
响应于所述网络质量低于预设质量，结合所述关键参考帧确定下采样程度；所述下采样程度能够保证所述关键参考帧中的重要内容在超分重建过程中被识别；
基于所述下采样程度降低所述第一视频流的分辨率，得到具有第二分辨率的第二视频流。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
接收所述接收端反馈信息，结合实时网络质量动态调整关键参考帧和超分分辨率的选择策略。
10.一种接收端，其特征在于，所述接收端包括存储器以及与所述存储器耦接的处理器和通信模组，所述存储器存储有至少一计算机程序，所述至少一计算机程序被所述处理器加载并执行时，用于实现如权利要求1-6任一项所述的方法。
11.一种网络端，其特征在于，所述网络端包括存储器以及与所述存储器耦接的处理器和通信模组，所述存储器存储有至少一计算机程序，所述至少一计算机程序被所述处理器加载并执行时，用于实现如权利要求7-9任一项所述的方法。
12.一种视频会议系统，其特征在于，所述视频会议系统包括：发送端、网络端和接收端，所述网络端如权利要求11所述的网络端，所述接收端如权利要求10所述的接收端。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质有至少一段程序，所述至少一段程序被处理器加载并执行时，用于实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410290195.1A CN117896552B (zh) | 2024-03-14 | 2024-03-14 | 视频会议的处理方法、视频会议系统以及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410290195.1A CN117896552B (zh) | 2024-03-14 | 2024-03-14 | 视频会议的处理方法、视频会议系统以及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117896552A true CN117896552A (zh) | 2024-04-16 |
| CN117896552B CN117896552B (zh) | 2024-07-12 |
Family
ID=90641461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410290195.1A Active CN117896552B (zh) | 2024-03-14 | 2024-03-14 | 视频会议的处理方法、视频会议系统以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117896552B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090274380A1 (en) * | 2006-03-20 | 2009-11-05 | Thomas Wedi | Image processing apparatus, image processing method, program and semiconductor integrated circuit |
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN113055742A (zh) * | 2021-03-05 | 2021-06-29 | Oppo广东移动通信有限公司 | 视频显示方法、装置、终端及存储介质 |
| CN113115067A (zh) * | 2021-04-19 | 2021-07-13 | 脸萌有限公司 | 直播系统、视频处理方法及相关装置 |
| CN113992883A (zh) * | 2021-10-29 | 2022-01-28 | 安徽文香科技有限公司 | 视频会议处理方法、处理设备、会议系统以及存储介质 |
| CN113994366A (zh) * | 2019-05-03 | 2022-01-28 | 华为技术有限公司 | 用于视频超分辨率的多阶段多参考自举 |
| CN114363649A (zh) * | 2021-12-31 | 2022-04-15 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN114996227A (zh) * | 2022-05-30 | 2022-09-02 | 泉州亿兴电力工程建设有限公司鲤城自动化分公司 | 一种监控视频压缩及复原方法 |
| CN115883761A (zh) * | 2021-12-08 | 2023-03-31 | 黑芝麻智能科技(重庆)有限公司 | 时间视频增强方法 |
| WO2023133888A1 (zh) * | 2022-01-17 | 2023-07-20 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、遥控设备、系统及存储介质 |
| WO2023246923A1 (zh) * | 2022-06-23 | 2023-12-28 | 阿里巴巴（中国）有限公司 | 视频编码方法、解码方法、电子设备及存储介质 |
-
2024
- 2024-03-14 CN CN202410290195.1A patent/CN117896552B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090274380A1 (en) * | 2006-03-20 | 2009-11-05 | Thomas Wedi | Image processing apparatus, image processing method, program and semiconductor integrated circuit |
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN113994366A (zh) * | 2019-05-03 | 2022-01-28 | 华为技术有限公司 | 用于视频超分辨率的多阶段多参考自举 |
| CN113055742A (zh) * | 2021-03-05 | 2021-06-29 | Oppo广东移动通信有限公司 | 视频显示方法、装置、终端及存储介质 |
| CN113115067A (zh) * | 2021-04-19 | 2021-07-13 | 脸萌有限公司 | 直播系统、视频处理方法及相关装置 |
| CN113992883A (zh) * | 2021-10-29 | 2022-01-28 | 安徽文香科技有限公司 | 视频会议处理方法、处理设备、会议系统以及存储介质 |
| CN115883761A (zh) * | 2021-12-08 | 2023-03-31 | 黑芝麻智能科技(重庆)有限公司 | 时间视频增强方法 |
| CN114363649A (zh) * | 2021-12-31 | 2022-04-15 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备及存储介质 |
| WO2023133888A1 (zh) * | 2022-01-17 | 2023-07-20 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、遥控设备、系统及存储介质 |
| CN114996227A (zh) * | 2022-05-30 | 2022-09-02 | 泉州亿兴电力工程建设有限公司鲤城自动化分公司 | 一种监控视频压缩及复原方法 |
| WO2023246923A1 (zh) * | 2022-06-23 | 2023-12-28 | 阿里巴巴（中国）有限公司 | 视频编码方法、解码方法、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| CEN, N ; GUAN, ZY ; MELODIA, T: "Joint Decoding of Independently Encoded Compressive Multi-view Video Streams", 2013 PICTURE CODING SYMPOSIUM (PCS), 11 August 2013 (2013-08-11) * |
| 刘文华;陈利平;: "一种基于视频的超分辨率图像生成方法研究", 湖南师范大学自然科学学报, no. 02, 28 March 2015 (2015-03-28) * |
| 袁小华;欧阳晓丽;夏德深;: "超分辨率图像恢复研究综述", 地理与地理信息科学, no. 03, 30 May 2006 (2006-05-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117896552B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ying et al. | Patch-vq:'patching up'the video quality problem | |
| Xu et al. | Region-of-interest based conversational HEVC coding with hierarchical perception model of face | |
| US7659920B2 (en) | System and method for very low frame rate teleconferencing employing image morphing and cropping | |
| US7583287B2 (en) | System and method for very low frame rate video streaming for face-to-face video conferencing | |
| US7676063B2 (en) | System and method for eye-tracking and blink detection | |
| EP3952307A1 (en) | Video processing apparatus and processing method of video stream | |
| JP2002281506A (ja) | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 | |
| JP2017507557A (ja) | 高解像度の動画ストリームを自身の端末で視聴するユーザの体感品質を向上するためのプロセス | |
| Min et al. | Perceptual video quality assessment: A survey | |
| Hadizadeh et al. | Video error concealment using a computation-efficient low saliency prior | |
| Takeuchi et al. | Perceptual quality driven adaptive video coding using JND estimation | |
| Li et al. | A super-resolution flexible video coding solution for improving live streaming quality | |
| CN113784118A (zh) | 视频质量评估方法及装置、电子设备和存储介质 | |
| Huang et al. | A cloud computing based deep compression framework for UHD video delivery | |
| CN117896552B (zh) | 视频会议的处理方法、视频会议系统以及相关装置 | |
| Chen et al. | Estimating the resize parameter in end-to-end learned image compression | |
| Pourreza et al. | Recognizing compressed videos: Challenges and promises | |
| Wang et al. | Very low frame-rate video streaming for face-to-face teleconference | |
| Amirpour et al. | Improving Per-title Encoding for HTTP Adaptive Streaming by Utilizing Video Super-resolution | |
| Mittag et al. | Lstm-based video quality prediction accounting for temporal distortions in videoconferencing calls | |
| Motamednia et al. | Quality Assessment of Screen Content Videos | |
| Li et al. | FAIVconf: Face enhancement for AI-based video conference with low bit-rate | |
| Nami et al. | Lightweight Multitask Learning for Robust JND Prediction using Latent Space and Reconstructed Frames | |
| CN113194324B (zh) | 一种视频帧画质增强方法、直播服务端及电子设备 | |
| Banerjee et al. | Use of facial landmarks for adaptive compression of videos on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |