CN112911340A - 基于云计算的媒体数据处理方法、系统及大数据平台 - Google Patents

基于云计算的媒体数据处理方法、系统及大数据平台 Download PDF

Info

Publication number
CN112911340A
CN112911340A CN202110128790.1A CN202110128790A CN112911340A CN 112911340 A CN112911340 A CN 112911340A CN 202110128790 A CN202110128790 A CN 202110128790A CN 112911340 A CN112911340 A CN 112911340A
Authority
CN
China
Prior art keywords
coding
video
window
interaction
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110128790.1A
Other languages
English (en)
Inventor
赵蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110128790.1A priority Critical patent/CN112911340A/zh
Publication of CN112911340A publication Critical patent/CN112911340A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种基于云计算的媒体数据处理方法、系统及大数据平台，在视频互动进程中，通过确定第一编码窗口对应的与视频互动进程相匹配的第三编码窗口，以及第二编码窗口对应的与视频互动进程相匹配的第四编码窗口，从而根据第一编码窗口、第二编码窗口、第三编码窗口、第四编码窗口及互动进行标签，确定视频互动进程中的编码联动窗口信息，并由此对数据编码控制深度学习模型的编码控制过程进行更新。如此，能够基于存在关联关系的编码窗口对当前的数据编码控制深度学习模型的编码控制过程进行更新，这样可以便于在下一轮编码控制中适应性调整编码过程，进而提高编码效果。

Description

基于云计算的媒体数据处理方法、系统及大数据平台
技术领域
本发明涉及音视频处理技术领域，具体而言，涉及一种基于云计算的媒体数据处理方法、系统及大数据平台。
背景技术
目前，随着互联网高速通信技术的演进，在线视频服务终端广泛应用于各大自媒体在线互动中心，在视频互动的过程中，也给视频编码技术带来了极大的挑战，传统视频互动服务中，在编码控制时需要对编码窗口进行依序控制，因此并没有考虑到编码窗口之间的关联关系，如此会导致实际编码效果较差，无法迎合实际的业务情况。
发明内容
为了至少克服现有技术中的上述不足，本发明的目的在于提供一种基于云计算的媒体数据处理方法、系统及大数据平台，能够基于存在关联关系的编码窗口对当前的数据编码控制深度学习模型的编码控制过程进行更新，这样可以便于在下一轮编码控制中适应性调整编码过程，进而提高编码效果。
第一方面，本发明实施例提供一种基于远程互动和云计算的媒体数据处理方法，应用于大数据平台，所述大数据平台与多个在线视频服务终端通信连接，并与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接，所述方法包括：
通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制；
确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口，其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域；
在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口；
根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息，并根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新。
在第一方面的一种可能的实现方式中，所述根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息的步骤，包括：
根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述编码视频帧区域，确定所述视频互动进程中的编码联动检测信息，其中，所述编码视频帧区域包括互动进行标签，所述编码联动检测信息包括编码联动窗口信息。
在第一方面的一种可能的实现方式中，所述根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述编码视频帧区域，确定所述视频互动进程中的编码联动检测信息的步骤，包括：
根据所述第一编码窗口与所述第二编码窗口的第一编码关联关系，及所述第三编码窗口与所述第四编码窗口之间的第二编码关联关系，对所述编码视频帧区域进行编码窗口更新，使得所述第一编码关联关系与所述第二编码关联关系相等；
根据编码窗口更新后的编码视频帧区域，以及所述第三编码窗口和所述第四编码窗口，确定所述视频互动进程中的编码联动检测信息。
在第一方面的一种可能的实现方式中，所述根据编码窗口更新后的编码视频帧区域，以及所述第三编码窗口和所述第四编码窗口，确定所述视频互动进程中的编码联动检测信息的步骤，包括：
根据所述第一编码窗口、所述第二编码窗口分别在所述编码窗口更新后的编码视频帧区域中对应的编码偏移信息、所述编码窗口更新后的编码视频帧区域中互动进行标签、所述编码窗口更新后的编码视频帧区域的边缘点位置，以及所述第三编码窗口和所述第四编码窗口，计算得到所述视频互动进程中的编码联动检测信息；或者
在所述视频互动进程中更新所述编码窗口更新后的编码视频帧区域，使得所述第一编码窗口在所述编码窗口更新后的编码视频帧区域中对应的扩展元素与所述第三编码窗口对应的扩展元素重合，且所述第二编码窗口在所述编码窗口更新后的编码视频帧区域中对应的扩展元素与所述第四编码窗口对应的扩展元素重合，并根据扩展元素的偏移信息，确定所述视频互动进程中的编码联动检测信息。
在第一方面的一种可能的实现方式中，所述确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口的步骤，包括：
确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中存在协同编码关系的第一编码窗口及第二编码窗口，或者存在编码时序前后关系的第一编码窗口及第二编码窗口。
在第一方面的一种可能的实现方式中，所述在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口的步骤，包括：
在所述视频互动进程中，确定所述第一编码窗口的编码标签类型对应的与所述视频互动进程相匹配的编码标签类型的第三编码窗口，以及所述第二编码窗口的编码标签类型对应的与所述视频互动进程相匹配的编码标签类型的第四编码窗口。
在第一方面的一种可能的实现方式中，所述根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新的步骤，包括：
获取所述视频互动进程中的编码联动窗口信息表征的编码联动窗口对象，针对所述数据编码控制深度学习模型的编码控制过程中的每个对应的编码控制节点的编码控制对象，获取该编码控制节点的编码控制对象的第一重建编码快信息，其中，所述第一重建编码快信息用于表征该编码控制节点的编码控制子过程的编码方式配置和编码压缩分量配置；
根据所述编码联动窗口对象所关联的每个编码复杂性特征分别对所述第一重建编码快信息进行联动更新，获得第一编码方式联动信息和与第一编码方式联动信息对应的编码压缩分量联动信息；
获取该编码控制节点的编码控制对象的第一编码控制场景特征和场景可变化特征，提取第一编码控制场景特征的场景特征向量，所述第一编码控制场景特征的场景特征向量包括特定场景特征向量；
获取所述数据编码控制深度学习模型的编码控制过程关联的历史编码控制对象的特定场景特征向量，并根据该特定场景特征向量更新所述第一编码控制场景特征的特定场景特征向量，使所述第一编码控制场景特征中各个特定场景特征向量之间的关联顺序与预设历史编码控制对象中各个特定场景特征向量之间的关联顺序匹配；
在更新结束后，获得第二编码控制场景特征的场景特征向量，并根据所述第二编码控制场景特征的场景特征向量生成第二编码控制场景特征；
根据所述场景可变化特征和所述第二编码控制场景特征的场景特征向量，查找得到与所述场景可变化特征相匹配的编码压缩分量联动信息以及与所述编码压缩分量联动信息对应的第一编码方式联动信息，根据所述第二编码控制场景特征的场景特征向量对与所述编码压缩分量联动信息对应的第一编码方式联动信息进行更新，获得第二编码方式联动信息；
将所述第二编码方式联动信息与所述第二编码控制场景特征进行融合处理，得到该编码控制节点的编码控制对象与所述编码联动窗口对象所关联的每个编码复杂性特征相匹配的融合编码参考特征；
对该编码控制节点的融合编码参考特征进行联动更新，得到该编码控制节点的联动更新结果，所述联动更新结果包括每个所述编码控制节点的编码控制对象与所述编码联动窗口对象所关联的每个编码复杂性特征相匹配的联动更新内容信息；
将每个编码控制节点的联动更新结果更新到所述数据编码控制深度学习模型的编码控制过程中。
在第一方面的一种可能的实现方式中，所述通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制的步骤，包括：
获取所述视频服务互动终端发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息；
提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向所述目标在线视频服务终端下发所述视频服务互动终端的视频编码配置信息并使所述目标在线视频服务终端将所述视频服务互动终端的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，所述视频服务互动列表包括多个可供所述视频服务互动终端进行编码协同的视频分享终端；
当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向所述目标在线视频服务终端请求建立所述视频服务互动终端与所述视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制。
在第一方面的一种可能的实现方式中，所述提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型的步骤，包括：
从预先设置的所述目标在线视频服务终端的视频捕获响应控件库中提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件；
根据所述预设视频捕获响应控件确定所述互动视频流信息在视频渲染线程控件中的宏块编码模式；
根据所述宏块编码模式和所述视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定所述互动视频流信息对应的数据编码控制深度学习模型。
第二方面，本发明实施例还提供一种基于远程互动和云计算的媒体数据处理装置，应用于大数据平台，所述大数据平台与多个在线视频服务终端通信连接，并与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接，所述装置包括：
编码控制模块，用于通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制；
第一确定模块，用于确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口，其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域；
第二确定模块，用于在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口；
更新模块，用于根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息，并根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新。
第三方面，本发明实施例还提供一种基于远程互动和云计算的媒体数据处理系统，所述基于远程互动和云计算的媒体数据处理系统包括大数据平台以及与所述大数据平台通信连接的多个在线视频服务终端，所述大数据平台还与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接；
所述大数据平台用于通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制；
所述大数据平台用于确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口，其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域；
所述大数据平台用于在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口；
所述大数据平台用于根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息，并根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新。
第四方面，本发明实施例还提供一种大数据平台，所述大数据平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个在线视频服务终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的基于远程互动和云计算的媒体数据处理方法。
第五方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的基于远程互动和云计算的媒体数据处理方法。
基于上述任意一个方面，本发明在视频互动进程中，通过确定第一编码窗口对应的与视频互动进程相匹配的第三编码窗口，以及第二编码窗口对应的与视频互动进程相匹配的第四编码窗口，从而根据第一编码窗口、第二编码窗口、第三编码窗口、第四编码窗口及互动进行标签，确定视频互动进程中的编码联动窗口信息，并由此对数据编码控制深度学习模型的编码控制过程进行更新。如此，能够基于存在关联关系的编码窗口对当前的数据编码控制深度学习模型的编码控制过程进行更新，这样可以便于在下一轮编码控制中适应性调整编码过程，进而提高编码效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本发明实施例提供的基于远程互动和云计算的媒体数据处理系统的应用场景示意图；
图2为本发明实施例提供的基于远程互动和云计算的媒体数据处理方法的流程示意图；
图3为本发明实施例提供的基于远程互动和云计算的媒体数据处理装置的功能模块示意图；
图4为本发明实施例提供的用于实现上述的基于远程互动和云计算的媒体数据处理方法的服务器的结构示意框图。
具体实施方式
下面结合说明书附图对本发明进行具体说明，以下方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本发明一种实施例提供的基于远程互动和云计算的媒体数据处理系统10的交互示意图。基于远程互动和云计算的媒体数据处理系统10可以包括大数据平台100、与所述大数据平台100通信连接的多个在线视频服务终端200（图1中仅示出两个），大数据平台100还与用于在每个在线视频服务终端200进行视频服务互动的视频服务互动终端300（图1中仅示出两个）通信连接。图1所示的基于远程互动和云计算的媒体数据处理系统10仅为一种可行的示例，在其它可行的实施例中，该基于远程互动和云计算的媒体数据处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
本实施例中，在线视频服务终端200可以用于提供视频服务互动终端300与相关的视频分享终端在某个区域范围内的视频互动信道，可以便于实现区域级别的视频分享终端管理。
本实施例中，视频服务互动终端300可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理、游戏设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。
本实施例中，基于远程互动和云计算的媒体数据处理系统10中的大数据平台100、在线视频服务终端200以及视频服务互动终端300可以通过配合执行以下方法实施例所描述的基于远程互动和云计算的媒体数据处理方法，具体大数据平台100、在线视频服务终端200以及视频服务互动终端300的执行步骤部分可以参照以下方法实施例的详细描述。
基于本申请提供的技术方案的发明构思出发，本申请提供的大数据平台100可以应用在例如智慧医疗、智慧城市管理、智慧工业互联网、通用业务监控管理等可以应用大数据技术或者是云计算技术等的场景中，再比如，还可以应用在包括但不限于新能源汽车系统管理、智能云办公、云平台数据处理、云游戏数据处理、云直播处理、云汽车管理平台、区块链金融数据服务平台等，但不限于此。
为了解决前述背景技术中的技术问题，图2为本发明实施例提供的基于远程互动和云计算的媒体数据处理方法的流程示意图，本实施例提供的基于远程互动和云计算的媒体数据处理方法可以由图1中所示的大数据平台100执行，下面对该基于远程互动和云计算的媒体数据处理方法进行详细介绍。
步骤S110，通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对在线视频服务终端200与对应的视频服务互动终端300之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制。
步骤S120，确定在数据编码控制过程中在线视频服务终端200当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口。
步骤S130，在视频互动进程中，确定第一编码窗口对应的与视频互动进程相匹配的第三编码窗口，以及第二编码窗口对应的与视频互动进程相匹配的第四编码窗口。
步骤S140，根据第一编码窗口、第二编码窗口、第三编码窗口、第四编码窗口及互动进行标签，确定视频互动进程中的编码联动窗口信息，并根据视频互动进程中的编码联动窗口信息对数据编码控制深度学习模型的编码控制过程进行更新。
本实施例中，编码视频帧区域可以为视频互动进程中预先设定的互动进行标签所对应的编码区域，互动进行标签可以理解为在本次视频互动服务过程中所展示的视频业务的分类标签。
本实施例中，每个编码窗口可以用于表征在编码过程中的多个网格点构成的窗口区域，也可以是指某个硬件编码器所对应指向的网格点区域，在此不作详细限定。
基于上述步骤，在视频互动进程中，通过确定第一编码窗口对应的与视频互动进程相匹配的第三编码窗口，以及第二编码窗口对应的与视频互动进程相匹配的第四编码窗口，从而根据第一编码窗口、第二编码窗口、第三编码窗口、第四编码窗口及互动进行标签，确定视频互动进程中的编码联动窗口信息，并由此对数据编码控制深度学习模型的编码控制过程进行更新。如此，能够基于存在关联关系的编码窗口对当前的数据编码控制深度学习模型的编码控制过程进行更新，这样可以便于在下一轮编码控制中适应性调整编码过程，进而提高编码效果。
在一种可能的实现方式中，对于步骤S140而言，在根据第一编码窗口、第二编码窗口、第三编码窗口、第四编码窗口及互动进行标签，确定视频互动进程中的编码联动窗口信息的过程中，可以通过以下示例性的子步骤来实现，详细描述如下。
子步骤S141，根据第一编码窗口、第二编码窗口、第三编码窗口、第四编码窗口及编码视频帧区域，确定视频互动进程中的编码联动检测信息。
作为一种可能的示例，编码视频帧区域可以包括互动进行标签，编码联动检测信息可以包括编码联动窗口信息。
例如，可以根据第一编码窗口与第二编码窗口的第一编码关联关系，及第三编码窗口与第四编码窗口之间的第二编码关联关系，对编码视频帧区域进行编码窗口更新，使得第一编码关联关系与第二编码关联关系相等。
然后，可以根据编码窗口更新后的编码视频帧区域，以及第三编码窗口和第四编码窗口，确定视频互动进程中的编码联动检测信息。
如在一种可能的设计中，可以根据第一编码窗口、第二编码窗口分别在编码窗口更新后的编码视频帧区域中对应的编码偏移信息、编码窗口更新后的编码视频帧区域中互动进行标签、编码窗口更新后的编码视频帧区域的边缘点位置，以及第三编码窗口和第四编码窗口，计算得到视频互动进程中的编码联动检测信息。
又如，在另一种可能的设计中，还可以在视频互动进程中更新编码窗口更新后的编码视频帧区域，使得第一编码窗口在编码窗口更新后的编码视频帧区域中对应的扩展元素与第三编码窗口对应的扩展元素重合，且第二编码窗口在编码窗口更新后的编码视频帧区域中对应的扩展元素与第四编码窗口对应的扩展元素重合，并根据扩展元素的偏移信息，确定视频互动进程中的编码联动检测信息。
在一种可能的实现方式中，对于步骤S120而言，在确定在数据编码控制过程中在线视频服务终端200当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口的过程中，可以确定在数据编码控制过程中在线视频服务终端200当前进行在线视频互动的编码视频帧区域中存在协同编码关系的第一编码窗口及第二编码窗口，或者存在编码时序前后关系的第一编码窗口及第二编码窗口。
其中值得说明的是，协同编码关系用于表示存在协同的共同编码关系，编码时序前后关系用于表示存在编码时序的前后关系。
在一种可能的实现方式中，对于步骤S120而言，在视频互动进程中，确定第一编码窗口对应的与视频互动进程相匹配的第三编码窗口，以及第二编码窗口对应的与视频互动进程相匹配的第四编码窗口的过程中，例如可以在视频互动进程中，确定第一编码窗口的编码标签类型对应的与视频互动进程相匹配的编码标签类型的第三编码窗口，以及第二编码窗口的编码标签类型对应的与视频互动进程相匹配的编码标签类型的第四编码窗口。
在一种可能的实现方式中，仍旧对于步骤S140而言，在根据视频互动进程中的编码联动窗口信息对数据编码控制深度学习模型的编码控制过程进行更新的过程中，可以通过以下示例性的子步骤来实现，详细描述如下。
子步骤S142，获取视频互动进程中的编码联动窗口信息表征的编码联动窗口对象，针对数据编码控制深度学习模型的编码控制过程中的每个对应的编码控制节点的编码控制对象，获取该编码控制节点的编码控制对象的第一重建编码快信息。
例如，第一重建编码快信息用于表征该编码控制节点的编码控制子过程的编码方式配置和编码压缩分量配置。
子步骤S143，根据编码联动窗口对象所关联的每个编码复杂性特征分别对第一重建编码快信息进行联动更新，获得第一编码方式联动信息和与第一编码方式联动信息对应的编码压缩分量联动信息。
子步骤S144，获取该编码控制节点的编码控制对象的第一编码控制场景特征和场景可变化特征，提取第一编码控制场景特征的场景特征向量，第一编码控制场景特征的场景特征向量包括特定场景特征向量。
子步骤S145，获取数据编码控制深度学习模型的编码控制过程关联的历史编码控制对象的特定场景特征向量，并根据该特定场景特征向量更新第一编码控制场景特征的特定场景特征向量，使第一编码控制场景特征中各个特定场景特征向量之间的关联顺序与预设历史编码控制对象中各个特定场景特征向量之间的关联顺序匹配。
子步骤S146，在更新结束后，获得第二编码控制场景特征的场景特征向量，并根据第二编码控制场景特征的场景特征向量生成第二编码控制场景特征。
子步骤S147，根据场景可变化特征和第二编码控制场景特征的场景特征向量，查找得到与场景可变化特征相匹配的编码压缩分量联动信息以及与编码压缩分量联动信息对应的第一编码方式联动信息，根据第二编码控制场景特征的场景特征向量对与编码压缩分量联动信息对应的第一编码方式联动信息进行更新，获得第二编码方式联动信息。
子步骤S148，将第二编码方式联动信息与第二编码控制场景特征进行融合处理，得到该编码控制节点的编码控制对象与编码联动窗口对象所关联的每个编码复杂性特征相匹配的融合编码参考特征。
子步骤S149，对该编码控制节点的融合编码参考特征进行联动更新，得到该编码控制节点的联动更新结果，联动更新结果包括每个编码控制节点的编码控制对象与编码联动窗口对象所关联的每个编码复杂性特征相匹配的联动更新内容信息。
子步骤S1491，将每个编码控制节点的联动更新结果更新到数据编码控制深度学习模型的编码控制过程中。
在一种可能的实现方式中，针对步骤S110而言，在通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对在线视频服务终端200与对应的视频服务互动终端300之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制的过程中，可以通过以下示例性的子步骤来实现，详细描述如下。
步骤S111，步骤S110，获取视频服务互动终端300发送的针对目标在线视频服务终端200的建立的视频互动服务进程，并从视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息。
步骤S112，提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端200的预设视频捕获响应控件，根据预设视频捕获响应控件确定互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向目标在线视频服务终端200下发视频服务互动终端300的视频编码配置信息并使目标在线视频服务终端200将视频服务互动终端300的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中。
步骤S113，当接收到视频服务互动终端300发送的针对目标在线视频服务终端200所对应的目标互动服务元素的视频互动服务请求时，向目标在线视频服务终端200请求建立视频服务互动终端300与视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。
本实施例中，视频服务互动终端300可以选择某个目标在线视频服务终端200请求大数据平台100进行视频服务互动使用，在请求进行视频服务互动使用过程中需要选择相关的互动服务元素信息和互动视频流信息。其中，互动服务元素信息可以用于表示视频服务互动终端300所选定的互动服务元素的具体情况，互动服务元素可以是指视频分享终端相关的项目，例如互动人物项目、互动背景项目等，在此不做具体限定。互动视频流信息可以是指传输的在线生成的互动视频流，在此不做具体限定。
本实施例中，视频服务互动列表可以包括多个可供视频服务互动终端300控制的视频分享终端，例如虚拟现实设备、增强现实设备、智慧医疗终端等。
本实施例中，视频互动信道可以作为在线互动视频服务的通信信道，提供在线数据视频流的传输渠道。
基于上述步骤，本实施例通过提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端200的预设视频捕获响应控件，从而确定互动视频流信息对应的数据编码控制深度学习模型并分别关联到对应的互动服务元素的视频编码插件中，在需要互动时向目标在线视频服务终端200请求建立视频服务互动终端300与目标视频分享终端之间的视频互动信道，并通过相对应的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。如此，能够更有针对性地对在线视频服务终端200进行不同互动服务元素在视频互动信道过程中的数据编码控制，实现了以互动服务元素为数据编码控制对象的针对性控制，提高实时互动效果。
在一种可能的实现方式中，针对步骤S111，大数据平台100中可以预先关联有不同区域的在线视频服务终端200，由此可以向视频服务互动终端300发送视频服务互动终端300请求的目标订阅业务内的在线视频服务终端列表。在此基础上，可以获取视频服务互动终端300从在线视频服务终端列表中确定的目标在线视频服务终端200，并向视频服务互动终端300发送目标在线视频服务终端200的互动服务元素选择列表和互动视频流信息选择列表。接着，获取视频服务互动终端300从互动服务元素选择列表和互动视频流信息选择列表进行选择操作后发起的视频互动服务进程，并从视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息。
例如，假设向视频服务互动终端300发送视频服务互动终端300请求的目标订阅业务内的在线视频服务终端列表包括在线视频服务终端A、在线视频服务终端B、在线视频服务终端C、在线视频服务终端D，如果视频服务互动终端300选择的目标视频服务互动终端300是在线视频服务终端C，那么则向视频服务互动终端300发送在线视频服务终端C的互动服务元素选择列表和互动视频流信息选择列表。
在一种可能的实现方式中，针对步骤S112，在数据编码控制过程中，本实施例具体可以基于视频渲染线程控件来确定数据编码控制深度学习模型。譬如，视频渲染线程控件可以是指在渲染硬件架构中针对视频渲染控制的相关视频渲染线程节点构成的集合。
在此基础上，本实施例可以从预先设置的目标在线视频服务终端200的视频捕获响应控件库中提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端200的预设视频捕获响应控件，然后根据预设视频捕获响应控件确定互动视频流信息在视频渲染线程控件中的宏块编码模式，由此可以根据宏块编码模式和视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定互动视频流信息对应的数据编码控制深度学习模型。
譬如，在一种可能的实现方式中，在根据宏块编码模式和视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定互动视频流信息对应的数据编码控制深度学习模型的过程中，本实施例具体可以获取视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并判断每个视频渲染线程节点预先关联的互动服务元素信息中是否包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量。
示例性地，可以获取视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并获取每个视频渲染线程节点预先关联的互动服务元素信息中存在至少一个设定视频帧参考关系的视频帧参考关系数据，然后将存在设定视频帧参考关系的视频帧参考关系数据按照不同的设定视频帧参考关系进行聚类，得到多个第一视频帧参考关系聚类。譬如，应当理解的是，第一视频帧参考关系聚类为包含同一设定视频帧参考关系的视频帧参考关系数据的聚类列表，每个第一视频帧参考关系聚类对应的设定视频帧参考关系不同。
而后，可以根据宏块编码模式的宏块编码策略确定每个第一视频帧参考关系聚类的视频帧参考关系数据中存在的目标视频帧参考关系数据特征，得到多个第二视频帧参考关系聚类，并判断多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式是否覆盖宏块编码模式。如果多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式覆盖宏块编码模式，则判定每个视频渲染线程节点预先关联的互动服务元素信息中包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量。如果多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式不大于宏块编码模式，则判定每个视频渲染线程节点预先关联的互动服务元素信息中不包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量。
其中，宏块编码策略可以是指在协议响应过程中执行防护功能的组件函数。
呈上，当每个视频渲染线程节点预先关联的互动服务元素信息中不包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量时，可以将包括与宏块编码模式的宏块编码策略匹配的多个互动服务元素信息确定为多个目标互动服务元素信息。
然后，可以获取多个目标互动服务元素信息中的每个目标互动服务元素信息的帧内预测方向，并按每个目标互动服务元素信息的帧内预测方向的方向排列情况，将多个目标互动服务元素信息顺次拼接，确定更新后的互动服务元素列表，从而可以根据更新后的互动服务元素列表和宏块编码模式确定互动服务元素信息在视频渲染线程控件中的目标数据编码控制深度学习模型。
例如，在一种可能的示例中，可以根据更新后的互动服务元素列表和宏块编码模式确定在目标在线视频服务终端200对应的预设互动标签区间的互动服务元素信息，然后根据在线视频服务终端200在预设互动标签区间的互动服务元素信息确定互动服务元素信息在视频渲染线程控件中的目标数据编码控制深度学习模型。
例如，在一种可替代的实现方式中，首先可以获得在线视频服务终端200的多个在线服务启用选项所对应的视频渲染线程控件在预设互动标签区间的数据编码控制深度学习模型，并针对每一在线服务启用选项所对应的视频渲染线程控件的预设互动标签区间的数据编码控制深度学习模型，从该在线服务启用选项的该预设互动标签区间的当前未被激活的数据编码控制深度学习模型中，确定出满足预设待处理条件的数据编码控制深度学习模型，作为待激活的待定数据编码控制深度学习模型。
然后，确定待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数，或者，直至该预设互动标签区间的数据编码控制深度学习模型中不存在未被激活的数据编码控制深度学习模型为止。
其中，值得说明的是，在确定每一待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数的过程为：
首先，基于该待定数据编码控制深度学习模型在该在线服务启用选项中的启动级别、该渲染适配场景中的数据编码控制深度学习模型已被确定出的在视频渲染线程控件的渲染适配场景上的第一渲染控制参数、以及其它在线服务启用选项中与该渲染适配场景互为相同渲染适配场景的数据编码控制深度学习模型已被确定出的在视频渲染线程控件的渲染适配场景上的第二渲染控制参数，确定该待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数。其中，其它在线服务启用选项可以为：所获得在线服务启用选项中除该待定数据编码控制深度学习模型所在在线服务启用选项外的在线服务启用选项，该待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数为基于启动级别对应的融合参数对第一渲染控制参数和渲染控制参数进行融合参数后获得的渲染控制参数。
本实施例中，渲染适配场景可以是指与视频渲染线程控件运行时的操作系统环境，渲染控制参数可以是指在防护过程中具体执行的实例调用函数。
在此基础上，可以根据该预设互动标签区间中当前在线服务启用选项的流媒体配置信息及渲染控制参数，确定当前在线服务启用选项的关联编码配置参数，其中，该预设互动标签区间对应于多个在线服务启用选项，当前在线服务启用选项为多个在线服务启用选项中的任一个。
然后，根据当前在线服务启用选项的关联编码配置参数对互动服务元素信息进行关联编码配置得到关联编码配置信息，并根据关联编码配置信息，统计包括当前的互动服务元素信息的服务维度信息、当前在线服务启用选项的全局关联编码配置参数及当前在线服务启用选项的服务维度信息。
接着，可以根据当前在线服务启用选项的编码窗口布局、预设关联编码配置参数及服务维度信息，确定该预设互动标签区间中当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数，以通过计算绑定的下一个在线服务启用选项的关联编码配置参数，从而对绑定的下一个在线服务启用选项的视频帧参考关系数据进行确定。
例如，在一种可能的示例中，可以获取该预设互动标签区间内的在线服务启用选项列表的设定启动级别，并将该预设互动标签区间在线服务启用选项列表的设定启动级别确定为当前在线服务启用选项的设定启动级别，然后根据当前在线服务启用选项的编码窗口布局及当前在线服务启用选项的设定启动级别，计算得到当前在线服务启用选项的权重启动级别，其中，权重启动级别可以通过设定启动级别与编码窗口布局所对应的系数的乘积获得。
然后，获取该预设互动标签区间在线服务启用选项列表的实际服务维度参数，根据当前在线服务启用选项的权重启动级别、当前在线服务启用选项的预设关联编码配置参数及该预设互动标签区间在线服务启用选项列表的实际服务维度参数，通过计算更新该预设互动标签区间在线服务启用选项列表的实际服务维度参数。接着，可以根据更新后的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间的在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算该预设互动标签区间在线服务启用选项列表的目标服务维度参数。而后，可以根据该预设互动标签区间在线服务启用选项列表的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算编码码率配置参数。
由此，可以根据该预设互动标签区间在线服务启用选项列表的目标服务维度参数、该预设互动标签区间在线服务启用选项列表的实际服务维度参数和编码码率配置参数，计算得到该预设互动标签区间中绑定的下一个在线服务启用选项的在线服务启用选项列表目标服务维度参数后，确定该预设互动标签区间中绑定的下一个在线服务启用选项的深度比特分配参数，从而根据深度比特分配参数、该预设互动标签区间中绑定的下一个在线服务启用选项的在线服务启用选项列表的目标服务维度参数及编码码率配置参数，通过各自对应的加权参数加权计算得到该预设互动标签区间中当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数。
呈上，即可通过累积确定的每个在线服务启用选项的视频帧参考关系数据所构成的编码控制属性列表，确定互动服务元素信息在视频渲染线程控件中的目标数据编码控制深度学习模型，目标数据编码控制深度学习模型中包括编码控制属性列表。
在一种可能的实现方式中，譬如，针对步骤S113，本实施例可以对视频互动信道中的在线互动视频信息进行识别，在识别到在线互动视频信息中关联有视频流传输请求时，获取视频流传输请求对应的视频流传输信息，在视频流传输信息验证通过后，可以通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。
在一种可能的实现方式中，譬如，在通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制的过程中，具体可以是对视频互动信道中的在线互动视频信息在每个数据编码控制深度学习模型中的每个数据编码控制节点上进行在线互动视频特征识别，以确定每个在线互动视频中的相关视频帧的编码策略，由此进行对应的编码控制。
基于同一发明构思，请参阅图3，示出了本申请实施例提供的基于远程互动和云计算的媒体数据处理装置400的功能模块示意图，本实施例可以根据上述方法实施例对基于远程互动和云计算的媒体数据处理装置400进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图3示出的基于远程互动和云计算的媒体数据处理装置400只是一种装置示意图。其中，基于远程互动和云计算的媒体数据处理装置400可以包括编码控制模块410、第一确定模块420、第二确定模块430以及更新模块440，下面分别对该基于远程互动和云计算的媒体数据处理装置400的各个功能模块的功能进行详细阐述。
编码控制模块410，用于通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端200与对应的视频服务互动终端300之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制。其中，编码控制模块410可以用于执行上述的步骤S110，关于编码控制模块410的详细实现方式可以参照上述针对步骤S110的详细描述即可。
第一确定模块420，用于确定在数据编码控制过程中所述在线视频服务终端200当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口，其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域。其中，第一确定模块420可以用于执行上述的步骤S120，关于第一确定模块420的详细实现方式可以参照上述针对步骤S120的详细描述即可。
第二确定模块430，用于在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口。其中，第二确定模块430可以用于执行上述的步骤S130，关于第二确定模块430的详细实现方式可以参照上述针对步骤S130的详细描述即可。
更新模块440，用于根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息，并根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新。其中，更新模块440可以用于执行上述的步骤S140，关于更新模块440的详细实现方式可以参照上述针对步骤S140的详细描述即可。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
图4示出了本发明实施例提供的用于实现上述的基于远程互动和云计算的媒体数据处理方法的大数据平台100的硬件结构示意图，如图4所示，大数据平台100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令（例如图3中所示的基于远程互动和云计算的媒体数据处理装置400包括的编码控制模块410、第一确定模块420、第二确定模块430以及更新模块440），使得处理器110可以执行如上方法实施例的基于远程互动和云计算的媒体数据处理方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的在线视频服务终端200进行数据收发。
处理器110的具体实现过程可参见上述大数据平台100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(英文：Digital Signal Processor，DSP)、专用集成电路(英文：ApplicationSpecificIntegrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
机器可读存储介质120可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线130可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上基于远程互动和云计算的媒体数据处理方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其它编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或大数据平台上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。
此外，除非权利要求中明确说明，本说明书所述处理元素和列表的顺序、数字字母的使用、或其它名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的偏移处理和等价组合。例如，虽然以上所描述的系统组件可以通过互动业务实现，但是也可以只通过软件的解决方案得以实现，如在现有的大数据平台或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种基于远程互动和云计算的媒体数据处理方法，其特征在于，应用于大数据平台，所述大数据平台与多个在线视频服务终端通信连接，并与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接，所述方法包括：
通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制；
确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口，其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域；
在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口；
根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息，并根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新；
所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域，互动进行标签为在本次视频互动服务过程中所展示的视频业务的分类标签；
所述每个编码窗口用于表征在编码过程中的多个网格点构成的窗口区域。
2.根据权利要求1所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息的步骤，包括：
根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述编码视频帧区域，确定所述视频互动进程中的编码联动检测信息，其中，所述编码视频帧区域包括互动进行标签，所述编码联动检测信息包括编码联动窗口信息。
3.根据权利要求2所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述编码视频帧区域，确定所述视频互动进程中的编码联动检测信息的步骤，包括：
根据所述第一编码窗口与所述第二编码窗口的第一编码关联关系，及所述第三编码窗口与所述第四编码窗口之间的第二编码关联关系，对所述编码视频帧区域进行编码窗口更新，使得所述第一编码关联关系与所述第二编码关联关系相等；
根据编码窗口更新后的编码视频帧区域，以及所述第三编码窗口和所述第四编码窗口，确定所述视频互动进程中的编码联动检测信息。
4.根据权利要求3所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述根据编码窗口更新后的编码视频帧区域，以及所述第三编码窗口和所述第四编码窗口，确定所述视频互动进程中的编码联动检测信息的步骤，包括：
根据所述第一编码窗口、所述第二编码窗口分别在所述编码窗口更新后的编码视频帧区域中对应的编码偏移信息、所述编码窗口更新后的编码视频帧区域中互动进行标签、所述编码窗口更新后的编码视频帧区域的边缘点位置，以及所述第三编码窗口和所述第四编码窗口，计算得到所述视频互动进程中的编码联动检测信息；或者
在所述视频互动进程中更新所述编码窗口更新后的编码视频帧区域，使得所述第一编码窗口在所述编码窗口更新后的编码视频帧区域中对应的扩展元素与所述第三编码窗口对应的扩展元素重合，且所述第二编码窗口在所述编码窗口更新后的编码视频帧区域中对应的扩展元素与所述第四编码窗口对应的扩展元素重合，并根据扩展元素的偏移信息，确定所述视频互动进程中的编码联动检测信息。
5.根据权利要求1-4中任意一项所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口的步骤，包括：
确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中存在协同编码关系的第一编码窗口及第二编码窗口，或者存在编码时序前后关系的第一编码窗口及第二编码窗口。
6.根据权利要求1-4中任意一项所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口的步骤，包括：
在所述视频互动进程中，确定所述第一编码窗口的编码标签类型对应的与所述视频互动进程相匹配的编码标签类型的第三编码窗口，以及所述第二编码窗口的编码标签类型对应的与所述视频互动进程相匹配的编码标签类型的第四编码窗口。
7.根据权利要求1-4中任意一项所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新的步骤，包括：
获取所述视频互动进程中的编码联动窗口信息表征的编码联动窗口对象，针对所述数据编码控制深度学习模型的编码控制过程中的每个对应的编码控制节点的编码控制对象，获取该编码控制节点的编码控制对象的第一重建编码快信息，其中，所述第一重建编码快信息用于表征该编码控制节点的编码控制子过程的编码方式配置和编码压缩分量配置；
根据所述编码联动窗口对象所关联的每个编码复杂性特征分别对所述第一重建编码快信息进行联动更新，获得第一编码方式联动信息和与第一编码方式联动信息对应的编码压缩分量联动信息；
获取该编码控制节点的编码控制对象的第一编码控制场景特征和场景可变化特征，提取第一编码控制场景特征的场景特征向量，所述第一编码控制场景特征的场景特征向量包括特定场景特征向量；
获取所述数据编码控制深度学习模型的编码控制过程关联的历史编码控制对象的特定场景特征向量，并根据该特定场景特征向量更新所述第一编码控制场景特征的特定场景特征向量，使所述第一编码控制场景特征中各个特定场景特征向量之间的关联顺序与预设历史编码控制对象中各个特定场景特征向量之间的关联顺序匹配；
在更新结束后，获得第二编码控制场景特征的场景特征向量，并根据所述第二编码控制场景特征的场景特征向量生成第二编码控制场景特征；
根据所述场景可变化特征和所述第二编码控制场景特征的场景特征向量，查找得到与所述场景可变化特征相匹配的编码压缩分量联动信息以及与所述编码压缩分量联动信息对应的第一编码方式联动信息，根据所述第二编码控制场景特征的场景特征向量对与所述编码压缩分量联动信息对应的第一编码方式联动信息进行更新，获得第二编码方式联动信息；
将所述第二编码方式联动信息与所述第二编码控制场景特征进行融合处理，得到该编码控制节点的编码控制对象与所述编码联动窗口对象所关联的每个编码复杂性特征相匹配的融合编码参考特征；
对该编码控制节点的融合编码参考特征进行联动更新，得到该编码控制节点的联动更新结果，所述联动更新结果包括每个所述编码控制节点的编码控制对象与所述编码联动窗口对象所关联的每个编码复杂性特征相匹配的联动更新内容信息；
将每个编码控制节点的联动更新结果更新到所述数据编码控制深度学习模型的编码控制过程中。
8.根据权利要求1-7中任意一项所述的基于远程互动和云计算的媒体数据处理方法，其特征在于，所述通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制的步骤，包括：
获取所述视频服务互动终端发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息；
提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向所述目标在线视频服务终端下发所述视频服务互动终端的视频编码配置信息并使所述目标在线视频服务终端将所述视频服务互动终端的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，所述视频服务互动列表包括多个可供所述视频服务互动终端进行编码协同的视频分享终端；
当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向所述目标在线视频服务终端请求建立所述视频服务互动终端与所述视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制。
9.一种基于远程互动和云计算的媒体数据处理系统，其特征在于，所述基于远程互动和云计算的媒体数据处理系统包括大数据平台以及与所述大数据平台通信连接的多个在线视频服务终端，所述大数据平台还与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接；
所述大数据平台用于通过每个互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述在线视频服务终端与对应的视频服务互动终端之间所建立的视频互动信道中的在线互动视频信息进行数据编码控制；
所述大数据平台用于确定在数据编码控制过程中所述在线视频服务终端当前进行在线视频互动的编码视频帧区域中第一编码窗口及第二编码窗口，其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域；
所述大数据平台用于在所述视频互动进程中，确定所述第一编码窗口对应的与所述视频互动进程相匹配的第三编码窗口，以及所述第二编码窗口对应的与所述视频互动进程相匹配的第四编码窗口；
所述大数据平台用于根据所述第一编码窗口、所述第二编码窗口、所述第三编码窗口、所述第四编码窗口及所述互动进行标签，确定所述视频互动进程中的编码联动窗口信息，并根据所述视频互动进程中的编码联动窗口信息对所述数据编码控制深度学习模型的编码控制过程进行更新；
其中，所述编码视频帧区域为视频互动进程中预先设定的互动进行标签所对应的编码区域，互动进行标签为在本次视频互动服务过程中所展示的视频业务的分类标签；
所述每个编码窗口用于表征在编码过程中的多个网格点构成的窗口区域。
10.一种大数据平台，其特征在于，所述大数据平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个在线视频服务终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行权利要求1-9中任意一项的基于远程互动和云计算的媒体数据处理方法。
CN202110128790.1A 2020-08-19 2020-08-19 基于云计算的媒体数据处理方法、系统及大数据平台 Withdrawn CN112911340A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110128790.1A CN112911340A (zh) 2020-08-19 2020-08-19 基于云计算的媒体数据处理方法、系统及大数据平台

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010833789.4A CN111970540B (zh) 2020-08-19 2020-08-19 基于远程互动和云计算的媒体数据处理方法及大数据平台
CN202110128790.1A CN112911340A (zh) 2020-08-19 2020-08-19 基于云计算的媒体数据处理方法、系统及大数据平台

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010833789.4A Division CN111970540B (zh) 2020-08-19 2020-08-19 基于远程互动和云计算的媒体数据处理方法及大数据平台

Publications (1)

Publication Number Publication Date
CN112911340A true CN112911340A (zh) 2021-06-04

Family

ID=73389358

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010833789.4A Expired - Fee Related CN111970540B (zh) 2020-08-19 2020-08-19 基于远程互动和云计算的媒体数据处理方法及大数据平台
CN202110128765.3A Withdrawn CN112911339A (zh) 2020-08-19 2020-08-19 基于远程互动和云计算的媒体数据处理方法及系统
CN202110128790.1A Withdrawn CN112911340A (zh) 2020-08-19 2020-08-19 基于云计算的媒体数据处理方法、系统及大数据平台

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202010833789.4A Expired - Fee Related CN111970540B (zh) 2020-08-19 2020-08-19 基于远程互动和云计算的媒体数据处理方法及大数据平台
CN202110128765.3A Withdrawn CN112911339A (zh) 2020-08-19 2020-08-19 基于远程互动和云计算的媒体数据处理方法及系统

Country Status (1)

Country Link
CN (3) CN111970540B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516311A (zh) * 2021-01-20 2021-10-19 陈网芹 基于大数据需求的推送信息更新方法及大数据服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1314671B1 (it) * 1998-10-07 2002-12-31 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per l'animazione di un modellosintetizzato di volto umano pilotata da un segnale audio.
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
CN101742173B (zh) * 2008-11-12 2012-05-16 中兴通讯股份有限公司 一种支持观看两路视频的方法及网络互动电视系统
CN102223314A (zh) * 2011-06-07 2011-10-19 盛乐信息技术（上海）有限公司 网络视频交流方法及系统

Also Published As

Publication number Publication date
CN111970540A (zh) 2020-11-20
CN111970540B (zh) 2021-05-04
CN112911339A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN111931064B (zh) 基于大数据和人工智能的信息解析方法及云服务信息平台
CN111931063B (zh) 基于区块链和人工智能的信息推送处理方法及云服务平台
CN111970539B (zh) 基于深度学习和云计算服务的数据编码方法及大数据平台
CN112184872B (zh) 基于大数据和云计算的游戏渲染优化方法及云端计算中心
CN112052789A (zh) 人脸识别方法、装置、电子设备及存储介质
CN109376852B (zh) 运算装置及运算方法
CN108960090A (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN112966183A (zh) 面向云计算和信息安全的业务防护方法、系统及智能平台
CN111970540B (zh) 基于远程互动和云计算的媒体数据处理方法及大数据平台
CN112187890A (zh) 基于云计算和大数据的信息分发方法及区块链金融云中心
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
CN110415015A (zh) 产品认可度分析方法、装置、终端及计算机可读存储介质
CN111476886B (zh) 智慧建筑楼宇三维模型渲染方法及楼宇云服务器
CN115757933A (zh) 推荐信息生成方法、装置、设备、介质和程序产品
CN111901673B (zh) 一种视频预测方法、装置、存储介质及终端
CN116579380A (zh) 一种数据处理方法以及相关设备
CN115841437A (zh) 一种图像增强的方法、装置及设备
CN115689863A (zh) 风格迁移模型训练方法、图像风格迁移方法及装置
CN111931762A (zh) 基于ai的图像识别解决方法、装置及可读存储介质
CN116152403B (zh) 一种形象生成方法、装置、存储介质及电子设备
CN114257647B (zh) 基于d2d通信的会议视频缓存方法、服务器和系统
US20230091942A1 (en) Video special effect configuration method, device, equipment and storage medium
CN109614234B (zh) 资源优化方法、装置、介质及电子设备
CN118400428A (zh) 一种数据处理方法、装置、设备及存储介质
CN116246014A (zh) 一种形象生成方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210604