CN112954400A - 基于深度学习的数据编码控制方法、系统及大数据平台 - Google Patents

基于深度学习的数据编码控制方法、系统及大数据平台 Download PDF

Info

Publication number
CN112954400A
CN112954400A CN202110185834.4A CN202110185834A CN112954400A CN 112954400 A CN112954400 A CN 112954400A CN 202110185834 A CN202110185834 A CN 202110185834A CN 112954400 A CN112954400 A CN 112954400A
Authority
CN
China
Prior art keywords
video
service
interactive
online
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110185834.4A
Other languages
English (en)
Inventor
赵蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110185834.4A priority Critical patent/CN112954400A/zh
Publication of CN112954400A publication Critical patent/CN112954400A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种基于深度学习的数据编码控制方法、系统及大数据平台，通过对视频互动信道中的在线互动视频信息进行识别，在识别到在线互动视频信息中关联有视频流传输请求时，获取视频流传输请求对应的视频流传输信息，在视频流传输信息验证通过后，对视频互动信道中的在线互动视频信息在每个数据编码控制深度学习模型中的每个数据编码控制节点上进行在线互动视频特征识别，以确定每个在线互动视频中的相关视频帧的编码策略，由此进行对应的编码控制。如此，能够更有针对性地对在线视频服务终端进行不同互动服务元素在视频互动信道过程中的数据编码控制，实现了以互动服务元素为数据编码控制对象的针对性控制，提高实时互动效果。

Description

基于深度学习的数据编码控制方法、系统及大数据平台
技术领域
本发明涉及音视频处理技术领域，具体而言，涉及一种基于深度学习的数据编码控制方法、系统及大数据平台。
背景技术
目前，随着互联网高速通信技术的演进，在线视频服务终端广泛应用于各大自媒体在线互动中心，在视频互动的过程中，也给视频编码技术带来了极大的挑战，传统方案并没有考虑到在视频互动服务中不同互动服务元素（例如互动人物和互动背景）的差异，导致实际编码效果达不到预期实时的互动效果。因此，如何对在线视频服务终端，更有针对性地进行不同互动服务元素在视频互动过程中的数据编码控制，是本领域亟待解决的技术问题。
发明内容
为了至少克服现有技术中的上述不足，本发明的目的在于提供一种基于深度学习的数据编码控制方法、系统及大数据平台，能够更有针对性地对在线视频服务终端进行不同互动服务元素在视频互动信道过程中的数据编码控制，实现了以互动服务元素为数据编码控制对象的针对性控制，从而提高实时互动效果。
第一方面，本发明提供一种基于深度学习的数据编码控制方法，应用于大数据平台，所述大数据平台与多个在线视频服务终端通信连接，并与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接，所述方法包括：
获取所述视频服务互动终端发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息；
提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向所述目标在线视频服务终端下发所述视频服务互动终端的视频编码配置信息并使所述目标在线视频服务终端将所述视频服务互动终端的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，所述视频服务互动列表包括多个可供所述视频服务互动终端进行编码协同的视频分享终端；
当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向所述目标在线视频服务终端请求建立所述视频服务互动终端与所述视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制。
在第一方面的一种可能的实现方式中，所述获取所述视频服务互动终端发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息的步骤，包括：
向所述视频服务互动终端发送所述视频服务互动终端请求的目标订阅业务内的在线视频服务终端列表；
获取所述视频服务互动终端从所述在线视频服务终端列表中确定的目标在线视频服务终端，并向所述视频服务互动终端发送所述目标在线视频服务终端的互动服务元素选择列表和互动视频流信息选择列表；
获取所述视频服务互动终端从所述互动服务元素选择列表和互动视频流信息选择列表进行选择操作后发起的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息。
在第一方面的一种可能的实现方式中，所述提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型的步骤，包括：
从预先设置的所述目标在线视频服务终端的视频捕获响应控件库中提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件；
根据所述预设视频捕获响应控件确定所述互动视频流信息在视频渲染线程控件中的宏块编码模式；
根据所述宏块编码模式和所述视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定所述互动视频流信息对应的数据编码控制深度学习模型。
在第一方面的一种可能的实现方式中，所述根据所述宏块编码模式和所述视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定所述互动视频流信息对应的数据编码控制深度学习模型的步骤，包括：
获取所述视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并判断所述每个视频渲染线程节点预先关联的互动服务元素信息中是否包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量；
当所述每个视频渲染线程节点预先关联的互动服务元素信息中不包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量时，将包括与所述宏块编码模式的宏块编码策略匹配的多个互动服务元素信息确定为多个目标互动服务元素信息；
获取所述多个目标互动服务元素信息中的每个目标互动服务元素信息的帧内预测方向，并按所述每个目标互动服务元素信息的帧内预测方向的方向排列情况，将所述多个目标互动服务元素信息顺次拼接，确定更新后的互动服务元素列表；
根据所述更新后的互动服务元素列表和所述宏块编码模式确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型。
在第一方面的一种可能的实现方式中，所述获取所述视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并判断所述每个视频渲染线程节点预先关联的互动服务元素信息中是否包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量的步骤，包括：
获取所述视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并获取所述每个视频渲染线程节点预先关联的互动服务元素信息中存在至少一个设定视频帧参考关系的视频帧参考关系数据；
将存在设定视频帧参考关系的视频帧参考关系数据按照不同的设定视频帧参考关系进行聚类，得到多个第一视频帧参考关系聚类，所述第一视频帧参考关系聚类为包含同一设定视频帧参考关系的视频帧参考关系数据的聚类列表，每个第一视频帧参考关系聚类对应的设定视频帧参考关系不同；
根据所述宏块编码模式的宏块编码策略确定每个所述第一视频帧参考关系聚类的视频帧参考关系数据中存在的目标视频帧参考关系数据特征，得到多个第二视频帧参考关系聚类；
判断所述多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式是否覆盖所述宏块编码模式；
如果所述多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式覆盖所述宏块编码模式，则判定所述每个视频渲染线程节点预先关联的互动服务元素信息中包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量；
如果所述多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式不大于所述宏块编码模式，则判定所述每个视频渲染线程节点预先关联的互动服务元素信息中不包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量。
在第一方面的一种可能的实现方式中，所述根据所述更新后的互动服务元素列表和所述宏块编码模式确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型的步骤，包括：
根据所述更新后的互动服务元素列表和所述宏块编码模式确定在所述目标在线视频服务终端对应的预设互动标签区间的互动服务元素信息；
根据所述在线视频服务终端在预设互动标签区间的互动服务元素信息确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型。
在第一方面的一种可能的实现方式中，所述根据所述在线视频服务终端在预设互动标签区间的互动服务元素信息确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型的步骤，包括
获得所述在线视频服务终端的多个在线服务启用选项所对应的视频渲染线程控件在所述预设互动标签区间的数据编码控制深度学习模型；
针对每一在线服务启用选项所对应的视频渲染线程控件的预设互动标签区间的数据编码控制深度学习模型，从该在线服务启用选项的该预设互动标签区间的当前未被激活的数据编码控制深度学习模型中，确定出满足预设待处理条件的数据编码控制深度学习模型，作为待激活的待定数据编码控制深度学习模型；
确定所述待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数，或者，直至该预设互动标签区间的数据编码控制深度学习模型中不存在未被激活的数据编码控制深度学习模型为止，其中，确定每一待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数的过程为：
基于该待定数据编码控制深度学习模型在该在线服务启用选项中的启动级别、该渲染适配场景中的数据编码控制深度学习模型已被确定出的在所述视频渲染线程控件的渲染适配场景上的第一渲染控制参数、以及其它在线服务启用选项中与该渲染适配场景互为相同渲染适配场景的数据编码控制深度学习模型已被确定出的在所述视频渲染线程控件的渲染适配场景上的第二渲染控制参数，确定该待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数，其中，所述其它在线服务启用选项为：所获得在线服务启用选项中除该待定数据编码控制深度学习模型所在在线服务启用选项外的在线服务启用选项，该待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数为基于所述启动级别对应的融合参数对所述第一渲染控制参数和所述渲染控制参数进行融合参数后获得的渲染控制参数；
根据该预设互动标签区间中当前在线服务启用选项的流媒体配置信息及渲染控制参数，确定所述当前在线服务启用选项的关联编码配置参数，其中，该预设互动标签区间对应于多个在线服务启用选项，所述当前在线服务启用选项为所述多个在线服务启用选项中的任一个；
根据所述当前在线服务启用选项的关联编码配置参数对所述互动服务元素信息进行关联编码配置得到关联编码配置信息；
根据所述关联编码配置信息，统计包括当前的所述互动服务元素信息的服务维度信息、所述当前在线服务启用选项的全局关联编码配置参数及所述当前在线服务启用选项的服务维度信息；
根据所述当前在线服务启用选项的编码窗口布局、预设关联编码配置参数及所述服务维度信息，确定该预设互动标签区间中所述当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数，以通过计算所述绑定的下一个在线服务启用选项的关联编码配置参数，从而对所述绑定的下一个在线服务启用选项的视频帧参考关系数据进行确定；
通过累积确定的每个在线服务启用选项的视频帧参考关系数据所构成的编码控制属性列表，确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型，所述目标数据编码控制深度学习模型用于学习所述编码控制属性列表。
在第一方面的一种可能的实现方式中，所述根据所述当前在线服务启用选项的编码窗口布局、预设关联编码配置参数及所述服务维度信息，确定该预设互动标签区间中所述当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数的步骤，包括：
获取该预设互动标签区间内的在线服务启用选项列表的设定启动级别，并将该预设互动标签区间在线服务启用选项列表的设定启动级别确定为所述当前在线服务启用选项的设定启动级别；
根据所述当前在线服务启用选项的编码窗口布局及所述当前在线服务启用选项的设定启动级别，计算得到所述当前在线服务启用选项的权重启动级别，其中，所述权重启动级别通过设定启动级别与所述编码窗口布局所对应的系数的乘积获得；
获取该预设互动标签区间在线服务启用选项列表的实际服务维度参数，根据所述当前在线服务启用选项的权重启动级别、所述当前在线服务启用选项的预设关联编码配置参数及该预设互动标签区间在线服务启用选项列表的实际服务维度参数，通过计算更新该预设互动标签区间在线服务启用选项列表的实际服务维度参数；
根据更新后的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间的在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算该预设互动标签区间在线服务启用选项列表的目标服务维度参数；
根据该预设互动标签区间在线服务启用选项列表的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算编码码率配置参数；
根据该预设互动标签区间在线服务启用选项列表的目标服务维度参数、该预设互动标签区间在线服务启用选项列表的实际服务维度参数和编码码率配置参数，计算得到该预设互动标签区间中所述绑定的下一个在线服务启用选项的在线服务启用选项列表目标服务维度参数后，确定该预设互动标签区间中所述绑定的下一个在线服务启用选项的深度比特分配参数；
根据所述深度比特分配参数、该预设互动标签区间中所述绑定的下一个在线服务启用选项的在线服务启用选项列表的目标服务维度参数及所述编码码率配置参数，通过各自对应的加权参数加权计算得到该预设互动标签区间中所述当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数。
在第一方面的一种可能的实现方式中，所述通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制的步骤，包括：
对所述视频互动信道中的在线互动视频信息进行识别，在识别到所述在线互动视频信息中关联有视频流传输请求时，获取所述视频流传输请求对应的视频流传输信息；
在所述视频流传输信息验证通过后，通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制。
第二方面，本发明实施例还提供一种基于深度学习的数据编码控制装置，应用于大数据平台，所述大数据平台与多个在线视频服务终端通信连接，并与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接，所述装置包括：
获取模块，用于获取所述视频服务互动终端发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息；
提取模块，用于提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向所述目标在线视频服务终端下发所述视频服务互动终端的视频编码配置信息并使所述目标在线视频服务终端将所述视频服务互动终端的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，所述视频服务互动列表包括多个可供所述视频服务互动终端进行编码协同的视频分享终端；
编码控制模块，用于当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向所述目标在线视频服务终端请求建立所述视频服务互动终端与所述视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制。
第三方面，本发明实施例还提供一种基于深度学习的数据编码控制系统，所述基于深度学习的数据编码控制系统包括大数据平台以及与所述大数据平台通信连接的多个在线视频服务终端，所述大数据平台还与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接；
所述视频服务互动终端，用于向所述大数据平台发送针对目标在线视频服务终端的建立的视频互动服务进程；
所述大数据平台，用于获取所述视频服务互动终端发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息；
所述大数据平台，用于提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向所述目标在线视频服务终端下发所述视频服务互动终端的视频编码配置信息并使所述目标在线视频服务终端将所述视频服务互动终端的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，所述视频服务互动列表包括多个可供所述视频服务互动终端进行编码协同的视频分享终端；
所述大数据平台，用于当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向所述目标在线视频服务终端请求建立所述视频服务互动终端与所述视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过所述目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对所述视频互动信道中的在线互动视频信息进行数据编码控制。
第四方面，本发明实施例还提供一种大数据平台，所述大数据平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个在线视频服务终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的基于深度学习的数据编码控制方法。
第五方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的基于深度学习的数据编码控制方法。
基于上述任意一个方面，本发明通过提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端的预设视频捕获响应控件，从而确定互动视频流信息对应的数据编码控制深度学习模型并分别关联到对应的互动服务元素的视频编码插件中，在需要互动时向目标在线视频服务终端请求建立视频服务互动终端与目标视频分享终端之间的视频互动信道，并通过对应的数据编码控制深度学习模型对在线互动视频信息进行数据编码控制。如此，能够更有针对性地对在线视频服务终端进行不同互动服务元素在视频互动信道过程中的数据编码控制，实现了以互动服务元素为数据编码控制对象的针对性控制，提高实时互动效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。
图1为本发明实施例提供的基于深度学习的数据编码控制系统的应用场景示意图；
图2为本发明实施例提供的基于深度学习的数据编码控制方法的流程示意图；
图3为本发明实施例提供的基于深度学习的数据编码控制装置的功能模块示意图；
图4为本发明实施例提供的用于实现上述的基于深度学习的数据编码控制方法的服务器的结构示意框图。
具体实施方式
下面结合说明书附图对本发明进行具体说明，以下方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。
图1是本发明一种实施例提供的基于深度学习的数据编码控制系统10的交互示意图。基于深度学习的数据编码控制系统10可以包括大数据平台100、与所述大数据平台100通信连接的多个在线视频服务终端200（图1中仅示出两个），大数据平台100还与用于在每个在线视频服务终端200进行视频服务互动的视频服务互动终端300（图1中仅示出两个）通信连接。图1所示的基于深度学习的数据编码控制系统10仅为一种可行的示例，在其它可行的实施例中，该基于深度学习的数据编码控制系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
本实施例中，在线视频服务终端200可以用于提供视频服务互动终端300与相关的视频分享终端在某个区域范围内的视频互动信道，可以便于实现区域级别的视频分享终端管理。
本实施例中，视频服务互动终端300可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中，移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等，或其任意组合。在一些实施例中，可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任何组合。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理、游戏设备等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。
本实施例中，基于深度学习的数据编码控制系统10中的大数据平台100、在线视频服务终端200以及视频服务互动终端300可以通过配合执行以下方法实施例所描述的基于深度学习的数据编码控制方法，具体大数据平台100、在线视频服务终端200以及视频服务互动终端300的执行步骤部分可以参照以下方法实施例的详细描述。
基于本申请提供的技术方案的发明构思出发，本申请提供的大数据平台100可以应用在例如智慧医疗、智慧城市管理、智慧工业互联网、通用业务监控管理等可以应用大数据技术或者是云计算技术等的场景中，再比如，还可以应用在包括但不限于新能源汽车系统管理、智能云办公、云平台数据处理、云游戏数据处理、云直播处理、云汽车管理平台、区块链金融数据服务平台等，但不限于此。
为了解决前述背景技术中的技术问题，图2为本发明实施例提供的基于深度学习的数据编码控制方法的流程示意图，本实施例提供的基于深度学习的数据编码控制方法可以由图1中所示的大数据平台100执行，下面对该基于深度学习的数据编码控制方法进行详细介绍。
步骤S110，获取视频服务互动终端200发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息。
步骤S120，提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端的预设视频捕获响应控件，根据预设视频捕获响应控件确定互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向目标在线视频服务终端下发视频服务互动终端200的视频编码配置信息并使目标在线视频服务终端将视频服务互动终端200的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中。
步骤S130，当接收到视频服务互动终端200发送的针对目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向目标在线视频服务终端请求建立视频服务互动终端200与视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。
本实施例中，视频服务互动终端200可以选择某个目标在线视频服务终端请求大数据平台100进行视频服务互动使用，在请求进行视频服务互动使用过程中需要选择相关的互动服务元素信息和互动视频流信息。其中，互动服务元素信息可以用于表示视频服务互动终端200所选定的互动服务元素的具体情况，互动服务元素可以是指视频分享终端相关的项目，例如互动人物项目、互动背景项目等，在此不做具体限定。互动视频流信息可以是指传输的在线生成的互动视频流，在此不做具体限定。
本实施例中，视频服务互动列表可以包括多个可供视频服务互动终端200控制的视频分享终端，例如虚拟现实设备、增强现实设备、智慧医疗终端等。
本实施例中，视频互动信道可以作为在线互动视频服务的通信信道，提供在线数据视频流的传输渠道。
基于上述步骤，本实施例通过提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端的预设视频捕获响应控件，从而确定互动视频流信息对应的数据编码控制深度学习模型并分别关联到对应的互动服务元素的视频编码插件中，在需要互动时向目标在线视频服务终端请求建立视频服务互动终端200与目标视频分享终端之间的视频互动信道，并通过相对应的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。如此，能够更有针对性地对在线视频服务终端200进行不同互动服务元素在视频互动信道过程中的数据编码控制，实现了以互动服务元素为数据编码控制对象的针对性控制，提高实时互动效果。
在一种可能的实现方式中，针对步骤S110，大数据平台100中可以预先关联有不同区域的在线视频服务终端200，由此可以向视频服务互动终端200发送视频服务互动终端200请求的目标订阅业务内的在线视频服务终端200列表。在此基础上，可以获取视频服务互动终端200从在线视频服务终端200列表中确定的目标在线视频服务终端，并向视频服务互动终端200发送目标在线视频服务终端的互动服务元素选择列表和互动视频流信息选择列表。接着，获取视频服务互动终端200从互动服务元素选择列表和互动视频流信息选择列表进行选择操作后发起的视频互动服务进程，并从视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息。
例如，假设向视频服务互动终端200发送视频服务互动终端200请求的目标订阅业务内的在线视频服务终端列表包括在线视频服务终端A、在线视频服务终端B、在线视频服务终端C、在线视频服务终端D，如果视频服务互动终端200选择的目标视频服务互动终端200是在线视频服务终端C，那么则向视频服务互动终端200发送在线视频服务终端C的互动服务元素选择列表和互动视频流信息选择列表。
在一种可能的实现方式中，针对步骤S120，在数据编码控制过程中，本实施例具体可以基于视频渲染线程控件来确定数据编码控制深度学习模型。譬如，视频渲染线程控件可以是指在渲染硬件架构中针对视频渲染控制的相关视频渲染线程节点构成的集合。
在此基础上，本实施例可以从预先设置的目标在线视频服务终端的视频捕获响应控件库中提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端的预设视频捕获响应控件，然后根据预设视频捕获响应控件确定互动视频流信息在视频渲染线程控件中的宏块编码模式，由此可以根据宏块编码模式和视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定互动视频流信息对应的数据编码控制深度学习模型。
例如，在一种可能的实现方式中，在根据宏块编码模式和视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定互动视频流信息对应的数据编码控制深度学习模型的过程中，本实施例具体可以获取视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并判断每个视频渲染线程节点预先关联的互动服务元素信息中是否包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量。
示例性地，可以获取视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并获取每个视频渲染线程节点预先关联的互动服务元素信息中存在至少一个设定视频帧参考关系的视频帧参考关系数据，然后将存在设定视频帧参考关系的视频帧参考关系数据按照不同的设定视频帧参考关系进行聚类，得到多个第一视频帧参考关系聚类。譬如，应当理解的是，第一视频帧参考关系聚类为包含同一设定视频帧参考关系的视频帧参考关系数据的聚类列表，每个第一视频帧参考关系聚类对应的设定视频帧参考关系不同。
而后，可以根据宏块编码模式的宏块编码策略确定每个第一视频帧参考关系聚类的视频帧参考关系数据中存在的目标视频帧参考关系数据特征，得到多个第二视频帧参考关系聚类，并判断多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式是否覆盖宏块编码模式。如果多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式覆盖宏块编码模式，则判定每个视频渲染线程节点预先关联的互动服务元素信息中包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量。如果多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式不大于宏块编码模式，则判定每个视频渲染线程节点预先关联的互动服务元素信息中不包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量。
其中，宏块编码策略可以是指在协议响应过程中执行防护功能的组件函数。
呈上，当每个视频渲染线程节点预先关联的互动服务元素信息中不包括与宏块编码模式的宏块编码策略匹配的互动业务表项分量时，可以将包括与宏块编码模式的宏块编码策略匹配的多个互动服务元素信息确定为多个目标互动服务元素信息。
然后，可以获取多个目标互动服务元素信息中的每个目标互动服务元素信息的帧内预测方向，并按每个目标互动服务元素信息的帧内预测方向的方向排列情况，将多个目标互动服务元素信息顺次拼接，确定更新后的互动服务元素列表，从而可以根据更新后的互动服务元素列表和宏块编码模式确定互动服务元素信息在视频渲染线程控件中的目标数据编码控制深度学习模型。
例如，在一种可能的示例中，可以根据更新后的互动服务元素列表和宏块编码模式确定在目标在线视频服务终端对应的预设互动标签区间的互动服务元素信息，然后根据在线视频服务终端200在预设互动标签区间的互动服务元素信息确定互动服务元素信息在视频渲染线程控件中的目标数据编码控制深度学习模型。
例如，在一种可替代的实现方式中，首先可以获得在线视频服务终端200的多个在线服务启用选项所对应的视频渲染线程控件在预设互动标签区间的数据编码控制深度学习模型，并针对每一在线服务启用选项所对应的视频渲染线程控件的预设互动标签区间的数据编码控制深度学习模型，从该在线服务启用选项的该预设互动标签区间的当前未被激活的数据编码控制深度学习模型中，确定出满足预设待处理条件的数据编码控制深度学习模型，作为待激活的待定数据编码控制深度学习模型。
然后，确定待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数，或者，直至该预设互动标签区间的数据编码控制深度学习模型中不存在未被激活的数据编码控制深度学习模型为止。
其中，值得说明的是，在确定每一待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数的过程为：
首先，基于该待定数据编码控制深度学习模型在该在线服务启用选项中的启动级别、该渲染适配场景中的数据编码控制深度学习模型已被确定出的在视频渲染线程控件的渲染适配场景上的第一渲染控制参数、以及其它在线服务启用选项中与该渲染适配场景互为相同渲染适配场景的数据编码控制深度学习模型已被确定出的在视频渲染线程控件的渲染适配场景上的第二渲染控制参数，确定该待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数。其中，其它在线服务启用选项可以为：所获得在线服务启用选项中除该待定数据编码控制深度学习模型所在在线服务启用选项外的在线服务启用选项，该待定数据编码控制深度学习模型在视频渲染线程控件的渲染适配场景上的渲染控制参数为基于启动级别对应的融合参数对第一渲染控制参数和渲染控制参数进行融合参数后获得的渲染控制参数。
本实施例中，渲染适配场景可以是指与视频渲染线程控件运行时的操作系统环境，渲染控制参数可以是指在防护过程中具体执行的实例调用函数。
在此基础上，可以根据该预设互动标签区间中当前在线服务启用选项的流媒体配置信息及渲染控制参数，确定当前在线服务启用选项的关联编码配置参数，其中，该预设互动标签区间对应于多个在线服务启用选项，当前在线服务启用选项为多个在线服务启用选项中的任一个。
然后，根据当前在线服务启用选项的关联编码配置参数对互动服务元素信息进行关联编码配置得到关联编码配置信息，并根据关联编码配置信息，统计包括当前的互动服务元素信息的服务维度信息、当前在线服务启用选项的全局关联编码配置参数及当前在线服务启用选项的服务维度信息。
接着，可以根据当前在线服务启用选项的编码窗口布局、预设关联编码配置参数及服务维度信息，确定该预设互动标签区间中当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数，以通过计算绑定的下一个在线服务启用选项的关联编码配置参数，从而对绑定的下一个在线服务启用选项的视频帧参考关系数据进行确定。
例如，在一种可能的示例中，可以获取该预设互动标签区间内的在线服务启用选项列表的设定启动级别，并将该预设互动标签区间在线服务启用选项列表的设定启动级别确定为当前在线服务启用选项的设定启动级别，然后根据当前在线服务启用选项的编码窗口布局及当前在线服务启用选项的设定启动级别，计算得到当前在线服务启用选项的权重启动级别，其中，权重启动级别可以通过设定启动级别与编码窗口布局所对应的系数的乘积获得。
然后，获取该预设互动标签区间在线服务启用选项列表的实际服务维度参数，根据当前在线服务启用选项的权重启动级别、当前在线服务启用选项的预设关联编码配置参数及该预设互动标签区间在线服务启用选项列表的实际服务维度参数，通过计算更新该预设互动标签区间在线服务启用选项列表的实际服务维度参数。接着，可以根据更新后的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间的在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算该预设互动标签区间在线服务启用选项列表的目标服务维度参数。而后，可以根据该预设互动标签区间在线服务启用选项列表的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算编码码率配置参数。
由此，可以根据该预设互动标签区间在线服务启用选项列表的目标服务维度参数、该预设互动标签区间在线服务启用选项列表的实际服务维度参数和编码码率配置参数，计算得到该预设互动标签区间中绑定的下一个在线服务启用选项的在线服务启用选项列表目标服务维度参数后，确定该预设互动标签区间中绑定的下一个在线服务启用选项的深度比特分配参数，从而根据深度比特分配参数、该预设互动标签区间中绑定的下一个在线服务启用选项的在线服务启用选项列表的目标服务维度参数及编码码率配置参数，通过各自对应的加权参数加权计算得到该预设互动标签区间中当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数。
呈上，即可通过累积确定的每个在线服务启用选项的视频帧参考关系数据所构成的编码控制属性列表，确定互动服务元素信息在视频渲染线程控件中的目标数据编码控制深度学习模型，目标数据编码控制深度学习模型中包括编码控制属性列表。
在一种可能的实现方式中，针对步骤S130，本实施例可以对视频互动信道中的在线互动视频信息进行识别，在识别到在线互动视频信息中关联有视频流传输请求时，获取视频流传输请求对应的视频流传输信息，在视频流传输信息验证通过后，可以通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。
在一种可能的实现方式中，譬如，在通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制的过程中，具体可以是对视频互动信道中的在线互动视频信息在每个数据编码控制深度学习模型中的每个数据编码控制节点上进行在线互动视频特征识别，以确定每个在线互动视频中的相关视频帧的编码策略，由此进行对应的编码控制。
基于同一发明构思，请参阅图3，示出了本申请实施例提供的基于深度学习的数据编码控制装置400的功能模块示意图，本实施例可以根据上述方法实施例对基于深度学习的数据编码控制装置400进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图3示出的基于深度学习的数据编码控制装置400只是一种装置示意图。其中，基于深度学习的数据编码控制装置400可以包括获取模块410、提取模块420以及编码控制模块430，下面分别对该基于深度学习的数据编码控制装置400的各个功能模块的功能进行详细阐述。
获取模块410，用于获取视频服务互动终端200发送的针对目标在线视频服务终端的建立的视频互动服务进程，并从视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息。其中，获取模块410可以用于执行上述的步骤S110，关于获取模块410的详细实现方式可以参照上述针对步骤S110的详细描述即可。
提取模块420，用于提取互动服务元素信息中每个互动服务元素相对于目标在线视频服务终端的预设视频捕获响应控件，根据预设视频捕获响应控件确定互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向目标在线视频服务终端下发视频服务互动终端200的视频编码配置信息并使目标在线视频服务终端将视频服务互动终端200的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，视频服务互动列表包括多个可供视频服务互动终端200控制的视频分享终端。其中，提取模块420可以用于执行上述的步骤S120，关于提取模块420的详细实现方式可以参照上述针对步骤S120的详细描述即可。
编码控制模块430，用于当接收到视频服务互动终端200发送的针对目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，向目标在线视频服务终端请求建立视频服务互动终端200与视频互动服务请求对应的目标视频分享终端之间的视频互动信道，并通过目标互动服务元素的视频编码插件中的数据编码控制深度学习模型对视频互动信道中的在线互动视频信息进行数据编码控制。其中，编码控制模块430可以用于执行上述的步骤S130，关于编码控制模块430的详细实现方式可以参照上述针对步骤S130的详细描述即可。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。
图4示出了本发明实施例提供的用于实现上述的基于深度学习的数据编码控制方法的大数据平台100的硬件结构示意图，如图4所示，大数据平台100可包括处理器110、机器可读存储介质120、总线130以及收发器140。
在具体实现过程中，至少一个处理器110执行所述机器可读存储介质120存储的计算机执行指令（例如图3中所示的基于深度学习的数据编码控制装置400包括的获取模块410、提取模块420以及编码控制模块430），使得处理器110可以执行如上方法实施例的基于深度学习的数据编码控制方法，其中，处理器110、机器可读存储介质120以及收发器140通过总线130连接，处理器110可以用于控制收发器140的收发动作，从而可以与前述的在线视频服务终端200进行数据收发。
处理器110的具体实现过程可参见上述大数据平台100执行的各个方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(英文：Digital Signal Processor，DSP)、专用集成电路(英文：ApplicationSpecificIntegrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
机器可读存储介质120可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线130可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
此外，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上基于深度学习的数据编码控制方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其它编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或大数据平台上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。
此外，除非权利要求中明确说明，本说明书所述处理元素和列表的顺序、数字字母的使用、或其它名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的偏移处理和等价组合。例如，虽然以上所描述的系统组件可以通过互动业务实现，但是也可以只通过软件的解决方案得以实现，如在现有的大数据平台或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种基于深度学习的数据编码控制方法，其特征在于，应用于大数据平台，所述大数据平台与多个在线视频服务终端通信连接，并与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接，所述方法包括：
当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，对所述视频互动信道中的在线互动视频信息进行识别，在识别到所述在线互动视频信息中关联有视频流传输请求时，获取所述视频流传输请求对应的视频流传输信息；
在所述视频流传输信息验证通过后，对视频互动信道中的在线互动视频信息在每个数据编码控制深度学习模型中的每个数据编码控制节点上进行在线互动视频特征识别，以确定每个在线互动视频中的相关视频帧的编码策略，由此进行对应的编码控制。
2.根据权利要求1所述的基于深度学习的数据编码控制方法，其特征在于，所述方法还包括：
向所述视频服务互动终端发送所述视频服务互动终端请求的目标订阅业务内的在线视频服务终端列表；
获取所述视频服务互动终端从所述在线视频服务终端列表中确定的目标在线视频服务终端，并向所述视频服务互动终端发送所述目标在线视频服务终端的互动服务元素选择列表和互动视频流信息选择列表；
获取所述视频服务互动终端从所述互动服务元素选择列表和互动视频流信息选择列表进行选择操作后发起的视频互动服务进程，并从所述视频互动服务进程中获取对应的互动服务元素信息和互动视频流信息；
提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型，并将每个数据编码控制深度学习模型分别关联到对应的互动服务元素的视频编码插件中后，向所述目标在线视频服务终端下发所述视频服务互动终端的视频编码配置信息并使所述目标在线视频服务终端将所述视频服务互动终端的视频编码配置信息记录到视频服务互动列表所对应的编码协同终端列表中，所述视频服务互动列表包括多个可供所述视频服务互动终端进行编码协同的视频分享终端；
其中，所述互动服务元素信息用于表示视频服务互动终端所选定的互动服务元素的具体情况，互动服务元素是指视频分享终端相关的项目，包括互动人物项目和互动背景项目，所述互动视频流信息是指传输的在线生成的互动视频流，所述视频互动信道作为在线互动视频服务的通信信道，提供在线数据视频流的传输渠道。
3.根据权利要求2所述的基于深度学习的数据编码控制方法，其特征在于，所述提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件，根据所述预设视频捕获响应控件确定所述互动视频流信息对应的数据编码控制深度学习模型的步骤，包括：
从预先设置的所述目标在线视频服务终端的视频捕获响应控件库中提取所述互动服务元素信息中每个互动服务元素相对于所述目标在线视频服务终端的预设视频捕获响应控件；
根据所述预设视频捕获响应控件确定所述互动视频流信息在视频渲染线程控件中的宏块编码模式；
根据所述宏块编码模式和所述视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定所述互动视频流信息对应的数据编码控制深度学习模型。
4.根据权利要求3所述的基于深度学习的数据编码控制方法，其特征在于，所述根据所述宏块编码模式和所述视频渲染线程控件中每个视频渲染线程节点的帧内预测方向，确定所述互动视频流信息对应的数据编码控制深度学习模型的步骤，包括：
获取所述视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并判断所述每个视频渲染线程节点预先关联的互动服务元素信息中是否包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量；
当所述每个视频渲染线程节点预先关联的互动服务元素信息中不包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量时，将包括与所述宏块编码模式的宏块编码策略匹配的多个互动服务元素信息确定为多个目标互动服务元素信息，其中，所述宏块编码策略包括宏块的划分尺寸、宏块的参考帧序号和宏块的运动向量；
获取所述多个目标互动服务元素信息中的每个目标互动服务元素信息的帧内预测方向，并按所述每个目标互动服务元素信息的帧内预测方向的方向排列情况，将所述多个目标互动服务元素信息顺次拼接，确定更新后的互动服务元素列表；
根据所述更新后的互动服务元素列表和所述宏块编码模式确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型。
5.根据权利要求4所述的基于深度学习的数据编码控制方法，其特征在于，所述获取所述视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并判断所述每个视频渲染线程节点预先关联的互动服务元素信息中是否包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量的步骤，包括：
获取所述视频渲染线程控件中每个视频渲染线程节点预先关联的互动服务元素信息，并获取所述每个视频渲染线程节点预先关联的互动服务元素信息中存在至少一个设定视频帧参考关系的视频帧参考关系数据；
将存在设定视频帧参考关系的视频帧参考关系数据按照不同的设定视频帧参考关系进行聚类，得到多个第一视频帧参考关系聚类，所述第一视频帧参考关系聚类为包含同一设定视频帧参考关系的视频帧参考关系数据的聚类列表，每个第一视频帧参考关系聚类对应的设定视频帧参考关系不同；
根据所述宏块编码模式的宏块编码策略确定每个所述第一视频帧参考关系聚类的视频帧参考关系数据中存在的目标视频帧参考关系数据特征，得到多个第二视频帧参考关系聚类；
判断所述多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式是否覆盖所述宏块编码模式；
如果所述多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式覆盖所述宏块编码模式，则判定所述每个视频渲染线程节点预先关联的互动服务元素信息中包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量；
如果所述多个第二视频帧参考关系聚类中的每个设定视频帧参考关系的宏块编码模式不大于所述宏块编码模式，则判定所述每个视频渲染线程节点预先关联的互动服务元素信息中不包括与所述宏块编码模式的宏块编码策略匹配的互动业务表项分量。
6.根据权利要求4所述的基于深度学习的数据编码控制方法，其特征在于，所述根据所述更新后的互动服务元素列表和所述宏块编码模式确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型的步骤，包括：
根据所述更新后的互动服务元素列表和所述宏块编码模式确定在所述目标在线视频服务终端对应的预设互动标签区间的互动服务元素信息；
根据所述在线视频服务终端在预设互动标签区间的互动服务元素信息，确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型。
7.根据权利要求6所述的基于深度学习的数据编码控制方法，其特征在于，所述根据所述在线视频服务终端在预设互动标签区间的互动服务元素信息，确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型的步骤，包括
获得所述在线视频服务终端的多个在线服务启用选项所对应的视频渲染线程控件在所述预设互动标签区间的数据编码控制深度学习模型；
针对每一在线服务启用选项所对应的视频渲染线程控件的预设互动标签区间的数据编码控制深度学习模型，从该在线服务启用选项的该预设互动标签区间的当前未被激活的数据编码控制深度学习模型中，确定出满足预设待处理条件的数据编码控制深度学习模型，作为待激活的待定数据编码控制深度学习模型；
确定所述待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数，或者，直至该预设互动标签区间的数据编码控制深度学习模型中不存在未被激活的数据编码控制深度学习模型为止，其中，确定每一待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数的过程为：
基于该待定数据编码控制深度学习模型在该在线服务启用选项中的启动级别、该渲染适配场景中的数据编码控制深度学习模型已被确定出的在所述视频渲染线程控件的渲染适配场景上的第一渲染控制参数、以及其它在线服务启用选项中与该渲染适配场景互为相同渲染适配场景的数据编码控制深度学习模型已被确定出的在所述视频渲染线程控件的渲染适配场景上的第二渲染控制参数，确定该待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数，其中，所述其它在线服务启用选项为：所获得在线服务启用选项中除该待定数据编码控制深度学习模型所在在线服务启用选项外的在线服务启用选项，该待定数据编码控制深度学习模型在所述视频渲染线程控件的渲染适配场景上的渲染控制参数为基于所述启动级别对应的融合参数对所述第一渲染控制参数和所述渲染控制参数进行融合参数后获得的渲染控制参数；
根据该预设互动标签区间中当前在线服务启用选项的流媒体配置信息及渲染控制参数，确定所述当前在线服务启用选项的关联编码配置参数，其中，该预设互动标签区间对应于多个在线服务启用选项，所述当前在线服务启用选项为所述多个在线服务启用选项中的任一个；
根据所述当前在线服务启用选项的关联编码配置参数对所述互动服务元素信息进行关联编码配置得到关联编码配置信息；
根据所述关联编码配置信息，统计包括当前的所述互动服务元素信息的服务维度信息、所述当前在线服务启用选项的全局关联编码配置参数及所述当前在线服务启用选项的服务维度信息；
根据所述当前在线服务启用选项的编码窗口布局、预设关联编码配置参数及所述服务维度信息，确定该预设互动标签区间中所述当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数，以通过计算所述绑定的下一个在线服务启用选项的关联编码配置参数，从而对所述绑定的下一个在线服务启用选项的视频帧参考关系数据进行确定；
通过累积确定的每个在线服务启用选项的视频帧参考关系数据所构成的编码控制属性列表，确定所述互动服务元素信息在所述视频渲染线程控件中的目标数据编码控制深度学习模型，所述目标数据编码控制深度学习模型用于学习所述编码控制属性列表。
8.根据权利要求6所述的基于深度学习的数据编码控制方法，其特征在于，所述根据所述当前在线服务启用选项的编码窗口布局、预设关联编码配置参数及所述服务维度信息，确定该预设互动标签区间中所述当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数的步骤，包括：
获取该预设互动标签区间内的在线服务启用选项列表的设定启动级别，并将该预设互动标签区间在线服务启用选项列表的设定启动级别确定为所述当前在线服务启用选项的设定启动级别；
根据所述当前在线服务启用选项的编码窗口布局及所述当前在线服务启用选项的设定启动级别，计算得到所述当前在线服务启用选项的权重启动级别，其中，所述权重启动级别通过设定启动级别与所述编码窗口布局所对应的系数的乘积获得；
获取该预设互动标签区间在线服务启用选项列表的实际服务维度参数，根据所述当前在线服务启用选项的权重启动级别、所述当前在线服务启用选项的预设关联编码配置参数及该预设互动标签区间在线服务启用选项列表的实际服务维度参数，通过计算更新该预设互动标签区间在线服务启用选项列表的实际服务维度参数；
根据更新后的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间的在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算该预设互动标签区间在线服务启用选项列表的目标服务维度参数；
根据该预设互动标签区间在线服务启用选项列表的实际服务维度参数、预设初始服务维度参数、该预设互动标签区间在线服务启用选项列表的全局在线服务启用选项及该预设互动标签区间在线服务启用选项列表的单位在线服务启用选项，计算编码码率配置参数；
根据该预设互动标签区间在线服务启用选项列表的目标服务维度参数、该预设互动标签区间在线服务启用选项列表的实际服务维度参数和编码码率配置参数，计算得到该预设互动标签区间中所述绑定的下一个在线服务启用选项的在线服务启用选项列表目标服务维度参数后，确定该预设互动标签区间中所述绑定的下一个在线服务启用选项的深度比特分配参数；
根据所述深度比特分配参数、该预设互动标签区间中所述绑定的下一个在线服务启用选项的在线服务启用选项列表的目标服务维度参数及所述编码码率配置参数，通过各自对应的加权参数加权计算得到该预设互动标签区间中所述当前在线服务启用选项的绑定的下一个在线服务启用选项的关联编码配置参数。
9.一种基于深度学习的数据编码控制系统，其特征在于，所述基于深度学习的数据编码控制系统包括大数据平台以及与所述大数据平台通信连接的多个在线视频服务终端，所述大数据平台还与用于在每个在线视频服务终端进行视频服务互动的视频服务互动终端通信连接；
所述大数据平台，用于当接收到所述视频服务互动终端发送的针对所述目标在线视频服务终端所对应的目标互动服务元素的视频互动服务请求时，对所述视频互动信道中的在线互动视频信息进行识别，在识别到所述在线互动视频信息中关联有视频流传输请求时，获取所述视频流传输请求对应的视频流传输信息；
所述大数据平台，用于在所述视频流传输信息验证通过后，对视频互动信道中的在线互动视频信息在每个数据编码控制深度学习模型中的每个数据编码控制节点上进行在线互动视频特征识别，以确定每个在线互动视频中的相关视频帧的编码策略，由此进行对应的编码控制。
10.一种大数据平台，其特征在于，所述大数据平台包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个在线视频服务终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行权利要求1-8中任意一项的基于深度学习的数据编码控制方法。
CN202110185834.4A 2020-08-19 2020-08-19 基于深度学习的数据编码控制方法、系统及大数据平台 Withdrawn CN112954400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110185834.4A CN112954400A (zh) 2020-08-19 2020-08-19 基于深度学习的数据编码控制方法、系统及大数据平台

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010833787.5A CN111970539B (zh) 2020-08-19 2020-08-19 基于深度学习和云计算服务的数据编码方法及大数据平台
CN202110185834.4A CN112954400A (zh) 2020-08-19 2020-08-19 基于深度学习的数据编码控制方法、系统及大数据平台

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010833787.5A Division CN111970539B (zh) 2020-08-19 2020-08-19 基于深度学习和云计算服务的数据编码方法及大数据平台

Publications (1)

Publication Number Publication Date
CN112954400A true CN112954400A (zh) 2021-06-11

Family

ID=73389610

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010833787.5A Active CN111970539B (zh) 2020-08-19 2020-08-19 基于深度学习和云计算服务的数据编码方法及大数据平台
CN202110185834.4A Withdrawn CN112954400A (zh) 2020-08-19 2020-08-19 基于深度学习的数据编码控制方法、系统及大数据平台
CN202110185851.8A Withdrawn CN112954401A (zh) 2020-08-19 2020-08-19 基于视频互动服务的模型确定方法及大数据平台

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010833787.5A Active CN111970539B (zh) 2020-08-19 2020-08-19 基于深度学习和云计算服务的数据编码方法及大数据平台

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110185851.8A Withdrawn CN112954401A (zh) 2020-08-19 2020-08-19 基于视频互动服务的模型确定方法及大数据平台

Country Status (1)

Country Link
CN (3) CN111970539B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650437A (zh) * 2022-03-14 2022-06-21 百果园技术(新加坡)有限公司 一种视频发布方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758479B (zh) * 2023-06-27 2024-02-02 汇鲲化鹏(海南)科技有限公司 一种基于编码深度学习的智能体活动识别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3685577A4 (en) * 2017-10-12 2021-07-28 MediaTek Inc. METHOD AND DEVICE OF A NEURAL NETWORK FOR VIDEO ENCODING
KR20190056888A (ko) * 2017-11-17 2019-05-27 삼성전자주식회사 비디오 부호화 장치 및 방법
CN108650010A (zh) * 2018-03-26 2018-10-12 西南电子技术研究所（中国电子科技集团公司第十研究所） 智能测控通信网络系统
CN111045726B (zh) * 2018-10-12 2022-04-15 上海寒武纪信息科技有限公司 支持编码、解码的深度学习处理装置及方法
CN111031387B (zh) * 2019-11-21 2020-12-04 南京大学 一种监控视频发送端视频编码流速控制的方法
CN111541908A (zh) * 2020-02-27 2020-08-14 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650437A (zh) * 2022-03-14 2022-06-21 百果园技术(新加坡)有限公司 一种视频发布方法、装置、设备及存储介质
CN114650437B (zh) * 2022-03-14 2024-04-16 百果园技术(新加坡)有限公司 一种视频发布方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112954401A (zh) 2021-06-11
CN111970539B (zh) 2021-04-16
CN111970539A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111931064B (zh) 基于大数据和人工智能的信息解析方法及云服务信息平台
CN111931063B (zh) 基于区块链和人工智能的信息推送处理方法及云服务平台
CN111970539B (zh) 基于深度学习和云计算服务的数据编码方法及大数据平台
CN112184872A (zh) 基于大数据和云计算的游戏渲染优化方法及云端计算中心
CN110991368B (zh) 相机场景识别方法及相关装置
CN112966183A (zh) 面向云计算和信息安全的业务防护方法、系统及智能平台
EP4013018A2 (en) Method for transmitting stream, streaming server and streaming system
CN113051395A (zh) 基于云计算和大数据的关键词聚类方法及系统
CN111970540B (zh) 基于远程互动和云计算的媒体数据处理方法及大数据平台
CN110191356A (zh) 视频审核方法、装置和电子设备
CN110611937A (zh) 数据分流方法、装置、边缘数据中心和可读存储介质
CN111931762B (zh) 基于ai的图像识别解决方法、装置及可读存储介质
CN111901561B (zh) 监控系统中的视频数据处理方法、装置、系统及存储介质
US20240127406A1 (en) Image quality adjustment method and apparatus, device, and medium
CN112288867A (zh) 智慧建筑楼宇三维模型渲染方法及智慧建筑楼宇系统
CN111046232A (zh) 一种视频分类方法、装置及系统
CN111191612A (zh) 视频图像匹配方法、装置、终端设备及可读存储介质
CN113286116B (zh) 一种监控安全管理的信息提示方法、装置及云服务器
WO2024094086A1 (zh) 图像处理方法、装置、设备、介质及产品
CN109614234B (zh) 资源优化方法、装置、介质及电子设备
CN110677251B (zh) 一种信息处理方法、装置、介质和设备
CN114758262A (zh) 视频结构化任务管理方法及终端设备、视频结构化平台
CN113784166A (zh) 一种直播间流控制方法、装置及云直播服务器
CN115544093A (zh) 智能杆的规则引擎方法及系统
CN115222389A (zh) 支付安全控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210611