CN110719430A - 图像数据生成方法、装置、电子设备及存储介质 - Google Patents

图像数据生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110719430A
CN110719430A CN201810769496.7A CN201810769496A CN110719430A CN 110719430 A CN110719430 A CN 110719430A CN 201810769496 A CN201810769496 A CN 201810769496A CN 110719430 A CN110719430 A CN 110719430A
Authority
CN
China
Prior art keywords
image data
preset
uplink
talkback
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810769496.7A
Other languages
English (en)
Inventor
陈鑫
栾焕志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810769496.7A priority Critical patent/CN110719430A/zh
Publication of CN110719430A publication Critical patent/CN110719430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了图像数据生成方法、装置、电子设备及存储介质，该方法包括：获取各客户端的上行图像数据；判断各上行图像数据中是否存在满足预设主讲规则的上行图像数据；若存在满足预设主讲规则的上行图像数据，将满足预设主讲规则的上行图像数据作为主讲图像数据，将不满足预设主讲规则的上行图像数据作为非主讲图像数据；将主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据；将非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，第二编解码参数小于第一编解码参数；按照目标图像数据的帧率，将目标图像数据及降质图像数据进行合成，得到待播放图像数据。可以降低带宽占用。

Description

图像数据生成方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及图像数据生成方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，远程实时视频通话成为可能，视屏会议技术的应用范围也越来越广泛。视频会议是指处于多个地点的人们，通过通信设备和网络，进行视频交谈的会议。使用视频会议系统，参会者可以听到其它会场的声音、看到其它会场现场参会人的形象、动作和表情，还可以发送电子演示内容，使与会者有身临其境的感觉。
视频会议MCU(Multi Control Unit，多点控制单元)在开会过程中把参与会议的终端画面合成为一个画面，然后把合成画面发送给各个终端，各个终端因此能够看到其它参与会议的会议终端画面。视频会议MCU通常会对参与会议的多方会场的视频数据进行合码，合成为一个包含多个会场图像的视频，例如图1所示，会议室A，B，C，D中客户端分别发送采集的视频数据发送给MCU，MCU把四个会议室的视频数据合成到同一个视频里，并进行压缩编码，然后发送给各会议室的客户端。
视频会议客户端的清晰度由分辨率保证，分辨率越高清晰度越高。流畅度由帧率来保证，帧率越高，流畅度越高。一般视频会议为保证清晰度和流畅性需要1080P60参数的视频数据，其中，1080P60指每帧包含1920×1080像素，且帧率为60帧每秒，但是采用1080P60参数需要4兆左右的带宽，会占用大量带宽，在用户带宽不足的情况下，会造成图像数据的卡顿。
发明内容
本发明实施例的目的在于提供一种图像数据生成方法、装置、电子设备及存储介质，以实现降低视频会议图像数据占用的带宽。具体技术方案如下：
第一方面，本发明实施例提供了一种图像数据生成方法，所述方法包括：
获取各客户端的上行图像数据；
判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
若存在满足所述预设主讲规则的上行图像数据，将满足所述预设主讲规则的上行图像数据作为主讲图像数据，将不满足所述预设主讲规则的上行图像数据作为非主讲图像数据；
将所述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，所述编解码参数包括帧率；
将所述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，所述第二编解码参数小于所述第一编解码参数；
按照所述目标图像数据的帧率，将所述目标图像数据及所述降质图像数据进行合成，得到待播放图像数据。
可选的，在所述判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据之后，所述方法还包括：
若不存在满足所述预设主讲规则的上行图像数据，将各所述上行图像数据的编解码参数设置为所述第二编解码参数；
按照各所述上行图像数据的帧率，将各所述上行图像数据进行合成，得到待播放图像数据。
可选的，在本发明实施例的图像数据生成方法中，所述编解码参数还包括分辨率。
可选的，在所述判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据之前，所述方法还包括：
获取各所述客户端的当前可用带宽；
判断各所述客户端的当前可用带宽与预设带宽阈值的大小；
所述判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据，包括：
若存在小于所述预设带宽阈值的当前可用带宽，判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
可选的，在所述按照所述目标图像数据的帧率，将所述目标图像数据及所述降质图像数据进行合成，得到待播放图像数据之后，所述方法还包括：
编码所述待播放图像数据；
向当前可用带宽小于所述带宽阈值的客户端发送编码后的待播放图像数据。
第二方面，本发明实施例提供了一种图像数据生成装置，所述装置包括：
图像数据获取模块，用于获取各客户端的上行图像数据；
第一判断模块，用于判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
图像数据分类模块，用于若存在满足所述预设主讲规则的上行图像数据，将满足所述预设主讲规则的上行图像数据作为主讲图像数据，将不满足所述预设主讲规则的上行图像数据作为非主讲图像数据；
第一处理模块，用于将所述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，所述编解码参数包括帧率；
第二处理模块，用于将所述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，所述第二编解码参数小于所述第一编解码参数；
第一合成模块，用于按照所述目标图像数据的帧率，将所述目标图像数据及所述降质图像数据进行合成，得到待播放图像数据。
可选的，本发明实施例的图像数据生成装置还包括：
第三处理模块，用于若不存在满足所述预设主讲规则的上行图像数据，将各所述上行图像数据的编解码参数设置为所述第二编解码参数；
第一合成模块，用于按照各所述上行图像数据的帧率，将各所述上行图像数据进行合成，得到待播放图像数据。
可选的，在本发明实施例的图像数据生成装置中，所述编解码参数还包括分辨率。
可选的，本发明实施例的图像数据生成装置还包括：
带宽获取模块，用于获取各所述客户端的当前可用带宽；
第二判断模块，用于判断各所述客户端的当前可用带宽与预设带宽阈值的大小；
所述第一判断模块，具体用于：
若存在小于所述预设带宽阈值的当前可用带宽，判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
可选的，本发明实施例的图像数据生成装置还包括：
编码模块，用于编码所述待播放图像数据；
数据发送模块，用于向当前可用带宽小于所述带宽阈值的客户端发送编码后的待播放图像数据。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的图像数据生成方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的图像数据生成方法。
本发明实施例提供的图像数据生成方法、装置、电子设备及存储介质，获取各客户端的上行图像数据；判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据；若存在满足上述预设主讲规则的上行图像数据，将满足上述预设主讲规则的上行图像数据作为主讲图像数据，将不满足上述预设主讲规则的上行图像数据作为非主讲图像数据；将上述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，上述编解码参数包括帧率；将上述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，上述第二编解码参数小于上述第一编解码参数；按照上述目标图像数据的帧率，将上述目标图像数据及上述降质图像数据进行合成，得到待播放图像数据。通过第一编解码参数保证主讲画面数据的画质，通过第二编解码参数生成降质图像数据，前后参考数据量减少，帧大小减低，在保障用户体验同时，降低整体带宽的使用。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中视频会议的一种示意图；
图2为本发明实施例的图像数据生成方法的一种流程示意图；
图3为本发明实施例的图像数据生成方法的待播放图像数据的第一种示意图；
图4为本发明实施例的图像数据生成方法的待播放图像数据的第二种示意图；
图5为本发明实施例的图像数据生成方法的待播放图像数据的第三种示意图；
图6为本发明实施例的图像数据生成方法的另一种流程示意图；
图7为本发明实施例的图像数据生成装置的一种示意图；
图8为本发明实施例的电子设备的一种示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了降低视频会议图像数据占用的带宽，减少用户带宽不足的情况下视频会议的卡顿，本发明实施例提供了一种图像数据生成方法，参见图2，该方法包括：
S201，获取各客户端的上行图像数据；
本发明实施例中的图像数据生成方法可以通过会议系统实现，会议系统为任意能够实现本发明实施例的图像数据生成方法的系统。例如：
会议系统可以为一种设备，包括：处理器、存储器、通信接口和总线；处理器、存储器和通信接口通过总线连接并完成相互间的通信；存储器存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明实施例的图像数据生成方法。
可选的，会议系统可以为MCU。
会议系统还可以为一种应用程序，用于在运行时执行本发明实施例的图像数据生成方法。
会议系统还可以为一种存储介质，用于存储可执行代码，可执行代码用于执行本发明实施例的图像数据生成方法。
会议系统获取各客户端的上行图像数据，例如，会议系统接收由各会议室的客户端上传的上行图形数据。
S202，判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
会议系统判断各上行图像数据中是否存在满足预设主讲规则的上行图像数据。预设主讲规则可以根据情况自行设定。视频会议合码后的图像数据一般有一大多小和同等大小两种模式，预设主讲规则可以根据合码后图像数据的模式进行设定。
例如，在以一路上行图像数据为主要数据，其他上行图像数据为辅助数据，合成一大多小的待播放图像数据时，判定该路主要数据满足预设主讲规则。例如，会议系获取A、B、C及D共四路上行图像数据，待合成的画面如图3所示，则判定上行图像数据A满足预设主讲规则。当然还可以合成为多大多小的待播放图像数据，判定各分辨率较大的上行图像数据满足预设主讲规则。
例如，在各上行图像数据合码为大小相同的待播放图像数据、且上行图像数据路数不大于预设路数阈值时，判定包含正在发言人员的上行图像数据，满足预设主讲规则；判定不包含正在发言人员的上行图像数据，不满足预设主讲规则。例如图4所示，上行图像数据的路数为4，预设路数阈值为4，若上行图像数据A中包含正在发言人员，判定上行图像数据A满足预设主讲规则。预设路数阈值可以根据实际情况进行设定，例如，预设路数阈值设定为4、5、6或8等。
S203，若存在满足上述预设主讲规则的上行图像数据，将满足上述预设主讲规则的上行图像数据作为主讲图像数据，将不满足上述预设主讲规则的上行图像数据作为非主讲图像数据。
在会议系统判定存在满足预设主讲规则的上行图像数据中，会议系统将满足预设主讲规则的上行数据图像作为主讲图像数据，将不满足预设主讲规则的上行图像数据作为非主讲图像数据。
S204，将上述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，上述编解码参数包括帧率。
Frame rate(帧率)是用于测量显示帧数的量度。测量单位为FPS(Frames perSecond，每秒显示帧数)或Hz(赫兹)。
S205，将上述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，上述第二编解码参数小于上述第一编解码参数。
第一编解码参数可以根据实际情况进行设定，第一编解码参数需要保证主讲图像数据的播放效果，第一编解码参数可以设定为最优编解码参数，例如，第一编解码参数的帧率为60帧每秒。第二编解码参数可以根据实际情况进行设定，但是需要满足第二编解码参数小于第一编解码参数，例如，第二编解码参数的帧率可以设定为每秒钟5-10帧。
S206，按照上述目标图像数据的帧率，将上述目标图像数据及上述降质图像数据进行合成，得到待播放图像数据。
待播放图像数据的帧率与目标图像数据的帧率相同，且大于降质图像数据的帧率。在合成待播放图像数据的过程中，需要将降质图像数据的帧率增加为与目标图像数据的帧率相同，因此需要复制降质图形数据中的视频帧，例如，降质图像数据的帧率为10帧每秒，待播放图像数据的帧率为60帧每秒，则需要将降质图像数据中的各视频帧复制为10份，从而使待播放图像数据的每帧视频帧中均包含降质图像数据中的视频帧。因此，待播放图像数据中会包含大量相同的图像部分，这样在后续编码的过程中，例如，在全P帧编码的过程中，会大大降低编码后待播放图像数据的数据量，从而达到节约网络带宽的效果。
从视频会议使用角度和用户习惯而言，用户对于大画面图像数据的清晰度和流畅度敏感性较高，小画面则反之。在本发明实施例中，优先保障主讲图像数据，例如，大画面，关键画面的图像数据的视频帧率，降低小画面的帧率，从而在保证合成画面的整体的清晰度和流畅度同时，保障用户体验，降低整体带宽的使用。
在本发明实施例中，通过第一编解码参数保证主讲画面数据的画质，通过第二编解码参数生成降质图像数据，在保障用户体验同时，降低整体带宽的使用。
可选的，在上述判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据之后，上述方法还包括：
步骤一，若不存在满足上述预设主讲规则的上行图像数据，将各上述上行图像数据的编解码参数设置为上述第二编解码参数。
若各上行图像数据均不满足预设主讲规则，例如，上行图像数据路数不大于预设路数阈值时，将各上行图像数据的编解码参数均设置为第二编解码参数。参见图5，会议系统共获取16路上行图像数据，在预设路数阈值为4时，这16路上行图像数据均不满足预设主讲规则。
步骤二，按照各上述上行图像数据的帧率，将各上述上行图像数据进行合成，得到待播放图像数据。
在待合成画面中各上行图像数据画面大小相等，并上行图像数据的路数大于预设路数阈值时，可以把所有会场都认为是非重要会场，在此种场景下，参会人员更加关注各个会场是否存在，而不会长期关注具体某个会场。
在本发明实施例中，按照第二编解码参数合成待播放方图像数据，在尽量保障用户体验的同时，降低带宽的使用。
可选的，上述编解码参数还包括分辨率。
在编解码参数还包括分辨率时，非主讲图像数据的分辨率第一主讲图像数据的分辨率。在合成待播放图像数据时，将非主讲图像数据调整为设定的大小，其中，若存在因放到导致像素缺失的情况，则用邻近像素点的色彩填充缺失像素点。在后续编码过程中，可以降低待播放图像数据的大小，从而降低带宽的占用。
可选的，在上述判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据之前，上述方法还包括：
步骤一，获取各上述客户端的当前可用带宽。
会议系统获取各客户端的当前可用带宽，例如，会议系统检测各客户端的当前可用带宽，或各客户端上报自身当前可用带宽。
步骤二，判断各上述客户端的当前可用带宽与预设带宽阈值的大小。
预设带宽阈值根据实际情况进行设定，例如，预设带宽阈值设定为4兆等。
上述判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据，包括：
若存在小于上述预设带宽阈值的当前可用带宽，判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
会议系统在判定不存在小于预设带宽阈值的当前可用带宽时，可以按照能够图像显示效果最优的参数，合成待播放图像数据。
在本发明实施例中，在若存在小于预设带宽阈值的当前可用带宽时，再对非主讲图像数据进行降质处理，可以降低带宽的占用；在不存在小于预设带宽阈值的当前可用带宽时，保证最优的显示效果，以保证用户体验。
可选的，在上述按照上述目标图像数据的帧率，将上述目标图像数据及上述降质图像数据进行合成，得到待播放图像数据之后，上述方法还包括：
步骤一，编码上述待播放图像数据。
步骤二，向当前可用带宽小于上述带宽阈值的客户端发送编码后的待播放图像数据。
针对当前可用带宽小于带宽阈值的客户端，向其发送用降质图像数据合成的待播放图像数据，以保证待播放图像数据的流畅。同时针对可用带宽不小于带宽阈值的客户端，可以发送采用最优播放效果参数合成的图像数据，以保证用户体验。
本发明实施例的图像数据生成方法的另一种流程示意图，如图6所示。MCU根据设定的合成画面来判断哪些是重要画面，哪些是非重要画面对于重要画面，MCU按照目标帧率进行缩放和合成，保证重要的画面的清晰度和流畅度在合成后依然最优，比如60帧。对于非重要画面，MCU考虑降低帧率或分辨率，进行缩放和合成，比如帧率将为5-10帧左右，视觉上保障不卡顿即可。MCU生成合成画面的帧率依然按照最优帧率60帧进行，因为非重要画面所在画面区域的信息量仅是5-10帧的信息量，所以在进行全p帧编码时，参考信息小，整体占用的带宽减少。用户在进行视频会议时，关注的重要画面能展现出高质量，而非重要画面不会因为质量下降吸引用户关注，整体的体验能保持较好。通过保证重要画面的帧率。来保证重要画面的清晰度。降低非重要画面帧率，保障视觉不卡顿，同时降低画面的变化信息量，在全P帧的编码方式下，前后参考数据量减少，帧大小减低，带宽减少。
本发明实施例还提供了一种图像数据生成装置，参见图7，该装置包括：
图像数据获取模块701，用于获取各客户端的上行图像数据；
第一判断模块702，用于判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
图像数据分类模块703，用于若存在满足上述预设主讲规则的上行图像数据，将满足上述预设主讲规则的上行图像数据作为主讲图像数据，将不满足上述预设主讲规则的上行图像数据作为非主讲图像数据；
第一处理模块704，用于将上述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，上述编解码参数包括帧率；
第二处理模块705，用于将上述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，上述第二编解码参数小于上述第一编解码参数；
第一合成模块706，用于按照上述目标图像数据的帧率，将上述目标图像数据及上述降质图像数据进行合成，得到待播放图像数据。
在本发明实施例中，通过第一编解码参数保证主讲画面数据的画质，通过第二编解码参数生成降质图像数据，在保障用户体验同时，降低整体带宽的使用。
可选的，本发明实施例的图像数据生成装置还包括：
第三处理模块，用于若不存在满足上述预设主讲规则的上行图像数据，将各上述上行图像数据的编解码参数设置为上述第二编解码参数；
第一合成模块，用于按照各上述上行图像数据的帧率，将各上述上行图像数据进行合成，得到待播放图像数据。
可选的，在本发明实施例的图像数据生成装置中，上述编解码参数还包括分辨率。
可选的，本发明实施例的图像数据生成装置还包括：
带宽获取模块，用于获取各上述客户端的当前可用带宽；
第二判断模块，用于判断各上述客户端的当前可用带宽与预设带宽阈值的大小；
上述第一判断模块702，具体用于：
若存在小于上述预设带宽阈值的当前可用带宽，判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
可选的，本发明实施例的图像数据生成装置还包括：
编码模块，用于编码上述待播放图像数据；
数据发送模块，用于向当前可用带宽小于上述带宽阈值的客户端发送编码后的待播放图像数据。
本发明实施例提供了一种电子设备，参见图8，包括处理器801及存储器802；
上述存储器802，用于存放计算机程序；
上述处理器801，用于执行上述存储器802上所存放的程序时，实现如下步骤：
获取各客户端的上行图像数据；
判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
若存在满足上述预设主讲规则的上行图像数据，将满足上述预设主讲规则的上行图像数据作为主讲图像数据，将不满足上述预设主讲规则的上行图像数据作为非主讲图像数据；
将上述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，上述编解码参数包括帧率；
将上述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，上述第二编解码参数小于上述第一编解码参数；
按照上述目标图像数据的帧率，将上述目标图像数据及上述降质图像数据进行合成，得到待播放图像数据。
在本发明实施例中，通过第一编解码参数保证主讲画面数据的画质，通过第二编解码参数生成降质图像数据，在保障用户体验同时，降低整体带宽的使用。
可选的，上述处理器801，用于执行上述存储器802上所存放的程序时，还能够实现上述任一图像数据生成方法。
可选的，本发明实施例的电子设备还包括，通信接口和通信总线，其中，处理器801，通信接口，存储器802通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现如下步骤：
获取各客户端的上行图像数据；
判断各上述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
若存在满足上述预设主讲规则的上行图像数据，将满足上述预设主讲规则的上行图像数据作为主讲图像数据，将不满足上述预设主讲规则的上行图像数据作为非主讲图像数据；
将上述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，上述编解码参数包括帧率；
将上述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，上述第二编解码参数小于上述第一编解码参数；
按照上述目标图像数据的帧率，将上述目标图像数据及上述降质图像数据进行合成，得到待播放图像数据。
在本发明实施例中，通过第一编解码参数保证主讲画面数据的画质，通过第二编解码参数生成降质图像数据，在保障用户体验同时，降低整体带宽的使用。
可选的，上述计算机程序被处理器执行时，还能够实现上述任一图像数据生成方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种图像数据生成方法，其特征在于，所述方法包括：
获取各客户端的上行图像数据；
判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
若存在满足所述预设主讲规则的上行图像数据，将满足所述预设主讲规则的上行图像数据作为主讲图像数据，将不满足所述预设主讲规则的上行图像数据作为非主讲图像数据；
将所述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，所述编解码参数包括帧率；
将所述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，所述第二编解码参数小于所述第一编解码参数；
按照所述目标图像数据的帧率，将所述目标图像数据及所述降质图像数据进行合成，得到待播放图像数据。
2.根据权利要求1所述的方法，其特征在于，在所述判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据之后，所述方法还包括：
若不存在满足所述预设主讲规则的上行图像数据，将各所述上行图像数据的编解码参数设置为所述第二编解码参数；
按照各所述上行图像数据的帧率，将各所述上行图像数据进行合成，得到待播放图像数据。
3.根据权利要求1所述的方法，其特征在于，所述编解码参数还包括分辨率。
4.根据权利要求1所述的方法，其特征在于，在所述判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据之前，所述方法还包括：
获取各所述客户端的当前可用带宽；
判断各所述客户端的当前可用带宽与预设带宽阈值的大小；
所述判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据，包括：
若存在小于所述预设带宽阈值的当前可用带宽，判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
5.根据权利要求4所述的方法，其特征在于，在所述按照所述目标图像数据的帧率，将所述目标图像数据及所述降质图像数据进行合成，得到待播放图像数据之后，所述方法还包括：
编码所述待播放图像数据；
向当前可用带宽小于所述带宽阈值的客户端发送编码后的待播放图像数据。
6.一种图像数据生成装置，其特征在于，所述装置包括：
图像数据获取模块，用于获取各客户端的上行图像数据；
第一判断模块，用于判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据；
图像数据分类模块，用于若存在满足所述预设主讲规则的上行图像数据，将满足所述预设主讲规则的上行图像数据作为主讲图像数据，将不满足所述预设主讲规则的上行图像数据作为非主讲图像数据；
第一处理模块，用于将所述主讲图像数据的编解码参数设置为预设第一编解码参数，得到目标图像数据，其中，所述编解码参数包括帧率；
第二处理模块，用于将所述非主讲图像数据的编解码参数设置为预设第二编解码参数，得到降质图像数据，其中，所述第二编解码参数小于所述第一编解码参数；
第一合成模块，用于按照所述目标图像数据的帧率，将所述目标图像数据及所述降质图像数据进行合成，得到待播放图像数据。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第三处理模块，用于若不存在满足所述预设主讲规则的上行图像数据，将各所述上行图像数据的编解码参数设置为所述第二编解码参数；
第一合成模块，用于按照各所述上行图像数据的帧率，将各所述上行图像数据进行合成，得到待播放图像数据。
8.根据权利要求6所述的装置，其特征在于，所述编解码参数还包括分辨率。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
带宽获取模块，用于获取各所述客户端的当前可用带宽；
第二判断模块，用于判断各所述客户端的当前可用带宽与预设带宽阈值的大小；
所述第一判断模块，具体用于：
若存在小于所述预设带宽阈值的当前可用带宽，判断各所述上行图像数据中是否存在满足预设主讲规则的上行图像数据。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
编码模块，用于编码所述待播放图像数据；
数据发送模块，用于向当前可用带宽小于所述带宽阈值的客户端发送编码后的待播放图像数据。
11.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201810769496.7A 2018-07-13 2018-07-13 图像数据生成方法、装置、电子设备及存储介质 Pending CN110719430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810769496.7A CN110719430A (zh) 2018-07-13 2018-07-13 图像数据生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810769496.7A CN110719430A (zh) 2018-07-13 2018-07-13 图像数据生成方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110719430A true CN110719430A (zh) 2020-01-21

Family

ID=69208522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810769496.7A Pending CN110719430A (zh) 2018-07-13 2018-07-13 图像数据生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110719430A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594494A (en) * 1992-08-27 1997-01-14 Kabushiki Kaisha Toshiba Moving picture coding apparatus
CN102342066A (zh) * 2009-03-06 2012-02-01 阿尔卡特朗讯公司 实时多媒体流处理带宽管理
CN103533294A (zh) * 2012-07-03 2014-01-22 中国移动通信集团公司 视频数据流的发送方法、终端及系统
CN103581608A (zh) * 2012-07-20 2014-02-12 Polycom通讯技术（北京）有限公司 发言人检测系统、发言人检测方法和音频/视频会议系统
CN103716648A (zh) * 2012-10-08 2014-04-09 深圳市子元技术有限公司 远程教学系统的数据传输方法及远程教学系统
CN104285439A (zh) * 2012-04-11 2015-01-14 刁杰 在虚拟会议中传达注视信息
CN104375789A (zh) * 2013-08-14 2015-02-25 杭州海康威视数字技术股份有限公司 拼接屏的同步显示方法及系统
CN105227866A (zh) * 2015-08-31 2016-01-06 青岛中星微电子有限公司 一种多通道视频显示方法和装置
CN105979304A (zh) * 2016-05-31 2016-09-28 北京奇艺世纪科技有限公司 一种视频推送方法及装置
CN107333164A (zh) * 2016-04-29 2017-11-07 北京学而思教育科技有限公司 一种图像数据处理方法及装置
US9843769B2 (en) * 2007-04-27 2017-12-12 Cisco Technology, Inc. Optimizing bandwidth in a multipoint video conference

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594494A (en) * 1992-08-27 1997-01-14 Kabushiki Kaisha Toshiba Moving picture coding apparatus
US9843769B2 (en) * 2007-04-27 2017-12-12 Cisco Technology, Inc. Optimizing bandwidth in a multipoint video conference
CN102342066A (zh) * 2009-03-06 2012-02-01 阿尔卡特朗讯公司 实时多媒体流处理带宽管理
CN104285439A (zh) * 2012-04-11 2015-01-14 刁杰 在虚拟会议中传达注视信息
CN103533294A (zh) * 2012-07-03 2014-01-22 中国移动通信集团公司 视频数据流的发送方法、终端及系统
CN103581608A (zh) * 2012-07-20 2014-02-12 Polycom通讯技术（北京）有限公司 发言人检测系统、发言人检测方法和音频/视频会议系统
CN103716648A (zh) * 2012-10-08 2014-04-09 深圳市子元技术有限公司 远程教学系统的数据传输方法及远程教学系统
CN104375789A (zh) * 2013-08-14 2015-02-25 杭州海康威视数字技术股份有限公司 拼接屏的同步显示方法及系统
CN105227866A (zh) * 2015-08-31 2016-01-06 青岛中星微电子有限公司 一种多通道视频显示方法和装置
CN107333164A (zh) * 2016-04-29 2017-11-07 北京学而思教育科技有限公司 一种图像数据处理方法及装置
CN105979304A (zh) * 2016-05-31 2016-09-28 北京奇艺世纪科技有限公司 一种视频推送方法及装置

Similar Documents

Publication Publication Date Title
US9013536B2 (en) Augmented video calls on mobile devices
US8270476B2 (en) Face detection system for video encoders
CN110139113B (zh) 视频资源的传输参数分发方法及装置
US20180077385A1 (en) Data, multimedia & video transmission updating system
KR20090006171A (ko) 비디오 코딩용 순간 품질 메트릭
WO2007022516A2 (en) Picture-in-picture processing for video telephony
CN101164341A (zh) 用于视频电话的质量度量偏移的关注区编码
JP4331049B2 (ja) データ伝送装置およびデータ伝送方法
CN104813633B (zh) 用于传输视频流的方法
US20140254688A1 (en) Perceptual Quality Of Content In Video Collaboration
CN114531564A (zh) 处理方法及电子设备
CN115529300A (zh) 自动调整关键帧量化参数和帧率的系统和方法
CN107493478B (zh) 编码帧率设置方法及设备
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
CN110719430A (zh) 图像数据生成方法、装置、电子设备及存储介质
CN109379630B (zh) 视频处理方法、装置、电子设备及存储介质
US9368127B2 (en) Method and device for providing distributed telepresence service
CN110913235A (zh) 用于大规模直播的访问控制方法、装置和电子设备
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
US11877084B2 (en) Video conference user interface layout based on face detection
US20220303555A1 (en) Combining high-quality foreground with enhanced low-quality background
CN107004018B (zh) 数据处理方法及装置
Yang et al. A subjective perceptual quality evaluation for emerging cloud VR services
Pourashraf et al. Minimisation of video downstream bit rate for large scale immersive video conferencing by utilising the perceptual variations of quality
CN114567778B (zh) 一种视频编码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121

RJ01 Rejection of invention patent application after publication