CN113286114A - 基于视频混流直播技术的视频画面标记方法、装置和设备 - Google Patents

基于视频混流直播技术的视频画面标记方法、装置和设备 Download PDF

Info

Publication number
CN113286114A
CN113286114A CN202110816518.2A CN202110816518A CN113286114A CN 113286114 A CN113286114 A CN 113286114A CN 202110816518 A CN202110816518 A CN 202110816518A CN 113286114 A CN113286114 A CN 113286114A
Authority
CN
China
Prior art keywords
video
area
backboard
frame
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110816518.2A
Other languages
English (en)
Inventor
杨思梁
黎雄兵
董世宁
郝付壮
杨芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vhall Time Technology Co ltd
Original Assignee
Beijing Vhall Time Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vhall Time Technology Co ltd filed Critical Beijing Vhall Time Technology Co ltd
Priority to CN202110816518.2A priority Critical patent/CN113286114A/zh
Publication of CN113286114A publication Critical patent/CN113286114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Abstract

本申请提供一种基于视频混流直播技术的视频画面标记方法、装置和设备，涉及视频直播领域。一种基于视频混流直播技术的视频画面标记方法，包括：获取多路视频流，并根据预设布局规则在画布上形成多个窗格；在每个所述窗格内设置边框区域和填充区域，并将所述边框区域和所述填充区域渲染为背景色；在所述填充区域中渲染背板底色，形成背板区域，并基于颜色差异获取所述边框区域与所述背板区域的边界；将每路所述视频流渲染至对应的所述背板区域形成视频画面；通过所述边框区域对所述视频流中的关注对象的视频画面进行标记。根据本申请的技术方案，为每路视频流的窗格添加边框，用于明确不同视频画面的边界和参与者的身份，并可直观地显示重点画面。

Description

基于视频混流直播技术的视频画面标记方法、装置和设备
技术领域
本申请涉及视频直播领域，具体而言，涉及一种基于视频混流直播技术的视频画面标记方法、装置和设备。
背景技术
目前，多点控制单元（MultiPoint Control Unit，MCU）视频混流直播技术广泛用于视频会议、在线教育等场景，将多个参会者的视频、音频混合为一路视频、音频，然后大规模直播转发以降低成本。
播放端，多个参会者的视频画面堆叠，观众可以收看、收听到多个参会者不同的视频画面、声音。为了向观众注明多个参会者视频画面中的重点视频画面（例如主讲人或重要参会者），通常可以将重点的视频画面相对于其它视频画面设置的更大。而在一些视频画面布局中，比如所有参会者视频画面大小相等，或者切换到非占据较大画面的参会者发言时，播放端的观众则不能直接判断谁是当前参会者中的重点。
在混流画布中，每路视频流有独立的坐标、尺寸、边框，如果可以通过重点参会者的窗格边框展示出与其他参会者的差异，就能向观众描述视频会议中的重点，提高效率。
发明内容
本申请提供一种基于视频混流直播技术的视频画面标记方法、装置和设备，根据MCU视频混流直播技术获取多路视频流，并为每路视频流在视频画布上的窗格添加边框，明确不同视频画面的边界，通过改变边框的颜色、尺寸标记不同的关注对象，并展示当前的重点视频画面。
根据本申请的一方面，提供一种基于视频混流直播技术的视频画面标记方法，包括：获取多路视频流，并根据预设布局规则在画布上形成多个窗格；在每个所述窗格内设置边框区域和填充区域，并将所述边框区域和所述填充区域渲染为背景色；在所述填充区域中渲染背板底色，形成背板区域，并基于颜色差异获取所述边框区域与所述背板区域的边界；将每路所述视频流渲染至对应的所述背板区域形成视频画面；通过所述边框区域对所述视频流中的关注对象的视频画面进行标记。
根据一些实施例，所述视频流包括将多个音视频媒体流数据进行混合编码后得到的音频数据和视频数据。
根据一些实施例，所述预设布局规则包括所述窗格的起始点坐标、宽度、高度以及窗格排列方式。
根据一些实施例，在每个所述窗格内设置边框区域和填充区域，包括：按预设像素范围在所述窗格内周围设置所述边框区域，所述窗格的其余区域即为所述填充区域。
根据一些实施例，基于颜色差异获取所述边框区域与所述背板区域的边界，包括：根据所述背景色与所述背板底色对应的像素点YUV值不同，确定所述边界。
根据一些实施例，将每路所述视频流渲染至对应的所述背板区域形成视频画面，包括：若所述背板区域的宽度高度比大于所述视频画面的宽度高度比，则将所述视频画面按比例进行缩放，至所述视频画面的高度与所述背板区域的高度相等，所述视频画面居中设置于所述背板区域；和/或若所述背板区域的宽度高度比小于所述视频画面的宽度高度比，则将所述视频画面按比例进行缩放，至所述视频画面的宽度与所述背板区域的宽度相等，所述视频画面居中设置于所述背板区域；和/或若所述背板区域的宽度高度比等于所述视频画面的宽度高度比，则将所述视频画面的宽度和高度按所述背板区域的宽度和高度进行缩放，所述视频画面将所述背板区域完全覆盖。
根据一些实施例，所述关注对象包括视频会议主讲人、重点参会者或影像画面。
根据一些实施例，通过所述边框区域对所述视频流中的关注对象的视频画面进行标记，包括：调节每个所述边框区域的颜色和/或像素值，对所述关注对象的视频画面进行标记。
根据本申请的一方面，提供一种用于视频画面标记的装置，包括：业务模块，用于获取关注对象的身份、数量等信息；数据输入模块，用于接收多个视频流；数据处理模块，用于对根据所述多个视频流获取的视频画面进行标记和调整；数据输出模块，用于将已标记的多个所述视频画面渲染至画布。
根据本申请的一方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如前述的方法。
根据示例实施例，本申请的技术方案可通过设置视频流窗格的边框，简单、直观地对视频直播中的关注对象和视频画面进行标记，为观众注明直播重点，提高视频直播的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1示出根据本申请示例实施例的一种基于视频混流直播技术的视频画面标记方法流程图。
图2示出根据本申请示例实施例的视频画布中的窗格的位置示意图。
图3A-图3G示出根据本申请示例实施例的视频画布中的窗格的布局图。
图4A、图4B示出根据本申请示例实施例的视频画面的渲染示意图。
图5示出根据本申请示例实施例的窗格与视频画面的结构图。
图6示出根据本申请示例实施例的视频画面的边框标记效果图。
图7示出根据本申请示例实施例的一种用于标记视频画面的装置的框图。
图8示出根据本申请示例实施例的一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有这些特定细节中的一个或更多，或者可以采用其它的方式、组元、材料、装置或操作等。在这些情况下，将不详细示出或描述公知结构、方法、装置、实现、材料或者操作。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
随着计算机网络技术的不断发展，视频会议作为一种新型的通信与交流的工具，得到了广泛应用。
目前的大型视频会议，一般会有较多参会者在不同的地域参与讨论。通过对音视频媒体流数据进行编码、解码和混流，进行视频画面的合成和混音，使得各参会者能突破空间的限制，自由地进行沟通。但是现阶段对会议视频较为常见的处理方法是，在各参会者的会议终端无差别地显示所有参会者的视频画面，不能突出显示主讲人或重点参会者，各参会者通常需要浏览多个视频画面才能定位到当前的主讲人；如果主讲人发生变更，则需要重新进行浏览，费时费力，影响会议效率的同时为各参会者带来很大不便。
针对以上问题，本申请提供一种视频画面的标记方法，基于MCU视频混流直播技术，在展示视频画面的同时为视频画面添加边框，通过调节边框的颜色和大小对不同的参会者进行标记，以便于突出重点参会者，提高会议效率和参会体验。
下面将参照附图，对根据本申请实施例的技术方案进行详细说明。
术语说明：
多点控制单元（MultiPoint Control Unit，MCU）：多点视频会议系统的关键设备。作用相当于一个交换机，将来自各会议场点的信息流，经过同步分离后，抽取出音频、视频、数据等信息和信令，再将各会议场点的信息和信令送入同一种处理模块，最后将各会议场点所需的各种信息重新组合起来，送往各相应的终端系统设备。
实时消息传输协议（Real Time Messaging Protocol，RTMP）：一个基于TCP的协议族，是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。
YUV，一种颜色编码方法，常使用在各个视频处理组件中。“Y”表示明亮度（Luminance或Luma），也就是灰阶值，“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。
图1示出根据本申请示例实施例的一种基于视频混流直播技术的视频画面标记方法流程图。
如图1所示，在S101，获取多路视频流，在视频画布上形成窗格。
通过MCU接收内网传输的多路音视频媒体流，对音频执行音频解码、音频混音和混音后编码，对视频执行视频解码、视频混画和多路视频混流后的视频编码，将混合编码后的音频数据、视频数据通过RTMP协议封装为用于直播的视频流数据进行传输。
根据一些实施例，根据获取的多路所述视频流，按预设布局规则在所述视频画布中分配一定的区域至每路所述视频流，以形成所述窗格并获取所述窗格的位置。
所述预设布局规则包括，可例如，所述窗格的起始点坐标、宽度、高度以及窗格排列方式。
所述窗格在所述视频画布中的位置如图2所示，在视频画布20中，为每路所述视频流分配坐标和平面空间，形成窗格21。
坐标轴0点为所述视频画布的起始点，x_axis为所述窗格相对于所述视频画布起始点的横向位移，y_axis为所述窗格相对于所述视频画布起始点的纵向位移，获取所述窗格的起始点坐标（x_axis,y_axis）。
所述窗格宽度为Width，所述窗格高度为Height，由此可获取所述窗格在所述视频画布中的位置，进而确定所述视频流对应的视频画面在所述视频画布中的位置。
一般地，若所述窗格坐标错误，如超过所述视频画布边界，则不会设置于所述视频画布中。
所述窗格的排列方式没有强制规则，只需所述窗格的起始点和终点（四个角）均在所述视频画布中即可。
根据本申请示例实施例，可根据预设业务规则设置关注对象的视频画面所处的窗格位置。根据一些实施例，所述窗格排列方式包括均分表格式、主次屏平铺式和主次屏浮窗式。
例如，均分表格式排列，每个所述窗格的平面空间大小一致，全部所述窗格的宽度横向累加或高度纵向累加后，与所述视频画布的宽度或高度相等。
根据本申请示例实施例，所述关注对象的视频画面可设置于全部所述窗格中的左上方第一位的窗格中显示。
如图3A所示为窗格左右均分排列，所述关注对象的视频画面显示于左侧窗格中。
如图3B所示为窗格四等分排列，所述关注对象的视频画面显示于所述左上方第一位的窗格中。
如图3C所示为窗格上三下二排列，所述关注对象的视频画面显示于所述左上方第一位的窗格中。
例如，主次屏平铺式排列，包括一个较大的所述窗格和多个较小的所述窗格，可按上下结构或左右结构排布。
全部小窗格的宽度横向累加或高度纵向累加后，与所述视频画布的宽度或高度相等，大窗格设置于所述视频画布剩余的区域。
根据本申请示例实施例，所述关注对象的视频画面可设置于所述大窗格中显示。
如图3D所示为窗格一顶四底排列，四个所述小窗格的宽度累加后与所述视频画布的宽度相等，所述小窗格的高度可按宽高比16:9或4:3的比例计算，所述视频画布剩余的区域用于设置所述大窗格，所述关注对象的视频画面显示于所述大窗格中。
如图3E所示为窗格一左四右排列，四个所述小窗格的高度累加后与所述视频画布的高度相等，所述小窗格的宽度可按宽高比16:9或4:3的比例计算，所述视频画布剩余的区域用于设置所述大窗格，所述关注对象的视频画面显示于所述大窗格中。
例如，主次屏浮窗式排列，包括一个较大的所述窗格和多个较小的所述窗格，大窗格覆盖所述视频画布，小窗格悬浮于所述大窗格上，覆盖部分所述大窗格，所述小窗格的排列方式与主次屏平铺式排列中的所述小窗格排列方式相同。
根据本申请示例实施例，所述关注对象的视频画面可设置于所述大窗格中显示。
如图3F所示，所述大窗格覆盖所述视频画布，所述关注对象的视频画面显示于所述大窗格中。
一个所述小窗格悬浮于所述大窗格上，覆盖部分所述大窗格的区域。
如图3G所示，所述大窗格覆盖所述视频画布，所述关注对象的视频画面显示于所述大窗格中。
五个所述小窗格悬浮于所述大窗格上，覆盖部分所述大窗格的区域，五个所述小窗格的宽度累加后与所述视频画布的宽度相等，所述小窗格的高度可按宽高比16:9或4:3的比例计算。
在S103，将所述窗格划分为边框区域和填充区域，并将所述窗格渲染为背景色。
根据一些实施例，按预设像素范围在所述窗格内周围设置所述边框区域，所述窗格的其余区域即为所述填充区域。
可选地，所述预设像素范围为0到所述窗格的宽度值、高度值中较小值的1/4，可根据实际需求进行调整。
根据本申请的示例实施例，所述边框区域的像素的默认值为2。
一般地，将所述窗格内的每个像素点的YUV的值设置为背景色，完成对所述边框区域和所述填充区域的渲染。
例如，所述背景色可设置为黄色，所述边框区域的颜色为黄色。
在S105，在所述填充区域渲染背板底色以形成背板区域，并获取所述边框区域与所述背板区域的边界。
根据一些实施例，将所述填充区域内的每个像素点的YUV的值设置为背板底色，完成对所述填充区域的渲染，得到所述背板区域。
所述背板底色需设置为与所述背景色不同的颜色，即所述背板底色与所述背景色对应的像素点的YUV的值不同。
例如，所述背板底色可设置为白色，所述背板区域的颜色为白色。
基于所述边框区域与所述背板区域的颜色差异，获取所述边框区域与所述背板区域的边界，并得到渲染后的所述边框区域。
在S107，在所述背板区域渲染所述视频流形成视频画面。
根据一些实施例，基于所述视频画面的宽度高度比与所述背板区域的宽度高度比的关系，将所述视频画面渲染至所述背板区域，直至所述视频画面的宽度或高度与所述背板区域的宽度或高度相等。
可选地，若所述背板区域的宽度高度比等于所述视频画面的宽度高度比，则将所述视频画面的宽度和高度按所述背板区域的宽度和高度进行缩放，所述视频画面将所述背板区域完全覆盖。
若所述背板区域的宽度高度比大于所述视频画面的宽度高度比，例如，如图4A所示，背板区域41的宽度值Wpad，高度值Hpad，其宽度高度比Wpad：Hpad= 16 : 9。
视频流源视频画面42的宽度值Wsrc，高度值Hsrc，其宽度高度比Wsrc ：Hsrc = 4 : 3。
由此可知，Wpad：Hpad>Wsrc ：Hsrc，源视频画面42需进行缩放以生成目标视频画面43。
目标视频画面43的高度值与背板区域41的高度值相等，即HT = Hpad，宽度值WT =HT *（Wsrc ：Hsrc）。
背板区域41居中显示目标视频画面43。
若所述背板区域的宽度高度比小于所述视频画面的宽度高度比，例如，如图4B所示，背板区域41的宽度值Wpad，高度值Hpad，其宽度高度比Wpad：Hpad= 4 : 3。
视频流源视频画面42的宽度值Wsrc，高度值Hsrc，其宽度高度比Wsrc ：Hsrc = 16 :9。
由此可知，Wpad：Hpad<Wsrc ：Hsrc，源视频画面42需进行缩放以生成目标视频画面43。
目标视频画面43的宽度值与背板区域41的宽度值相等，即WT =Wpad，高度值HT = WT*（Hsrc ：Wsrc）。
背板区域41居中显示目标视频画面43。
在S109，通过所述边框区域对所述视频画面进行标记。
如图5所示，窗格30包括边框区域31和背板区域32，所述背板区域由所述填充区域渲染背板底色后形成，视频画面33渲染至所述背板区域。
根据一些实施例，所述边框区域与所述背板区域存在颜色差异，并形成边界。
可通过每个所述边框区域对多个所述视频画面进行分隔。
可选地，通过调节所述边框区域的颜色和/或像素值，可对所述视频画面进行标记。
如图6所示，视频画布中，四个窗格呈四等分排列，所述窗格中正在显示直播视频画面。
根据一些实施例，多个所述窗格呈均分表格式排列，则多个所述窗格中的左上方第一位的窗格用于显示关注对象的视频画面。
若不添加边框，则四个所述视频画面无明显区别，播放端无法辨别所述关注对象。
根据本申请示例实施例的方法，为所述左上方第一位的窗格添加所述边框，并将所述边框颜色设置为红色，则可清晰地将所述左上方第一位的窗格与其它所述窗格分隔开来，凸显出所述关注对象的视频画面。
图7示出根据本申请示例实施例的一种用于标记视频画面的装置的框图。
如图7所示，所述装置包括业务模块501、数据输入模块503、数据处理模块505和数据输出模块507。
业务模块501，用于获取关注对象的身份、数量等信息。
根据一些实施例，所述关注对象包括视频会议主讲人、重点参会者或影像画面。
所述业务模块可根据外部业务需求灵活进行配置，不对业务逻辑进行特殊的限定。
数据输入模块503，用于接收多个视频流。
一般地，所述数据输入模块接收内网传输的多路媒体流数据，并传输至所述数据处理模块。
所述媒体流数据包括音频数据和视频数据。
数据处理模块505，用于对根据所述多个视频流获取的视频画面进行标记和调整。
根据本申请的示例实施例，所述数据处理模块对所述音频数据执行音频解码、音频混音和混音后编码，对所述视频数据执行视频解码、视频混画和多路视频混流后的视频编码。
根据一些实施例，所述数据处理模块基于混流后的视频流数据，依据预设布局规则在视频画布上生成窗格，以用于渲染所述视频画面，并为所述窗格生成边框，便于为所述视频画面进行标记和分隔。
数据输出模块507，用于将已标记的多个所述视频画面渲染至视频画布。
根据一些实施例，所述数据输出模块将已通过所述数据处理模块添加了边框的视频画面渲染至所述视频画布，便于视频播放端及时关注重点视频画面。
图8示出本申请示例实施例的一种车载终端的框图。
如图8所示，电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件（包括存储单元620和处理单元610）的总线630、显示单元640等。其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书描述的根据本申请各种示例性实施方式的方法。例如，处理单元610可以执行如图1中所示的方法。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元（ROM）6203。
存储单元620还可以包括具有一组（至少一个）程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、移动终端或者网络设备等）执行根据本申请实施例的方法。
软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现前述功能。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
根据本申请的一些实施例，本申请的技术方案基于视频混流直播技术，通过为视频流在画布中的窗格添加边框，明确直播视频画面中的关注对象并进行标记，使观众可直观地了解直播中的重点人物及内容，提升直播的体验和效率。
以上对本申请实施例进行了详细介绍，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于视频混流直播技术的视频画面标记方法，其特征在于，包括：
获取多路视频流，并根据预设布局规则在画布上形成多个窗格；
在每个所述窗格内设置边框区域和填充区域，并将所述边框区域和所述填充区域渲染为背景色；
在所述填充区域中渲染背板底色，形成背板区域，并基于颜色差异获取所述边框区域与所述背板区域的边界；
将每路所述视频流渲染至对应的所述背板区域形成视频画面；
通过所述边框区域对所述视频流中的关注对象的视频画面进行标记。
2.根据权利要求1所述的方法，其特征在于，所述视频流包括将多个音视频媒体流数据进行混合编码后得到的音频数据和视频数据。
3.根据权利要求1所述的方法，其特征在于，所述预设布局规则包括所述窗格的起始点坐标、宽度、高度以及窗格排列方式。
4.根据权利要求1所述的方法，其特征在于，在每个所述窗格内设置边框区域和填充区域，包括：
按预设像素范围在所述窗格内周围设置所述边框区域，所述窗格的其余区域即为所述填充区域。
5.根据权利要求1所述的方法，其特征在于，基于颜色差异获取所述边框区域与所述背板区域的边界，包括：
根据所述背景色与所述背板底色对应的像素点YUV值不同，确定所述边界。
6.根据权利要求1所述的方法，其特征在于，将每路所述视频流渲染至对应的所述背板区域形成视频画面，包括：
若所述背板区域的宽度高度比大于所述视频画面的宽度高度比，则将所述视频画面按比例进行缩放，至所述视频画面的高度与所述背板区域的高度相等，所述视频画面居中设置于所述背板区域；和/或
若所述背板区域的宽度高度比小于所述视频画面的宽度高度比，则将所述视频画面按比例进行缩放，至所述视频画面的宽度与所述背板区域的宽度相等，所述视频画面居中设置于所述背板区域；和/或
若所述背板区域的宽度高度比等于所述视频画面的宽度高度比，则将所述视频画面的宽度和高度按所述背板区域的宽度和高度进行缩放，所述视频画面将所述背板区域完全覆盖。
7.根据权利要求1所述的方法，其特征在于，所述关注对象包括视频会议主讲人、重点参会者或影像画面。
8.根据权利要求1所述的方法，其特征在于，通过所述边框区域对所述视频流中的关注对象的视频画面进行标记，包括：
调节每个所述边框区域的颜色和/或像素值，对所述关注对象的视频画面进行标记。
9.一种用于实现权利要求1所述方法的视频画面标记的装置，其特征在于，包括：
业务模块，用于获取关注对象的身份、数量等信息；
数据输入模块，用于接收多个视频流；
数据处理模块，用于对根据所述多个视频流获取的视频画面进行标记和调整；
数据输出模块，用于将已标记的多个所述视频画面渲染至画布。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得一个或多个处理器实现如权利要求1-8中任一所述的方法。
CN202110816518.2A 2021-07-20 2021-07-20 基于视频混流直播技术的视频画面标记方法、装置和设备 Pending CN113286114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110816518.2A CN113286114A (zh) 2021-07-20 2021-07-20 基于视频混流直播技术的视频画面标记方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110816518.2A CN113286114A (zh) 2021-07-20 2021-07-20 基于视频混流直播技术的视频画面标记方法、装置和设备

Publications (1)

Publication Number Publication Date
CN113286114A true CN113286114A (zh) 2021-08-20

Family

ID=77286944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110816518.2A Pending CN113286114A (zh) 2021-07-20 2021-07-20 基于视频混流直播技术的视频画面标记方法、装置和设备

Country Status (1)

Country Link
CN (1) CN113286114A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363533A (zh) * 2022-01-10 2022-04-15 京东方科技集团股份有限公司 显示控制方法及装置、显示设备、计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080000A (zh) * 2007-07-17 2007-11-28 华为技术有限公司 视频会议中显示发言人的方法、系统、服务器和终端
JP2008147910A (ja) * 2006-12-08 2008-06-26 Yamaha Corp テレビ会議装置
CN104038723A (zh) * 2013-03-08 2014-09-10 三星电子株式会社 会议呼叫终端和操作所述会议呼叫终端的用户界面的方法
CN105491393A (zh) * 2015-12-02 2016-04-13 北京暴风科技股份有限公司 多人视频直播业务的实现方法
US20160173823A1 (en) * 2014-12-10 2016-06-16 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
CN108111799A (zh) * 2017-12-14 2018-06-01 苏州科达科技股份有限公司 视频会议中发言人的标识方法及装置
CN108234965A (zh) * 2018-02-12 2018-06-29 浙江大学医学院附属儿童医院、浙江省儿童医院、浙江省儿童保健院 一种对病人和医用仪器进行集中监视的装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008147910A (ja) * 2006-12-08 2008-06-26 Yamaha Corp テレビ会議装置
CN101080000A (zh) * 2007-07-17 2007-11-28 华为技术有限公司 视频会议中显示发言人的方法、系统、服务器和终端
CN104038723A (zh) * 2013-03-08 2014-09-10 三星电子株式会社 会议呼叫终端和操作所述会议呼叫终端的用户界面的方法
US20160173823A1 (en) * 2014-12-10 2016-06-16 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
CN105491393A (zh) * 2015-12-02 2016-04-13 北京暴风科技股份有限公司 多人视频直播业务的实现方法
CN108111799A (zh) * 2017-12-14 2018-06-01 苏州科达科技股份有限公司 视频会议中发言人的标识方法及装置
CN108234965A (zh) * 2018-02-12 2018-06-29 浙江大学医学院附属儿童医院、浙江省儿童医院、浙江省儿童保健院 一种对病人和医用仪器进行集中监视的装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363533A (zh) * 2022-01-10 2022-04-15 京东方科技集团股份有限公司 显示控制方法及装置、显示设备、计算机可读介质

Similar Documents

Publication Publication Date Title
CN102938834B (zh) 一种多屏多视频缩微视图调度系统及调度操作方法
CN110798697B (zh) 视频显示方法、装置、系统以及电子设备
US7312803B2 (en) Method for producing graphics for overlay on a video source
CN106878658B (zh) 用于多流多站点远程呈现会议系统的自动视频布局
CN108108140B (zh) 一种多屏协同显示方法及存储装置及支持3d显示的设备
CN101820524A (zh) 用于电视会议的视频播放方法
CN207399423U (zh) 一种分布式网络视频处理装置
JP2005051703A (ja) ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
US9584761B2 (en) Videoconference terminal, secondary-stream data accessing method, and computer storage medium
WO2002080556A1 (en) Remote collaboration technology design and methodology
CN104822070A (zh) 多路视频流播放方法及装置
KR20180052494A (ko) 대형 강의실 컨퍼런스 시스템
CN113286114A (zh) 基于视频混流直播技术的视频画面标记方法、装置和设备
CN110430460A (zh) 一种显示节目的方法、装置、存储介质和电子设备
CN113596571A (zh) 屏幕分享方法、装置、系统、存储介质以及计算机设备
KR20090125963A (ko) 애니메이션 협업 제작 서비스를 제공하는 웹서버 및 그방법
WO2001005144A1 (fr) Procede de commande d&#39;affichage video, systeme de traitement d&#39;affichage video, dispositif de traitement d&#39;affichage video, et dispositif d&#39;affichage sur ecran
CN112017264B (zh) 虚拟演播厅的显示控制方法及装置、存储介质、电子设备
CN113407289A (zh) 壁纸切换方法、壁纸生成方法、装置及存储介质
AU2011338800B2 (en) Video stream presentation system and protocol
CN106603988A (zh) 一种多屏全景显控方法及系统
KR101224221B1 (ko) 응용프로그램을 이용한 콘텐츠 운영 시스템
JP2013217972A (ja) 映像処理装置及び映像処理方法
Jang et al. Object-based 3d audio scene representation
CN113965813B (zh) 直播间内的视频播放方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820

RJ01 Rejection of invention patent application after publication